segunda-feira, 20 de novembro de 2023

A Universidade Neoliberal e os seus Rankings

A universidade neoliberal é uma empresa e, como tal, vive num mercado. Oferece um produto, produzido pelos seus recursos humanos e tem de captar clientes que comprem esse produto. Para isto, tem de apostar no marketing e na "marca" e é particularmente zeloso dessa marca.

Orgulhosamente, não se distinguem de uma empresa de outro setor qualquer. É até estranho que depois se sintam ofendidos ao serem comparados com "fábricas de salsichas" quando o modelo de negócio tanto se aproxima.


A dificuldade do modelo de negócio está no facto de se tratar de um setor bastante concorrencial e, vai daí, o modelo negócio precisa de apostar na diferenciação do produto, em particular, para conseguir captar clientes com maiores rendimentos e assim maximizar as receitas. Como se o negócio das salsichas estivesse saturado e tivessem de procurar a diferenciação com novas linhas gourmet, que para vingar se lançam em concursos internacionais que coloquem um selo de qualidade dado por um júri duvidoso qualquer.

Esta necessidade de diferenciação foi aproveitada por outras empresas que aí viram a oportunidade de negócio de diferenciar as universidades através de rankings. Surgiram assim, e proliferaram como cogumelos os rankings de universidades. Estes rankings avaliam as universidades em diversos parâmetros (produção científica, reputação, prémios, financiamento, internacionalização) que depois usam para gerar um único score que permita ordená-las de acordo com a sua (alegada) qualidade em geral.

As universidades, por todo o mundo, abraçaram este novo produto. Publicitam-no nos seus sites e usam-no sem rodeios nas suas iniciativas de marketing, seguem-se por ele no delinear da estratégia e na gestão da instituição, contratam recursos humanos para seguir os seus resultados. 

Seguindo o modelo, sempre que sai o resultado de um ranking, lá surgem os artigos laudatórios das próprias universidades, orgulhosas com o seu resultado que, dizem, atesta a excelência da investigação, o trabalho desenvolvido ou a superioridade da estratégia da instituição. 

Um exemplo é particularmente elucidativo. 

Saíram recentemente os resultados da edição de 2024 do ranking Times Higher Education (THE2024), um dos mais importantes e reconhecidos a nível mundial. As universidades portuguesas apressaram-se a publicitar os seus resultados como é costume. A UP que lidera o ranking nacional (mas a par da Ulisboa e da UC), apresenta em título: "U.Porto volta a liderar Portugal no ranking da Times Higher Education".

Ao longo das anteriores 4 edições deste mesmo ranking, a Universidade Católica Portuguesa havia sido sucessivamente classificada como a melhor universidade portuguesa. 



Este facto foi sempre apresentado como uma vitória desta universidade. A Reitora afirmava, no ano passado: “o reconhecimento deste prestigiado ranking internacional revela, acima de tudo, a consistência e relevância do trabalho produzido pela comunidade académica da UCP, que tem ao longo dos anos vindo a reforçar a especialização da sua investigação, um dos indicadores mais importantes deste ranking”  e no ano anterior que era “a consistência do trabalho e a qualidade que se reflete mais uma vez no ranking THE.” Já no primeiro ano em que ascenderam ao 1º lugar a nível nacional: "Este resultado demonstra a competitividade da estratégia de I&D da Universidade Católica e também o valor do sistema científico Nacional. Sobretudo trata-se do reconhecimento do trabalho notável da comunidade académica da UCP."

A UCP teve uma subida impressionante na edição de 2020 (do intervalo 601-800 para 351-400) subido pelo menos 200 lugares e no máximo 450. 

Mas, se procurarem por notícias hoje, não existe referencia alguma ao ranking THE2024 no website da UCP.  Na edição de 2024 a UCP surge no intervalo 801-1000, ou seja, desceu pelo menos 400 posições, no máximo 650. A nível nacional passou do 1º para o 8º lugar, no mesmo patamar que a Universidade do Algarve e da Universidade de Trás-os-Montes e Alto Douro.

O que é que aconteceu à UCP de 2023 para 2024? Desapareceu metade da universidade? O trabalho perdeu consistência? A especialização na investigação deixou de funcionar? O que se passou com a estratégia de I&D? Claro que não. Mas para entender a descida temos de entender primeiro a subida.

Ainda em 2019 notei que o excelente resultado da UCP dependia de um único dos 5 critérios onde obtinha resultados extraordinários a nível mundial, quando nos restantes tinha resultados bem abaixo de outras universidades portuguesas, o que se volta a verificar na edição passada, como se pode ver na imagem:



O critério citations valia 30% do resultado total do ranking e era composto, exclusivamente, por um cálculo de total de citações pelo total de publicações na base de dados SCOPUS, como se pode ver na nota metodológica do THE2022. Este critério pretendia, portanto, evidenciar a qualidade da investigação levada a cabo nas instituições. Para termos uma ideia, as melhores universidades a nível mundial neste critério na edição de 2023 eram as seguintes:
  • Arak University of Medical Sciences, do Irão
  • Cankaya University, da Turquia
  • Duy Tan University, do Vietname
  • Golestan University of Medical Sciences, do Irão
  • Jimma University, da Etiópia
  • Qom University of Medical Sciences, do Irão
Assim, de repente, surge-nos como provável que o Irão se tenha vindo a evidenciar como uma superpotência na área das ciências médicas?

A explicação para este fenómeno é fácil. Uma análise básica na base de dados SCOPUS mostra que os artigos mais citados atribuídos à UCP são os ligados ao projeto Global Burden of Disease, um projeto internacional cujas publicações são atribuídas a centenas de autores a nível mundial, com centenas de citações que contavam de igual forma para qualquer instituição de qualquer um desses investigadores.

Uma pesquisa rápida no SCOPUS identifica que todos os 10 artigos mais citados da UCP estão ligados a este projeto, com uma média de 714 autores e 3558 citações cada. Todos os artigos são de 2017 e 2018.

Este problema no ranking THE está identificado há anos, primeiramente relativamente aos projetos relacionados com o CERN cujas publicações eram assinadas por milhares de autores. O THE agiu dividindo as citações por instituição quando as publicações contavam com mais de 1000 autores, mas até 999 autores, cada instituição de cada autor "recebe" a totalidade das citações do artigo.

O resultado da UCP nos últimos anos fica explicado facilmente assim. A uma universidade relativamente pequena e com poucas publicações bastava conseguir incluir um autor neste projeto para aumentar imenso o número de citações e desta forma galopar no ranking. A consistência, a qualidade ou a estratégia não são para aqui chamados. 

A UCP esteve longe de ser a única como já vimos e este problema foi facilmente identificado, até em Portugal, como se pode ver aqui, aqui ou aqui*.

Então o que aconteceu este ano foi que o THE alterou este critério:

A mudança do critério diz mais sobre o absurdo dos rankings do que sobre a UCP. Os critérios são, no fundo, casuais. A atribuição de 15% (ou 20% ou 25%) em vez de 30% a um determinado critério não obedece a nenhuma lógica. A própria escolha dos critérios também é largamente arbitrária e cada ranking universitário escolhe os seus critérios obtendo resultados muito diferentes entre si. E não pensemos que os problemas se resumem ao indicador de citações ou ao próprio THE. Trata-se de um problema geral de todos os rankings e de todas as universidades que os promovem.

Por este tipo de problemas, a Universidade de Utrecht, que tinha ficado em 66º a nível mundial no THE 2023, retirou-se do ranking afirmando: 

É uma coragem que mais universidades deviam ter. A capacidade de tomar essa decisão consciente e fundamentada exige a rejeição do modelo neoliberal de universidade e substituí-lo pela universidade democrática, mais voltada para o conhecimento e para a sociedade e menos para marcas e resultados financeiros. Mas eu rio-me quando quero imaginar as universidades portuguesas a darem origem a este tipo de reflexão. Com o atual Regime Jurídico das Instituições de Ensino Superior (RJIES), o poder concentrado nos reitores, as composições duvidosas dos Conselhos Gerais, os negócios das propinas internacionais e das propinas de pós-graduação, entre tantas outras coisas que mostram o profundo enraizamento do modelo da universidade neoliberal. 

 *a este artigo de Alberto Amaral, Isabel Capeloa Gil, Reitora da UCP, respondia no twitter: 

PS: Após eu ter preparado este texto, surgiu no Público, neste fim de semana, um artigo dedicado ao mesmo tema. Nesse artigo, o mais interessante são mesmo as declarações da reitora da instituição. Diz em certa altura: 

“Nada na reclassificação da universidade significa perda de valor, mas apenas a indicação de que o modelo de instituição valorizado pelo ranking se está a adaptar a novas realidades comerciais a nível geoestratégico, face à crescente guerra pelo talento.”

Trata-se de mais uma tentativa de tapar o sol com a peneira. Claro que a reclassificação não significa perda de valor. A classificação anterior é que também não significava valor nenhum. É tudo um embuste, desde o primeiro momento. 

Nota: sou funcionário da Universidade de Lisboa e estudante na Universidade de Coimbra. Esta afiliação não influencia a posição expressa no artigo. Os dados que aqui publico que são facilmente verificáveis. Também não afirmo ou informo que estas duas universidades se distingam em nada de substancial das demais aqui citadas. 

3 comentários:

Anónimo disse...

Muito bem!

Anónimo disse...

Excelente artigo.

Anónimo disse...

Trata-se de um mau ranking. É certamente complicado fazer um ranking que não falhe numa ou noutra dimensão, mas é mais fácil criar um ranking que passe testes de razoabilidade. Esse ranking falha num teste básico de razoabilidade por não tentar medir o impacto relativo de uma universidade na produção científica a que aparece ligada. Uma forma básica de medir isso, e melhorar drasticamente a razoabilidade do ranking, seria dividir o número de citações pelo número de autores e multiplicar pelo número de autores afiliados a essa univerisdade. Outro teste de razoabilidade é ver a estabilidade do ranking a variações dos pesos. Um ranking razoável é aquele que não varia muito se se variar ligeiramente os pesos.

Em última análise um ranking é sempre subjectivo. Mas é uma coisa boa, se for bem feito (i.e. passar testes de razoablidade), e se a metodologia for transparente para que quem o consulta possa saber o que está ser valorado.

Todos nós fazemos rankings, que basicamente visam projectar numa única dimensão ordenada as nossas preferèncias para podermos "decidir". Diferentes pessoas podem construir diferentes rankings. Náo há nenhum problema nisto. Um bom ranking é um ranking que, para além de passar nos testes de razoabilidade, capture as preferèncias de um maior número de pessoas, isto é, que mais estaria de acordo com o ranking pessoal que cada uma dessas pessoas fosse laboriosamente construir fazendo a recolha de informação, análise, etc.

Ora, embora perceba alguma das razões para a demonização dos rankings, a verdade é que desempenham um papel necessário por pouparem imenso trabalho no processo de decisão pessoal (recolha de informção, análise, etc).

Agora, há incentivos financeiros para construir bons rankings? Certamente que se percebe que as universidades estão interessadas em rankings que as beneficiem financeiramente, portanto, maus rankings. É difícil monetizar um bom ranking. Portanto, não vejo uma boa solução, a não ser um ranking colaborativo estilo wikipedia.