O estranho caso do 'ranking'

A Fundação para a Ciência e Tecnologia publicou  recentemente os resultados da avaliação de unidades I&D em 2007, os quais, em algumas áreas científicas, vieram a revelar-se polémicos, sendo contestados pelos avaliados.
E indiscutível a bondade de avaliações independentes para a consolidação da política de investigação científica em Portugal, premiando o mérito e estabelecendo incentivos para que os avaliados melhorem a sua posição relativa.
Os resultados entretanto publicitados pela FCT têm por base os relatos de  23 painéis de peritos internacionais, de mais de 15 países, que visitaram todas as Unidades em 2007 e 2008 e avaliaram relatórios escritos previamente submetidos à Fundação para a Ciência e a Tecnologia-FCT, pelas próprias Unidades, em Julho de 2007.  A primeira conclusão a retirar destes dados é que a situação da investigação científica em Portugal tem vindo a melhorar. Em termos quantitativos, o numero de investigadores doutorados registados em unidades de I&D financiadas pela FCT aumentou 42% relativamente a 2003, tendo triplicado relativamente a 1996, data da primeira avaliação internacional.
As áreas científicas consideradas contemplavam a Ciência e Engenharia de Materiais, Ciências Agrárias, Biológicas,  da Comunicação,  da Educação, da Linguagem, da Saúde,  da Terra e do Espaço, do Mar, Ciências Jurídicas e Ciência Política, Economia e Gestão, Engenharia Civil, Engenharia Electrotécnica e Informática, Engenharia Mecânica, Engenharia Química e Biotecnologia, Estudos Artísticos, Estudos Literários, Filosofia, Física, História, Matemática, Políticas da Educação, Psicologia, Química, Sociologia, Antropologia, Demografia, e Geografia.
Os resultados da avaliação de cada uma das unidades, bem como os comentários do painel de avaliadores, podem ser consultados na Internet.
Em termos muito gerais, no entanto, os resultados desta última avaliação repartiram-se da seguinte  forma: 21% obtiveram Excelente, 38% obtiveram Muito Bom, 25% obtiveram Bom, 15% Regular, e 2% obtiveram Fraco (Poor). Cinquenta e nove por cento das unidades de I&D têm agora classificações de Excelente ou Muito Bom, enquanto 7 unidades de nível Fraco, e 50 de nível Regular deixarão de ser financiadas pela FCT, com o propósito de que os investigadores existentes nesses centros sejam, por decisão das instituições, integrados em vias de investigação alternativas. O objectivo aqui é claro: «Concentrar mais recursos em instituições de qualidade comprovada», e os resultados obtidos apontam nesse sentido. Enquanto em 2003 o universo de unidade financiadas era de 337, após esta avaliação o seu número reduziu-se em 20%, ou seja, passaram para 275.
Também os resultados da UBI representam uma melhoria face aos obtidos em 2003. A Beira Interior tem agora quatro unidades de I&D classificadas com Very Good (Labcom, Instituto de Filosofia Prática, Centro de Investigação em Ciências da Saúde e Aero G), cinco unidades classificadas com Good (Centro de Matemática, Unidade de Detecção Remota, Centro de Materiais,  Centro de Ciências Aeroespaciais, Materiais Têxteis), duas unidades classificadas com Fair (Centro de Accionamento e Sistemas Eléctricos, UBI_CES) e uma com Poor.
As avaliações são momentos importantes na vida das instituições. Além dos aspectos óbvios, pelo facto de esta de que falamos, especificamente, estar associada ao próprio financiamento, constituem também momentos propícios ao auto-exame do que foi feito, e à planificação do futuro e do que se fará.
Mas quaisquer avaliações trazem consigo também a tentação de hierarquizar, construindo rankings entre avaliados, e é aqui que as coisas se tornam complexas, pois que muitas vezes se compara o que pela sua natureza não pode ser comparado. Um bom exemplo são os rankings de Escolas Secundárias construídos a partir dos resultados dos exames externos do 12º ano. Há indicadores valiosos nestes estudos, como a diferença entre a nota externa e interna das escolas; mas outros sem qualquer significado, como comparar as notas do mais caro colégio feminino da capital, que levou 12 alunas a exame, com os resultados de uma Escola Secundária dos subúrbios, que enviou mais de mil às mesmas provas. Em suma, muito do resultado das avaliações depende da metodologia empregue, e daquilo que se está a medir, pelo que os resultados – por mais importantes que sejam os indicadores medidos - são sempre relativos a algo; e avaliações diferentes conduzem a resultados distintos.
A este respeito, é paradigmático o caso ocorrido no painel de Ciências Jurídicas e Ciências Políticas da FCT. Três unidades obtiveram Excelente, seis Very Good, uma Good, uma Poor, e o  Instituto de Estudos Políticos da Universidade Católica, liderado por João Carlos Espada, Fair. Nem de propósito, poucas semanas depois, titulava o Portugal Diário: «IEP-UCP único representante português no ranking da Foreign Policy», enquanto a notícia prosseguia no mesmo tom: «Foi recentemente divulgado o Think Tank Index 2008, o estudo da Foreign Policy que, partindo de uma base de dados que inclui mais de 5000 organizações de todo o mundo, nomeou as 407 mais influentes do mundo e, no âmbito destas, elaborou vários rankings. O Instituto de Estudos Políticos da Universidade Católica Portuguesa é o único representante português na lista dos 407 nomeados. Sendo certo que este tipo de avaliação comparativa inclui - sempre - algum grau de subjectividade e que os critérios são naturalmente discutíveis, o ranking é o mais completo e abrangente actualmente disponível nesta área a nível global pelo que a inclusão do IEP-UCP merece ser salientada».
Está bem de ver que rankings há muitos, todas as avaliações valem o que valem, e já não é pouco; mas é claro que só serão úteis se, aceites pelos avaliados, resultarem em momentos de reflexão sobre o seu presente e o seu futuro.