O uso de rankings como instrumento para aferição de qualidade e estímulo à competição e ao aperfeiçoamento de instituições públicas em geral, e da educação superior em particular, é problemático: a validade estatística de muitas dessas listas é duvidosa, e não existem bons estudos demonstrando que os sistemas de ranqueamento realmente estimulem melhorias reais nas instituições avaliadas. É o que afirma um relatório publicado pela Academia Britânica, a organização nacional de Ciências Humanas do Reino Unido.

O relatório, intitulado Measuring Success ("Medindo Sucesso"), reconhece a crescente demanda do público por informações que permitam avaliar o desempenho do setor público, e que os rankings baseados em indicadores de performance vêm ocupando um espaço cada vez maior no esforço para atender a essa demanda.

"Dada a onipresença e a importância cada vez maior dos rankings, um relatório sobre suas origens, forças e fraquezas é necessário" "Dada a onipresença e a importância cada vez maior dos rankings, um relatório sobre suas origens, forças e fraquezas é necessário", diz o texto. "Um problema fundamental que cerca a discussão do desempenho do setor público é a ausência de avaliações sistemáticas de seus efeitos. Essa ausência de evidências claras torna a medição da performance uma área altamente polêmica."

Os rankings, de acordo com o relatório, servem a três propósitos: prestação de contas, por meio da qual as autoridades podem formar uma opinião sobre quais instituições precisam de mais atenção ou onde medidas corretivas se fazem necessárias; informação aos usuários, que assim podem escolher qual a melhor escola ou hospital a procurar; e de controle, ao apontar o caminho para a conquista de metas de desempenho.

"Defensores dos rankings apelam para a o caráter de abertura democrática, sugerindo que dar aos cidadãos acesso a informação estatística levará a uma participação maior, e que o acesso à informação oficial deve ser um direito democrático", diz o trabalho da Academia Britânica.

Críticos da ferramenta, por sua vez, argumentam que o efeito social dos rankings muitas vezes leva os agentes públicos a mudar seu comportamento de modo nocivo. "Há evidências de que escolas [...] manipulam suas políticas de acesso, em detrimento da liberdade de escolha dos estudantes e, até mesmo, excluem os menos capazes" a fim de melhorar de posição das listas oficiais.

Além disso, duas questões técnicas poriam em xeque a legitimidade da mera publicação dos rankings, sem interpretação ou advertências, pela imprensa em geral: primeiro, a necessidade de contextualização - rankings de ensino superior, por exemplo, deveriam ser ajustados de acordo com a rigidez do critério de seleção de estudantes de cada instituição, e as notas das diferentes universidades deveriam levar em conta o conceito de "valor agregado", onde se busca medir a diferença entre as competências que o aluno tem ao completar o curso e as que tinha ao ingressar.

A segunda questão é de imprecisão estatística: "a incerteza em torno de cada ranking é muito grande, e em muitos casos importantes é tão grande que torna impossível qualquer comparação significativa", diz o texto.

"Há evidências de que escolas [...] manipulam suas políticas de acesso, em detrimento da liberdade de escolha dos estudantes e, até mesmo, excluem os menos capazes a fim de melhorar de posição das listas oficiais" O relatório conclui que, embora os rankings certamente afetem o comportamento dos responsáveis pelas instituições avaliadas, esse efeito não é universalmente benéfico, e precisa ser melhor estudado. Entre as recomendações gerais, os autores pedem que se analise a possibilidade de alguns rankings não serem divulgados para o público, mas fiquem restritos às instituições envolvidas. E que, quando publicados, os rankings venham acompanhados de advertências quanto a suas limitações técnicas e estatísticas. Também se recomenda o envolvimento de instituições independentes do governo na criação de indicadores de performance a serem avaliados.

No caso específico dos rankings de instituições de ensino superior, o relatório adverte contra a tentação de se basear as listas apenas nos dados mais disponíveis, e não nos que poderiam ser os mais válidos, e também chama atenção para a importância de manter os indicadores separados.

"Deve-se resistir à tentação de agregar indicadores num só índice, ou mesmo num pequeno número de índices", recomendam os autores.

Em resposta ao relatório, o editor do ranking de universidades do periódico Times Higher Education (THE), Phil Baty, publicou artigo explicando que a revista já abandonara os rankings "influentes, mas defeituosos" que vinha divulgando até 2009, em favor de um sistema aperfeiçoado, em uso desde 2010.

Entre as recomendações feitas pelo relatório e já adotadas pelo ranking do THE, Baty menciona a transparência quanto à metodologia e às limitações estatísticas do processo, além da abertura dos dados para que os interessados possam verificar quais os indicadores que foram usados na composição da nota final do ranking.

"Times Higher Education tem o compromisso de abrir nossos dados para dar ao usuário uma visão melhor dos diferentes indicadores e como eles se combinam num único número composto", escreveu ele. "Os números são publicados num website interativo que permite desagregar nossos 13 indicadores."

O relatório conclui que, embora os rankings certamente afetem o comportamento dos responsáveis pelas instituições avaliadas, esse efeito não é universalmente benéfico, e precisa ser melhor estudado Brasil

No Brasil, os cursos de educação superior recebem uma nota atribuída pelo Ministério da Educação (MEC), o chamado Conceito Preliminar de Curso (CPC). Esta é uma nota única que varia de 1 a 5, calculada a partir da síntese de oito indicadores. O principal deles é o Indicador de Diferença entre o Desempenho Observado e o Esperado (IDD), que busca ser um medidor de "valor agregado", como o preconizado pelo relatório britânico. O IDD tem por base o resultado do estudante no Exame Nacional de Desempenho de Estudantes (Enade).

Recentemente, a imprensa divulgou que dezenas de instituições privadas de educação superior viram-se sob suspeita de terem manipulado o acesso de seus estudantes ao Enade, a fim de reforçar artificialmente suas posições nos rankings elaborados a partir das notas produzidas pelo MEC.