Qual é a melhor maneira de avaliar a produção científica de um pesquisador?

Vários fatores entram nessa conta, e um dos principais deles é a publicação de trabalhos em revistas científicas de alto impacto, como as famosas Science e Nature. O que, sem dúvida, é um indicador relevante: se o pesquisador tem trabalhos aceitos nessas revistas, é um sinal de que as pesquisas desenvolvidas por ele ou por ela são de boa qualidade. Um bom sinal, mas não o único ... há muitas outras coisas que podem (e deveriam) ser levadas em consideração.

O peso exagerado que frequentemente é dado ao fator de impacto das revistas está deixando muitos pesquisadores insatisfeitos. Tanto que uma petição foi lançada na internet, pedindo o fim do uso desse fator de impacto como métrica central na avaliação de mérito de pesquisadores, projetos e instituições. Segundo a petição, chamada Declaração de São Francisco sobre Avaliação de Pesquisa(DORA, na sigla em inglês), o mérito de um trabalho (e do cientista que o realizou) deve ser avaliado com base na qualidade do próprio trabalho, e não da revista na qual ele foi publicado. Parece óbvio, mas com frequência não é o que acontece.

Há trabalhos de ótima qualidade publicados em revistas de baixo impacto, assim como há trabalhos de qualidade, mérito e/ou relevância bastante duvidosas publicados em revistas de alto impacto. Por uma série de razões, que envolvem, não raramente, relações de interesse pessoal, institucional, corporativo, regional e midiático entre as partes envolvidas. Sem falar que o fator de impacto não é um número absoluto, é uma representação da média do números de citações que os trabalhos publicados na revista recebem ao longo de um determinado período. Ou seja: mesmo nas revistas de maior impacto, há trabalhos de baixo impacto, que recebem poucas citações, e não deveriam se beneficiar individualmente do alto fator de impacto da revista como um todo.

E não pense que os assinantes da Declaração são um bando de coitados sem importância que estão incomodados porque não têm competência para publicar nas melhores revistas ... Não senhor. O movimento foi iniciado pelo Sociedade Americana de Biologia Celular (ASCB), uma das mais importantes sociedades científicas dos EUA, e a carta é assinada por editores de várias revistas científicas de peso, entre eles o editor-chefe da Science, Bruce Alberts.

Para ler a Declaração (e assiná-la se quiser), clique aqui: DORA

O primeiro trecho do documento está copiado abaixo, na versão original em inglês.

San Francisco Declaration on Research Assessment

Putting science into the assessment of research

---

There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties.

To address this issue, a group of editors and publishers of scholarly journals met during the Annual Meeting of The American Society for Cell Biology (ASCB) in San Francisco, CA, on December 16, 2012. The group developed a set of recommendations, referred to as the San Francisco Declaration on Research Assessment. We invite interested parties across all scientific disciplines to indicate their support by adding their names to this Declaration.

The outputs from scientific research are many and varied, including: research articles reporting new knowledge, data, reagents, and software; intellectual property; and highly trained young scientists. Funding agencies, institutions that employ scientists, and scientists themselves, all have a desire, and need, to assess the quality and impact of scientific outputs. It is thus imperative that scientific output is measured accurately and evaluated wisely.

The Journal Impact Factor is frequently used as the primary parameter with which to compare the scientific output of individuals and institutions. The Journal Impact Factor, as calculated by Thomson Reuters, was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an article. With that in mind, it is critical to understand that the Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment. These limitations include: A) citation distributions within journals are highly skewed [1-3]; B) the properties of the Journal Impact Factor are field-specific: it is a composite of multiple, highly diverse article types, including primary research papers and reviews [1, 4]; C) Journal Impact Factors can be manipulated (or "gamed") by editorial policy [5]; and D) data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public [4, 6, 7].

Below we make a number of recommendations for improving the way in which the quality of research output is evaluated. Outputs other than research articles will grow in importance in assessing research effectiveness in the future, but the peer-reviewed research paper will remain a central research output that informs research assessment. Our recommendations therefore focus primarily on practices relating to research articles published in peer-reviewed journals but can and should be extended by recognizing additional products, such as datasets, as important research outputs. These recommendations are aimed at funding agencies, academic institutions, journals, organizations that supply metrics, and individual researchers.

A number of themes run through these recommendations:

- the need to eliminate the use of journal-based metrics, such as Journal Impact Factors, in funding, appointment, and promotion considerations;

- the need to assess research on its own merits rather than on the basis of the journal in which the research is published; and

- the need to capitalize on the opportunities provided by online publication (such as relaxing unnecessary limits on the number of words, figures, and references in articles, and exploring new indicators of significance and impact).

We recognize that many funding agencies, institutions, publishers, and researchers are already encouraging improved practices in research assessment. Such steps are beginning to increase the momentum toward more sophisticated and meaningful approaches to research evaluation that can now be built upon and adopted by all of the key constituencies involved.

The signatories of the San Francisco Declaration on Research Assessment support the adoption of the following practices in research assessment.

General Recommendation

1. Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientistâ??s contributions, or in hiring, promotion, or funding decisions