La crisis del sistema de evaluación científica basado en revistas especializadas
Durante décadas, la evaluación de la ciencia se ha apoyado principalmente en indicadores bibliométricos vinculados a las revistas científicas. Sin embargo, este modelo muestra signos evidentes de agotamiento.
Así lo señala un artículo reciente publicado en El Diario de España, que afirma que “el sistema de evaluación de la ciencia, que se articula a través de las publicaciones en revistas especializadas, está cada vez más cuestionado”.
La promoción académica se ha basado en gran medida en la publicación en revistas de alto prestigio, especialmente en las clasificadas en el cuartil 1 (Q1), que agrupa al 25% de las revistas con mayor impacto. Bajo esta lógica, un artículo publicado en una revista Q1 se considera automáticamente de alta calidad. Como consecuencia, los investigadores priorizan estas publicaciones, lo que ha llevado a que entre el 70% y el 80% de los artículos científicos se concentren en este grupo de revistas.
Isidro Aguillo, responsable del Laboratorio de Cibermetría del Instituto de Bienes y Políticas Públicas del CSIC (IPP-CSIC), advierte que el sistema de cuartiles es problemático porque clasifica las revistas por posición y no por su calidad real. Esto implica que pueden existir grandes diferencias de impacto entre revistas dentro de un mismo cuartil, lo que distorsiona la evaluación científica.
Como señala Aguillo, “actualmente, entre el 70 % y el 80 % de los artículos salen en estas revistas, consideradas de excelencia”. Además, dado que “publicar en otros cuartiles (Q2 o Q3) no tiene recompensa”, los investigadores tienden a evitarlos.
Este fenómeno genera una inflación del concepto de excelencia que lo vacía de sentido. Aguillo lo plantea de forma contundente: “si todo es excelente, ¿Qué es la excelencia?”, y se pregunta si “puede ‘sobresalir’ el 80% de algo”.
Un estudio reciente en PLOS Biology, citado por el portal español, refuerza esta crítica, mostrando que hay más artículos altamente citados en revistas de menor impacto que en las consideradas de élite. Esto afecta negativamente la evaluación de los investigadores, ya que se mide el impacto de un artículo según el factor de impacto de la revista, no por su propio mérito.
Esta distorsión tiene consecuencias sociales relevantes. Según el estudio, una parte de la comunidad científica, incluidas mujeres, minorías raciales y científicos en etapas tempranas de su carrera, queda infrarrepresentada en los procesos de reconocimiento y promoción.
El estudio sugiere que un cambio hacia métricas a nivel de artículo podría ofrecer un sistema de reconocimiento más justo y preciso, beneficiando al 65,19% de los investigadores, en comparación con solo un 4,56% que se beneficia de las métricas basadas en revistas.
Ante este escenario, comienzan a surgir alternativas. Una de las más relevantes es la Coalición para el Avance en la Evaluación de la Investigación (CoARA), una iniciativa internacional promovida por Science Europe y la European University Association.
Esta propone una evaluación centrada en la calidad y el contenido de la investigación, y no en el prestigio de la revista, además de reconocer una mayor diversidad de contribuciones científicas en los procesos de contratación, promoción y financiación científicas.
De acuerdo con el portal, en los últimos años, universidades, organismos de investigación y agencias de evaluación de todo el mundo intentan salirse de esa lógica, siguiendo los postulados de CoARA y bajo la creencia de que, efectivamente, el sistema de revistas, factor de impacto y cuartiles desvirtúa la evaluación.
En la actualidad, el problema no es solo cómo se evalúa la ciencia, sino qué tipo de ciencia se incentiva. Mientras la excelencia siga midiéndose por el prestigio de la revista y no por el valor del conocimiento producido, el sistema continuará premiando la estrategia sobre la relevancia.