A llorar a la FIFA: No hay impacto científico

Muy pronto muchos científicos(as) serán evaluados(as) en sus FONDECYT y más de algún investigador(a) verá perjudicada su postulación al momento de comprobar que su nombre figura en una de las revistas que fueron sacadas de la indexación 2019 de WoS.

El fútbol tiene a la FIFA y el mundo académico al JCR. Cuando necesitamos evaluar objetivamente el desempeño de científicos y académicos recurrimos a los análisis y reportes del Annual Journal Citation Report (JCR). Una especie de ranking FIFA de las revistas científicas, donde las más «goleadoras» son las que presentan el mayor índice o factor de impacto (FI), las menos ubicadas en la mitad de la tabla y las peores con la posibilidad de desaparecer del cuadro de honor. Así, las revistas Science (FI = 41,8) o Nature (FI = 42,8) se ubican en los primeros lugares del ranking por el alto impacto de sus publicaciones, mientras que aquellas calificadas como de bajo impacto (menor a 1), probablemente nunca las hayas escuchado mencionar.

(Publish or Perish, publica o muere) 

Su uso como indicador de calidad y prestigio científico acumula críticas hace bastante tiempo y cada vez son más las voces de instituciones y profesionales que exigen ser evaluados con métodos alternativos que midan el impacto de la investigación de otra manera en la sociedad. La tiranía del JCR desató una carrera por cuánto publicar y dónde hacerlo (no tanto así por sobre qué o para qué), generando un modelo poco saludable al cual los investigadores están sometidos constantemente. Aquí me he tomado la libertad de reflexionar sobre los reportes de la JCR para el 2020 donde, para sorpresa de muchos, no solo se reordenó el ranking de las revistas, sino que a varias las sacaron del podio sin derecho a reclamo. ¿La razón? “amañar” aparentemente los datos para subir artificialmente en el ranking.

¿A quién se le ocurrió este Ranking FIFA de las revistas científicas?

Originalmente el factor de impacto (FI) se creó como una herramienta para ayudar a los bibliotecarios a identificar y comprar revistas. Esta especie de guía definía la frecuencia de citas de una revista durante un período acotado de tiempo (dos o cinco años) como de buena calidad científica. 

El concepto salió más allá de las bibliotecas y actualmente se usa como el gold estándar para evaluar a becarios y académicos en su prolífica carrera. Por lo tanto, este sistema no sólo es reduccionista (capitaliza lo que se entiende por impacto o calidad de la investigación científica a un sólo estándar), sino que además la herramienta con lo que estamos midiendo no fue diseñada para eso. 

El FI no permite evaluar la calidad de la investigación y mucho menos ponderar si es buena, mala o si efectivamente impacta, genera consecuencias a partir de su publicación. La declaración de San Francisco sobre la Evaluación de la Investigación (DORA), identificó algunas limitaciones del factor de impacto que incluyen que:

  • Las propiedades del FI son específicas de cada campo o disciplina.
  • Los FI pueden ser manipulados (o evaluados) por la política editorial.
  • Los datos utilizados para calcular el FI no son transparentes ni están abiertamente disponibles para el público.

Hay dos panesUsted se come dosYo ningunoConsumo promedio: un pan por persona

Para que tu trabajo reciba citas necesitas una plataforma con buen alcance, la revista. Su FI viene a ser la caja de resonancia de tu investigación, qué tan “lejos” o a cuántas referencias podrías llegar. Lo lógico, entonces, es que busques publicar en aquellas  con mayor impacto.

Para conocer el FI del 2020 de una revista llamada ChileCientífico Research tendremos que hacer una operación simple:

Así, un índice de impacto 5.0 para el año 2020 de nuestra revista corresponde, por ejemplo, a tener 10.000 citas asociadas a artículos publicados en la revista en el periodo 2018-2019 de un total de 2.000 publicaciones en igual periodo. Dicho de otro modo, también, cualquier investigador que publique en Chile Científico Research este año tiene una probabilidad de que su publicación sea citada en promedio 5 veces al año (mami, me leyeron cinco veces). 

Pero aquí es donde la armonía estadística difiere de la caótica realidad. Por mucho que publiques en ChileCientífico Research, hay una alta probabilidad que nadie lea ni cite tu artículo este año, mientras que, otro investigador podría ser citado 10 veces, promediando finalmente 5 citas para ambos investigadores en la misma revista. ¿Ambas publicaciones tienen la misma calidad? ¿Generaron el mismo impacto?

No hay espacio para todos en la… ¿cima?

Así como a muchos países y clubes les gustaría ser parte de las primeras posiciones del Ranking FIFA, lo mismo ocurre en el caso de los investigadores. No solo es el prestigio personal el que está en juego (ego), sino que además posiciona a su institución (Universidad o Centro) y, por extensión, el liderazgo de la revista que recibe tu trabajo y lo publica.

Esta “sana” competencia es parte del día a día en la comunidad científica y académica, asumida como un dogma donde cada uno es “invitado a jugar el juego de la FIFA” (imagínate si no te gusta el fútbol, pero eres bueno para el tenis, te jodes). 

Y viene con vicios similares. Sabemos que en este juego hay equipos y clubes que simplemente nunca llegarán a los primeros sitiales (por razones económicas, estructurales, culturales, barreras de idioma, etc.). Los grandes clubes/revistas contratarán generalmente a jugadores/investigaciones seguras, que no peligren su posición. También persiste un grupo no menor de investigadores(as) que, en el afán de seguir en competencia, encuentran la manera de engañar al sistema y no ser descubiertos (como Maradona con su gol con la mano en el mundial del 86).

Te pillamos po, compadre

Clarivate es el árbitro que tiene la FIFA de la ciencia para evitar los engaños y malas prácticas para alterar el FI. Hace un par de semanas, informó que 33 journals, o revistas, serán excluidos del ranking 2019 por el mal uso de las citas, dentro de las cuales se encuentran algunas que pertenecen a prestigiosas editoriales como Elsevier o Springer Nature. 

La empresa declaró que, precisamente, este año modificaron el mecanismo de corrección de autocitas y el resultado arrojó valores escandalosos, ya que al menos un 25% de las citas en la revista correspondía a artículos publicados en la misma revistas. Es decir, ChileCientífico Research citando las publicaciones de ChileCientífico Research de forma exagerada. 

Esta es una práctica poco ética y un vacío legal que los editores aprovecharon para mejorar el impacto de sus revistas. Clarivate los identificó como “el cartel de los papers”, una especie de los care’pelotas de la ciencia.

Nombre de las revistas que este año no tendrán indexación por un abuso en las autocitas durante el año 2017 y 2018. Muchos investigadores chilenos han publicado aquí.

Nombre RevistaÍndice Impacto FI
Fish & Shellfish Immunology3.298
Food and Agricultural Immunology2.398
Zootaxa0.99
Para algunos estas revistas ni siquiera merecen su reconocimiento por tener indices de impacto bajo 5.

Pero no todo es pillería, también quedaron en evidencia problemas estructurales. Científicos y autores que han publicado en alguna de las revistas afectadas como Zootaxa (en la cual hay trabajo de científicos chilenos y cartas de sociedades chilenas al editor) se defienden de estas acusaciones alegando que no existen muchas revistas especializadas en el área y que desde el 2015 esta revista ha contribuido a una gran identificación de nuevas especies de peces, arañas e insectos en general. ¿Son importantes estos hallazgos? Claro que sí, pero ¿podría algún día esta revista tener un impacto cercano (FI) a 12 por ejemplo? es casi imposible de conseguir, y no por la calidad científica, sino por lo acotado del tema y por el número de investigadores relacionadas a esta disciplina. Por lo tanto, no es justo condenar o menospreciar el trabajo y esfuerzo de muchos académicos según la revista en las que publican cuando se genera nuevo conocimiento.

En el caso de la revista Zootaxa (y no es mi afán hacer su defensa) se trata de un área muy especializada por lo que, en un genuino deseo de seguir generando mayor información, el pequeño circuito ocasionó que artículos previos fueran citados en la misma revista (y no simplemente un trabajo concertado para autocitarse). 

De hecho, en su cuenta en Twitter el profesor de Botánica y Zoología de la Universidad de British Columbia Wayne Maddison, señaló que esto va a provocar un gran daño, sobre todo a los investigadores de países en vías de desarrollo. 

A llorar a la FIFA 

Esto recién comienza y no se ha dimensionado en su totalidad la complejidad que esto conlleva para la ciencia chilena. Muy pronto muchos científicos(as) serán evaluados(as) en sus FONDECYT y más de algún investigador(a) verá perjudicada su postulación al momento de comprobar que su nombre figura en una de las revistas que fueron sacadas de la indexación 2019 de WoS. Es decir, les quitaron los tres puntos por secretaria. 

¿Están preparados en la ANID para identificar estas revistas en próximo concurso regular 2022? El problema también alcanza las salas de clase, la progresión académica de profesores se verá afectada al eliminar de su historial las publicaciones de este listado. Peor aún, desconocemos el impacto que tendrá en investigadores(as) jóvenes que buscan nuevas plazas u oportunidades de inserción con una mancha en su currículo por un artículo publicado en esta lista de la vergüenza. 

Esto sin duda nos lleva a cuestionarnos la gran responsabilidad de entregar a una única métrica la calidad de nuestra investigación y carrera. Y el debate se debe transparentar ya que, al final de cuentas, ¿qué entendemos por un alto impacto en la investigación científica? ¿una patente, una solución a una problemática social local, el rescate de patrimonio inmaterial, etc.? ¿o un número dado por JCR?

Una luz dentro de todo esto es el nuevo llamado al concurso de FONDECYT de Iniciación 2020 para investigadores jóvenes, donde la medición y el aporte en otras actividades no necesariamente relacionadas con un “paper” -como talleres con comunidades, desarrollo de patentes y productos de vinculación- serán por primera vez evaluadas en este concurso, así como ya se viene realizando hace un par de años con el concurso de postdoctorado. Se abre una oportunidad, pero también está la dificultad dada porque, de cierta manera, nos formaron en función de la métrica.

¿Cómo podemos emparejar la cancha?

Existen muchas iniciativas que promueven la implementación de buenas prácticas en la evaluación académica, como el principio de Hong-Kong, Altmetric y DORA, las que podemos resumir en esta lista y que solo es cuestión de voluntad aplicarlas.

  • No utilizar métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.
  • Evaluar la investigación por sus propios méritos en lugar de basarse en la revista en la que se publica la investigación.
  • Con el fin de evaluar la investigación, considere el valor y el impacto de todos resultados de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y considere una amplia gama de medidas de impacto, incluidos los indicadores cualitativos del impacto de la investigación, como la influencia sobre la política y prácticas científicas. 

En resumen, creo justo y pertinente tener un debate en nuestro ecosistema chileno y consultar qué tan dispuestos están los científicos e instituciones en dar el primer paso, romper la inercia sobre los parámetros de la evaluación de la investigación, tal cual lo han hecho otras 1981 instituciones en el mundo. Siendo justo también, podemos mejorar las variables o indicadores (la cienciometría y la bibliometría) y no hacer mal uso de las herramientas de calificación. Pero, así como la evaluación de una revista requiere un análisis multifactorial, la evaluación de un investigador requiere tambien de múltiples y variadas miradas. 

Mientras los incentivos de las Universidades no consideren otras medidas de calidad a la investigación (softwares, nuevo conocimiento, formación de jóvenes científicos, etc.), como por ejemplo el aporte a la cultura de un país, es muy poco lo que podemos repercutir en la sociedad, y así perdurará la situación. Si todo sigue igual, que no nos extrañe que a los académicos les resulte más atractivo usar Twitter (donde el control de pares varía de inexistente a violento) que vincularse a través de proyectos con impacto directo que requieren tiempo y recursos.