DORA en España o el retroceso de los indicadores bibliométricos

Desde que se publicara el primer Journal Citation Reports en 1963 su uso se extendió rápidamente por constituir un sistema objetivo, comprensible y fácil de utilizar para evaluar la productividad de un investigador, grupo, institución o región geográfica. 

La idea que subyace al Factor de Impacto es que las publicaciones de mayor influencia en un área científica son citadas con mayor frecuencia en las revistas más reputadas de dicha área. A pesar de que esto último es verdad hasta cierto punto, la evaluación basada en criterios exclusivamente cuantitativos y en un instrumento comercial como JCR adolece de numerosos defectos bien conocidos: reflejan las citas agregadas a la revista (journal level metrics), no al artículo propiamente dicho (article level metrics); prevalecen las citas en el club vip de revistas anglosajonas de ámbito internacional obviando los estudios locales en lengua no inglesa; se adapta mal a las humanidades, artes y ciencias sociales; se calcula en base a un patrón de citas de dos años, lo que representa mal la influencia en el tiempo de disciplinas de evolución más reposada; solo abarca el impacto de artículos y libros (cuando la ciencia se comunica de muchas más maneras); las citas son manipulables; y, sobre todo, deja fuera la necesaria evaluación cualitativa de los resultados de investigación. 

En vista de los abusos en el uso del Factor de impacto para la evaluación de la actividad investigadora, un grupo de editores de revistas académicas se reunió durante la Reunión anual de la American Society for Cell Biology (ASCB) en San Francisco, California, el 16 de diciembre de 2012. Este grupo desarrolló una serie de recomendaciones, conocidas como la Declaración de San Francisco sobre la Evaluación de la Investigación, más conocida como DORA. Dichas recomendaciones se resumen en dos puntos:

1. El rechazo a utilizar indicadores bibliométricos como el Factor de impacto.
2. La adopción de prácticas de evaluación cualitativa. 

En el momento de redactar esta nota hay más de dos mil firmantes entre instituciones, editores e investigadores, 155 en España. La corriente es imparable y ya se lleva a la práctica en España en el modelo de CVA de 2021 y en los criterios  de los expertos de la Agencia Estatal de Investigación para valorar los CV en los proyectos del Plan Estatal de Investigación PID 2021.

CVA 2021
Las siglas CVA corresponden a Curriculum Vitae Abreviado. Esta plantilla normalizada puede obtenerse a través del Editor de FECYT. 

La novedad es que en el CVA de 2021 no hay ningún campo en el que consignar indicadores bibliométricos, a diferencia del modelo de 2017 que sí contaba con un apartado explícito para artículos JCR e índice h: 

CVA de 2017 con mención expresa a los índices bibliométricos clásicos

CVA de 2021 sin mención alguna a indicadores bibliométricos

Las instrucciones de la Agencia Estatal de Investigación (encargada de gestionar la financiación de los proyectos del Plan Estatal), establecen de forma explícita que: 

Aviso presente en las instrucciones para generar el CVA desde el editor CVN de la Fecyt

En su lugar, se pide una descripción de: Sus aportaciones científicas, explicando su relevancia y su contribución a la generación del conocimiento, la generación de ideas, hipótesis y resultados y cómo los ha comunicado, la financiación obtenida, las capacidades científico técnicas adquiridas, las responsabilidades científicas ejercidas, las colaboraciones internacionales y el liderazgo. 

Y en el apartado Listado de aportaciones más relevantes, se pide consignar las Publicaciones más importantes en libros y revistas con “peer review” y en conferencias, así como las contribuciones destacadas en congresos (sin mencionar índices bibliométricos).

Criterios de valoración de los CV en el Plan Estatal 
El documento que los evaluadores de la Agencia Estatal de Investigación deben cumplimentar para evaluar las solicitudes de proyectos del Plan Estatal indica explícitamente que No se utilizarán indicadores bibliométricos. 

Informe de evaluación de experto para los proyectos Agencia Estatal de Investigación de 2021

En el mismo informe, además, se señalan otros aspectos cualitativos a evaluar, como son:

○    1.1 Calidad [...] En el caso de que el equipo de investigación tenga proyectos en curso o anteriores financiados por los Planes Estatales, ¿Cuál ha sido la calidad e impacto de los resultados obtenidos en los mismos?
○    3.2 Impacto social y económico de los resultados. ¿Existe un plan de difusión/divulgación de los resultados a la sociedad y para el acceso abierto a resultados y datos del proyecto?

Sexenios de investigación
La última convocatoria aún se centra bastante en el JCR, pero se abre tímidamente a considerar otros indicadores diferentes del factor de impacto de las revistas. Aunque asume la validez de los indicadores bibliométricos clásicos y la inclusión de la contribución en revistas indexadas en repertorios de calidad, La Resolución deja abierta la posibilidad de que las/los autoras/es comuniquen a la CNEAI las citas y reconocimientos independientes que hayan tenido hasta ese momento las publicaciones que refrendan la actividad investigadora realizada.  [Preámbulo Resolución de 23 de diciembre de 2021 de la Comisión Nacional de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación, publicado en el BOE de 1 de enero de 2022]  
¿Cómo nos afecta a los bibliotecarios?
En la medida en que el sistema de citas pierda importancia en los procesos de evaluación en favor de la evaluación cualitativa de expertos y del impacto social de la investigación, podemos seguir orientando y asesorando a nuestro PDI en las siguientes tareas:

1.    Elaboración de planes de difusión de resultados.
2.    Difusión de sus contenidos en nuestros medios sociales.
3.    Seguimiento del impacto en la red mediante las altmétricas.

Proyectos como los financiados por la UE exigen la presentación de una estrategia de difusión de resultados en medios sociales. Los bibliotecarios podemos ayudar en la elección de las plataformas más apropiadas, en la asignación de etiquetas, en la forma apropiada de citar contenidos en línea para que contabilicen, en las estadísticas de cada medio, etc. 
 

Ejemplo de cita altmétrica incorrecta frente a cita correcta.
Fuente: Torres Salinas, Daniel (2020). Evaluación de la ciencia con indicadores altmétricos-altmetrics: cuestiones teóricas y metodológicas.  

Asimismo, las bibliotecas tenemos canales propios desde los que maximizar la difusión de los contenidos elaborados por el PDI y podemos ayudarles a hacer mailing a potenciales interesados en su trabajo. 

Por último, podemos prestar asesoramiento a solicitantes y evaluadores sobre el impacto de su trabajo en medios sociales a partir del seguimiento de indicadores altmétricos, es decir, las veces que se repostea/menciona/marca como me gusta/guarda/comenta en blogs, redes sociales, prensa digital, etc. Por ejemplo, nuestro repositorio de acceso abierto E-Prints Complutense incorpora esa información en los ítems depositados, lo que también supone una oportunidad para incrementar el número de publicaciones en abierto de nuestro PDI en la medida en que esta información sea relevante para los procesos de evaluación.
 

Ana Cabeza Llorca