Ir al contenido principal

Indicios de calidad de las publicaciones científicas

Indicios de calidad de las publicaciones científicas

BOE logo

 

Explicación

APÉNDICE
Dimensiones, métricas y fuentes de la Bibliometría Narrativa
Criterios mínimos de los medios de difusión de publicaciones

Este apéndice tiene como objetivo proporcionar un inventario, no exhaustivo, de las posibles métricas y fuentes aplicables en la configuración de indicadores de impacto científico, impacto social y ciencia abierta, y en la articulación de narrativas para la valoración de aportaciones científicas presentadas a la convocatoria de sexenios de investigación, así como explicitar los criterios mínimos que debe reunir un medio de difusión de la investigación para que las publicaciones que en él se incluyan puedan ser consideradas.
La bibliometría narrativa cumple una función instrumental en la redacción, presentación, justificación y contextualización rigurosa de evidencias e indicios relacionados con la visibilidad, diseminación e influencia de los resultados de la investigación científica desarrollada en el período objeto de evaluación. En coherencia con los principios fundamentales de CoARA, se recomienda evitar los meros conteos, por lo que la información suministrada deberá ser contextualizada, multidimensional y estar sujeta a verificación objetiva. Asimismo, se desaconseja el uso de indicadores bibliométricos compuestos que no sigan los estándares internacionales sobre métricas responsables.
ANECA realizará una formación específica a los miembros de los comités asesores para garantizar la transición entre modelos de evaluación, la calidad del proceso y la correcta aplicación de los nuevos principios y criterios. Además, en cumplimiento del artículo 13.2 de la Ley Orgánica 2/2023, de 22 de marzo, sobre la inclusión de mecanismos para evitar sesgos de género en la evaluación —y siendo conocidos los sesgos implícitos que presentan algunas de las métricas disponibles (citación, visibilidad social, etc.)—, la citada formación incluirá estas cuestiones de manera particular.
Las bibliotecas universitarias y científicas y las unidades de apoyo a la investigación pueden, en la medida que sus recursos lo permitan, facilitar asesoramiento a las personas solicitantes en relación con las dimensiones, métricas y fuentes pertinentes y confiables en cada caso.
I. Taxonomía de métricas recomendadas
Las métricas aceptadas se clasifican según su nivel de aplicación (dimensión): (1) evidencias a nivel de aportación, (2) evidencias a nivel de medio de difusión y (3) evidencias relacionadas con la puesta a disposición de contribución científica en acceso abierto y la práctica de ciencia abierta.
A) Dimensiones a nivel de aportación:
1.    Métricas de citación: Estas métricas recurren al número de citas que una publicación ha recibido en trabajos científicos de diversa naturaleza, recopilables a través de bases de datos bibliográficas que tengan la mayor cobertura posible y sean, preferentemente, de carácter no comercial. Con el propósito de contextualizar los datos, mitigar sesgos y proporcionar una representación más precisa del impacto efectivo, es recomendable emplear indicadores como la citación normalizada por categoría y un recuento de citaciones que excluya las autocitas.
2.    Métricas de uso y lectura: Estas métricas se centran en el volumen de descargas, visualizaciones o visitas que ha registrado una aportación en infraestructuras digitales académicas, repositorios científicos o plataformas editoriales. No será suficiente con aludir al conteo básico, siendo necesario que los datos sean debidamente justificados y contextualizados, por ejemplo, especificando los países, ciudades e instituciones que han accedido a las aportaciones y su relevancia.
3.    Métricas de influencia, utilización o adopción social: Estas métricas se orientan a menciones y referencias provenientes de fuentes externas al ámbito académico y a los medios de publicación tradicionales, ofreciendo una perspectiva sobre la influencia, aplicabilidad o adopción de un resultado de investigación en contextos culturales, educativos, políticos o socioeconómicos. Para su valoración pueden ser pertinentes las menciones o referencias en documentos no académicos, como los informes de políticas públicas y, si fuera el caso, beneficios de su utilización o adopción. Información proveniente de fuentes directas no académicas, medios de comunicación o plataformas sociales en línea, preferentemente especializadas, incluyendo las menciones o interacciones que las aportaciones científicas reciben, pueden aportar información complementaria sobre las audiencias específicas, tanto sociales como profesionales, que han mostrado interés o han reconocido la contribución del conocimiento científico en diferentes ámbitos de aplicación.
B) Dimensiones a nivel de medio de difusión:
1.    
Métricas sobre el impacto científico del medio. Son indicadores bibliométricos cuantitativos que evalúan el impacto de una revista o editorial dentro de la comunidad científica. Estas métricas abarcan una variedad de indicadores que buscan determinar la relevancia y la influencia del medio en su ámbito disciplinario, así como comparar su rendimiento con el de otras publicaciones similares.
2.    Métricas sobre calidad en la gestión del medio. Se refieren a indicadores que ofrecen información sobre la calidad en la gestión y en los procesos editoriales de un medio. Estas métricas pueden incluir aspectos como tasas de aceptación, tipo de revisión por pares (abierta o no) e internacionalización, y se verifican mediante certificaciones acreditativas que aseguran el cumplimiento de buenas prácticas editoriales estandarizadas.
C) Dimensiones relacionadas con la contribución científica en abierto:
1.  
 Depósito en repositorios digitales de acceso abierto: Se valorará la difusión de las aportaciones en acceso abierto y sin restricciones a través de repositorios institucionales, temáticos o generalistas, por ejemplo, Zenodo o cualquiera de los repositorios agregados por RECOLECTA. Se valorará también la publicación en revistas y plataformas de acceso abierto sin imposición de tasas a las/os autoras/es ni a las/os lectoras/es (modalidad «acceso abierto diamante»), así como en plataformas de publicación de resultados de investigación como Open Research Europe u otras plataformas impulsadas por otras agencias de financiación. En ningún caso, la publicación en revistas de acceso abierto, ya sean comerciales (gold) o sin pago de tasas de publicación (diamante), o en revistas híbridas exime el depósito de las publicaciones en un repositorio.
2.    Compartición de datos, metodologías, programas de ordenador y modelos de aprendizaje automático: Se valorará la publicación, siempre que sea posible, de forma abierta y transparente de los datos de investigación, metodologías y programas de ordenador, a través de infraestructuras especializadas o repositorios que cumplan con estándares de metadatos y conservación a largo plazo, facilitando su replicabilidad, reproducibilidad, accesibilidad, reutilización y perdurabilidad, así como el escrutinio científico. Es relevante que en el caso de los resultados de investigación el depósito y/o publicación en abierto se realice en infraestructuras y/o repositorios agregados o de confianza, que garanticen el cumplimiento de estándares internacionales (por ejemplo, Zenodo, GitHub o cualquiera de los repositorios agregados por RECOLECTA). Para una adecuada descripción es necesario especificar los repositorios o infraestructuras donde se encuentran depositadas las aportaciones, así como su identificador único persistente (por ejemplo, DOI, Handle, ARK, SWHID o, en general, una URI/URL única permanente). En este apartado se podrán utilizar evidencias métricas de uso, lectura y reutilización, debidamente contextualizadas. Se recomienda asimismo ofrecer detalles sobre el nivel de cumplimiento de los principios FAIR de los conjuntos de datos presentados (fáciles de encontrar, accesibles, interoperables y reutilizables). Asimismo, se considera relevante mencionar, en su caso, la reutilización efectiva de estos productos por otros proyectos o equipos de investigación. Finalmente, será necesario consignar la fecha de inclusión de la contribución en los respectivos repositorios o infraestructuras para fomentar el rastreo cronológico de su difusión.
3.    Ciencia Abierta a la Sociedad: Se valorarán las aportaciones fruto de la generación de conocimiento realizada en colaboración y con la implicación activa de la ciudadanía en todo o parte de proceso de investigación (ciencia ciudadana, ciencia participativa, ciencia comunitaria, etc.) y/o en diálogo con otros sistemas y agentes sociales (administraciones públicas, comunidades locales, colectivos, entidades, organizaciones del tercer sector, etc.).

    1.  

Otros requisitos

En caso que no se cumplan los requisitos de las aportaciones citados en el Apéndice y y en las fuentes de la Tabla 1, se podrá valorar el medio de difusión de la investigación. Los criterios mínimos serán:

Criterios concernientes a la calidad de la revista como medio de comunicación científica 

  1. Identificación de quienes componen los comités editoriales y científicos. 
  2. Instrucciones detalladas a las/os autoras/es. 
  3. Información sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial o comité de selección, incluyendo, por ejemplo, los criterios, procedimiento e informe para la aceptación de los originales a cargo de revisoras/es o juezas/jueces preferentemente externas/os.
  4. Traducción del sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas. 

Criterios sobre la calidad del proceso editorial 

  1. Periodicidad de las revistas y regularidad y homogeneidad de la línea editorial en caso de editoriales de libros. 
  2. Revisión por pares de los manuscritos (ciego, open peer review, etc.).  La revisión da lugar a un informe motivado de su admisión o rechazo. 
  3. Comunicación motivada de la decisión editorial, por ejemplo, empleo por la revista, la editorial o el comité de selección de una notificación argumentada de la decisión editorial que incluya las razones para la aceptación, revisión o rechazo del manuscrito, así como los dictámenes emitidos por las personas expertas externas. 
  4. Existencia de un consejo asesor, o equivalente, con suficiente representatividad académica y movilidad en su composición, formado por profesionales y personal investigador de reconocida solvencia, sin vinculación institucional con la revista o editorial, orientado a marcar la política editorial y someterla a evaluación y auditoría. 

Criterios sobre la calidad científica de las revistas 

  1. Porcentaje de artículos de investigación; más del 75 % de los artículos deberán ser trabajos que comuniquen resultados de investigación originales. 
  2. Autoría: grado de endogamia editorial, más del 75 % de las/los autoras/es serán externos al comité editorial y ajenas/os a la organización editorial de la revista. 
  3. Asimismo, se tendrá especialmente en cuenta la indexación de las revistas en las bases de datos bibliográficas de reconocido prestigio.  Tratándose de libros y capítulos de libros, se valorarán aquellos publicados en editoriales que cuenten con el sello de Calidad en Edición Académica CEA-APQ (ANECA-UNE-FECYT) u otros similares.