Ernest Abadal

PH: Boletín del Instituto Andaluz del Patrimonio Histórico, ISSN 1136-1867, Año n. 26, n. 95, 2018, p. 136-149

El sistema tradicional de evaluación de la calidad de una publicación científica se ha basado, fundamentalmente, en el recuento de las citas que ha generado. Posteriormente con la creación del Institut for Scientific Information (actual Web of Science) y los Journal Citation Reports, el análisis de citas adquirió mucha notoriedad y cambió su orientación, pasando de priorizar la recuperación de la información a centrarse en la evaluación de las revistas. El uso indiscriminado y abusivo de esta aplicación ha generado muchas críticas, especialmente los dos indicadores más conocidos: el factor de impacto, que se aplica a las revistas, y el índice h, y muchas de las críticas han llegado desde las ciencias sociales que consideran que estos indicadores no se ajustan  a sus hábitos de publicación y citación.

Una crítica general que se hace es que el factor de impacto no se centra en un artículo determinado, sino que concede el factor de referencia a la revista en la que se publica. Estas limitaciones impulsaron la búsqueda de nuevas métricas para evaluar las publicaciones científicas, y en esta búsqueda surgen las altmétricas, que son un conjunto de indicadores que miden la presencia y el eco que ha tenido una publicación en las redes sociales y académicas. Una de las aportaciones de las altmétricas es que se centran en el artículo (o libro, conferencia, tesis, working report,  y otros productos que no son estrictamente publicaciones), y no en la revista.  Para analizar el impacto social, las fuentes de datos que utilizan están muy diversificadas (redes sociales, redes académicas, social bookmarking, enciclopedias, blogs científicos generales, medios de comunicación, revisiones y recomendaciones de expertos). El interés por las altmétricas ha hecho que los editores científicos las hayan incorporado a sus productos como una nueva prestación. Los cuatro programas actualmente más utilizados para recoger las evidencias y realizar el cálculo del impacto social son: Article Level Metrics, Altmetrics, ImpactStory y Pum Analytics. El interés por las altmétricas ha generado estudios que destacan una baja correspondencia entre citas y menciones sociales  y una baja correlación con la calidad científica. El autor del artículo hace una síntesis global de las consideraciones  a las que han llegado los estudios realizados. Entre los puntos fuertes de las altmétricas destacan: a) están centradas en el artículo; b) la diversidad de objetos de análisis, no centrándose exclusivamente en los artículos; c) la inmediatez de los resultados analizados; d) pueden recoger diversos tipos de datos; e) están en abierto, a diferencia de bases de datos comerciales como WOS o Scopus; f) amplitud, al medir la incidencia de las publicaciones más allá de los círculos académicos. Entre los puntos débiles se señalan: a) normalización, por las dificultades en normalizar y homogeneizar la recogida de datos; b) volatilidad de los indicadores, que se tienen que recoger rápidamente, porque el paso del tiempo dificulta su aprehensión; c) posibilidad de falsificación y manipulación; d) ponderación de los indicadores, los indicadores de las redes sociales son difíciles de comparar entre sí; e) existen diferencias entre disciplinas. Pese a las limitaciones de las altmétricas el autor piensa que estas son temporales y serán superadas con relativa brevedad y que las altmétricas tendrán un papel importante en el contexto de la demanda cada vez más amplia de los criterios de evaluación de las publicaciones que están presentes en las declaraciones de DORA, Leiden, etc.

Resumen elaborado por Natividad Escavias Extremera