Los proceedings papers en la evaluación de la actividad científica

Por: Dr. Luis Bernardo Weky, coordinador de Sistemas de Información, Vicerrectoría de Investigación y Doctorados, Universidad San Sebastián.

Según el portal DataCiencia de la Agencia Nacional de Investigación y Desarrollo (ANID), en el período que transcurre entre los años 2008 y 2023 se publicaron 258.186 documentos con afiliación a alguna institución chilena, de los cuales 11.233 corresponden a la tipología proceedings paper[1], es decir, el 4.35% del total de documentos para este período[2].

El mayor auge de la publicación de proceedings papers por autores chilenos (con sus colaboraciones) sucede entre los años 2015 y 2018, cuando la publicación anual sobrepasó -con la excepción de 2017- los mil documentos de este tipo. Sin embargo, a partir del año 2019 ha habido un pronunciado descenso de estas publicaciones, al pasar de 969 en dicho año a 466 en 2022 y 191 en 2023 (año sin finalizar para las bases de datos).

Por su parte, según Web of Science (Wos), y considerando el período 2013-2023, un total de 9.398 proceedings papers fueron publicados por autores chilenos (y sus colaboraciones). En esta base de datos, se confirma la tendencia decreciente en el número de documentos publicados por año, especialmente a partir del año 2020 (ver figura 1).

Entre DataCiencia y Scopus

En términos de tendencias y de números de documentos por año, los datos entre DataCiencia y Wos son bastante cercanos, no así cuando se compara el número de conference papers que, según la base de datos de Scopus, han sido publicados por autores chilenos durante el período 2013-2023. Concretamente, según Scopus, fueron 12.801 documentos de conferencias que los autores chilenos (y sus colaboraciones) publicaron en el mencionado periodo. Los datos se presentan en la figura 2.

Es bien conocido que la base de datos de publicaciones y revistas de Scopus es mucho más amplia que la de Wos, por los criterios de inclusión de revistas y publicaciones periódicas que varían de una a otra base de datos. Según los datos presentados, el reconocimiento que las agencias oficiales como la ANID hacen de los documentos de conferencia podría estar determinados por su indexación en WoS.

En este sentido, existe un número no menor de documentos de conferencia que han sido publicados por autores chilenos y que si bien cuentan con indexación de Scopus, no necesariamente son reconocidos por organismos nacionales en función del cómputo por su indexación principal.

Valor de los proceedings papers

El asunto de los proceedings papers va más allá de su indexación. Normalmente, se asocia la calidad de una publicación al prestigio de la revista al cual es publicado. Este prestigio viene dado por el llamado factor de impacto[3], del cual depende la asignación del cuartil a dicha revista. Sin embargo, los proceedings papers no son documentos que se comuniquen normalmente en publicaciones periódicas como las revistas, y generalmente existen dificultades para asignarles un factor de impacto aun siendo éstos indexados.

De allí que exista un número cada vez más creciente de documentos derivados de conferencias que, si bien indexados en las principales bases de datos, no cuentan con cuartil y no son reconocidos por agencias oficiales de financiación de la investigación. Así, por ejemplo, según las bases del Concurso Nacional de Proyectos FONDECYT Regular 2024 de ANID, entre los criterios de evaluación curricular por grupo de evaluación se establece que “respecto a las Actas de congresos o sus resúmenes, Proceedings (…) podrán ser validados siempre que se especifiquen en el criterio del GE”[4];[5] pero, en disciplinas (y GE) con una dinámica determinada por su alta competitividad en el proceso de postulación y evaluación de proyectos, sólo se consideran -en el mejor de los casos- “publicaciones de artículos y de tipo revisión (…) en revistas del Journal Citation Report” (GEs de Ingeniería)[6].

En la figura 3 se puede observar que, en contraste con el número de conference paper indexados en Scopus, el número a los que se les asigna cuartil es reducido. Focalizándonos sólo en el año 2023, de los 984 documentos de conferencia con indexación Scopus, solo 224 contó con cuartil (solo el 23%).

Y no se trata de que los proceedings papers no tengan ningún valor actual para la comunidad científica. Éstos siguen cumpliendo el rol de comunicar brevemente resultados -generalmente parciales- de investigación, con el propósito de someter a discusión entre sus pares dichos resultados, una hipótesis o un avance relevante. Por eso, asistir a congresos y conferencias, y someter a discusión resultados de investigación, es una práctica habitual y necesaria.

No obstante, en la medida en que la evaluación de la productividad científica está asociada a la publicación en revistas “de impacto”, y particularmente en aquéllas de cuartiles superiores (Q1 y Q2), parece natural que los autores se decanten por dirigir la comunicación de sus hallazgos hacia artículos de investigación en revistas de corriente principal; o que, considerando las particularidades de su disciplina científica y asumiendo el compromiso de contribuir con conocimientos originales al desarrollo de ésta, se asegure de presentar y publicar su proceedings paper en una conferencia que garantiza indexación en Web of Science con métricas suficientes para gozar de un cuartil “de excelencia”.

La creciente competitividad en las convocatorias de las agencias financiadoras para la adjudicación de financiamiento público, en las que los documentos publicados por los postulantes se computan en función de su indexación, cuartil y liderazgo, podría ser una causa de peso suficiente para que los autores privilegien la comunicación de sus resultados de investigación en publicaciones periódicas con cuartil.

————

[1] En DataCiencia se asigna a los documentos de conferencia el término proceedings paper, mientras que en Scopus se denominan conference paper. En el caso de Web of Science (Wos), también se denomina a este tipo de documentos como proceedings paper.

[2] Datos disponibles en https://dataciencia.anid.cl/articles, consulta: 09/04/2024

[3] El Factor de Impacto es una medida de las revistas que indica el promedio de citas que reciben los artículos que se publican en ellas.

[4] Grupo de Estudio (GE).

[5] Ministerio de Ciencia, Tecnología, Conocimiento e Innovación – Agencia Nacional de Investigación y Desarrollo (Chile). Bases Concurso Nacional de Proyectos FONDECYT Regular 2024, disponible en: https://s3.amazonaws.com/documentos.anid.cl/proyecto-investigacion/2024/regular/postulacion/Bases-Concurso-Regular-2024.pdf, consulta: abril 9, 2024.

[6] Ministerio de Ciencia, Tecnología, Conocimiento e Innovación – Agencia Nacional de Investigación y Desarrollo (Chile), ob. cit.