Por Manuel Bagüés
Se ha discutido en este blog numerosas veces sobre la importancia y la dificultad de medir bien la calidad de la producción científica. Se nos juzga y valora por lo que publicamos y los criterios que se utilicen para valorar nuestras publicaciones determinarán cómo evoluciona la ciencia en España.
Como se apuntaba en un post anterior, España exhibe unos patrones de publicación cada vez más anómalos. Aumenta la producción científica, pero lo hace especialmente en revistas de una serie de editoriales de reciente creación como MDPI y Frontiers con prácticas dudosas. Muchas de estas revistas carecen de vínculos con instituciones académicas reputadas y ofrecen procesos de revisión fulgurantes y poco exigentes, pero han logrado factores de impacto relativamente altos, lo que quizás las haya hecho irresistibles para muchos académicos españoles.
Sin ánimo de ser exhaustivo, me gustaría compartir algunas reflexiones que espero sean útiles para limitar la proliferación en nuestro país de publicaciones en revistas de poca calidad.
- Mejor uso de los índices bibliométricos: Factor de Impacto vs. Article Influence Score
En España existe una tendencia a usar en las evaluaciones el Factor de Impacto, ya sea el calculado por el Journal Citations Report (JCR) de Web of Science o el correspondiente de Scopus. El Factor de Impacto tiene la ventaja de la transparencia, al reflejar simplemente el número de citas que han recibido los artículos publicados en una revista. Sin embargo, es una medida de la calidad académica particularmente imperfecta. Premia las revistas de áreas donde la propensión a citar es más alta, no tiene en cuenta la calidad de la revista que cita, y es manipulable a través de las auto-citas a la misma revista. Basta con echar un vistazo al ranking de revistas de Economía para darse cuenta de que estos problemas no son baladíes.
| Top Journals in Economics (JCR WoS 2021) | ||
| Ranking | Factor de Impacto (2 años) | Article Influence Score |
| 1 | Quarterly Journal of Economics | Quarterly Journal of Economics |
| 2 | Economic Geography | Journal of Political Economy |
| 3 | Journal of Economic Literature | American Economic Review |
| 4 | American Economic Review | Review of Economic Studies |
| 5 | Canadian Journal of Agricultural Economics | Journal of Finance |
| 6 | Transportation Research Part E | Econometrica |
Según el Factor de Impacto, la segunda mejor revista de Economía del mundo sería Economic Geography, la quinta el Canadian Journal of Agricultural Economics, y la sexta el Transportation Research Part E: Logistics and Transportation Review. Estas revistas quizás sean field journals dignos, pero dudo que ningún economista las consideraría entre las mejores de la profesión.
Parece más razonable el ranking proporcionado por el Article Influence Score (AIS), una medida que tiene en cuenta la propensión a citar y la calidad del que cita, y excluye las auto-citas. En este caso los seis primeros lugares de la lista son ocupados por los top 5 y el Journal of Finance.
- Es necesario complementar la información bibliométrica con evaluaciones expertas
Una limitación obvia de estas medidas bibliométricas es que no tienen en cuenta la varianza en la calidad de los artículos publicados en una misma revista. Además, aunque el AIS sea una medida bibliométrica más informativa que el Factor de Impacto, también tiene sus propias limitaciones. Por ejemplo, como cualquier medida basada en citas, se infla si una revista publica muchas revisiones de la literatura, o también se ve afectada por el tamaño y la insularidad del área. Por estos motivos es fundamental que en las evaluaciones participen expertos que evalúen de manera más precisa la calidad de las publicaciones.
Consideremos por ejemplo el caso de la revista Sustainability, publicada por MDPI. Esta revista ha experimentado un crecimiento exponencial desde su fundación hace unos 10 años y el año pasado publicó más de 17.000 artículos, en gran parte gracias a su éxito entre los autores españoles.
Tras China, España es el país con más artículos publicados en Sustainability, más de 3,500, entre los que se incluyen un par de papeles de la recientemente nombrada directora de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). A unos 2.200 euros por artículo, estas publicaciones han costado presumiblemente cerca de 8 millones de euros a los fondos de investigación de las universidades españolas. El éxito de esta revista entre los autores españoles se debe probablemente a su alto Factor de Impacto, cerca de 4 (3 si descontamos auto-citas), que la sitúa en el segundo cuartil en la categoría de Ciencias Medioambientales del JCR. En términos de AIS estaría peor, con 0.5, pero aún así se situaría en el tercer cuartil.
Sin embargo, a pesar de ser una revista que genera bastantes citas, las agencias de evaluación nacionales de países como Noruega y Finlandia han decidido excluirla de sus listados de revistas académicas a causa de las denuncias recibidas acerca de su escasa calidad académica y sus prácticas dudosas para inflar citas.
El caso de Sustainability ilustra la necesidad de complementar la información proporcionada por los índices bibliométricos con la opinión de expertos. Y por supuesto la calidad científica de estos evaluadores es muy importante. Por ejemplo, en un estudio de las evaluaciones recibidas por unos 45.000 investigadores italianos que optaron a la habilitación se observó que los candidatos que habían publicado en revistas predatorias recibían mejores evaluaciones si eran evaluados por comités con un bajo nivel de calidad investigadora.
En definitiva, si queremos que España deje de destacar por sus publicaciones en revistas de calidad dudosa, es importante que las evaluaciones sean realizadas por investigadores de reconocida calidad científica, haciendo buen uso de los índices bibliométricos.