Algunas reflexiones sobre la evaluación de la calidad investigadora en España

Por Manuel Bagüés

Se ha discutido en este blog numerosas veces sobre la importancia y la dificultad de medir bien la calidad de la producción científica. Se nos juzga y valora por lo que publicamos y los criterios que se utilicen para valorar nuestras publicaciones determinarán cómo evoluciona la ciencia en España.

Como se apuntaba en un post anterior, España exhibe unos patrones de publicación cada vez más anómalos. Aumenta la producción científica, pero lo hace especialmente en revistas de una serie de editoriales de reciente creación como MDPI y Frontiers con prácticas dudosas. Muchas de estas revistas carecen de vínculos con instituciones académicas reputadas y ofrecen procesos de revisión fulgurantes y poco exigentes, pero han logrado factores de impacto relativamente altos, lo que quizás las haya hecho irresistibles para muchos académicos españoles.

Sin ánimo de ser exhaustivo, me gustaría compartir algunas reflexiones que espero sean útiles para limitar la proliferación en nuestro país de publicaciones en revistas de poca calidad.

  1. Mejor uso de los índices bibliométricos: Factor de Impacto vs. Article Influence Score

En España existe una tendencia a usar en las evaluaciones el Factor de Impacto, ya sea el calculado por el Journal Citations Report (JCR) de Web of Science o el correspondiente de Scopus. El Factor de Impacto tiene la ventaja de la transparencia, al reflejar simplemente el número de citas que han recibido los artículos publicados en una revista. Sin embargo, es una medida de la calidad académica particularmente imperfecta. Premia las revistas de áreas donde la propensión a citar es más alta, no tiene en cuenta la calidad de la revista que cita, y es manipulable a través de las auto-citas a la misma revista. Basta con echar un vistazo al ranking de revistas de Economía para darse cuenta de que estos problemas no son baladíes.

Top Journals in Economics (JCR WoS 2021)
Ranking Factor de Impacto (2 años) Article Influence Score
1 Quarterly Journal of Economics Quarterly Journal of Economics
2 Economic Geography Journal of Political Economy
3 Journal of Economic Literature American Economic Review
4 American Economic Review Review of Economic Studies
5 Canadian Journal of Agricultural Economics Journal of Finance
6 Transportation Research Part E Econometrica

Según el Factor de Impacto, la segunda mejor revista de Economía del mundo sería Economic Geography, la quinta el Canadian Journal of Agricultural Economics, y la sexta el Transportation Research Part E: Logistics and Transportation Review. Estas revistas quizás sean field journals dignos, pero dudo que ningún economista las consideraría entre las mejores de la profesión.

Parece más razonable el ranking proporcionado por el Article Influence Score (AIS), una medida que tiene en cuenta la propensión a citar y la calidad del que cita, y excluye las auto-citas. En este caso los seis primeros lugares de la lista son ocupados por los top 5 y el Journal of Finance.

  1. Es necesario complementar la información bibliométrica con evaluaciones expertas

Una limitación obvia de estas medidas bibliométricas es que no tienen en cuenta la varianza en la calidad de los artículos publicados en una misma revista. Además, aunque el AIS sea una medida bibliométrica más informativa que el Factor de Impacto, también tiene sus propias limitaciones. Por ejemplo, como cualquier medida basada en citas, se infla si una revista publica muchas revisiones de la literatura, o también se ve afectada por el tamaño y la insularidad del área. Por estos motivos es fundamental que en las evaluaciones participen expertos que evalúen de manera más precisa la calidad de las publicaciones.

Consideremos por ejemplo el caso de la revista Sustainability, publicada por MDPI. Esta revista ha experimentado un crecimiento exponencial desde su fundación hace unos 10 años y el año pasado publicó más de 17.000 artículos, en gran parte gracias a su éxito entre los autores españoles.

Tras China, España es el país con más artículos publicados en Sustainability, más de 3,500, entre los que se incluyen un par de papeles de la recientemente nombrada directora de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). A unos 2.200 euros por artículo, estas publicaciones han costado presumiblemente cerca de 8 millones de euros a los fondos de investigación de las universidades españolas. El éxito de esta revista entre los autores españoles se debe probablemente a su alto Factor de Impacto, cerca de 4 (3 si descontamos auto-citas), que la sitúa en el segundo cuartil en la categoría de Ciencias Medioambientales del JCR. En términos de AIS estaría peor, con 0.5, pero aún así se situaría en el tercer cuartil.

Sin embargo, a pesar de ser una revista que genera bastantes citas, las agencias de evaluación nacionales de países como Noruega y Finlandia han decidido excluirla de sus listados de revistas académicas a causa de las denuncias recibidas acerca de su escasa calidad académica y sus prácticas dudosas para inflar citas.

El caso de Sustainability ilustra la necesidad de complementar la información proporcionada por los índices bibliométricos con la opinión de expertos. Y por supuesto la calidad científica de estos evaluadores es muy importante. Por ejemplo, en un estudio de las evaluaciones recibidas por unos 45.000 investigadores italianos que optaron a la habilitación se observó que los candidatos que habían publicado en revistas predatorias recibían mejores evaluaciones si eran evaluados por comités con un bajo nivel de calidad investigadora.

En definitiva, si queremos que España deje de destacar por sus publicaciones en revistas de calidad dudosa, es importante que las evaluaciones sean realizadas por investigadores de reconocida calidad científica, haciendo buen uso de los índices bibliométricos.

Hay 16 comentarios
  • Gracias Carmelo por la referencia! Es una descripción excelente del fenómeno de MDPI.

  • Gracias por el post, Manuel. Muy acertado y necesario. Yo a veces me pregunto por qué las agencias de evaluación no deciden elaborar un ranking propio, en lugar de "confiar" en el índice de impacto. El ranking puede ser similar al ABS, que evalúa la investigación en universidades británicas. Se pueden otorgar puntos o estrellas a las revistas, y usarse también para los sexenios, donde parece que también se prioriza la cantidad sobre la calidad, obligando a investigador a tener 5 artículos en 6 años.

  • Hola Ismael, gracias por el comentario. Yo la verdad es que desconfío un poco de los sistemas mecánico de evaluación, porque pueden inducir a que los investigadores traten de aprovecharse del sistema enviando sus artículos a las revistas que estén sobrevaloradas, por ejemplo, las peores revistas de cada categoría. En este sentido, yo creo que al final no hay otra que confiar en buenos investigadores para que realicen las evaluaciones, ayudándose de medidas bibliométricas, pero confiando en su criterio experto. Aunque claro, esto es un poco como el problema del huevo y la gallina, ¿cómo determinamos quienes son los "buenos evaluadores"? Si los policy-makers creen que alguien que publica en una revista pseduopredatoria tendrá un buen criterio evaluador pues, ojalá me equivoque, pero soy poco optimista.
    Otro tema importante que comentas, y que no traté en el post es el trade-off entre cantidad y calidad. Un problema de economía es que tenemos una propensión a publicar mucho más baja que otras disciplinas (daría para otro post discutir por qué es así) y esto nos crea mucho problemas. En una evaluación en la que participé recientemente en España uno de los miembros del panel, proveniente de otra ciencia social, descalificaba a uno de los candidatos economistas porque únicamente había publicado 10 artículos en los últimos 5 años (y en revistas muy buenas)! Sospecho que exigiendo 5 publicaciones para un sexenio hacemos mucho más difícil que los investigadores puedan aspirar a publicar en buenas revistas, limitando el impacto de su trabajo.

  • Muchas gracias por el post, Manuel.
    Estoy totalmente de acuerdo con lo que argumentas, y me alegro de que en tus ejemplos de revistas muy sospechosas hayas puesto a Sustainability. No me cabe la menor duda de que el móvil de los editores y fundadores es conseguir elevados beneficios por publicar cualquier cosa de manera rápida y sin rigor científico. Tengo motivos muy claros para pensar así. Hace unos tres meses recibí una invitación para evaluar un artículo enviado a esa revista. Antes de aceptar, miré la biomearía de la revista (indexing) porque no la conocía, ni figuraba en los índices especializados en Economía. Me sorprendió ver que tenía un alto índice en la categoría interdisciplinar. Como el paper que debía evaluar entraba plenamente en mi especialidad (versaba sobre estimaciones de la Ley de Okun en países africanos) acepté hacer la revisión. Mi informe fue muy negativo, y lo subí a la web aconsejando tajantemente rechazar el artículo. No recibí ninguna contestación de los editores. Semanas más tarde he comprobado que han publicado el artículo.

  • Muchas gracias Manuel por este excelente post. Sólo añadir que este excelente blog de Nada es Gratis, podría tratar de evitar publicitar algún post de aquella persona que ha publicado algún trabajo en un predatory journal (MDPI, Frontiers, etc), como ha sucedido recientemente.

  • Muchísimas gracias, Manuel, por explicarlo todo tan claramente. Me preocupa además cómo va a terminar este tema en el contexto de la nueva ley de universidades que genera 17 procesos de acreditación diferentes.

    • Gracias por el comentario Cristina. Desconozco como queda el tema de las competencias de las agencias autonomicas con la nueva ley. Personalmente, no me gustaría que se pusieran barreras a las movilidad geográfica, y me imagino que para las regiones pequeñas no es una buena idea tener agencias propias, dados los costes fijos y el riesgo de captura. Al mismo tiempo, si la agencia estatal no hace las cosas bien, no sé si esto podría permitir que las comunidades autónomas científicamente más potentes (e.g. Cataluña y Madrid) puedan hacer las cosas mejor, aunque por supuesto lo ideal sería que esto no fuera necesario.

  • Gracias por el post, Manuel. La selección de profesorado es el elemento fundamental de mejora de un sistema universitario y España tiene muchísimo margen de mejora. Un par de comentarios:

    - La nueva directora de ANECA tiene, además de los dos artículos en Sustainability que citas en el post, otros seis artículos en otras revistas del grupo MDPI. Por tanto, el publicar en revistas sospechosas de ser pseudopredatorias no se trata de un fenómeno aislado en su carrera que pudiera justificarse por razones diversas, sino algo sistemático. Poner al frente de la agencia que evalúa y otorga reconocimientos al profesorado a una persona con una carrera así es como poner al zorro al cuidado de las gallinas.

    - El uso único que hace ANECA del Impact Factor es. como dices, muy mejorable. Curiosamente ANECA usó durante unos años el Eigenfactor como medida complementaria al Impact Factor en el campo de conocimiento de Ciencias Económicas y Empresariales. Aunque el Eigenfactor es peor indicador que el Article Influence Score, ambos están basados en la misma idea y mejoran generalmente al Impact Factor. Aquella inclusión la entendimos muchos como una etapa intermedia para abandonar posteriormente de manera definitiva el Impact Factor. Lamentablemente esto no ocurrió y se volvió a final de 2019 al uso único del Impact Factor. Desconozco las razones, pero es básico que los comités asesores de ANECA que deciden estas cosas se formen de manera diferente (la AEI es un posible ejemplo a imitar).

    • Hola Jorge, gracias por los comentarios. Sí, ya me había dado cuenta de que su currículum está plagado de este tipo de publicaciones. Me sorprende muchísimo que la hayan nombrado directora de la Aneca, es una señal horrible y no augura nada bueno.

      El eigenfactor proporciona un ranking más razonable que el impact factor, pero el problema es que tiene un efecto de escala (premia las revistas que publican más artículos). El Article Influence Score es simplemente el eigenfactor dividido por el número de artículos publicados por la revista, con lo que proporciona una medida mejor de la calidad media.

      No acabo de entender que se siga utilizando el Impact Factor. No sé si quizás en parte pueda ser porque en algunas disciplinas científicas proporciona un ranking muy similar al del Article Influence Score, pero tiene la ventaja de su simplicidad.

      • Gracias por la entrada, Manuel.
        Lo del nombramiento de la ANECA es más grave de lo que parece. Alguien puede interpretar que sólo se trata de una responsabilidad de gestión. Pero es mucho más. Sobre todo, para lo que yo he bautizado como la "España académica profunda", donde una plaza de AD es una cátedra en diferido. Y esas plazas las otorgan comités que cuentan con personas con poca cultura académica (por ser magnánimos). Estas personas pueden ver reivindicados sus argumentos con un CV así al frente de la ANECA para dar la plaza a candidatos con publicaciones MPDI, o negársela a candidatos que obtienen un RyC meses después (por dar dos ejemplos recientes en mi universidad). Al menos en Economía, y a diferencia de la ANEP, la ANECA no cuenta con los referentes de la profesión en sus comités. Quizás porque estos referentes suelen trabajar en los (pocos) departamentos prestigiosos en España, que han conseguido crear una burbuja que les hace en cierta forma immunes a la ANECA. Obviamente, tiene un enorme mérito crear esas burbujas elitistas. Pero tendría aún más ayudar también a que fuera no se perpetúe el erial.
        Una última cosa. Sería bueno ampliar el foco de Sustainability a muchas otras revistas. Por ejemplo, PLOS ONE. La espeluznante estimación de los 8 millones de euros que comentas se quedaría corta...

      • Manuel, solo un detalle adicional que creo que es muy clarificador: La convocatoria de contratos ERC, que son los más prestigiosos de investigación a nivel europeo, dice en sus instrucciones a los solicitantes que incluyan si lo desean en su lista de publicaciones los indicadores bibliográficos más relevantes. No citan ningún indicador como ejemplo a incluir, pero dicen explícitamente que no se incluya el Journal Impact Factor (véase página 23 de https://ec.europa.eu/info/funding-tenders/opportunities/docs/2021-2027/horizon/guidance/information-for-applicants_he-erc-adg_en.pdf).

        Que ANECA esté usando exclusivamente el único indicador bibliográfico que el European Research Council explícitamente excluye debería ser razón suficiente para replanteárselo.

  • Manuel, enhorabuena por la entrada!!!
    Desafortunadamente, creo que no interesa a los medios. La CRUE no está haciendo gran cosa porque hay mucha gente que ha apostado por este modelo de promoción. A los políticos les da igual a dónde va el dinero de los proyectos. Lo que interesa es fiscalizar gastos (viajes/compras de material) y valorar producción científica en función de la cantidad.
    La sustitución de la directora de la ANECA responde a una cuestión política. La anterior directora (Mercedes Siles) manifestó: “Es negativo que las agencias autonómicas sean las que evalúen a profesores: no habrá homogeneidad”. Con el nuevo nombramiento todo apunta a que no se opondrá. Otro tema gravísimo es la conversión de profesorado asociado en permanente. La Federación de Jóvenes Investigadores se ha rebelado contra la promoción de los profesores asociados ya que van a tergiversarse los concursos. En próximos meses debe aprobarse el Estatuto del Personal Docente e Investigador (después de su entrada en vigor, la LOSU establece un plazo de 6 meses).
    ¿Qué respecto profesional van a tener aquellos que han apostado por MDPI y similares? Muchos alcanzarán la titularidad/cátedra, pero jamás van a tener el reconocimiento moral. Unos tendrán el poder político de las universidades y otros tendrán el dinero de los grandes proyectos internacionales. Va a ser imposible atraer talento. Se salvarán las universidades que todos sabemos. La división entre universidades de 1, 2 y 3 será cada vez mayor.

  • Muchas gracias Manuel por el acertado post.

    En relación al nombramiento como directora de ANECA de una persona cargadita de MDPIs, ya podemos ver las consecuencias:

    https://www.aneca.es/web/guest/-/carta-de-la-directora-de-aneca-sobre-le-evaluaci%C3%B3n-de-sexenios

    Me parece un grave error que se pretenda quitar toda discrecionalidad a los comités de evaluación. Sólo espero que en el Campo 8 encuentren la manera de evitar el despropósito que sería/es contabilizar papers en Sustainability por ejemplo.

    Salud

Los comentarios están cerrados.