Por Daniel Miles Touya y Luis Puch
En la última década, las publicaciones científicas con participación de investigadores españoles se han incrementado en un 50%, llegando a 95.000 artículos en 2024 —unas 250 publicaciones científicas por día, según Scopus. Este ritmo ha llegado hasta tal punto que se puede identificar a investigadores que publican dos artículos científicos al día (aquí). El coste estimado de estas publicaciones (muy heterogéneo entre diferentes revistas) rondaría los 100 millones de euros anuales, entre tasas de publicación y acuerdos de la CRUE con editoriales (ver aquí, aquí y aquí).
Ante estas cifras, parece razonable preguntarse quién garantiza a la sociedad que los artículos científicos financiados en su inmensa mayoría con dinero público se traducen en aportaciones realmente relevantes y cumplen con los estándares de integridad académica. Más aún cuando el incremento sostenido en la producción científica convive con episodios cada vez más frecuentes que ponen en cuestión la integridad del proceso científico.
Un estudio reciente publicado en Proceedings of the National Academy of Sciences alerta de que el volumen de publicaciones científicas fraudulentas está creciendo a un ritmo que supera con creces al de la ciencia legítima (aquí o aquí). Y esto sin tener en cuenta aún la reciente generalización del uso de la IA en la producción de artículos científicos (ver aquí, y aquí sobre buen uso). Aunque es difícil cuantificar con exactitud, se estima que entre un 2 % y un 3 % de los artículos publicados globalmente contienen fabricación o manipulación de datos (aquí o aquí). Aun cuando estas cifras son reducidas -dicho de otro modo, el 98 % de la investigación publicada sería legítima-, los resultados de estudios fraudulentos tienden a difundirse ampliamente y pueden permanecer más tiempo en la memoria colectiva, erosionando la credibilidad científica y deteriorando la confianza pública en la investigación (aquí, aquí o aquí).
Un posible motivo que explica este crecimiento son los incentivos que genera el publish or perish cuando la carrera de un investigador depende más del número de publicaciones que de su calidad, tal y como parece suceder en un número no menor de institutos de investigación y universidades públicas (ver aquí o aquí). La evidencia sugiere que este sistema de incentivos no es neutral: bajo presión por publicar, los investigadores descuidados o deshonestos obtienen ventajas sistemáticas sobre los diligentes (ver aquí o aquí). A veces se trata incluso de un patrón común entre los investigadores de una misma institución (a vigilar, como se proponía aquí con Antonia Díaz).
Por otra parte, no toda la ciencia descuidada o deshonesta (o fraudulenta) se distribuye uniformemente entre las revistas académicas. La evidencia disponible apunta a que tiende a concentrarse en revistas de escaso rigor académico (ver aquí o aquí). Esta distribución puede no ser casual: el modelo de negocio predominante en muchas de estas revistas genera incentivos para maximizar el volumen de publicaciones a costa del rigor editorial, convirtiendo la laxitud en una ventaja de mercado (aquí).
Para poner unos números a la escala del caso español, si al volumen de publicaciones se aplicara la estimación conservadora del 2 % de artículos con posibles problemas de fabricación o falsificación de datos, ello equivaldría a unos 1.800 trabajos potencialmente fraudulentos en 2024. Quizás sorprende, sin embargo, que la base de datos de Retraction Watch (aquí) recoge tan solo en torno a 700 artículos retractados con afiliación en instituciones españolas tras considerar el acumulado en todos los años disponibles.
Esta aparente brecha entre el fraude estimado y el detectado podría interpretarse como una señal alentadora a la pregunta de inicio de esta entrada. Sería en ese caso que en España funcionan adecuadamente tanto los criterios que desincentivan la publicación en revistas de escaso rigor —donde el fraude tiende a concentrarse— como los incentivos que promueven la replicación de resultados —el principal mecanismo disuasorio—. Lo paradójico es que, en España, en la mayor parte de los casos, no parecen observarse criterios particularmente reconocibles o incentivos especialmente adecuados. El propósito de esta entrada es referirnos a criterios e incentivos para garantizar la integridad científica.
Criterios que desincentiven publicaciones en revistas de escaso rigor académico
Mientras que países especialmente atentos a la rendición de cuentas del gasto público —como Noruega, Finlandia o Bélgica— han elaborado criterios para clasificar revistas por relevancia académica compatibles con el Manifiesto de Leiden, España carece de un protocolo objetivo, unificado, público y transparente que desincentive contribuciones científicas de escaso rigor académico.
Esta ausencia de criterios no es inocua en un contexto de publish or perish y en donde la definición de qué constituye "buena investigación" queda sometida a menudo a la discrecionalidad de los grupos dominantes en ciertos ámbitos en los que prevalecen altas tasas de endogamia, que es en sí misma un incentivo a publicar en las revistas que menos resistencia oponen (ver aquí o aquí).
Es importante tener presente que el incremento desproporcionado de publicaciones de bajo impacto no afecta por igual a todas las instituciones. En algunas universidades y en ciertas áreas, como por ejemplo conocemos bien en el caso de Economía, hay grupos de investigación bien establecidos que han desarrollado protocolos internos exigentes orientados a maximizar su reputación internacional al más alto nivel. Así, la investigación que se valora tiende a concentrarse en lo que se refiere a las revistas de mayor prestigio internacional: se valora calidad A o A+, muy por encima de cantidad.
Aunque disponer de un criterio es preferible a no tener ninguno, puede ocurrir que filtros muy rígidos no sean aplicables a toda la comunidad investigadora, que lo es a distintos niveles de excelencia. Además, dichos filtros pueden generar efectos no deseados, entre otros: distorsionan la evaluación de trabajos de calidad académica relevante pero situados en niveles B o C, limitan la movilidad entre escalas de excelencia y consolidan jerarquías internas difíciles a veces de justificar exclusivamente por razones científicas (ver aquí o aquí)
Sin embargo, lo sorprendente es que implementar un criterio de mínimos — vinculante y aplicable a todas las universidades públicas— compatible con el Manifiesto de Leiden (i.e., que supere los posibles inconvenientes mencionados arriba) y orientado a desincentivar la publicación en revistas de menor rigor académico, no parece tener una complejidad técnica significativa, y sería mucho más eficiente que evaluar artículo por artículo (aquí). Un ejemplo ilustrativo es adoptar el sistema noruego de clasificación por niveles de relevancia científica (ver aquí): si a los 5.958 artículos españoles del área de Economía, Empresa y Finanzas publicados en 2024 según Scopus se les aplica este sistema, menos del 10% de esos artículos se clasificaría en revistas de alto prestigio académico. Entre ese extremo, y el opuesto, el del fraude, hay sin duda un espacio enorme a clasificar.
Además, la evidencia sugiere que los investigadores responden a las señales creadas por criterios adecuados. Durante el breve periodo en que la ANECA comunicó públicamente que la revista Sustainability no se adecuaba a determinados estándares científicos, los investigadores ajustaron de manera apreciable sus patrones de publicación.
En suma, la ausencia de criterios tiene, en el contexto actual, dos efectos simultáneos: orienta las publicaciones hacia las revistas que menos resistencia oponen —donde los estándares de revisión son más laxos y la detección del fraude, más difícil — y priva a la sociedad de una señal clara sobre qué investigación es rigurosa — como lo sugieren ejemplos ilustrativos (ver aquí o aquí o aquí).
Incentivos para replicar
A lo anterior se añade que no existen incentivos para que los investigadores repliquen resultados ya publicados, a pesar de que la replicación constituye uno de los pilares fundamentales para la credibilidad del sistema científico (ver aquí o aquí). Y esto a pesar también de que cada vez existen más iniciativas para coordinar la posibilidad de reproducir y replicar la investigación publicada en las mejores revistas (por ejemplo, aquí), que a su vez vienen desarrollando desde hace tiempo las políticas de acceso a códigos y datos de los artículos que publican (aquí o aquí, y sobre lo que ya se ha escrito en Nada es Gratis, aquí no hace tanto). Por supuesto, para los artículos excelentes, la motivación para reproducir y replicar se refiere sobre todo al interés del propio investigador que se aplica a ello.
La revisión por pares no puede garantizar por sí sola la integridad académica. Y la literatura de bienes públicos muestra que, en ausencia de mecanismos que desincentiven conductas fraudulentas y modifiquen las creencias sobre el comportamiento de otros investigadores, estos sistemas tienden a deteriorarse progresivamente (aquí).
Para un investigador, demostrar que un resultado publicado por otros no puede ser replicado (aquí) o identificar inconsistencias metodológicas (aquí), o mostrar la mera inclusión ex post de autores (aquí) u otras conductas poco éticas (aquí o aquí), no le reporta ningún beneficio profesional. A diferencia de lo que ocurre con un whistleblower en el ámbito de la política de competencia o en sectores regulados, nada invita a la replicar resultados publicados (ver aquí o aquí). A esto hay que sumarle el aislamiento profesional que provoca replicar según a quién en el entorno institucional actual y el coste de oportunidad: ese tiempo podría dedicarse a publicar artículos propios, que es lo que realmente compensa.
Esta falta de incentivos se ve agravada todavía más cuando, tras replicar y detectar comportamientos presuntamente anómalos, se observa que nada parece haber cambiado y, por ejemplo, que se continúa financiando el mismo tipo de investigación con fondos públicos sin aplicar filtro alguno (aquí). Este hecho envía una señal inequívoca: identificar errores o malas prácticas no solo no se reconoce, sino que parece resultar irrelevante en el actual entorno institucional. Algo que podría llegar a no ser así en otros entornos (ver aquí).
En definitiva, a diferencia de Bélgica, por ejemplo, que financia explícitamente estudios de replicación con fondos públicos, en España no existe ningún mecanismo que incentive a replicar lo que ya se ha publicado (aquí).
En conclusión
De la misma manera que la ciudadanía no examina uno a uno los medicamentos que consume, sino que deposita su confianza en un sistema regulatorio que garantiza su seguridad y eficacia, también debería poder confiar en la existencia de una señal nítida que distinga las publicaciones científicas rigurosas de las que no lo son. Esa señal, sin embargo, no existe hoy en España, y su ausencia no es inocua: distorsiona los incentivos, empuja a los investigadores hacia revistas con menores exigencias y deja sin respuesta una pregunta legítima —qué investigación es realmente fiable y merece ser financiada con dinero público (aquí).
Es más, en un entorno en donde la universidad pública afronta un relevo generacional importante —se estimaba hace unos años que por cada diez jubilaciones se convocarían doce nuevas plazas (aquí; todo apunta a que las nuevas crisis en la universidad pueden rebajar dramáticamente ese ratio), adoptar un criterio que clasifique revistas científicas por su rigor académico permitirá romper con la discrecionalidad. Cuando no hay criterios, y la “calidad” se mide mediante el recuento de publicaciones con baremos elaborados a la carta, el sistema favorece de facto al doctorando que se queda: un programa de Economía local, tutores conocidos, publicaciones frecuentes en revistas accesibles y red de contactos consolidada. Y esta dinámica penaliza a quienes eligen una formación doctoral más exigente, con mayores costes de entrada y horizontes temporales más largos. En última instancia, la dinámica burocrática actual, sin criterios objetivos y transparentes, podría erosionar los incentivos hacia la verdadera excelencia académica (ver aquí).