Por Daniel Miles Touya y Luis Puch
En la última década, las publicaciones científicas con participación de investigadores españoles se han incrementado en un 50%, llegando a 95.000 artículos en 2024 —unas 250 publicaciones científicas por día, según Scopus. Este ritmo ha llegado hasta tal punto que se puede identificar a investigadores que publican dos artículos científicos al día (aquí). El coste estimado de estas publicaciones (muy heterogéneo entre diferentes revistas) rondaría los 100 millones de euros anuales, entre tasas de publicación y acuerdos de la CRUE con editoriales (ver aquí, aquí y aquí).
Ante estas cifras, parece razonable preguntarse quién garantiza a la sociedad que los artículos científicos financiados en su inmensa mayoría con dinero público se traducen en aportaciones realmente relevantes y cumplen con los estándares de integridad académica. Más aún cuando el incremento sostenido en la producción científica convive con episodios cada vez más frecuentes que ponen en cuestión la integridad del proceso científico.
Un estudio reciente publicado en Proceedings of the National Academy of Sciences alerta de que el volumen de publicaciones científicas fraudulentas está creciendo a un ritmo que supera con creces al de la ciencia legítima (aquí o aquí). Y esto sin tener en cuenta aún la reciente generalización del uso de la IA en la producción de artículos científicos (ver aquí, y aquí sobre buen uso). Aunque es difícil cuantificar con exactitud, se estima que entre un 2 % y un 3 % de los artículos publicados globalmente contienen fabricación o manipulación de datos (aquí o aquí). Aun cuando estas cifras son reducidas -dicho de otro modo, el 98 % de la investigación publicada sería legítima-, los resultados de estudios fraudulentos tienden a difundirse ampliamente y pueden permanecer más tiempo en la memoria colectiva, erosionando la credibilidad científica y deteriorando la confianza pública en la investigación (aquí, aquí o aquí).
Un posible motivo que explica este crecimiento son los incentivos que genera el publish or perish cuando la carrera de un investigador depende más del número de publicaciones que de su calidad, tal y como parece suceder en un número no menor de institutos de investigación y universidades públicas (ver aquí o aquí). La evidencia sugiere que este sistema de incentivos no es neutral: bajo presión por publicar, los investigadores descuidados o deshonestos obtienen ventajas sistemáticas sobre los diligentes (ver aquí o aquí). A veces se trata incluso de un patrón común entre los investigadores de una misma institución (a vigilar, como se proponía aquí con Antonia Díaz).
Por otra parte, no toda la ciencia descuidada o deshonesta (o fraudulenta) se distribuye uniformemente entre las revistas académicas. La evidencia disponible apunta a que tiende a concentrarse en revistas de escaso rigor académico (ver aquí o aquí). Esta distribución puede no ser casual: el modelo de negocio predominante en muchas de estas revistas genera incentivos para maximizar el volumen de publicaciones a costa del rigor editorial, convirtiendo la laxitud en una ventaja de mercado (aquí).
Para poner unos números a la escala del caso español, si al volumen de publicaciones se aplicara la estimación conservadora del 2 % de artículos con posibles problemas de fabricación o falsificación de datos, ello equivaldría a unos 1.800 trabajos potencialmente fraudulentos en 2024. Quizás sorprende, sin embargo, que la base de datos de Retraction Watch (aquí) recoge tan solo en torno a 700 artículos retractados con afiliación en instituciones españolas tras considerar el acumulado en todos los años disponibles.
Esta aparente brecha entre el fraude estimado y el detectado podría interpretarse como una señal alentadora a la pregunta de inicio de esta entrada. Sería en ese caso que en España funcionan adecuadamente tanto los criterios que desincentivan la publicación en revistas de escaso rigor —donde el fraude tiende a concentrarse— como los incentivos que promueven la replicación de resultados —el principal mecanismo disuasorio—. Lo paradójico es que, en España, en la mayor parte de los casos, no parecen observarse criterios particularmente reconocibles o incentivos especialmente adecuados. El propósito de esta entrada es referirnos a criterios e incentivos para garantizar la integridad científica.
Criterios que desincentiven publicaciones en revistas de escaso rigor académico
Mientras que países especialmente atentos a la rendición de cuentas del gasto público —como Noruega, Finlandia o Bélgica— han elaborado criterios para clasificar revistas por relevancia académica compatibles con el Manifiesto de Leiden, España carece de un protocolo objetivo, unificado, público y transparente que desincentive contribuciones científicas de escaso rigor académico.
Esta ausencia de criterios no es inocua en un contexto de publish or perish y en donde la definición de qué constituye "buena investigación" queda sometida a menudo a la discrecionalidad de los grupos dominantes en ciertos ámbitos en los que prevalecen altas tasas de endogamia, que es en sí misma un incentivo a publicar en las revistas que menos resistencia oponen (ver aquí o aquí).
Es importante tener presente que el incremento desproporcionado de publicaciones de bajo impacto no afecta por igual a todas las instituciones. En algunas universidades y en ciertas áreas, como por ejemplo conocemos bien en el caso de Economía, hay grupos de investigación bien establecidos que han desarrollado protocolos internos exigentes orientados a maximizar su reputación internacional al más alto nivel. Así, la investigación que se valora tiende a concentrarse en lo que se refiere a las revistas de mayor prestigio internacional: se valora calidad A o A+, muy por encima de cantidad.
Aunque disponer de un criterio es preferible a no tener ninguno, puede ocurrir que filtros muy rígidos no sean aplicables a toda la comunidad investigadora, que lo es a distintos niveles de excelencia. Además, dichos filtros pueden generar efectos no deseados, entre otros: distorsionan la evaluación de trabajos de calidad académica relevante pero situados en niveles B o C, limitan la movilidad entre escalas de excelencia y consolidan jerarquías internas difíciles a veces de justificar exclusivamente por razones científicas (ver aquí o aquí)
Sin embargo, lo sorprendente es que implementar un criterio de mínimos — vinculante y aplicable a todas las universidades públicas— compatible con el Manifiesto de Leiden (i.e., que supere los posibles inconvenientes mencionados arriba) y orientado a desincentivar la publicación en revistas de menor rigor académico, no parece tener una complejidad técnica significativa, y sería mucho más eficiente que evaluar artículo por artículo (aquí). Un ejemplo ilustrativo es adoptar el sistema noruego de clasificación por niveles de relevancia científica (ver aquí): si a los 5.958 artículos españoles del área de Economía, Empresa y Finanzas publicados en 2024 según Scopus se les aplica este sistema, menos del 10% de esos artículos se clasificaría en revistas de alto prestigio académico. Entre ese extremo, y el opuesto, el del fraude, hay sin duda un espacio enorme a clasificar.
Además, la evidencia sugiere que los investigadores responden a las señales creadas por criterios adecuados. Durante el breve periodo en que la ANECA comunicó públicamente que la revista Sustainability no se adecuaba a determinados estándares científicos, los investigadores ajustaron de manera apreciable sus patrones de publicación.
En suma, la ausencia de criterios tiene, en el contexto actual, dos efectos simultáneos: orienta las publicaciones hacia las revistas que menos resistencia oponen —donde los estándares de revisión son más laxos y la detección del fraude, más difícil — y priva a la sociedad de una señal clara sobre qué investigación es rigurosa — como lo sugieren ejemplos ilustrativos (ver aquí o aquí o aquí).
Incentivos para replicar
A lo anterior se añade que no existen incentivos para que los investigadores repliquen resultados ya publicados, a pesar de que la replicación constituye uno de los pilares fundamentales para la credibilidad del sistema científico (ver aquí o aquí). Y esto a pesar también de que cada vez existen más iniciativas para coordinar la posibilidad de reproducir y replicar la investigación publicada en las mejores revistas (por ejemplo, aquí), que a su vez vienen desarrollando desde hace tiempo las políticas de acceso a códigos y datos de los artículos que publican (aquí o aquí, y sobre lo que ya se ha escrito en Nada es Gratis, aquí no hace tanto). Por supuesto, para los artículos excelentes, la motivación para reproducir y replicar se refiere sobre todo al interés del propio investigador que se aplica a ello.
La revisión por pares no puede garantizar por sí sola la integridad académica. Y la literatura de bienes públicos muestra que, en ausencia de mecanismos que desincentiven conductas fraudulentas y modifiquen las creencias sobre el comportamiento de otros investigadores, estos sistemas tienden a deteriorarse progresivamente (aquí).
Para un investigador, demostrar que un resultado publicado por otros no puede ser replicado (aquí) o identificar inconsistencias metodológicas (aquí), o mostrar la mera inclusión ex post de autores (aquí) u otras conductas poco éticas (aquí o aquí), no le reporta ningún beneficio profesional. A diferencia de lo que ocurre con un whistleblower en el ámbito de la política de competencia o en sectores regulados, nada invita a la replicar resultados publicados (ver aquí o aquí). A esto hay que sumarle el aislamiento profesional que provoca replicar según a quién en el entorno institucional actual y el coste de oportunidad: ese tiempo podría dedicarse a publicar artículos propios, que es lo que realmente compensa.
Esta falta de incentivos se ve agravada todavía más cuando, tras replicar y detectar comportamientos presuntamente anómalos, se observa que nada parece haber cambiado y, por ejemplo, que se continúa financiando el mismo tipo de investigación con fondos públicos sin aplicar filtro alguno (aquí). Este hecho envía una señal inequívoca: identificar errores o malas prácticas no solo no se reconoce, sino que parece resultar irrelevante en el actual entorno institucional. Algo que podría llegar a no ser así en otros entornos (ver aquí).
En definitiva, a diferencia de Bélgica, por ejemplo, que financia explícitamente estudios de replicación con fondos públicos, en España no existe ningún mecanismo que incentive a replicar lo que ya se ha publicado (aquí).
En conclusión
De la misma manera que la ciudadanía no examina uno a uno los medicamentos que consume, sino que deposita su confianza en un sistema regulatorio que garantiza su seguridad y eficacia, también debería poder confiar en la existencia de una señal nítida que distinga las publicaciones científicas rigurosas de las que no lo son. Esa señal, sin embargo, no existe hoy en España, y su ausencia no es inocua: distorsiona los incentivos, empuja a los investigadores hacia revistas con menores exigencias y deja sin respuesta una pregunta legítima —qué investigación es realmente fiable y merece ser financiada con dinero público (aquí).
Es más, en un entorno en donde la universidad pública afronta un relevo generacional importante —se estimaba hace unos años que por cada diez jubilaciones se convocarían doce nuevas plazas (aquí; todo apunta a que las nuevas crisis en la universidad pueden rebajar dramáticamente ese ratio), adoptar un criterio que clasifique revistas científicas por su rigor académico permitirá romper con la discrecionalidad. Cuando no hay criterios, y la “calidad” se mide mediante el recuento de publicaciones con baremos elaborados a la carta, el sistema favorece de facto al doctorando que se queda: un programa de Economía local, tutores conocidos, publicaciones frecuentes en revistas accesibles y red de contactos consolidada. Y esta dinámica penaliza a quienes eligen una formación doctoral más exigente, con mayores costes de entrada y horizontes temporales más largos. En última instancia, la dinámica burocrática actual, sin criterios objetivos y transparentes, podría erosionar los incentivos hacia la verdadera excelencia académica (ver aquí).
Hay 8 comentarios
Enhorabuena por el post. Muy oportuno, bien documentado y argumentado.
Sólo quería hacer unas puntualizaciones. Hay pocas retractaciones porque el proceso de retractación es muy largo, complejo y costoso para el editor de una revista, y editores asociados, en su caso. Tengo experiencia en situaciones así. Hay derechos y salvaguardas que respetar y mucha ida y venida de correspondencia con el autor y la editorial. Se asume una carga considerable. Y los editores están sobrepasados por miles y miles de envíos a un número creciente de revistas.
Con respecto a las conclusiones, quizá habría que desarrollarlas más y explicar quiénes, con autoridad, pueden tomar decisiones al respecto y qué medidas concretas adoptar que sean compatibles con los incentivos de las autoridades y eficientes. Los autores ya apuntan algunas.
Muchas gracias Teodosio. Contesto conjuntamente con Daniel:
En cuanto a combatir las revistas con escaso rigor académico, la AEI algo hace, pero la ANECA/Agencias de calidad autonómicas hacen poco todavía. Lo que decimos es que estas instituciones tienen que hacer más, y hay varios modelos a seguir. Una opción, como decimos, sería adoptar directamente un sistema de clasificación como el noruego. Otra sería delegar la definición de criterios en comités internacionales de investigadores de alta reputación que establezcan señales creíbles de calidad.
Por otro lado, como apuntamos en la entrada (cuando decimos “[…] patrón común entre los investigadores de una misma institución […]”), y hemos elaborado en otras entradas (con Antonia Díaz), la ANECA podría evaluar unidades de investigación (departamentos e institutos). La ANECA-2007 frente a nada, ha cumplido una misión. Pero para cumplir con la ANECA, los profesores han modificado su comportamiento (Ley de Goodhart). Quizá lo que sí se puede hacer desde dentro del propio sistema es evaluar a la población que es distinto de evaluar a los individuos. Quizá así se puedan filtrar los casos más sangrantes. Quizá así algún día la financiación pública de las universidades pueda estar condicionada a los resultados de investigación.
Que la ciencia sea reproducible y replicable es tarea de todos. Como dices, no parece fácil. Quizá pequeños avances traigan grandes cambios. Cualquier avance en esta dirección servirá para reducir el espacio que ocupan las revistas predatorias y cuasi-predatorias, y el de los investigadores que se apoyan en ellas.
Siempre presentes: la Ley de Goodhart/Campbell y la Critica de Lucas. Además, recordad: Baker (1992), Holmstrom y Milgrom (1991). Así que si queréis incentivos, cread mercados y olvidad la planificación.
Pues sí, más mercado hace falta. Pero el mercado funciona si la calidad es observable (Akerlof, 1970). De eso va la entrada: hay que garantizar mecanismos creíbles de señalización de la calidad.
Estimado Luis,
Pensemos en la variable totalidad de los publicaciones como el contenido de una bandeja de correo electrónico. A esta bandeja llegan mensaje deseados (de calidad) frente a no deseados (baja calidad o calidad insuficiente).
El mecanismo que se me ocurre para evitar el spam investigador, aparte del marcado manual (revisión por pares), es extraer los datos (criterios de evaluación e impacto) presentes en millones de evaluaciones y entrenar con ellos un modelo adaptado a cada área de conocimiento.
Es decir, teniendo los criterios que aplicamos los humanos sería una IA autónoma sin incentivos perversos, neutral y objetiva la que asumiese la catalogación de una determinada publicación (A+,A,B,C). Esta técnica perfeccionada y revisada por sus resultados podría ser complementaria con la revisión por pares tradicional. De hecho podría haber varios agentes de IA entrenados (revisión por pares autónoma) para confluir en un dictamen o resolución de publicación.
En resumen, creo que lo que tenemos sobre la mesa, al margen de los incentivos, es fundamentalmente un problema de volumen de información que debe ser ordenada y calificada. La IA en este sentido es el elefante en la habitación.
Saludos.
Interesante y oportuno post. Enhorabuena a los dos.
Parte de la explicación de por qué se usa la bascula de pesar a la hora de evaluar los méritos investigadores puede estar en los propios CVs de los responsables de nuestras agencias de investigación, como la propia Aneca. Por ejemplo, en su dirección o en los últimos premios nacionales de investigación en Ciencias Sociales otorgados por el Ministerio del ramo, se encuentran CVs con publicaciones en revistas predatorias como Risks o Sustainability.
A efectos ilustrativos reproduzco las instrucciones a los autores de esta última revista:
On average, a first decision is provided to the authors 17.9 days after submission, and papers are accepted for publication in 3.6 days (median values for papers published in this journal in the second half of 2025). An article processing charge (APC) of CHF 2400 (2600 Eu) currently applies to each accepted paper. Discounts are available for authors from institutions that participate in MDPI's Institutional Open Access Program.
En casa del herrero, cuchillo de palo.
Muchas gracias, Juanjo. A ver si alguien hace algo antes de que unos pocos se carguen (casi) todo: los de escaso rigor desplacen al rigor que no llega a la excelencia (que uno diría que aún está a salvo).
Gracias a todos los equipos (presentes y pasados) de Nada es Gratis. Echaremos de menos vuestras entradas.
Si la evaluación de la investigación “al peso” por parte de la ANECA (centrada en el número de publicaciones) ha llevado a la proliferación de revistas predatorias y al deterioro de la calidad de la investigación, podemos imaginar qué efectos tendrán ahora los nuevos requisitos mínimos para la acreditación en docencia y liderazgo.
El requisito de haber dirigido un número mínimo de tesis y TFM introduce un incentivo claro para reducir el rigor exigido en estos trabajos con tal de atraer a más estudiantes. Eso, inevitablemente, repercutirá en la calidad de las tesis y TFM. A su vez, para captar más doctorandos, parte del profesorado podría facilitar que estos se integren en su propio departamento, fomentando la endogamia y sentando las bases para un nuevo deterioro futuro de la investigación.
Si el objetivo inicial de la ANECA era combatir los “reinos de taifas”, las nuevas exigencias parecen empujarnos en la dirección contraria. Además, se pasa por alto que las tareas docentes se asignan en los consejos de departamento. Con todo ello, cada vez le veo menos sentido a la existencia misma de la ANECA.