En la entrada anterior describí el problema que supone el coste de la suscripción o el acceso a los resultados científicos: bien mediante suscripción pagada por instituciones, bien mediante pago por los autores para hacer accesibles sus trabajos, al final usted acaba pagando por los resultados de una investigación que usted mismo ha financiado. En ese post concluía que era necesaria una acción conjunta de toda la comunidad investigadora, pero que era muy difícil precisamente por la manera en que las editoriales han alcanzado su posición dominante, que es lo que hoy le vengo a contar.
Hace, digamos, 100 años, decidir si un científico era bueno, muy bueno, malo o regular era bastante fácil. Había pocos, se conocían casi todos entre sí, y seguían las investigaciones unos de otros, con lo cual podían tener una opinión fundada de la valía de cada uno (ya, sí, ya sé que luego la gente es muy mala y puede dejarse llevar por subjetividades, pero olvidémonos de eso por el momento). Hoy en día, esto ya no es así, porque en el mundo hay decenas, centenares de miles de investigadores en activo; algunas estimaciones hablan de un par de millones. Bueno, como sea, pero convendrá conmigo, amigo lector, en que hay muchísimos y que no es posible conocerlos a todos. En algunos campos muy, muy específicos quizá sí, pero en general no. Aquí es cuando surge el problema de cómo evaluar la actividad de los investigadores y, sobre todo, de como seleccionarlos cuando varios optan a un puesto de trabajo.
La solución con la que hemos dado se basa, y aquí está el quid de la cuestión, en las publicaciones. Como no conozco a esas personas, me miro lo que publican a ver si es interesante y si contribuyen realmente al avance del campo. Suena bien, pero no es posible porque simplemente no hay tiempo para hacer esto cuando uno tiene grandes números de solicitantes para un puesto. Así que la primera solución fue hacer una evaluación un poco "de bulto", o "al peso": el que más publica es el mejor, algo que se ha traducido en el famoso slogan "publish or perish" (publica o muere). Espero no necesitar convencerle de que este criterio es bastante malo, por múltiples motivos, pero el principal es que incentiva la publicación de resultados parciales, cuanto más troceaditos mejor, y el dedicarse a problemas facilitos que permitan tener publicaciones rápidamente y seguir incrementando el currículum. El problema de fondo es que este criterio al peso no nos habla de la calidad ni del impacto que tiene la investigación del evaluado.
Y aquí es dónde entran las ideas de Derek de Solla Price y Eugene Garfield, que en la década de los 60 pensaron que la mejor manera de estimar la calidad de una publicación era mirar si los demás científicos se hacían eco de ella, es decir, si la citaban en sus propios trabajos. Esto tiene bastante más lógica que pesar todas las publicaciones de un investigador por igual, claramente. Así nació el campo de la bibliometría, que algunos consideran un subcampo de algo más ambicioso llamado cienciometría. Garfield creó el Institute for Scientific Information (Instituto para la Información Científica) para recopilar esta información e inventó un producto llamado Journal Citation Reports (Informes de Citas de Revistas), que de ser una buena idea y un instrumento útil acabó convirtiéndose en el origen de todos los males y, en particular, de la posición dominante de las revistas.
La cosa es que en un momento dado se empezó a considerar no sólo cuánto se citaban los trabajos de cada autor, sino qué revistas se citaban más, para clasificarlas también por su importancia, y para eso se definió algo llamado impact factor (factor de impacto), que no es más que el número de citas que reciben los artículos publicados en una revista en los dos últimos años, dividido por el número total de artículos que ha publicado, lo que viene siendo una especie de número de citas medio por artículo. Y ahí es cuando nació lo que en su día llamé el papel couché de la ciencia: el grupo selecto de revistas en el que hay que publicar para tener prestigio y opciones de acceder a buenos trabajos de investigador, y que en economía se suele llamar las top five. Y en algún momento, quizá por la proliferación de investigaciones y publicaciones, se produjo la perversión de pasar a mirar las citas de un investigador a mirar dónde publica, y a considerar que publicar en las revistas con mayor factor de impacto es el sello de calidad a tener en cuenta.
Esto es una absoluta, insisto, perversión por varios motivos (y tiene muchas consecuencias indeseadas como las que discutí en su día), pero me voy a centrar en dos de ellos. El primero es que la media de citas de una revista no quiere decir nada. Como ejemplo, pongo debajo la distribución de las citas de Nature (último factor de impacto, 40.137, uno de los más altos de todos los campos científicos), Nature Communications (último factor de impacto, 12.124) y Scientific Reports (último factor de impacto, 4.259) que he tomado de la propia Nature.
Como vemos, la mayoría de artículos no llegan ni de lejos al valor indicado por el factor de impacto, porque la distribución tiene una cola larga: hay unos pocos artículos que reciben muchísimas citas, y el resto son, por así decirlo, del montón. Así, las modas (número de citas más frecuentes) de esas distribuciones son (a ojo) 12, 5, y 1; y además, hay muchos artículos que reciben 0 citas. El factor de impacto, pues, no da una idea correcta de las citas de los artículos. Lo cual conduce directamente al segundo problema del uso del factor de impacto: que estamos valorando un artículo por el medio en que se publica, no por su valor intrínseco, y a veces la valoración será correcta, pero en general será un completo disparate. Es interesante notar aquí que las revistas con mayor factor de impacto también son las que acaban retirando más artículos incorrectos.
Y de todo este mundillo es de dónde sale la posición dominante de las grandes editoriales de publicaciones científicas. Primero, porque dominan la mayoría del mercado y para ser evaluado como científico hay que publicar en sus medios. Y segundo, porque tienen revistas insignia, con gran factor de impacto, en las que todos intentamos publicar para obtener prestigio y salir en los medios del gran público; si se fijan, casi todas las noticias de ciencia de la prensa se remiten a artículos de Nature, Science, PNAS, Cell o similares. Si, como sugería en mi post anterior, yo voy y dejo de publicar en revistas con factor de impacto, mi investigación deja de tener calidad, y paso a ser un paria científico. Y a mí, que tengo una carrera más que consolidada y que como funcionario puedo dedicarme a cobrar sin trabajar, me puede importar más o menos, pero la gente joven, que empieza en esto de la investigación, está totalmente cogida en este círculo vicioso y no puede escapar. Máxime cuando se usan criterios tan absurdos como los del Ministerio de Economía para evaluar las convocatorias para centros de investigación Severo Ochoa y María de Maeztu, que para identificar investigadores especialmente relevantes les piden que el 75% de sus publicaciones estén en las revistas del 25% más citado de su campo, lo cual lleva a que si uno tiene un artículo en Nature es mejor que otro que tenga 70 artículos en Nature y 30 en revistas "de medio pelo". No parece que este tipo de criterios esté realmente seleccionando la mejor ciencia, pero si quiero participar en esas convocatorias tengo que entrar en el juego y tener cuidado con donde publico. No hay que evaluar los currícula al peso, pero de ahí a que una publicación más cuente negativo, va un abismo.
Y esta es, al final, la única solución que puede tener este problema. Hablaba en mi post anterior de boicots más o menos exitosos contra ciertos grupos editoriales, o ciertas revistas, pero eso, sufrido lector, no va a ningún lado. Lo único que realmente cambiaría el juego es que todas las instituciones adoptaran la Declaración de San Francisco, más conocida por sus siglas DORA, que insta a todos los agentes del ecosistema de la investigación a abandonar prácticas de evaluación basadas en factor de impacto, y a utilizar el contenido de los resultados como verdadero criterio de selección. Obviamente, esto no nos va a hacer la vida más fácil, porque evaluar CVs exigirá hacer el esfuerzo de enterarse de qué han hecho los investigadores y que relevancia tiene para su campo, pero el hecho de que hacer algo sea difícil no es excusa para seguir haciéndolo mal. Por otro lado, esto traslada el problema de que muchísimos investigadores, cientos de miles, como dije antes, se coordinen y decidan todos a una abandonar el sistema tradicional de publicación, a otro a nivel de instituciones, unos cuantos miles, que son las que realmente tienen el poder de sacudirse y sacudirnos esta explotación de encima. Por ahora, DORA no ha sido particularmente exitosa, pero el mensaje empieza a calar, y cuántos más, investigadores y público en general, conozcamos el problema y pidamos una solución a este despilfarro y a los absurdos que conlleva, más calará. A ver si dentro de cinco años puedo escribir que ha sido así.
Nota: el día antes de aparecer este post en NeG ví este documento del INET para el G20 hablando de exactamente esto mismo en el caso de Economía, donde la posición dominante la tienen las Top 5 en colusión con algunas universidades como ya he dicho. Must read.
Hay 12 comentarios
Luego, las citas de un artículo tampoco son un indicador infalible de calidad. Los artículos "resumen" o "metaestudios" son muy citados, y artículos muy fundamentales han sido poco citados por el hecho que la importancia se ha descubierto muchos años después (Higgs, por ejemplo).
Gracias, Alnair, totalmente de acuerdo.
Anxo, partamos por reconocer que hay una competencia fuerte entre investigadores en cada una de las disciplinas. Un par de millones de investigadores distribuidos por todo el mundo no es relevante porque cada investigador compite en su disciplina —hablemos de muchos mercados científicos cada uno especializado en alguna disciplina.
En poco tiempo, superados los efectos horribles de las dos guerras mundiales, la humanidad se ha vuelto rica, muy rica (a pesar de intentos para impedirlo). Las demandas por bienes tangibles e intangibles han aumentado fuerte y las ofertas también, pero no todas las viejas y las nuevas demandas son “bien” satisfechas. Hoy cada adulto es oferente en uno o unos pocos mercados pero demandante en muchos. Más allá de problemas de demanda en algunos mercados, seguimos teniendo problemas serios en la competencia entre oferentes para satisfacer demandas, en particular la intervención coactiva de gobiernos para controlarlos. Cada oferente primero necesita financiarse para asegurar su acceso a la competencia, y luego debe mantenerse y superarse durante la competencia para no tener que volver al punto inicial de otra competencia. Sí, antes todo era más fácil porque éramos menos y las mayorías pobres, pero más importante porque la política y otros factores impedían la integración territorial de los mercados.
En Parte I afirma que los intermediarios de la difusión no aportan nada pero ganan mucho. No necesito defender a los intermediarios porque en todas las actividades humanas encontramos oferentes de servicios auxiliares (complementarios) a la producción que se vuelven necesarios, o convenientes. En cada servicio auxiliar la competencia entre oferentes puede o no ser fuerte, y si en algunos uno o unos pocos oferentes consiguen posiciones dominantes, entonces debemos entender cómo persisten porque la historia muestra lo difícil que es mantener esas posiciones.
Se llega a una posición dominante por suerte o por intervención estatal. A la suerte hay que ayudarla con mucho esfuerzo personal, organizando buenos equipos cuyos tamaños crecen más por resultados que por ilusiones. A la intervención estatal hay que amarrarla por adelantado, pagando un alto precio por acceder y también por excluir a otros. No se si los intermediarios referidos en Parte I y que aparentemente tienen posición dominante la consiguieron de una u otra manera. Lo que si tengo claro es que hay varias alternativas para que los investigadores circulen sus productos y no es nada claro cómo eligen entre esas alternativas. Mientras no expliquemos las decisiones de los investigadores —demandantes del servicio auxiliar— y cómo sus decisiones han cambiado por la fuerte competencia entre ellos, la especulación sobre las conductas de las empresas que ofrecen ese servicio entretiene pero no convence.
En Parte II destaca las graves dificultades para determinar la calidad de la investigación científica. El problema es serio y justifica mecanismos de evaluación, en particular mecanismos independientes de los investigadores. Sabemos, sin embargo, que no hay y jamás habrá un mecanismo perfecto —ni para evaluar candidatos a posiciones de investigación, ni propuestas de investigación, ni los procesos y los resultados de las investigaciones, ni el desempeño de los investigadores. El problema era serio cuando éramos pocos y pobres y hoy mucho más porque somos muchísimos y ricos. Sí sabemos que esa calidad depende de la personalidad de los investigadores y de los incentivos para su trabajo en distintos tipos de organización, aunque ambos factores han sido poco estudiados (a las congregaciones de la Ciencia se las trata con el mismo miedo que a las congregaciones de la Iglesia Católica).
El resto de Parte II refiere a varias situaciones que muestran el caos de la masificación repentina de la investigación científica. Sí, una competencia fuerte entre investigadores, incluso a nivel de disciplina “mínima”, que hace difícil generar soluciones cooperativas. Todavía sobreviven algunas soluciones viejas pero son incapaces de incluir a investigadores jóvenes, algo común a experiencias en otras actividades. Más que grandes acuerdos parece necesario entender por qué el ciclo de vida de las viejas estaría llegando a su fin y qué reformas podrían extender sus vidas.
Gracias, Anxo por el post. Expone la situación de manera diáfana. A partir de ahora recomendaré su lectura a todos los estudiantes que me preguntan sobre el tema.
Gracias, Bartolo!
Mi supervisor: La verdad es que estoy un poco cansado de publicar siempre en revistas como Nature o Nat. Photonics, deberíamos tranquilizarnos un poco, no pasa nada por publicar en otro tipo de revistas de perfil más bajo.
También mi supervisor: Esto tenemos que enviarlo a Nature Materials
Hola Anxo,
Gracias por la entrada. Que gran verdad, pagamos por comprar lo que producimos. De nuevo, el origen del problema no esta en el ranking (de journals), sino la utilidad que se da a dicho ranking.
The Guardian ya hacia un repaso historico de este tema hace unos meses, en un articulo que quizas conozcas: https://www.theguardian.com/science/2017/jun/27/profitable-business-scientific-publishing-bad-for-science
Saludos
Gracias Patricia, sí, lo había visto, de hecho alguien lo recordó ayer en Twitter... Y efectivamente, el ranking, como todo ranking, no es malo ni bueno; depende de para qué se use
Hola Antxo:
Como siempre un placer leer tus posts.
Resalto una frase que me ha helado la sangre " Y a mí, que tengo una carrera más que consolidada y que como funcionario puedo dedicarme a cobrar sin trabajar, (...)" Estoy seguro de que si lo dices es porque es una posibilidad cierta y me atrevo a decir que lo has visto durante tu vida profesional.
A mi, que trabajo en una multinacional con varias decenas de miles de empleados, contemplar esa opción y no digamos ya intentar ejecutarla, supondría el abrupto fin de mi relación laboral. A lo mejor esa actitud acomodaticia de algunos funcinvestigadores (palabro, lo siento) a la que aludes permea en el resto y paraliza que la acción coordinada de muchas mentes brillantes evite que un grupo reducido de avispados intermediarios os robe la cartera.
P.S. ¿Alguna valoración a priori sobre el nuevo ministro del nuevo ministerio de Ciencia, Innovación y Universidades?
Gracias Aciex, es Anxo sin la t, pero aparte de eso, gracias por leerme y por tu comentario. Claro que es una posibilidad cierta lo de cobrar sin trabajar: mientras dé no demasiado mal mis clases y no mate a ningún alumno, seguiré teniendo mi puesto investigue o no, cobrando casi igual. Y sí, claro que hay gente que lo hace. Tengo la suerte de estar en una Universidad que tiene un alto porcentaje de profesores/investigadores muy dedicados y motivados, pero te aseguro que no llega al 100%. Así es la vida!
El nombramiento del nuevo Ministro me parece muy bien: Le escribo mañana y todo! Espero que me leas.
Los comentarios están cerrados.