La investigación en cuarentena: evidencias de una distorsión en la ciencia.

Texto: Jordi Paniagua
Ilustración: Carlos Sánchez Aranda

La investigación tiene su propia curva de contagio y propagación. La producción científica relacionada con la COVID-19 ha crecido como pocas veces se había visto antes. Según Google Scholar, una herramienta de búsqueda de artículos académicos, en lo que va de año se han publicado más de 50,000 artículos relacionados con la COVID-19. Como se aprecia en la figura 1, Web of Science (WOS), el repositorio de los artículos con mayor calidad científica, alberga casi 12.000 artículos con revisión por pares. El crecimiento semanal medio de artículos es de un 21.7%. Esto significa que el número de artículos científicos sobre la pandemia se multiplica por dos cada 25 días aproximadamente.

Figura 1: Número de artículos semanales sobre la COVID-19 en WOS.

La COVID-19 ha despertado interés en muchas universidades y centros de investigación de multitud de países. Curiosamente, las universidades españolas siguen sin aparecer entre las primeras 200 instituciones académicas en publicaciones sobre la COVID, aunque ese es otro tema que ya se ha tratado con detalle muchas veces este blog y otros blogs (por ejemplo aquí y aquí).

Figura 2: Artículos sobre COVID-19 en WOS por países

Las áreas de investigación son principalmente medicina y tecnologías médicas, seguidas a cierta distancia por las ciencias sociales. Por sub-áreas, la epidemiología y las enfermedades infecciosas copan el 40% de los artículos. En cambio, en economía apenas llegamos a los 100 artículos. Por cada artículo publicado en economía se han publicado 25 en epidemiología.

Esto no significa que los economistas hayamos estado parados (la mayoría no necesitamos laboratorios). En lo que va de año se han depositado más de 1.000 artículos sobre la COVID en RePEc, y más de 2.000 en SSRN, dos repositorios de artículos y working papers en economía. El centro de investigación CEPR ha articulado el primer Journal económico en tiempo real: COVID Economics. Por consiguiente, la subrespresentación de la economía parece obedecer al muy particular y lento proceso editorial en economía del que se ha venido advertiendo aquí, aquí o aquí.

Figura 3: Artículos sobre COVID-19 en WOS por áreas de conocimiento.

Estos datos parecen sugerir que el coronavirus ha ensanchado una grieta abierta en el campo de la investigación económica. La profesión ha reaccionado con una mezcla de compromiso (personificado por Richard Baldwin con su labor de difusión en VoxEU.org; y en España por la serie de posts en Nada es Gratis), y condescendencia (como la mostrada por Greg Kaplan, editor del Journal of Political Economy, una de las cinco revistas mejor consideradas en economía). Argumentaba aquí el profesor de Chicago que aún es demasiado pronto para tomarse en serio cualquier investigación económica sobre la COVID y que la investigación en las top-5 no tenía que distraerse comentando temas de actualidad (seguramente una síntoma de la top-5-itis).

La sociedad y resto de la comunidad científica demandan y esperan que la ciencia económica esté a la altura del reto que se plantea. La economía tiene mucho que aportar en esta crisis tanto para entender como para paliar los efectos de la gran reclusión. Por ejemplo, mediante cuarentenas selectivas (aquí) e instrumentos novedosos de los bancos centrales (aquí). Debemos exigir rigor, pero también eficiencia en la ciencia, o acabaremos publicando papers tan exactos e inservibles como el mapa con escala 1:1 del cuento de Borges.  Es tristemente paradójico que los economistas defendemos la eficiencia de los mercados, excepto para la asignación editorial de nuestros propios artículos, como señalaba el profesor de Stanford John Cochrane aquí. Ahora que nos hemos reconvertido a epidemiólogos, sería un buen momento para percatarnos que la ciencia se puede construir sobre unos cimientos editoriales rigurosos a la vez que eficientes.

No obstante, los datos agregados ponen de relieve que gran parte de la comunidad científica está trabajando intensamente: investigando y publicando de una manera proporcional al reto que supone la pandemia global y sus consecuencias. Esto sin duda manifiesta la importancia de la ciencia y la educación en nuestra sociedad. Sin embargo, el coronavirus está agrietando las lentes de la ciencia por vías menos visibles.

Es cierto que el espectacular aumento de publicaciones científicas no está exento de problemas e impone varios retos a la comunidad científica. 4,000 papers semanales supera la capacidad humana de leer, asimilar u organizar información, recuerden: Reading a paper a day, keeps ignorance away! Según señala la revista Science aquí, el ingente volumen de publicaciones está causando dificultades de búsqueda e identificación de los avances relevantes. Varias organizaciones científicas están contrarrestando la marea de papers con motores de búsqueda con inteligencia artificial.

Paradójicamente, el coste de los cristales rotos está en lo que no se ve: en la ciencia que se ha dejado de hacer. El mayor coste para la ciencia serán los artículos que se quedarán en cuarentena y dejaremos de escribir. Los motivos más visibles son el cierre de laboratorios (con la subsiguiente queja de los científicos aquí) y el aislamiento de los científicos que dificulta el flujo de ideas, como nos recuerdan aquí. Existe, en cambio, otro motivo más oculto y preocupante: un crowding-out o desviación de recursos, tiempo y esfuerzo de otras áreas hacia la COVID-19 resultando en una distorsión en la producción científica.

Para arrojar un poco de luz sobre este último asunto he estado analizando datos bibliométricos en cuatro áreas con el objetivo de poder distinguir entre los distintos efectos. La investigación en malaria debería distraer a más científicos, por ser un campo epidemiológico cercano al COVID-19. No obstante, este campo se puede ver afectado tanto por el cierre de laboratorios como por el aislamiento. Para ello, observaremos por un lado el comportamiento de los artículos sobre el cáncer, que es un campo relativamente lejano al epidemiológico, pero con laboratorios. Por otro, el comercio internacional, que es el que conozco más, y que se aleja tanto en temática como en uso de laboratorios.

Los resultados que arrojan un análisis preliminar de los datos se muestran en la tabla. La primera columna contiene el volumen total de artículos hasta mayo del 2020 por área en los tres principales repositorios científicos: Google Scholar y WOS. Conviene señalar que la WOS es más estricta en sus criterios de inclusión y por tanto muestra un subconjunto de publicaciones de mayor calidad.

La segunda columna muestra el porcentaje de los artículos en los que se solapan las áreas de conocimiento con la COVID-19. Es decir, por ejemplo, los que tratan sobre pacientes de cáncer con COVID. La tercera columna muestra la variación de los artículos de cada área que no tratan de la COVID-19 con respecto al mismo periodo del año 2018.

Como puede observarse, todas las áreas han sufrido un descenso en su producción científica con respecto a un año normal. La caída en la investigación de comercio internacional es parecida a la del Cáncer en WOS, e incluso inferior en Google Scholar, por lo que el cierre de laboratorios no parece estar afectando, de momento, significativamente. Se observa, en cambio, un descenso en la investigación en malaria mayor que en otras áreas con las mismas dificultades por el aislamiento. Este análisis sugiere que no podemos descartar un efecto adverso de la COVID-19 en la composición de la investigación. Además, agravada por el hecho de que el descenso es mayor en los artículos de mayor calidad. Si los investigadores han permanecido investigando en sus campos de especialización, deberíamos observar una reducción parecida en la investigación de malaria y cáncer, y una diferencia con respecto al grupo de control (comercio internacional). No obstante, habría que interpretar estos datos con cierta cautela ya que podría haber otras causas que explicaran este descenso. Sin embargo, apuntan hacia una dirección con unas consecuencias preocupantes.

Para cuantificar los efectos de la atracción de científicos que ejerce el coronavirus pensemos que la malaria causó más de 405,000 muertes durante el 2018. En lo que va de año, las muertes por COVID-19 suman 300,000. La ratio de artículos a defunciones por malaria es de 1:2.6, en el caso de la COVID es de casi el doble. Si la tendencia se confirma y se mantiene, corremos el riesgo de que el virus de lo que no se ve sea tenga más coste que el virus que nos mantiene encerrados. Es importante detener la COVID, pero no a costa de detener la ciencia.

Hay 7 comentarios
  • Interesante. Yo sin embargo puedo incluso verle una parte positiva. Se publican demasiados papers, muchos de los cuales tienen poco o ningún interés (incluyo muchos de los publicados en revistas indexadas sometidos a revisión anónima). También podría suceder, al contrario de lo que apunta, que la reducción haya afectado sobre todo a los malos y, en ese caso, habríamos de felicitarnos.

    • Gracias Enrique por tu comenterio. Efectivamente, este análisis preliminar no incide en la calidad de los artículos que la COVID ha desplazado. No obstante, los artículos publicados en WOS tienen son de mejor calidad que los otras bases de datos. Sería en todo caso un desplazamiento dentro de los artículos con mejor calidad.
      Pero este efecto se podría ver compensado por la posibilidad no descartable que la COVID haya atraído a los mejores investigadores. Por tanto, al menos una parte de los artículos que se han dejado de hacer, por ejemplo en malaria, también serían de buena calidad.
      Pero es una cuestión interesante a tener en cuenta en una investigación que profuncide en este tema, gracias!
      Jordi

  • "Ahora que nos (los economistas) hemos reconvertido a epidemiólogos..."

    Esto es interesante. Por qué ha ocurrido? Es positivo? Negativo? Algún debate, link o discusión sobre el particular?

    • Hola Miguelón,
      gracias por tus comentarios (y por tus 5 tours).
      En el libro "Rules of Contagion" de Adam Kucharski hay un pasaje en el que expone como el resto de las ciencias también han mirado un poco por encima del hombro a la epidemiología por la imposibilidad de hacer experimentos controlados.
      En el fondo, los modelos epidemiológicos tipo SIR son muy parecidos a los de las ciencias sociales, ya que modelizan el contacto humano o social.

      El argumento que quería hacer que con métodos parecidos los epidemiólogos como Kucharski han publicado en 2020 11 artículos en journals top (Lancet, BMJ...) y 9 en MedRxiv preprint. Mira su web: http://kucharski.io/academic/

      Salvando las diferencias entre campos, cuando nuestros papers lleguen al mercado editorial puede que acaben contribuyendo más a la perspectiva histórica que al debate económico y social actual.

      • Muchas gracias por la referencia! Parece muy interesante. Y no te olvides de los giros, mundiales, records... 😉

  • La malaria afecta principalmente a países pobres. Dudo que a los países ricos les interese curarla como les interesa curar enfermedades de países ricos como el cáncer.

Los comentarios están cerrados.