¿Caballo grande, ande o no ande?

Uno de los mantras más habituales de las agencias de financiación de la ciencia es que los grupos de investigación deben ser "grandes", que deben tener "masa crítica", para llevar a cabo investigación de calidad. Por ejemplo, en la última convocatoria de proyectos de investigación básica del Ministerio de Ciencia, se dice:

"Se pretende financiar proyectos de investigación que sean relevantes, ambiciosos, con alto impacto socioeconómico, evitando la fragmentación de grupos de investigación y fomentando las sinergias y la asociación de equipos en un proyecto único con el tamaño suficiente y masa crítica necesaria para afrontar los desafíos que la investigación española tiene en el contexto del Espacio Europeo de Investigación."

A mí esto siempre me ha parecido dudoso cuando menos, así que se puede usted imaginar, amigo lector, mi satisfacción cuando hace unos días vi en la revista Nature un artículo titulado "Large teams develop and small teams disrupt science and technology" (Los equipos grandes desarrollan y los pequeños son disruptivos en ciencia y tecnología). Los autores del trabajo son Lingfei Wu, Dashun Wang y James A. Evans, el primero y el tercero sociólogos en Chicago y el segundo físico y profesor de organización y de sistemas complejos en Northwestern. Para esta investigación, utilizaron datos de 42 millones de artículos científicos obtenidos de la Web of Science, con 611 millones de citas entre ellos; 5 millones de patentes de Estados Unidos, con 65 millones de citas, y unos 25 millones de proyectos de software obtenidos de la plataforma colaborativa GitHub. Como en muchos otros trabajos sobre impacto en ciencia, el material básico con el que trabajan son las citas, pero ahora usan un procedimiento introducido un par de años antes en el terreno del management (en este artículo) para obtener medidas de disrupción. La idea se puede ver en el siguiente gráfico:

Los puntos representan artículos (o patentes, o software; en lo sucesivo usaré artículos en genérico para todo) y las flechas son artículos que citan a otros. Si estamos analizando un artículo, el rombo grande del centro, lo que hacemos es mirar si los artículos posteriores (los que están por debajo) lo citan a él y/o a las referencias que él citaba. La idea es que algo es disruptivo si origina una reestructuración de la red de citas de manera que los investigadores posteriores se refieren a él en vez de a las cosas en las que él se basó. Midiendo referencias se obtiene un índice de disrupción que va de -1 a 1. En el centro tenemos un caso de D = -1, un artículo que solo ha sido un desarrollo más y que es citado junto con todas su referencias; a la derecha está el caso contrario, un artículo que hace olvidar todo aquello de lo que partía y ya sólo se le cita a él, por lo que D = 1; y a la izquierda tenemos un caso intermedio, con D = 0,en el que se cita al artículo y a algunas de sus referencias. Cuando se aplica el análisis a todos los datos de los que disponen los autores, obtienen la siguiente distribución de los valores de disrupción (ojo a los ejes que están en escala logarítmica):

Lo que vemos es que la gran mayoría de artículos son neutros, mientras que hay unos pocos con valores de D muy cercanos a 1 y otros pocos con valores de D muy cerca de -1. Los autores proponen un ejemplo de cada uno que me parece particularmente interesante. El ejemplo de artículo muy disruptivo es el famoso trabajo de Bak, Tang y Wiesenfeld sobre criticalidad auto-organizada (al que se refieren como BTW por las iniciales de sus autores). Sin entrar en detalles, es un trabajo que conozco muy bien y es de los pioneros en el campo de los sistemas complejos e introduce una idea revolucionaria (si bien hoy en día se ha relajado un tanto el entusiasmo sobre ella) que es la de que los sistemas evolucionan por sí mismos hasta estados "críticos", en los que tienen propiedades especiales y en particular pueden responder muy intensamente a pequeños cambios del ambiente. A mí personalmente me parece lógico que este artículo tenga D = 0.86. El ejemplo contrario es un artículo sobre condensación de Bose-Einstein que le valió a Wolfgang Ketterle el premio Nobel de física en 2001, que tiene un número de citas muy similar al de BTW y está publicado en la misma revista, pero que siempre es citado con los originales de Bose, de Einstein y algunos otros resultados básicos que también él cita. Los autores hacen además otras validaciones (más serias que un simple ejemplo) de este índice y encuentran que los resultados efectivamente están ligados a lo disruptivo del artículo de que se trate.

Con esto estamos ya en condiciones de ir al resultado central del trabajo, que es el estudio de cómo depende la disrupción del tamaño de los grupos que intervienen en el artículo. El 98% de los artículos analizados están hechos por grupos de entre 1 y 10 autores, así que vamos a centrarnos en este rango. Los resultados se recogen en las siguientes gráficas separadamente para artículos científicos, patentes y software:

En estas gráficas, la curva verde representa el percentil que ocupa la disrupción media de los grupos de cada tamaño, mientras que la roja representa la mediana de sus citas. Como se ve claramente, la disrupción baja con el tamaño de los grupos de manera muy acusada, sobre todo en artículos y software. Por el contrario, las citas suben con el tamaño de grupo, por lo que si solo miramos el impacto a través de las citas da la impresión de que grupos grandes tienen más impacto. En el artículo los autores comprueban que este se resultado se mantiene controlando por año, por temas, por autores, por número de figuras del artículo (por si los resultados empíricos fueran menos disruptivos que los teóricos o viceversa) y por disciplinas (excepto, en este último caso, en ingeniería e informática, discrepancia que achacan a que la Web of Science recoge poco de la disrupción en estos campos que muy a menudo publican sus mejores resultados en congresos). En particular, que controlar por autores no cambie los resultados quiere decir que no es que los grupos pequeños estén compuestos por mejores investigadores, que podría ser una explicación para los resultados. Los resultados son también robustos frente a modificaciones del índice de disrupción, por ejemplo excluyendo auto-citas o citas con poco impacto.

Así pues, la evidencia en favor de que los grupos pequeños son más disruptivos parece bastante sólida. Los autores sugieren que un factor importante que podría originar este resultado es que los grupos grandes necesitan financiación de manera continua para sobrevivir, lo que les hace estar más preocupados por posibles fracasos y la pérdida de reputación que conllevan. De hecho, otros estudios han mostrado que la investigación de grupos pequeños con poco que perder y mucho que ganar suele orientarse hacia ideas más nuevas, y por otro lado que las dinámicas de los grupos pequeños también son distintas de las de los grandes.

Está claro que esto es un toque de atención a la manera en la que se diseña la política científica de países y organizaciones y, en particular, sobre la pertinencia de insistir en financiar grupos grandes frente a pequeños. Sin embargo, el resultado es más profundo, porque los autores, en vez de quedarse en la superficie, analizaron también la disrupción de artículos en función de si recibían financiación de las agencias más importantes, y encontraron que los grupos pequeños que reciben esa financiación suelen ser igual de poco disruptivos que los grupos grandes. Esto parece indicar que el proceso de revisión de las propuestas podría ser demasiado conservador, o que los grupos que solicitan esa financiación anticipan que lo va a ser, o que una vez financiados para llevar a cabo un trabajo se anclan en extensiones de ese trabajo para asegurar la continuación de los fondos. Por tanto, los autores, prudentemente terminan su trabajo con la siguiente conclusión (la traducción es mía):

Nuestros resultados dibujan un panorama de investigadores solitarios y grupos pequeños poco financiados que crean disrupción en ciencia y tecnología generando nuevas direcciones sobre la base de búsquedas más amplias y profundas de información. Estos resultados sugieren la necesidad de que gobiernos, industria y agencias financiadoras de la ciencia y la tecnología investiguen el papel crítico que los grupos pequeños parecen tener en extender las fronteras del conocimiento, incluso mientras los grupos grandes las desarrollan rápidamente.

Espero que este post no se quede solo en el resultado de este artículo, que es muy interesante, porque la financiación de la ciencia es algo bastante más complejo, sobre todo porque debe obedecer a un diseño de política científica, y ahí entra lo que se quiere fomentar. ¿Se quiere fomentar "disrupción" (sea lo que sea esto) o se quiere perseguir un avance más "incremental" que pueda conducir a mejoras relevantes en muchos campos? ¿Se quiere financiar unos temas, que alguien elige como más importantes o con más impacto, o es mejor dejar libertad y que los investigadores propongan? ¿Se debe hacer la financiación de un campo proporcional al número de solicitudes, cosa que hace la malhadada Agencia Estatal de Investigación al distribuir el dinero entre disciplinas para, por ejemplo, proyectos de investigación o contratos Ramón y Cajal? En este sentido, con lo que me quedo de este artículo es que está claro que las decisiones sobre qué tipo de grupos se financian tienen consecuencias, y que por tanto no se pueden tomar dichas decisiones a tontas y a locas, si no que deberían tomarse para implementar política científica con objetivos claros y, como siempre se defiende en este blog, basadas en evidencias. Y diseñar esas políticas requiere mucho debate y más investigación, así que a ello.

 

 

 

Hay 9 comentarios
  • Gracias Anxo por su post y referencia a una investigación importante. El paper referido se puede bajar gratis

    https://www.researchgate.net/publication/331085879_Large_teams_develop_and_small_teams_disrupt_science_and_technology

    Ayer comencé a revisar el paper introductorio de este coloquio (los papers son de acceso libre)

    https://www.pnas.org/content/115/50

    Los papers antes referidos son parte de papers recientes que analizan lo que en análisis económico se llama “industrial organization” (IO) de una actividad productiva. No he buscado si existen otras colecciones o libros sobre el tema.

    Las IOs de la ciencia, la tecnología y la formación de científicos e ingenieros de “todas las disciplinas” han recibido poca atención a pesar de la importancia que siempre se atribuye a su output. Aunque los análisis de temas específicos referidos a una “disciplina” particular parecen abundar, con suerte son solo necesarios para entender la IOs de la ciencia (o de la tecnología o de la formación de científicos e ingenieros).

  • Anxo,

    Tremendo artículo, como siempre, pero creo que es conveniente puntualizar algo.

    En este artículo se está hablando de "número de autores" más que de tamaños de grupos de investigación. A mi me gusta distinguir entre grupos de investigación y equipos de trabajo. En grupos de investigación grandes, al final hay gente trabajando en distintos temas (equipos) y la publicación de los diferentes resultados tendría que incluir solo a los miembros del grupo directamente involucrados (esto sería lo ideal). En este sentido, y si todo se hiciera convenientemente, sería normal que un equipo pequeño publique un resultado relevante dentro de un grupo de investigación más grande.

    Lo que si que puede estar identificando esto es el famoso problemas de los autores "fantasma" tan común hoy en día. Caso típico (grupo grande): aunque sólo tres personas del grupo hayan hecho el trabajo se incluye a todo el personal por motivos "curriculares". En este sentido sí que se podría decir que "artículos con muchos autores de pegote no tienen ninguna posibilidad de ser disrruptivos". Prefiero esta última conclusión.

    • Gracias Pablo, es muy interesante tu reflexión y se enmarca muy bien en el espíritu del post. Estoy de acuerdo en que se mide número de autores y en ese contexto tu interpretación tiene perfecto sentido. Por eso es tan importante investigar la manera en que se hace la ciencia y la innovación y adoptar políticas basadas en lo que se aprenda en vez de diseñarlas "en una comida" como los sexenios de transferencia...

  • Anxo,

    Creo que planteas un debate interesante. El ERC está principalmente orientado a la disrupción, pero el plan estatal de I+D no es obvio que no deba perseguir aumentos incrementales, en función del nivel de los investigadores en cada área en nuestro país.

    Una duda: ¿Por qué es malhadada (infeliz, desgraciada, desventurada) la AEI?

    • Gracias Samuel, pues a lo mejor sí que a nivel nacional se debe subvencionar investigación incremental, no lo sé, pero lo que sí sé es que esa decisión ahora mismo no se está tomando, se ha decidido financiar grupos grandes sin saber por qué. En cuanto a la malhadada AEI, pues es que se creó como un apéndice del Ministerio en vez de como un organismo realmente independiente y sobre todo sin financiación plurianual, incumpliendo la Ley de la Ciencia, con el resultado obvio de que no ha supuesto diferencia alguna en el panorama de la ciencia en España. Mira lo que le decía al Ministro al respecto aquí: http://nadaesgratis.es/admin/carta-abierta-al-nuevo-ministro-de-ciencia-innovacion-y-universidades

  • Muy bueno el post y muy ingeniosa la forma de medir la "disrupción" en ciencia. Sólo comentar que, a pesar del texto que citas de la convocatoria de proyectos de este año, me consta que se ha concecido financiación a grupos pequeños, incluso de una o dos personas.

    • Gracias Juan, es cierto lo que dices, pero depende de las disciplinas. Por otro lado, está la discusión de cuánto deben ajustarse los evaluadores a los criterios de la convocatoria, algo que muchas veces no hacen...

  • gracias por estas reflexiones.
    Indico la salvedad de las investigaciones en “dry labs” y “wet labs”, y las necesarias colaboraciones multi-grupales.
    Me agrada que obtuvieron una curva de Gauss, y será como tiene que ser, dado el volumen observado; y seguramente cualquier política de financiación, aún cortoplacista, a largo plazo ofrecerá una curva similar.
    Las políticas científicas quieren encontrar pronto Messis y Ronaldos, disruptivos o portentos, y en torno a ellos crear equipos excelentes y productivos, que además establezcan Masías de donde salgan los Iniestas del futuro, junto con genios nuevos; y me parece plausible.
    Hay muchos jardines que regar para tan escasa agua, se necesita un riego por goteo. Cada investigador que pida un proyect(ito), y que convenza en 2-3 hojas a evaluadores, que le financien lo just(ito); y cada Iniesta que convenza con 4-5 hojas, un trabajo para 5 o 10 personas, reciba lo just(ito) x 10 o 100; y habrá “misiones” que embarquen a muchos, y que recibirán lo just(ito) x 1000.
    El proceso de solicitud-evaluación-financiación-seguimiento debe ser muy ágil, y los proyectos que no pasen la criba europea, los pueden financiar los sistemas nacionales, y los que no, los regionales, etc. y evitar pedir 5 proyectos para obtener uno o ninguno.
    Pero, un sistema muy eficaz nos hará obsoletos antes, ¿y repartir?, trabajar 6 H y jubilarse a los 60.
    Al final todo desarrollo depende del ímpetu y perseverancia de los individuos.

  • gracias por estas reflexiones.
    Indico la salvedad de las investigaciones en “dry labs” y “wet labs”, y las necesarias colaboraciones multi-grupales.
    Me agrada que obtuvieron una curva de Gauss, y será como tiene que ser, dado el volumen observado; y seguramente cualquier política de financiación, aún cortoplacista, a largo plazo ofrecerá una curva similar.
    Las políticas científicas quieren encontrar pronto Messis y Ronaldos, disruptivos o portentos, y en torno a ellos crear equipos excelentes y productivos, que además establezcan Masías de donde salgan los Iniestas del futuro, junto con genios nuevos; y me parece plausible.
    Hay muchos jardines que regar para tan escasa agua, se necesita un riego por goteo. Cada investigador que pida un proyect(ito), y que convenza en 2-3 hojas a evaluadores, que le financien lo just(ito); y cada Iniesta que convenza con 4-5 hojas, un trabajo para 5 o 10 personas, reciba lo just(ito) x 10 o 100; y habrá “misiones” que embarquen a muchos, y que recibirán lo just(ito) x 1000.
    El proceso de solicitud-evaluación-financiación-seguimiento debe ser muy ágil, y los proyectos que no pasen la criba europea, los pueden financiar los sistemas nacionales, y los que no, los regionales, etc. y evitar pedir 5 proyectos para obtener uno o ninguno.
    Pero, un sistema muy eficaz nos hará obsoletos antes, ¿y repartir?, trabajar 6 H y jubilarse a los 60.
    Al final todo desarrollo depende del ímpetu y perseverancia de los individuos.

Los comentarios están cerrados.