- Nada es Gratis - https://nadaesgratis.es -

¿Caballo grande, ande o no ande?

Uno de los mantras más habituales de las agencias de financiación de la ciencia es que los grupos de investigación deben ser "grandes", que deben tener "masa crítica", para llevar a cabo investigación de calidad. Por ejemplo, en la última convocatoria de proyectos de investigación básica del Ministerio de Ciencia, se dice:

"Se pretende financiar proyectos de investigación que sean relevantes, ambiciosos, con alto impacto socioeconómico, evitando la fragmentación de grupos de investigación y fomentando las sinergias y la asociación de equipos en un proyecto único con el tamaño suficiente y masa crítica necesaria para afrontar los desafíos que la investigación española tiene en el contexto del Espacio Europeo de Investigación."

A mí esto siempre me ha parecido dudoso cuando menos, así que se puede usted imaginar, amigo lector, mi satisfacción cuando hace unos días vi en la revista Nature un artículo titulado "Large teams develop and small teams disrupt science and technology" (Los equipos grandes desarrollan y los pequeños son disruptivos en ciencia y tecnología). Los autores del trabajo son Lingfei Wu, Dashun Wang y James A. Evans, el primero y el tercero sociólogos en Chicago y el segundo físico y profesor de organización y de sistemas complejos en Northwestern. Para esta investigación, utilizaron datos de 42 millones de artículos científicos obtenidos de la Web of Science, con 611 millones de citas entre ellos; 5 millones de patentes de Estados Unidos, con 65 millones de citas, y unos 25 millones de proyectos de software obtenidos de la plataforma colaborativa GitHub. Como en muchos otros trabajos sobre impacto en ciencia, el material básico con el que trabajan son las citas, pero ahora usan un procedimiento introducido un par de años antes en el terreno del management (en este artículo) para obtener medidas de disrupción. La idea se puede ver en el siguiente gráfico:

Los puntos representan artículos (o patentes, o software; en lo sucesivo usaré artículos en genérico para todo) y las flechas son artículos que citan a otros. Si estamos analizando un artículo, el rombo grande del centro, lo que hacemos es mirar si los artículos posteriores (los que están por debajo) lo citan a él y/o a las referencias que él citaba. La idea es que algo es disruptivo si origina una reestructuración de la red de citas de manera que los investigadores posteriores se refieren a él en vez de a las cosas en las que él se basó. Midiendo referencias se obtiene un índice de disrupción que va de -1 a 1. En el centro tenemos un caso de D = -1, un artículo que solo ha sido un desarrollo más y que es citado junto con todas su referencias; a la derecha está el caso contrario, un artículo que hace olvidar todo aquello de lo que partía y ya sólo se le cita a él, por lo que D = 1; y a la izquierda tenemos un caso intermedio, con D = 0,en el que se cita al artículo y a algunas de sus referencias. Cuando se aplica el análisis a todos los datos de los que disponen los autores, obtienen la siguiente distribución de los valores de disrupción (ojo a los ejes que están en escala logarítmica):

Lo que vemos es que la gran mayoría de artículos son neutros, mientras que hay unos pocos con valores de D muy cercanos a 1 y otros pocos con valores de D muy cerca de -1. Los autores proponen un ejemplo de cada uno que me parece particularmente interesante. El ejemplo de artículo muy disruptivo es el famoso trabajo de Bak, Tang y Wiesenfeld sobre criticalidad auto-organizada (al que se refieren como BTW por las iniciales de sus autores). Sin entrar en detalles, es un trabajo que conozco muy bien y es de los pioneros en el campo de los sistemas complejos e introduce una idea revolucionaria (si bien hoy en día se ha relajado un tanto el entusiasmo sobre ella) que es la de que los sistemas evolucionan por sí mismos hasta estados "críticos", en los que tienen propiedades especiales y en particular pueden responder muy intensamente a pequeños cambios del ambiente. A mí personalmente me parece lógico que este artículo tenga D = 0.86. El ejemplo contrario es un artículo sobre condensación de Bose-Einstein que le valió a Wolfgang Ketterle el premio Nobel de física en 2001, que tiene un número de citas muy similar al de BTW y está publicado en la misma revista, pero que siempre es citado con los originales de Bose, de Einstein y algunos otros resultados básicos que también él cita. Los autores hacen además otras validaciones (más serias que un simple ejemplo) de este índice y encuentran que los resultados efectivamente están ligados a lo disruptivo del artículo de que se trate.

Con esto estamos ya en condiciones de ir al resultado central del trabajo, que es el estudio de cómo depende la disrupción del tamaño de los grupos que intervienen en el artículo. El 98% de los artículos analizados están hechos por grupos de entre 1 y 10 autores, así que vamos a centrarnos en este rango. Los resultados se recogen en las siguientes gráficas separadamente para artículos científicos, patentes y software:

En estas gráficas, la curva verde representa el percentil que ocupa la disrupción media de los grupos de cada tamaño, mientras que la roja representa la mediana de sus citas. Como se ve claramente, la disrupción baja con el tamaño de los grupos de manera muy acusada, sobre todo en artículos y software. Por el contrario, las citas suben con el tamaño de grupo, por lo que si solo miramos el impacto a través de las citas da la impresión de que grupos grandes tienen más impacto. En el artículo los autores comprueban que este se resultado se mantiene controlando por año, por temas, por autores, por número de figuras del artículo (por si los resultados empíricos fueran menos disruptivos que los teóricos o viceversa) y por disciplinas (excepto, en este último caso, en ingeniería e informática, discrepancia que achacan a que la Web of Science recoge poco de la disrupción en estos campos que muy a menudo publican sus mejores resultados en congresos). En particular, que controlar por autores no cambie los resultados quiere decir que no es que los grupos pequeños estén compuestos por mejores investigadores, que podría ser una explicación para los resultados. Los resultados son también robustos frente a modificaciones del índice de disrupción, por ejemplo excluyendo auto-citas o citas con poco impacto.

Así pues, la evidencia en favor de que los grupos pequeños son más disruptivos parece bastante sólida. Los autores sugieren que un factor importante que podría originar este resultado es que los grupos grandes necesitan financiación de manera continua para sobrevivir, lo que les hace estar más preocupados por posibles fracasos y la pérdida de reputación que conllevan. De hecho, otros estudios han mostrado que la investigación de grupos pequeños con poco que perder y mucho que ganar suele orientarse hacia ideas más nuevas, y por otro lado que las dinámicas de los grupos pequeños también son distintas de las de los grandes.

Está claro que esto es un toque de atención a la manera en la que se diseña la política científica de países y organizaciones y, en particular, sobre la pertinencia de insistir en financiar grupos grandes frente a pequeños. Sin embargo, el resultado es más profundo, porque los autores, en vez de quedarse en la superficie, analizaron también la disrupción de artículos en función de si recibían financiación de las agencias más importantes, y encontraron que los grupos pequeños que reciben esa financiación suelen ser igual de poco disruptivos que los grupos grandes. Esto parece indicar que el proceso de revisión de las propuestas podría ser demasiado conservador, o que los grupos que solicitan esa financiación anticipan que lo va a ser, o que una vez financiados para llevar a cabo un trabajo se anclan en extensiones de ese trabajo para asegurar la continuación de los fondos. Por tanto, los autores, prudentemente terminan su trabajo con la siguiente conclusión (la traducción es mía):

Nuestros resultados dibujan un panorama de investigadores solitarios y grupos pequeños poco financiados que crean disrupción en ciencia y tecnología generando nuevas direcciones sobre la base de búsquedas más amplias y profundas de información. Estos resultados sugieren la necesidad de que gobiernos, industria y agencias financiadoras de la ciencia y la tecnología investiguen el papel crítico que los grupos pequeños parecen tener en extender las fronteras del conocimiento, incluso mientras los grupos grandes las desarrollan rápidamente.

Espero que este post no se quede solo en el resultado de este artículo, que es muy interesante, porque la financiación de la ciencia es algo bastante más complejo, sobre todo porque debe obedecer a un diseño de política científica, y ahí entra lo que se quiere fomentar. ¿Se quiere fomentar "disrupción" (sea lo que sea esto) o se quiere perseguir un avance más "incremental" que pueda conducir a mejoras relevantes en muchos campos? ¿Se quiere financiar unos temas, que alguien elige como más importantes o con más impacto, o es mejor dejar libertad y que los investigadores propongan? ¿Se debe hacer la financiación de un campo proporcional al número de solicitudes, cosa que hace la malhadada Agencia Estatal de Investigación al distribuir el dinero entre disciplinas para, por ejemplo, proyectos de investigación o contratos Ramón y Cajal? En este sentido, con lo que me quedo de este artículo es que está claro que las decisiones sobre qué tipo de grupos se financian tienen consecuencias, y que por tanto no se pueden tomar dichas decisiones a tontas y a locas, si no que deberían tomarse para implementar política científica con objetivos claros y, como siempre se defiende en este blog, basadas en evidencias. Y diseñar esas políticas requiere mucho debate y más investigación, así que a ello.