Esta mañana se me atragantó el desayuno con un tweet de Luis Garicano apuntando a este artículo. Básicamente un periodista había conseguido un impacto mediático universal a base de hacer un RCT (ensayo controlado aleatorizado, el tipo de metodología por cuyo uso acaban de dar el premio Princesa de Asturias a Esther Duflo) tramposo, que concluía que tomar chocolate aceleraba los efectos de pérdida de peso de una dieta baja en carbohidratos.
Y ayer mismo se produjo la retracción de un artículo de Science, en el que uno de los autores posiblemente se había inventado los datos de un ensayo aleatorio sobre el efecto de los propagandistas puerta a puerta para apoyar el voto positivo en un referéndum sobre el matrimonio homosexual en California. El ensayo decía mostrar que solamente el uso de propagandistas homosexuales podía cambiar la opinión de los entrevistados a largo plazo (más de tres semanas).
Son dos casos distintos, pero ilustran bien cómo funcionan la ciencia y los medios de comunicación, los peligros que existen y cómo se pueden combatir. El caso del periodista y el chocolate es muy interesante porque la trampa es sutil. El experimento de hecho se realizó. Hay dos grupos tratados que hacen respectivamente una dieta baja en carbohidratos y una dieta baja en carbohidratos donde los participantes además toman una barrita de chocolate negro. Y, lógicamente, hay un grupo de control, que no hace dieta. Los grupos efectivamente se escogen aleatoriamente, y los participantes hacen pruebas para descartar que tengan diabetes y otras condiciones peligrosas para su salud. El análisis estadístico reveló que los dos grupos tratados perdieron peso (unos dos kilos en ambos casos). Pero el que lo hizo con chocolate lo hizo un 10% más rápido y al final del experimento tenía mejores datos de colesterol y bienestar.
Alguien pensará, bueno, pues qué pasa, esto es la ciencia, ¿no? Que el periodista quisiera ponernos en ridículo no demuestra nada, el resultado es el que es. Pues no, como él mismo cuenta, usó un viejo truco estadístico. Si pruebas un número suficientemente grande de hipótesis, y te pones como condición para apoyar la hipótesis que ésta sea significativa al 5%, es improbable que no haya alguna que sea verdad, a mínimo que sean algo independientes (esto te obliga a ser mínimamente creativo buscando cosas que medir, pero poco más). El resto fue fácil, envió el artículo a una revista predatoria (de las que ya hemos hablado aquí largo y tendido), y lógicamente se publicó enseguida. Con lo que no contaba el autor es que tantos periodistas recibieran la noticia y le dieron un eco mayúsculo, sin contrastar suficientemente.
Las lecciones de este caso son claras. La primera es que hay que ser mucho más cuidadosos con las revistas predatorias. Claramente son un riesgo para la ciencia. La segunda es que hay que ser más rigurosos en el diseño de ensayos aleatorios. Una iniciativa cada vez más seguida en medicina, y que por lo que me cuenta Marcos Vera está comenzando a seguirse en economía y psicología, es que conviene registrar los ensayos antes de hacerlos, incluyendo las hipótesis que uno quiere comprobar, para evitar en lo posible la “pesca de resultados”. Y lógicamente, los periodistas deben hacer su trabajo mejor. Si se especializan en ciencia, deben saber de la misma, y antes de informar de un descubrimiento deben ir a la fuente.
El otro caso, también es doloroso aunque algo más estándar en algún sentido. Como les explicaba al principio, un joven doctorando de UCLA (Michael LaCour) dijo estar trabajando en un ensayo aleatorio para comprobar los efectos de los propagandistas puerta a puerta en las opiniones de aquellas personas a las que entrevistaba. Colaboró en el artículo con un profesor mucho más consolidado de la universidad de Michigan (Donald P. Green). Unos meses más tarde otros investigadores intentaron replicar el estudio en Florida y tuvieron grandes dificultades para conseguir las tasas de respuesta que Green y LaCour decían haber tenido. Pidieron explicaciones y los datos pero LaCour se mostraba evasivo (Green le había pedido repetidamente poner los datos a disposición de todo el mundo en un repositorio de la universidad de Michigan). Un análisis estadístico de los datos mostró anomalías típicas de una manipulación. El artículo se ha retirado de la revista oficialmente porque LaCour mintió sobre las fuentes de financiación y los incentivos a los participantes, pero es natural pensar que se haya inventado todos o gran parte de los datos. Que Green no fuera más duro preguntando por las fuentes de financiación o los datos, a pesar de sus excusas de que esto podría ser visto como un atropello a un investigador joven, le hace también seriamente responsable.
Aquí las lecciones son también claras. Simplemente no es aceptable que los datos de cualquier artículo científico no estén disponibles para que la comunidad pueda examinarlos críticamente. Todas las asociaciones de economía serias (española, americana, británica, europea, econométrica) tienen ya normas estrictas de disponibilidad de datos.
Además la replicación (o la no replicación) de los análisis de otros científicos debe tener un importante premio profesional. La Economic Science Association, que agrupa a los experimentalistas en economía, ha creado una segunda revista, además de su exitosa “Experimental Economics”, llamada “Journal of the Economic Science Association” con el objetivo explícito de publicar “tipos de artículos que son importantes pero que están todavía insuficientemente representados en la literatura experimental (es decir, réplicas, extensiones menores, comprobaciones de robustez, meta-análisis, y buenos diseños experimentales, aunque tengan resultados nulos”.
En los dos casos denunciados un factor que contribuyó al problema fue una cierta obsesión por la ciencia-espectáculo. Es bueno que haya interés por nuestra actividad, que lleve a los periodistas y al gran público a interesarse por nuestro trabajo (como hacen con gran entusiasmo nuestros lectores). Refleja que, pese a todo, el mundo está mejor educado que hace unas décadas, y que cada vez hay más gente que está convencida de eso que decimos aquí muchas veces: la ciencia es muy importante para el progreso económico. Pero los científicos tenemos una gran responsabilidad. Es importante que mantengamos estándares de rigor y comportamiento profesional adecuado, sin dejarnos llevar por el efectismo, y que pongamos reglas que hagan difícil que la corrupción mine también los fundamentos de nuestro trabajo. Eso sí, lo que no debemos dejar de hacer es premiar a quien haga buena ciencia. Es verdad que los incentivos inducen también a hacer trampas. Pero esto no quiere decir que eliminemos los incentivos, quiere decir que hay que vigilar a los tramposos. Como ya dije una vez, si los estudiantes copian o alguien evade impuestos, eso no es motivo para eliminar el examen o los impuestos, es motivo para buscar y castigar a los que copian o evaden. El proceso que lleva a la retracción del artículo de Science es un buen ejemplo de cómo, pese a los fallos, hay elementos potentes de autorregulación en el sistema. Y las denuncias que tanto nosotros como otros muchos hacen de las revistas predatorias son otro ejemplo positivo. Pero hay que seguir vigilando.