Los ases en la manga del economista académico

billete en la mangaDe Pedro Rey Biel  (@pedroreybiel)

La semana pasada asistí a la conferencia anual de la Economic Science Association, provocador nombre para lo que en realidad es el mayor foro donde nos reunimos los economistas académicos que hacemos economía experimental. Aunque no pude asistir a la mayoría de la sesiones (les dejo enlaces a los resúmenes de los artículos presentados aquí), sí me llamaron la atención las sesiones plenarias, pues era un reflejo perfecto de los temas más candentes en nuestra disciplina.

En la primera de ellas, Anna Dreber nos dio una lección magistral sobre la honestidad que debe presidir la investigación académica. Comenzó hablando de sus muy reconocidos artículos que estudian las diferencias de género en experimentos que reproducen distintas situaciones económicas para, de repente, pedirnos que dejáramos de citar uno de sus artículos mejor publicados sobre el tema. La razón era que se había dado cuenta de que aunque sus resultados eran significativos, el poder estadístico de su diseño experimental era muy bajo, debido en parte a los múltiples tratamientos que utilizaba, que le llevaban a tener un tamaño muestral pequeño por tratamiento. Anna usaba este ejemplo para introducir el verdadero tema de su conferencia, que era cómo el haberse dado cuenta de los posibles fallos de su propio trabajo le había llevado a involucrarse, junto con un gran número de experimentalistas de renombre, en el ambicioso proyecto de replicar todos los experimentos publicados en una de la revistas de Economía de cabecera (American Economic Review) de de 2011 a 2014, del que ya les hemos hablado en el pasado. La conclusión de éste proyecto es que los resultados de sólo un porcentaje bajo de los experimentos publicados en esta prestigiosa revista consiguen ser replicados, ya sea en su tamaño o incluso en su signo. No obstante, el grado de replicabilidad en el área de la Economía, era más alto que en algunas de otras áreas, ya fueran ciencias "sociales" o incluso ciencias "duras".

Ante este panorama, que Anna no atribuía en gran medida a la falta de honestidad de los investigadores (muchos de los cuáles, por cierto, estaban presentes en la sala), nos habló de un proyecto aún más ambicioso: utilizar mercados de predicción ("prediction markets"), en los que los inversores apuestan sobre si los resultados de 44 experimentos publicados en buenas revistas de Psicología serían replicados o no. En este artículo, Anna y sus coautores muestran que estos mercados predicen mejor si los resultados de los experimentos pueden ser replicados que las encuestas individuales realizadas a expertos del área del artículo en cuestión. No sólo eso, sino que los mercados de predicción permiten también estimar la probabilidad de que los resultados sean ciertos en momentos distintos. Por ejemplo, encuentran que las hipótesis que se testan en los experimentos en Psicología tienen una baja probabilidad (mediana del 9%) ex-ante de ser ciertas, y que sólo con una réplica con alto poder estadístico de una misma hipótesis se consigue elevar esa probabilidad. Argumentan por tanto que los mercados de predicción pueden ser una herramienta útil no sólo para estimar a bajo coste si ciertos resultados van a ser replicables sino también para decidir qué experimentos merece la pena replicar, dado los bajos incentivos en términos de publicaciones académicas que existen para realizar réplicas del trabajo de otros.

La conferencia de Anna Dreber, ligó especialmente bien con la intervención en otra de las plenarias de Joel Sobel, uno de los economistas teóricos más serios que conozco, que actualmente ejerce como editor principal de la otra revista con mayor prestigio en Economía (Econometrica). Joel, con sus formas siempre suaves y agradables, pero cargadas de ironía, lanzó una carga de profundidad contra los manuscritos experimentales que recibe para publicar en su revista (lo que muchos se tomaron como "aviso para navegantes"). En su opinión, por mucho que una de las mayores ventajas del trabajo experimental sean las condiciones de (relativo) control que da un laboratorio, y que de hecho se describen en todo artículo para además facilitar el que se puedan realizar réplicas, hay mil detalles de las condiciones exactas en que se realizan los experimentos que no aparecen en el manuscrito final. Argumentaba Joel Sobel que muchos experimentalistas conocen más sobre los sujetos de sus experimentos, sobre las circunstancias en que se realizan (pequeños fallos del software utilizado, preguntas realizadas en voz alta, momento del curso académico en que el experimento se realiza), que lo que luego tiene cabida en el artículo final y que ello, al dejar muchos de estos detalles que podrían influir de forma sensible en los resultados, puede explicar la falta de replicabilidad. esta intervención llevó a un debate, un poco airado pero interesante, sobre qué salida se podía dar a esta información, que si bien puede ser secundaria para el lector del artículo, puede ser fundamental para los evaluadores del mismo y para los expertos que quieran indagar más sobre la veracidad de los resultados. También las contestaciones se centraron en extender el problema  de los "ases en la manga" que pueden estar escondiéndose ciertos experimentalistas, al trabajo teórico o empírico. A fin de cuentas, por mucho que un modelo teórico se pueda demostrar si es correcto o no, ¿quién nos dice que realmente los supuestos que lo justifican, sin bien parecen plausibles, no han sido escogidos y "vendidos" por qué realmente son los que permiten corroborar ciertas hipótesis? E igualmente para los que hacen trabajo empírico con datos de campo no controlados...¿hay alguien que enseñe en sus artículos todas las especifícaciones de las regresiones realizadas antes de obtener los resultados limpios que aparecen publicados?

En fin, mi conclusión de la conferencia no fue, como podría deducirse de algunas de las cosas que cuento, que los economistas estamos llenos de trucos y de ases en la manga, sino que cuando se juntan buenos académicos, con verdadera curiosidad intelectual y sentido de la honestidad, se producen debate vibrantes que nos pueden permitir, desde el sentido crítico, avanzar la ciencia.

 

Hay 1 comentarios
  • Cuando yo estudié econometría (long time ago) no solo no se hacían experimentos sino que ésta era una una característica que nos diferenciaba de las ciencias duras. Sin embargo lo de,

    "¿hay alguien que enseñe en sus artículos todas las especifícaciones de las regresiones realizadas antes de obtener los resultados limpios que aparecen publicados?"

    ya era entonces una preocupación importante y,a juzgar por su comentario, no hemos mejorado mucho en este sentido. Esperemos que ese grupo en pro de una investigación más "honesta" cambie para mejor estas cosas.

    Gracias por la entrada.

Los comentarios están cerrados.