El método experimental (en el que los investigadores asignan a los participantes al azar a grupos de tratamiento vs. control), que hace unas décadas era la excepción en la investigación económica, hoy es una realidad consolidada. El número de experimentos que podrían ser clasificados como de investigación económica ha crecido exponencialmente en los últimos años. Pero todo rápido crecimiento puede conllevar un riesgo, y en otras disciplinas esto se ha materializado en una crisis de replicabilidad, es decir, la imposibilidad sistemática de reproducir resultados de estudios anteriores. Dicha crisis también ha alcanzado a la investigación económica, aunque en menor medida. Además de la importancia académica de generar evidencia reproducible, un reciente artículo en este blog argumentaba que los académicos necesitamos entender las necesidades de las empresas, si queremos colaborar con ellas para hacer experimentos, e implementar el conocimiento que hemos adquirido (por ejemplo, en el área de economía del comportamiento). Para mejorar esta situación, mis coautores (Eszter Czibor y John List) y yo hemos escrito un artículo titulado "Las doce cosas que los economistas experimentales deberían hacer (más)", en el que damos doce recomendaciones que creemos ayudarán a mejorar la calidad de la evidencia generada en experimentos. Dichas recomendaciones se pueden englobar en tres categorías.
La primera categoría se refiere al tipo de datos que debemos generar. Se dice que un resultado experimental tiene validez externa, si dicho resultado se mantiene cuando el experimento se replica en otras circunstancias o con participantes con diferentes características. Nuestra recomendación es que es importante considerar la validez externa de nuestros resultados, antes incluso de decidir qué tipo de experimento elegir. Por ello, sugerimos usar los experimentos de campo con más frecuencia, ya que no sólo ofrecen más realismo, sino que pueden ofrecer más control en quién participa en el experimento: los experimentos de campo se pueden implementar en poblaciones representativas y no necesariamente auto-seleccionadas, aunque siempre ha de hacerse con las garantías éticas necesarias. Dicho esto, sugerimos considerar a los experimentos de laboratorio y de campo como complementos a los datos generados de manera natural, dado que cada tipo de evidencia ofrece ventajas únicas en la producción de conocimiento.
La segunda categoría trata de cómo diseñar el experimento de manera óptima. Esto incluye ir más allá de los p-valores (que se suelen usar como “umbral” para determinar significación estadística), así como considerar el poder estadístico (la probabilidad de no generar falsos negativos) en la fase de diseño. Aunque la mayoría de estudios experimentales suelen reportar un efecto medio a la población, es importante tener en cuenta la heterogeneidad en dicha población, por ejemplo usando un diseño intra-sujeto (en el que la misma persona es expuesta a diferentes tratamientos) cuando esta sea apropiado. También sugerimos el uso de "bloqueo" (aleatorizar a nivel de subgrupos), y ajustar los p-valores por múltiples hipótesis para evitar falsos positivos. Finalmente, en esta categoría está el considerar la replicación de resultados experimentales como una parte fundamental de la tarea del economista experimental.
La tercera categoría analiza cómo generar evidencia para tener el mayor impacto a la hora de diseñar políticas públicas. Para ello (y a riesgo de que parezca paradójico), sugerimos utilizar la teoría económica más frecuentemente. El motivo es que, sin teoría, los experimentos sólo pueden hacer lo que se conoce como "tests A/B", que simplemente comparan las medias de tratamiento y control. En cambio, usar la teoría económica en el diseño e interpretación del experimento, nos permite identificar los mecanismos que generan la evidencia: en otras palabras, las causas del fenómeno de interés. Además, sugerimos tener en cuenta la posibilidad de escalar la intervención experimental (es decir, ampliar el número y diversidad de participantes) en la fase de diseño; esto es especialmente relevante para experimentos de campo cuyo fin sea estudiar una propuesta de política pública. Finalmente, es importante medir los efectos a largo plazo de las intervenciones para saber si los efectos persisten en el tiempo. Usar la teoría económica y medir efectos a largo plazo nos permite diseñar experimentos para medir los efectos de “equilibrio general”, que pueden hacer que las reacciones de las empresas y otros agentes económicos disminuyan (o aumenten) los efectos de nuestras intervenciones.
El tema común en todas nuestras sugerencias es el de mejorar la calidad de la evidencia que los experimentos económicos generan. Esto tiene varias consecuencias. La primera es científica: la evidencia producida en un experimento bien diseñado, será más informativa, y por lo tanto moverá la “distribución posterior” de la comunidad científica (en un sentido bayesiano) con mayor efectividad que evidencia producida en un experimento que sistemáticamente no implemente buenas prácticas. Por lo tanto, en términos de avance científico, un experimento que está bien diseñado resulta más rentable que uno que no lo está. Este argumento se puede extrapolar a colaboraciones con empresas o con el sector público (para la evaluación de políticas públicas), siempre dentro de las limitaciones intrínsecas a dichos sectores, cuyos objetivos han de ser tenidos en cuenta por los investigadores para llegar a colaboraciones fructíferas (de nuevo, siempre manteniendo los estándares éticos en la investigación, que busquen beneficiar tanto a los sujetos del experimento como a la población). Los experimentos bien diseñados son más fiables y, por lo tanto, más útiles para tomar decisiones, empresariales o políticas, que afecten a la población. Esto es especialmente importante en sectores como el sanitario, en donde cada vez más es más frecuente el uso de experimentos para evaluar la implementación de medidas basadas en la economía del comportamiento.</a>
Quiero concluir este artículo con un mensaje de optimismo. Hemos compilado estas doce recomendaciones, no porque pensemos que los economistas experimentales no las sigan; al contrario, creemos que la profesión es cada vez más consciente de los problemas inherentes al diseño de experimentos, y de sus posibles soluciones. Nuestro objetivo es producir un "manual de buenas prácticas", que investigadores interesados en el diseño experimental puedan usar para el diseño de sus experimentos. Así mismo, nos gustaría invitar a los investigadores de la comunidad experimental a que sugieran otras buenas prácticas que quizás no hayamos incluido, y que consideren importantes. De esa forma, podremos generar evidencia que sirva de manera más efectiva para generar conocimiento científico, que puede ser aplicado tanto por empresas como en el diseño de políticas públicas.
Hay 4 comentarios
David, gracias por su post. Le agradeceré indique cómo acceder al paper en que está basado el post (no lo he encontrado en internet). También le agradeceré referencias tanto al "mejor" trabajo de análisis económico basado en un experimento, uno que usted cree cumple las reglas propuestas, como a alguno muy citado pero que no cumple las reglas.
Gracias ENRIQUE UNO. Ya hemos incluido el link al artículo de David. En todo caso, es éste: https://www.nber.org/papers/w25451
Disculpas.
Gracias Enrique. En el paper (ya esta disponible el link) damos ejemplos de papers que siguen las buenas prácticas en cada uno de los apartados, o bien de papers que han propuesto soluciones concretas a los problemas que mencionamos.
Mágnifico trabajo! Continuad así.
Un salud.
Los comentarios están cerrados.