“Pero es obvio que las afirmaciones de Deaton son falsas. Deaton está equivocado formalmente y en la sustancia”. Así las gastan algunos económetras famosos. Pero resulta que en agrios y a veces arcanos debates entre ellos se están gestando nuevos paradigmas, no solo sobre cómo hacer investigación empírica, sino también sobre algo que hoy tenemos en mente todos, por la catástrofe de Haití: cómo gestionar la ayuda al desarrollo y en general cómo evaluar políticas públicas.
Angus Deaton (Princeton) ha trabajado en áreas como el consumo, la oferta de trabajo, los impuestos, el desarrollo económico o la felicidad (y tiene un breve artículo titulado “¿Son los economistas humanos?”). Es uno de los gigantes (no solo físicamente) entre los economistas académicos (también ha escrito sobre las ventajas de ser alto, quien las pillara). Quien le critica tan duramente es Guido Imbens (Harvard), excelente económetra, en un artículo reciente en el que también dedica parecidas lindezas al premio Nobel James Heckman. Lo que enzarza a estos grandes economistas es cómo evaluar las políticas de ayuda a los países menos desarrollados (PMD).
Desde hace décadas el trabajo econométrico ha venido sufriendo un creciente descrédito. Por ejemplo, algo tan básico como saber si la ayuda que reciben los PMD contribuye a que su PIB crezca más no tiene respuesta clara. Hay estimaciones econométricas positivas, nulas e incluso negativas (a veces, pero no solo, por una incorrecta corrección por endogeneidad). En definitiva, hay pocos resultados fiables. Por desgracia, esta situación se repite en muchas otras áreas de la economía.
Una de las principales causas de este fenómeno es la escasez de estudios de replicación por otros investigadores de los resultados de los artículos, ya sea porque los autores no proporcionan los datos o porque los estudios de replicación no son fáciles de publicar. No obstante, cuando se hacen, a veces se pilla en renuncios a investigadores muy conocidos. Por ejemplo, el resultado de un famoso artículo de Levitt y Donohue de que la legalización del aborto redujo subsiguientemente la tasa de criminalidad en EEUU dio lugar a un documento de trabajo de Foote y Goetz en el que se demostraba que había un error técnico en ese artículo (para iniciados: no incluir efectos fijos de estado y año) que al ser subsanado hacía desaparecer el resultado.
Así las cosas, varios jóvenes economistas se han dedicado evaluar políticas de desarrollo con el método experimental. Se trata de elegir una población de referencia, aplicar una política dada a un grupo elegido aleatoriamente (el “grupo tratado”) y dejar otro grupo sin tratar (el “grupo de control”). Este método, habitual en medicina, era infrecuente en economía hasta hace unos 20 años. La aleatoriedad permite estimar el efecto medio del tratamiento simplemente calculando la diferencia entre el resultado medio del grupo tratado y el resultado medio del grupo de control. Y se consigue sin necesidad de un modelo teórico sobre el efecto de interés y con pocos supuestos, aunque hay que ser muy cuidadoso en el diseño y la realización del experimento. Frente al descrédito de los modelos econométricos, los experimentos generan estimaciones creíbles de efectos genuinamente causales.
Esta línea de investigación ha tenido gran éxito: en 2005, 67 de los 89 programas que el Banco Mundial tenía en África se evaluaron experimentalmente. Uno de sus efectos ha sido desviar recursos de los megaproyectos a proyectos más modestos pero potencialmente muy efectivos. Banerjee y Duflo (que obtuvieron el Premio BBVA Fronteras del Conocimiento de Cooperación al Desarrollo con su Laboratorio de acción contra la pobreza del MIT) relatan muchos resultados interesantes. Por ejemplo, en un trabajo sobre Kenia Miguel y Kremer encuentran que medicar a los niños para que no tengan parásitos (lombrices) es 20 veces más efectivo para que vayan al colegio que contratar a un profesor más (el coste anual por alumno de la desparasitación es de 3.25 dólares mientras que el de la contratación es de 60 dólares).
Las críticas de Deaton son variadas. Por una parte, los experimentos no están exentos de problemas, por ejemplo si hay personas elegidas para recibir el tratamiento que se niegan o lo dejan. Estas violaciones de la aleatoriedad de la selección obligan a los investigadores a recurrir a procedimientos econométricos (como las variables instrumentales), que rompen la supuesta pureza del experimento. Además, el método experimental solo permite hallar efectos medios pero no evidencia sobre la distribución de los resultados e ignora efectos de equilibrio general. La principal crítica de Deaton es que hallar un efecto causal de una política no nos dice nada sobre el mecanismo que lo genera, por lo que es muy difícil extrapolarlo a otros contextos. En este sentido, los economistas nos habríamos pasado de un extremo a otro. En fin, estos trabajos son muy interesantes y el debate afecta no solo a las políticas de desarrollo sino a muchas otras políticas públicas.
Una reflexión final. El Gobierno español ha dotado con 10,4 millones de euros un Fondo Español para la Evaluación de Impacto para evaluar con métodos experimentales las políticas del Banco Mundial. Es una excelente iniciativa. Irónicamente en España, que yo sepa, no se evalúa ninguna política pública con métodos experimentales, a pesar de que existe una Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios que debería hacerlo. Dedicamos miles de millones de euros de los contribuyentes a políticas inútiles (como las subvenciones a la contratación permanente, véase el artículo de J. Ignacio García Pérez en el eBook de Fedea) que jamás se evalúan rigurosamente. Dejo al lector la especulación sobre las causas.
Hay 12 comentarios
Me parece que las críticas de Deaton son perfectamente válidas. Yo añadiría que:
(1) Quiere decir que al no haberse implementado como un experimento aleatorio vamos a dejar de intentar evaluar a través de otros medios econométricos intervenciones en el pasado que pueden tener lecciones valiosas que enseñarnos?
(2) Uno de los grandes problemas de evaluar la ayuda al desarrollo es la paradoja micro-macro: parece que todas las intervenciones funcionan individualmente pero el resultado agregado es bastante pobre. Los experimentos aleatorios no nos ayudan con este problema.
(3) La realidad es que hay muchas medidas de política pública que están pensadas demasiado rápidamente y a los políticos les gusta implementarlas de forma universal, con lo cual se hace imposible diseñar un experimento de evaluación.
En conclusión, aunque mi blog se llame Random Spaniard, la moda de los Randomised Control Trials me parece eso, una moda, the latest fad in development, de aplicabilidad limitada y que ha llegado a tener el impacto que ha tenido porque Esther Duflo era una alumna aventajada y favorecida de Francois Bourguignon y este hizo todo lo posible por apoyar a su pupila mientras fue Chief Economist del Banco Mundial. A mí me parece que se realizan demasiadas encuestas y se recogen demasiados datos en países pobres a los que después no se les saca partido. Así que más analizar los microdatos de las encuestas que tenemos y menos inventarse excusas para recolectar más datos.
Un saludo.
bsanchez: Estoy de acuerdo en que los experimentos tienen muchas limitaciones y con las críticas de Deaton. Por otra parte, el bandazo hacia un extremo es una reacción a mucho trabajo econométrico poco robusto. Este toque de atención podría servir para mejorar en ese sentido.
Pienso que es cuestión de grado. Hay sitio para todo tipo de trabajo empírico. El problema viene si, por ejemplo, no se puede llevar a cabo ningún programa de desarrollo si no se evalúa experimentalmente. De esto ya se quejaba Jesús Fernández-Villaverde en este post de nadaesgratis que no conocía (fue muy al principio, cuando yo aún no lo leía).
Gracias por el enlace al post de JFV. En respuesta a su pregunta en ese post yo sí conocía la existencia de ese fund de 10 millones de euros. Y estoy seguro de que lo leí en su momento en el Economist, pero he estado buscando en su archivo y no lo he encontrado. A lo mejor lo leí en otro sitio: hubo una temporada en la que recibía los boletines del MIT Poverty Action Lab.
Un saludo.
Querido Samuel:
Gracias por tu interesante discusion. Saco dos lecciones de tu discusion.
Una es que la tension de metodos que explicas se encuentra en casi todos los campos de economia: en organizacion industrial es la disputa entre estructuralistas y empiricos; en macroeconomia parece que los teoricos van ganando la partida a la gente de series temporales mientras que en microeconomia aplicada (publica, laboral, educacional, etc.) parece que es al contrario. Quiza aquellos que encuentran un tono conciliador son los que van por buen camino.
La otra leccion, mas tangencial pero creo que mas practica, es la poca influencia que la investigacion social parece tener en la toma de decision politica. Las tecnicas cuantitativas, la disponibilidad de datos, la posibilidad de llevar a cabo experimentos aleatorios, han cambiado dramaticamente el nivel cientifico con el que se pueden educar decisiones bastante importantes sobre politica social. En nuestro pais observo una preferencia por la defensa de politica social en base al argumento filosofico. Prefiriria que el discurso estuviera basado mas en la evidencia que proveen investigadores sociales y en la evaluacion de programas. Quiza nosotros, como investigadores sociales, debieramos dedicar mas esfuerzo en comunicar los resultados de nuestro trabajo publicamente. Quiza haya que crear algo asi como el NBER espanyol...
Óscar: Muchas gracias por tus comentarios. Es curioso que en unas áreas vaya ganando un enfoque más teórico y en otras uno más empírico. Idealmente deberíamos converger a una situación en la que se hagan experimentos que se diseñen para contrastar teorías o para estimar parámetros de interés, los cuales a su vez podrían insertarse como input en modelos DSGE o estimados estructuralmente. En el artículo de Banerjee-Duflo hay ejemplos de trabajos que hacen esto.
Sobre la falta de impacto de la ciencia social sobre las políticas económicas y sociales estoy muy de acuerdo con lo que dices (y es un tema recurrente en Nadaesgratis). La idea de un NBER español es interesante. Una alternativa sería crear una Agencia de Evaluación de Políticas que aplique métodos científicos rigurosos, financiada por el Estado pero independiente (de verdad, no como muchas de las comisiones reguladoras actuales) y que emplee y subcontrate a académicos. Un ejemplo exitoso en el área de las políticas sociales es el IFAU en Suecia.
"Una alternativa sería crear una Agencia de Evaluación de Políticas que aplique métodos científicos rigurosos"
Eso existe, si mal no recuerdo, en Holanda-el "CEB" (central planning bureau). De hecho, creo que fue una de las claves detrás de la sostenibilidad del modelo de Wassenaar y sería un buen modelo para españa http://dare.ubvu.vu.nl/bitstream/1871/1615/1/20010018.pdf
Releyendo el paper veo que se encargaba, incluso, de evaluar la factibilidad económica de los programas de los candidatos políticos!!! ¡I'm shocked!
citoyen: Gracias por la referencia, la leeré con interés. El "milagro holandés" es realmente fascinante. Cada vez que me cuenta Marcel Jansen cómo hacen allí la política laboral, de forma cooperativa y bastante racional, me quedo con la sensación de que estamos a años luz de ellos. Por otra parte, toda esta discusión me hace pensar que sería interesante hacer una revisión de países e instituciones en las que la ciencia social ayuda a evaluar y diseñar las políticas sociales, para intentar extraer rasgos comunes. Seguramente, como en otras cosas, hay configuraciones de características: el modelo anglosajón, el modelo escandinavo, etc. Sospecho que el modelo del Mediterráneo es de los peores en este aspecto.
Hay que andar con ojo. En la Comisión Europea el tema de moda es el Impact Assessment pero de este bonito nombre están surgiendo unos cuantos absurdos. No es posible sistematizar (metodológicamente) el análisis de impacto de medidas de política tan diferentes dirijidas a problemas tan heterogéneos para los que disponemos de datos de calidades tan incomparables. Será por eso que en el aspecto epistemológico me quedo con el eclecticismo: cuando me interesa un tema estoy dispuesto a examinar todo tipo de evidencia y razonamiento; ya usaré el sentido común para discriminar y llegar a una conclusión.
No se pueden forzar las cosas ni esperar que un cuerpo funcionarial actúe con la apertura de miras y la flexibilidad de una comunidad académica.
En cuanto al NBER, pensaba que el CEPR era eso en versión europea, y VoxEU su brazo de divulgación.
Jorge: gracias. Lo que se pretende es que haya evaluaciones con estándares científicos que se tengan en cuenta, en los casos en que los datos y las técnicas disponibles lo permitan. Esto no excluye que se utilice otro tipo de evidencia.
Por otra parte, no se pretende que lo hagan funcionarios, sino científicos sociales que trabajen para instituciones independientes y colaboren con académicos externos.
El NBER funciona de forma algo distinta del CEPR, pues en principio no hace recomendaciones de política económica. El NBER español se ocuparía de nuestro país, aunque ese diseño de red de científicos probablemente no sea el óptimo para el problema que nos ocupa y el tamaño óptimo de las redes de investigadores es seguramente es superior a la de un país (ni siquiera el CESifo es solo alemán, sino europeo).
No nos pongamos estupendos, muchas de las críticas de Deaton que menciona Samuel en su post (genial) aplican tanto al análisis experimental como al observacional.
1. Buena parte del análisis empírico micro que uno ve en el día a día ignora (o confunde) los efectos de equilibrio general, sea el análisis experimental u observacional.
2. Sobre la distribución de los efectos, Imbens tiene razón; un experimento "garantiza" (ejem) poder observar el efecto de un tratamiento D incorrelacionado con otras cosas. Se me escapa cómo es que estimar un tratamiento D que está correlacionado potencialmente con otras variables sí permite estimar otros efectos que no sean los medios...
3. El análisis de canales: de nuevo lo mismo, hay trabajos experimentales que se preocupan de coger info que permita entender los canales por los que un tratamiento (p.ej, un medico se lava las manos antes de una operación) afecta a un resultado (menos pacientes mueren) y otros que no. Exactamente lo mismo ocurre con los trabajos observacionales.
Un ejemplo: muchos economistas piensan que si los salarios hoy son bajos, la gente deja de trabajar hoy para trabajar más en el futuro. Bosques enteros se han talado para contrastar si esto es cierto en estudios observacionales. Uno de los expertos mundiales en el campo (un tipo encantador y listísimo) consideró irrelevante si l@s trabajador@s hacen esto a través de cambios de puesto de trabajo o dentro de su trabajo, que uno diría es un canal muy relevante (v. los trabajos de Raj Chetty)
sorry por la longitud
Én: gracias. La réplica de Imbens a Deaton y Heckman es también excelente. Comentarla exigiría una nueva entrada. Los experimentos dominan a los estudios observacionales (sic) en la credibilidad del efecto causal, mientras que éstos dominan en los otros aspectos que hemos comentado. Todos ayudan a aprender sobre aspectos distintos. Creo que en este caso ser ecléctico es lo mejor.
Los comentarios están cerrados.