“Pero es obvio que las afirmaciones de Deaton son falsas. Deaton está equivocado formalmente y en la sustancia”. Así las gastan algunos económetras famosos. Pero resulta que en agrios y a veces arcanos debates entre ellos se están gestando nuevos paradigmas, no solo sobre cómo hacer investigación empírica, sino también sobre algo que hoy tenemos en mente todos, por la catástrofe de Haití: cómo gestionar la ayuda al desarrollo y en general cómo evaluar políticas públicas.
Angus Deaton (Princeton) ha trabajado en áreas como el consumo, la oferta de trabajo, los impuestos, el desarrollo económico o la felicidad (y tiene un breve artículo titulado “¿Son los economistas humanos?”). Es uno de los gigantes (no solo físicamente) entre los economistas académicos (también ha escrito sobre las ventajas de ser alto, quien las pillara). Quien le critica tan duramente es Guido Imbens (Harvard), excelente económetra, en un artículo reciente en el que también dedica parecidas lindezas al premio Nobel James Heckman. Lo que enzarza a estos grandes economistas es cómo evaluar las políticas de ayuda a los países menos desarrollados (PMD).
Desde hace décadas el trabajo econométrico ha venido sufriendo un creciente descrédito. Por ejemplo, algo tan básico como saber si la ayuda que reciben los PMD contribuye a que su PIB crezca más no tiene respuesta clara. Hay estimaciones econométricas positivas, nulas e incluso negativas (a veces, pero no solo, por una incorrecta corrección por endogeneidad). En definitiva, hay pocos resultados fiables. Por desgracia, esta situación se repite en muchas otras áreas de la economía.
Una de las principales causas de este fenómeno es la escasez de estudios de replicación por otros investigadores de los resultados de los artículos, ya sea porque los autores no proporcionan los datos o porque los estudios de replicación no son fáciles de publicar. No obstante, cuando se hacen, a veces se pilla en renuncios a investigadores muy conocidos. Por ejemplo, el resultado de un famoso artículo de Levitt y Donohue de que la legalización del aborto redujo subsiguientemente la tasa de criminalidad en EEUU dio lugar a un documento de trabajo de Foote y Goetz en el que se demostraba que había un error técnico en ese artículo (para iniciados: no incluir efectos fijos de estado y año) que al ser subsanado hacía desaparecer el resultado.
Así las cosas, varios jóvenes economistas se han dedicado evaluar políticas de desarrollo con el método experimental. Se trata de elegir una población de referencia, aplicar una política dada a un grupo elegido aleatoriamente (el “grupo tratado”) y dejar otro grupo sin tratar (el “grupo de control”). Este método, habitual en medicina, era infrecuente en economía hasta hace unos 20 años. La aleatoriedad permite estimar el efecto medio del tratamiento simplemente calculando la diferencia entre el resultado medio del grupo tratado y el resultado medio del grupo de control. Y se consigue sin necesidad de un modelo teórico sobre el efecto de interés y con pocos supuestos, aunque hay que ser muy cuidadoso en el diseño y la realización del experimento. Frente al descrédito de los modelos econométricos, los experimentos generan estimaciones creíbles de efectos genuinamente causales.
Esta línea de investigación ha tenido gran éxito: en 2005, 67 de los 89 programas que el Banco Mundial tenía en África se evaluaron experimentalmente. Uno de sus efectos ha sido desviar recursos de los megaproyectos a proyectos más modestos pero potencialmente muy efectivos. Banerjee y Duflo (que obtuvieron el Premio BBVA Fronteras del Conocimiento de Cooperación al Desarrollo con su Laboratorio de acción contra la pobreza del MIT) relatan muchos resultados interesantes. Por ejemplo, en un trabajo sobre Kenia Miguel y Kremer encuentran que medicar a los niños para que no tengan parásitos (lombrices) es 20 veces más efectivo para que vayan al colegio que contratar a un profesor más (el coste anual por alumno de la desparasitación es de 3.25 dólares mientras que el de la contratación es de 60 dólares).
Las críticas de Deaton son variadas. Por una parte, los experimentos no están exentos de problemas, por ejemplo si hay personas elegidas para recibir el tratamiento que se niegan o lo dejan. Estas violaciones de la aleatoriedad de la selección obligan a los investigadores a recurrir a procedimientos econométricos (como las variables instrumentales), que rompen la supuesta pureza del experimento. Además, el método experimental solo permite hallar efectos medios pero no evidencia sobre la distribución de los resultados e ignora efectos de equilibrio general. La principal crítica de Deaton es que hallar un efecto causal de una política no nos dice nada sobre el mecanismo que lo genera, por lo que es muy difícil extrapolarlo a otros contextos. En este sentido, los economistas nos habríamos pasado de un extremo a otro. En fin, estos trabajos son muy interesantes y el debate afecta no solo a las políticas de desarrollo sino a muchas otras políticas públicas.
Una reflexión final. El Gobierno español ha dotado con 10,4 millones de euros un Fondo Español para la Evaluación de Impacto para evaluar con métodos experimentales las políticas del Banco Mundial. Es una excelente iniciativa. Irónicamente en España, que yo sepa, no se evalúa ninguna política pública con métodos experimentales, a pesar de que existe una Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios que debería hacerlo. Dedicamos miles de millones de euros de los contribuyentes a políticas inútiles (como las subvenciones a la contratación permanente, véase el artículo de J. Ignacio García Pérez en el eBook de Fedea) que jamás se evalúan rigurosamente. Dejo al lector la especulación sobre las causas.