Del átomo al PIB: el método del control sintético

Por José E. Boscá y Javier Ferri

Para evaluar los efectos que una perturbación, provocada o espontánea, es capaz de inducir sobre un estado de la naturaleza, idealmente debería compararse el estado observado después de la perturbación con el que se habría observado en ausencia de la misma. Esta es la base de la metodología empírica de cualquier rama de la ciencia, y la que utiliza un físico para establecer las reacciones nucleares que tienen lugar en un elemento bombardeado por partículas, un biólogo que estudia el crecimiento bacteriano en un cultivo, o un farmacéutico que trabaja con ratones para entender la efectividad de un medicamento.

Lamentablemente, la pureza del método descrito disminuye con la complejidad de la naturaleza objeto de la investigación. Un átomo de carbono es una unidad observacional más simple que una bacteria. Dos bacterias de la misma cepa son mucho más similares entre sí que dos ratones de la misma especie. Y dos humanos son más diferentes entre sí que dos ratones. Un físico no necesita preocuparse, al comparar dos átomos de carbono, por las diferencias existentes en el átomo antes de su experimento, porque ambos son idénticos, por lo que le vale con comparar la reacción producida en el mismo antes y después del experimento. Aunque los ratones son más que un átomo, el farmacéutico que trabaja con ellos tiene la certeza de que ni el ratón al que le ha administrado el medicamento, ni su ratón alter ego, han quemado las noches de su juventud en el ‘after hours’ bebiéndose la estantería de ginebras. Sin embargo, la única forma que existiría de garantizar que estamos comparando dos humanos iguales, antes de que uno de ellos sufriera una perturbación, sería generar una coincidencia absoluta en su ADN y obligarles a pasar la vida en una burbuja, en ausencia completa de estímulos. Y esto, afortunadamente, no existe.

Pese a las dificultades a la que nos enfrentamos al tratar con humanos, y no con átomos, bacterias o ratones enjaulados, los economistas llevamos ya muchos años utilizando, lo mejor que podemos, el método empírico consistente en comparar el desarrollo de individuos que han sufrido una perturbación común (al que le llamamos, como los médicos o farmacéuticos, grupo tratado) con los individuos más parecidos posibles, pero que no han recibido dicho shock (o grupo de control). Un tipo de perturbaciones que nos estimulan particularmente, aunque no las únicas, son las políticas económicas.

Para realizar estas comparaciones entre el grupo tratado y el grupo de control, los economistas recurrimos a distintas fuentes de información. En algunos casos, generamos la información en los llamados laboratorios de economía experimental (muy apreciados también por nuestros estudiantes, que se ganan unos eurillos); David Jiménez Gómez nos hablaba aquí de las buenas prácticas para el diseño de experimentos. En otros casos, conseguimos la información experimentando sobre el terreno. Entonces, los individuos comparados no están expuestos a situaciones hipotéticas, sino que son personas que reciben (o no) perturbaciones diseñadas por los economistas y que afectan (o no) a su vida real en una aldea de la India, por ejemplo. En esta otra entrada sobre los últimos Premio Nobel de Economía, Mónica Martínez-Bravo y Pedro Rey nos explican con más detalle los méritos de este tipo de experimentos aleatorios controlados sobre el terreno. Pero los economistas empíricos que no diseñan sus experimentos también pueden obtener información valiosa a partir de datos más o menos públicos y entre los que destacan, por su calidad, los datos administrativos (véase, por ejemplo, el resumen que hicimos de nuestro estudio sobre el efecto de la subida de las tasas universitarias en el rendimiento de los estudiantes). En función de su capacidad de generalización de resultados, de corregir sesgos al hacer inferencia, y de la flexibilidad en su implementación, cada una de estas tres formas de extracción de información tiene sus ventajas y debilidades.

Si damos ahora un paso más, y avanzamos desde el estudio individual de un conjunto de personas a sistemas dinámicos más complejos, como las sociedades creadas por humanos, cuya evolución es el resultado de millones de interacciones entre miles de personas, la pretensión de encontrar dos sistemas idénticos en su evolución para poder compararlos después de que uno de ellos reciba una perturbación aislada es, en principio, una quimera. Del mismo modo que el método empírico se vuelve menos puro (pero sin duda más imaginativo) cuando se estudia una dimensión concreta de la reacción de las personas frente a la reacción en el núcleo de un átomo, su precisión disminuye cuando el objeto del estudio es el propio resultado agregado (llámese PIB, por ejemplo) en un sistema complejo (llamémosle, para simplificar, una economía). He aquí uno de los dramas de la macroeconomía cuando se compara con la microeconomía: la complejidad que subyace al resultado observacional dificulta el análisis causal de los efectos de los shocks.

Aun aceptando sus limitaciones, el método empírico en macroeconomía debería desviarse lo menos posible del explicado. Para ello existen dos grandes aproximaciones, y ambas pasan por crear una representación artificial de lo que sería una ‘economía de control’. La aproximación más conocida consiste en diseñar un sistema de ecuaciones que representen las principales características de la toma de decisiones y la interacción entre los agentes que operan en el sistema, y cuya solución se parezca al comportamiento dinámico observado, antes de la perturbación, de la economía que se desea de estudiar. Una vez diseñado este sistema artificial, se puede introducir en el mismo una perturbación con características similares a la observada en la realidad, para volver a obtener la solución dinámica del mismo que se compararía con la del sistema sin perturbar (economía de control). Esta aproximación empírica está basada, por lo tanto, en la teoría que reflejan las ecuaciones, y en los supuestos subyacentes, que no necesariamente van a reflejar fielmente el proceso de toma de decisiones real de los agentes.

La otra aproximación es puramente empírica. Imaginemos que una economía A recibe una perturbación y queremos evaluar el impacto de la misma en términos de PIB. El equivalente en el plano microeconómico sería un conjunto de individuos afectados por una política económica, por ejemplo. Pero ahora sólo tenemos un individuo tratado (la economía A que ha recibido una perturbación). Frente a esta economía tenemos otras que comparten características comunes con la economía  afectada, pero que no han sufrido esa perturbación (al menos de forma directa). El enfoque del control sintético propuesto por Abadie y Gardeazabal (AER, 2003) plantea la posibilidad de obtener un economía de control sintética dando distintos pesos a las economías no directamente afectadas por la perturbación. Esos pesos se pueden estimar óptimamente minimizando la distancia entre ciertas características observables de la economía tratada y la economía sintética, creada a partir de un conjunto de datos observados. Por ejemplo, si en una serie de variables que explican el crecimiento del PIB real, la economía A se parece bastante a la economía B, algo a la economía C, un poco a la economía D y nada a la economía E, el método comentado podría generar una economía artificial (S), alter ego de la A, como S = 0,6B+0,3C+0,1D, donde 0,6; 0,3 y 0,1 son los pesos que hacen a la economía S lo más parecida posible a la economía A, según un conjunto de variables determinadas.

La economía alter ego así construida se utilizaría para comparar la evolución de su PIB con la observada por la economía tratada, y estimar de este modo el efecto de la perturbación sobre la variable de interés. Como los experimentos económicos en laboratorios o sobre el terreno, se trata en definitiva de un estudio del caso, restringido a un periodo, a un lugar y a una perturbación particular.

En la entrada que acompaña a ésta comentaremos lo que nos dicen las estimaciones más recientes que utilizan el método del control sintético sobre los costes económicos de tres casos de conflictos separatistas que nos han tocado o nos siguen afectando de cerca: el País Vasco, el Reino Unido y Cataluña.

Hay 4 comentarios
  • José y Javier, gracias por los tres posts. Alberto Abadie ha desarrollado su método en un paper que será publicado en JEL

    https://economics.mit.edu/files/17847

    En el paper Alberto celebra el uso creciente del método de control sintético en la investigación empírica por economistas y otros, pero teme el uso excesivo, o mejor dicho su abuso si no se entiende bien para qué sirve y bajo qué condiciones es útil.

    Primero debe quedar claro que “The synthetic control method is based on the idea that, when the units of observation are a small number of aggregate entities, a combination of unaffected units often provides a more appropriate comparison than any single unaffected unit alone. The synthetic control methodology seeks to formalize the selection of the comparison units using a data driven procedure.” Luego deja bien claro que “an aggregate entity” equivale a una jurisdicción política (municipio, provincia, comunidad, estado-nación) aunque el interés del analista sea el impacto en la sociedad o la macroeconomía de una determinada “aggregate entity”. Y que el método solo sirve para analizar las consecuencias de un “tratamiento” o un “evento” en una jurisdicción política a partir de una comparación con otras jurisdicciones políticas iguales o similares, y que el método es útil solo para diseñar esta comparación.

    El paper luego analiza en detalle por qué sirve y bajo qué condiciones sirve.

  • Sus posts me han motivado a actualizar mis conocimientos sobre los métodos de investigación empírica, pero siempre partiendo de que esta investigación es seria si y solo si aplica la teoría microeconómica o la teoría macroeconómica. Otros ejercicios “empíricos” con suerte sirven para motivar una investigación seria (un ejemplo: la búsqueda de correlaciones no como punto de partida sino como fin de una investigación —algo evidente en las investigaciones referidas en los dos posts de Jesús Felipe días atrás). Además, la investigación debe basarse en datos recogidos y procesados por procedimientos fiables, algo que requiere verificación. Quienes 60 años atrás en Argentina me enseñaron cómo se “cocinan” las Cuentas Nacionales y demás estadísticas básicas de la Macro Aplicada, ya me advirtieron la importancia de esos procedimientos.

    La investigación empírica en cuestión tiene como propósito servir a los ingenieros sociales, no a científicos interesados en validar sus teorías. No puede ignorarse que las unidades académicas de Economía hoy están dedicadas más, mucho más, a la ingeniería social que a la ciencia. Este blog es muestra de ese cambio.

    Lo segundo es distinguir claramente entre Micro y Macro. Los métodos han avanzado mucho en Micro Aplicada pero poco o nada en Macro Aplicada y la razón estaría precisamente en lo que ustedes señalan en los primeros párrafos del primer post.

    • En el segundo párrafo del primer post (“Lamentablemente …”) ustedes plantean la gran diferencia entre las ciencias cuyos objetos son fenómenos naturales y las ciencias de la conducta humana. Pero se quedan cortos en cuanto a la magnitud de esa diferencia. Destaco tres puntos: la “complejidad” y la inestabilidad a nivel individual, y la diversidad de cualquier grupo humano.

      La complejidad implica que la descripción de un humano requiere considerar varias dimensiones, cada una con grado de intensidad variable. Siempre simplificamos pero eso implica ignorar algo cuya importancia desconocemos. La complejidad relevante para la ingeniería social es la que observamos cuando nos graduamos de adultos.

      La inestabilidad de los adultos es consecuencia tanto de nuestra racionalidad como de nuestra irracionalidad. Podemos discrepar sobre la línea divisoria (algo importante para entender y juzgar a un adulto vivo) pero ni siquiera un racional extremo es lo suficientemente estable como para afirmar que su conducta es predecible.

      La diversidad de cualquier grupo de adultos es extrema: nunca hay dos iguales en las dimensiones usadas para describirlos. Nuestro problema siempre es cuán diferentes son y bajo qué condiciones podemos ignorar sus diferencias.

      Hemos aprendido “mucho” sobre esos tres problemas. Pero estamos lejos de saber siquiera lo suficiente, y por eso los servicios de los “expertos” en conducta humana deben tratarse como si fueran “credence goods”.

Los comentarios están cerrados.