¿Cuál es el pueblo más sintético de España? Estamos acostumbrados a ver artículos sobre los mejores pueblos de España, o los pueblos más bonitos de cada comunidad autónoma. Sin embargo, como economistas nos debería interesar justamente lo contrario: los pueblos que mejor puedan representar el conjunto de una comunidad, los más próximos a la media. La razón es que una parte importante de la investigación en economía se centra en entender los efectos de equilibrio general. Dada la complejidad de las interacciones entre individuos, éstos efectos pueden ser determinantes en la dirección y magnitud de una intervención económica. Un ejemplo clásico es la discusión de Keynes sobre el impacto de intervenciones fiscales (transferencias a los consumidores, por ejemplo) en la economía agregada. Si la intervención promueve el consumo individual y éste favorece la contratación, la intervención podría generar crecimiento económico. Por el contrario, si la intervención favorece que los trabajadores trabajen menos horas o si se paga con cambios fiscales distorsionadores, la intervención podría frenar la economía. Tradicionalmente, los economistas han estudiado los efectos de equilibrio general a través de modelos teóricos calibrados con datos observacionales. Sólo recientemente, gracias a la creciente popularidad de los experimentos de campo, se ha intentado entender la importancia de los efectos de equilibrio general a través de experimentos. Sin embargo, diseñar experimentos agregados válidos para medir estos efectos es complicado y costoso, es aquí donde pueden ser útiles los pueblos sintéticos.
Para medir efectos agregados se necesitan unidades de tratamiento grandes (comunidades, ciudades, pueblos, etc.). Dado que nuestros métodos estadísticos estándar requieren un alto número de unidades (n -> infinito) para poder determinar si un efecto causal es diferente de cero, esto implica que los experimentos agregados válidos pueden tener un costo muy elevado. Por ejemplo, en un experimento a nivel individual podemos tratar a 1000 personas y seguramente podremos concluir estadísticamente si hay o no un efecto para el individuo promedio, pero si nos interesa el impacto agregado en pueblos de 1000 habitantes, seguramente no podremos tratar a 1000 pueblos dado que esto implicaría tratar a 1 millón de individuos. Por este motivo, la mayoría de experimentos agregados se han llevado a cabo en países en vías de desarrollo. Un ejemplo es Egger et al. 2022 que hicieron una transferencia directa de 1000 dólares a los habitantes de 653 pequeños pueblos en Kenia. Desafortunadamente, las lecciones aprendidas por Egger et al. 2022 sobre los efectos de equilibrio general de una transferencia directa no se pueden trasladar a economías más complejas, y tampoco es factible replicar este experimento en economías más complejas con cantidades por individuo más elevadas dado el alto costo que esto implicaría.
¿Cómo podemos, entonces, diseñar experimentos agregados válidos con pocas unidades? Una idea recientemente propuesta es la de hacer experimentos sintéticos (Abadie and Zhao 2021, Doudchenko et al. 2021). En un experimento sintético en lugar de tratar una gran cantidad de unidades (pueblos o ciudades) se encuentra una combinación convexa de pocas unidades que replica la media de la población objetivo antes de recibir el tratamiento. Por ejemplo, se encuentran dos pueblos en una región que combinados son representativos de toda la región para una variable de interés, creando nuestro pueblo medio ideal. De manera similar, se construye un pueblo de control sintético que recrea el pueblo sintético de tratamiento pero que no recibirá el tratamiento. Comparando los valores del pueblo de tratamiento sintético y el pueblo de control sintético después de la intervención podemos estimar el efecto del tratamiento y utilizando pruebas de permutaciones podemos cuantificar la incertidumbre del efecto estimado. Se pueden utilizar distintos algoritmos para escoger la combinación de unidades, Abadie and Zhao 2021 proponen varias opciones, pero se pueden utilizar otros métodos. La validez de los experimentos sintéticos recae en la existencia de combinaciones de unidades que puedan recrear los valores de la población objetivo durante varios periodos antes de administrar el tratamiento. Si esta condición se cumple, la gran ventaja de este método es que nos permite reducir la cantidad de pueblos a tratar y por lo tanto permite hacer experimentos enfocados a medir el efecto medio de tratamiento que quizás no hubiéramos podido hacer con un diseño estándar.
Figura 1
La complicación de este método está en la inferencia estadística. Dado que escogemos la combinación de unidades que mejor replica la media antes del tratamiento, nos arriesgamos a recrear errores idiosincráticos. Para poder determinar que el efecto que vemos se debe al efecto de tratamiento y no a los errores idiosincràticos dejamos unos períodos antes del tratamiento en blanco (20 a 25 en la Figura 1). Utilizamos los periodos de estimación (del 0 al 20 en la Figura 1) para computar las unidades sintéticas y los en blanco para medir efectos “placebo”. Para evaluar si el efecto de tratamiento es diferente a zero comparamos los efectos placebo en el periodo en blanco con los efectos reales en el periodo de tratamiento, después del período 25 en la Figura 1, a través de un test de permutaciones. Computamos una p-value de permutaciones basada en la fracción de veces que los efectos de tratamiento son mayores que los efectos placebos y la utilizamos para concluir si el efecto de tratamiento es estadísticamente diferente a cero. Cuando el número de periodos antes del experimento es grande, esta p-value es aproximadamente válida.
Un ejemplo reciente de un experimento sintético es el diseño experimental que se hizo para el plan piloto de la renta básica universal propuesto en Cataluña. Para él Vives-i-Bastida 2023 adaptan los experimentos sintéticos a casos con múltiples variables de interés y proponen varias formas de evaluar el efecto mínimo detectable y la fairness del diseño. El doble diseño del plan piloto es un ejemplo de cómo se pueden utilizar experimentos sintéticos para aproximar experimentos más grandes y costosos con garantías estadísticas. El método puede ser de gran utilidad para investigadores y administradores públicos interesados en entender efectos agregados en casos en que hacer experimentos a gran escala sea impracticable. Las limitaciones del método recaen en sí se pueden aproximar variables de la población objetivo con un grupo reducido de unidades. Si es así, experimentos sintéticos similares nos pueden ayudar a entender mejor cuál es el impacto, individual y agregado, de intervenciones económicas y políticas públicas.
