Por Libertad González
Imaginen que queremos averiguar qué efecto tiene un programa de becas que subvenciona los estudios universitarios de alumnos con pocos recursos. Por ejemplo, quizá nos interesa conocer el impacto sobre la probabilidad de graduación, o sobre su salario futuro. ¿Cómo hacemos?
Se trata de una pregunta causal: cuál es el efecto de A (la beca) sobre B (graduación y salarios). Para responder a esta pregunta, lo que realmente querríamos es poder comparar lo que le pasó a cada uno de los alumnos que recibieron la beca, con lo que les habría pasado en caso de que esos mismos alumnos no la hubieran recibido. Por supuesto, esto es imposible. Cada estudiante, o recibe la beca, o no. Nunca podremos saber qué habría sido de sus vidas en el caso no observado (porque no sucedió). Así que necesitamos buscar otras maneras de aproximar ese “contrafactual”.
Esta manera de entender las preguntas causales es el enfoque de “desenlaces potenciales” (potential outcomes) que desarrollaron Guido Imbens y Donald Rubin. (Dicen que Rubin, al saber del Nobel de Economía el pasado lunes, dijo “a ver si es que yo ya me he muerto y no me he enterado”, en referencia a su exclusión del premio.)
¿Cómo podemos sortear la imposibilidad de observar los desenlaces alternativos o contrafactuales? Los premiados por el Nobel han estudiado y aplicado diferentes formas, en situaciones en las que no podemos realizar experimentos aleatorizados controlados (cuyos proponentes en economía ya recibieron el premio hace dos años, como les contamos aquí y aquí). Su propuesta es analizar “experimentos naturales”, es decir, situaciones en la vida real que, si las miramos desde el ángulo adecuado, replican (o casi) el experimento controlado que querríamos realizar.
En el caso de las becas, una forma de responder a nuestra pregunta causal sería coger todas las solicitudes que cumplieran los criterios, y asignar las becas por lotería. ¿Cómo resuelve esto el problema? El azar hace que los alumnos que no reciben la beca sean, en conjunto, muy parecidos a los que sí. De este modo, podemos estudiar cómo les va en la vida a este grupo que “perdió la lotería”, y (si la lotería se ha hecho bien y el tamaño muestral es suficiente) podemos usarlos como “grupo de control”, es decir, una aproximación a cómo les habría ido a los afortunados que recibieron las becas, si no las hubieran conseguido. Este es el enfoque de los experimentos aleatorizados controlados, que resuelven el problema del contrafactual no observado, pero que no siempre se pueden (o se deben) aplicar a las preguntas que nos interesan. Por ejemplo, no siempre los investigadores pueden influir en el diseño de las políticas públicas, o puede que se considere más ético conceder las becas a los alumnos más necesitados en lugar de por medio de una lotería.
Sin embargo, si queremos responder a la pregunta de partida, la lotería es la clave. El azar consigue que el grupo de control sea parecido al de “tratamiento”, de media. Pues bien, los economistas empíricos vamos por la vida buscando “loterías” generadas en el “mundo real”. De esto van los “experimentos naturales”.
¿Cómo podríamos hacer esto en el ejemplo de las becas? Bueno, hay varias posibilidades. Por ejemplo, supongamos que las becas tienen un requisito de ingresos familiares y una nota de corte (por ejemplo, un 7 en selectividad). Los alumnos que sacaron un 6.9 en selectividad serían un buen grupo de control para los que sacaron justo 7 (sacar 6.9 o 7 se puede considerar casi una lotería). Este enfoque se denomina “regresión en discontinuidad”, y ha sido muy usado en economía en los últimos años.
Otra posibilidad sería aprovechar si algunas regiones dan becas pero otras no. Podríamos usar datos de estudiantes “parecidos” (mismo ingreso familiar y notas) en otras regiones como “controles”. En este caso, sin embargo, el grupo de control no es tan bueno, porque unas regiones y otras difieren en muchas cosas, con lo que los dos grupos de alumnos podrían ganar salarios diferentes en el futuro por muchas razones. En estas situaciones, podemos usar el método de “diferencias en diferencias”. Podríamos comparar los salarios de los alumnos con beca con el grupo de control en otras regiones, y para descartar que las diferencias se deban a otros factores, podríamos comparar también a estudiantes de las mismas características en las dos regiones, pero antes de que se pusiera en marcha el programa de becas. En esta segunda comparación, las diferencias entre los dos grupos no se deben a las becas, lo que nos permitiría “eliminar” los efectos de otros factores que difieren entre las dos regiones.
Tanto David Card como Josh Angrist han aplicado este tipo de métodos extensivamente para responder a preguntas en economía de la educación, así como en economía laboral. A David Card lo conocí cuando impartió un seminario en mi departamento sobre los efectos de poner a los niños con altas capacidades en grupos separados en el colegio (usando el método de regresión en discontinuidad). A Josh lo vi presentar un trabajo sobre los efectos de asistir a una “charter school” (una especie de escuelas concertadas en EEUU) para niños de barrios pobres.
Los tres premiados son sin duda líderes en lo que puede considerarse una revolución en toda regla en la credibilidad del análisis empírico en economía. Los tres, junto con otros, han empujado con fuerza la idea de que, dado que muchas de las preguntas que nos interesan son causales, tenemos que tomarnos la causalidad en serio, y aplicar métodos que sean explícitos en términos de qué proponen para resolver el problema de los “desenlaces alternativos” no observados.
La investigación en economía sería hoy muy diferente sin sus contribuciones, tanto en términos de los métodos que usamos como de las respuestas que ahora conocemos a preguntas tan relevantes como los efectos de la inmigración sobre el mercado de trabajo o el efecto de la educación formal sobre los salarios (no mencionaré el salario mínimo porque ya han podido leer mucho sobre eso estos días en los medios).
Desde Nada es Gratis felicitamos calurosamente a los premiados, pero también a todos los economistas empíricos que vais (vamos) por la vida con el detector de experimentos naturales, en la convicción de que estas herramientas nos ayudan a responder preguntas relevantes para la sociedad.
Hay 8 comentarios
Muchas gracias por los comentarios. Me decepciona un poco que no haya hecho algún comentario del famoso trabajo de David Card sobre el salario mínimo. Lo que se ha podido leer en la prensa, no sé si aclara algo o más bien confunde. En general, al menos hasta donde yo he leído, los periódicos con un ideario de derechas han tendido a desacreditar dicho trabajo en el sentido de que lo consideran un simple caso particular, que casi nada puede decirnos sobre los efectos del salario mínimo (contraponen al resultado de Card un reciente estudio del BDE, aunque este se circunscribe también a un caso muy particular: la enorme subida del SMI en 2019). En cuanto a los medios inclinados al otro lado, no faltan quienes declaran haber encontrado la prueba definitiva de que el salario mínimo no destruye empleo.
Por otro lado, la idea de los experimentos naturales (que también ha sido comentada en la prensa a mi juicio con poca fortuna), es muy atractiva en teoría. Pero los ejemplos que Vd. pone me resultan confusos. En el caso de las becas, si las asigna aleatoriamente eso no parece un experimento natural sino un diseño experimental ad hoc. Lo de comparar regiones también es confuso: Vd. mismo lo señala por las (a veces enormes) diferencias que hay entre los habitantes de distintas regiones.
En fin en todo caso, gracias de nuevo.
Sobre el tema del salario mínimo, el trabajo de David Card con Alan Krueger sobre los efectos de la subida en Nueva Jersey en 1992 ha sido muy influyente. El experimento natural en ese caso contitstió en comparar los cambios en el empleo en restaurantes de comida rápida en ese estado, con los del estado vecino de Pensilvania, donde el salario mínimo no cambió. Creo que es evidente que esos resultados no se pueden extrapolar al caso de España en 2021. Ha habido muchos estudios posteriores usando experimentos naturales parecidos o alternativos. Una cosa que demuestra esta literatura es que subir el salario mínimo *no necesariamente* reduce el empleo.
Sobre los métodos, he intentado explicar dos de ellos de manera muy sencilla. Estoy de acuerdo con sus consideraciones de que, si analizamos una lotería que ha sido diseñada por los investigadores, ya no se trata de un experimento natural, sino de uno "controlado". Y sobre el ejemplo de comparar entre regiones (como en el caso del estudio sobre el salario mínimo que he comentado), muchos investigadores se han dedicado precisamente a estudiar en qué condiciones ese tipo de comparaciones son válidas o no. De nuevo, de acuerdo con usted en que comparar regiones muy diferentes es problemático. Pero ahora sabemos mucho sobre qué tests exactamente debemos hacer para decidir si una región es un grupo de control "razonable" o no.
Estimada Libertad:
En Metateoría Económica, es decir, si nos remontamos al hontanar teórico, observaremos como las aguas no descienden con pureza.
Es sabido, que el líquido elemento se filtra, encuentra su camino, dando lugar a un mar de implicaciones teóricas y prácticas. La pregunta fundamental, es si existe algo como un enfoque objetivo, en las alturas, y la respuesta parece ostentar un no categórico. Tanto en un sentido como en el sentido que cualquiera se identifique o quiera imaginarse.
¿Y qué nos queda? El método. La correcta y rigurosa metodología. Si he entendido bien, el Nobel ha enfatizado la ciencia y su método que jamás se deben abandonar, si uno quiere obtener resultados fiables.
Sin embargo, hay que tener cuidado, porque en los diseños metateóricos, se construyen auténticas bombas de relojería, que estallan sin hacer ruido, condicionando el quehacer o la conducta de millones de personas. Al contrario que el Proyecto Manhattan, no existe un quórum reformista que ponga sobre aviso a las autoridades en economía. Y eso genera un número de bajas inaceptable.
Ética y Economía, no deben ser por más tiempo términos mutuamente excluyentes, aunque sea a nivel informal. Remontémonos al hontanar y observemos serenamente.
Un cordial saludo.
Confieso que he tenido que buscar "hontanar" en el diccionario 🙂
Hola, Libertad.
Si, “hontanar” es un término muy chulo, tanto por fonética como por semántica. Hace que uno se remonte a los orígenes de una manera muy natural.
Ideal si se condimenta con palabras como teoría o metateoría. Esto refuerza nuestra visión del santuario en el que nuestros pensamientos se articulan. Y los primeros pasos, siempre titubeantes, dejan huella indeleble en este acontecer primigenio.
Este santuario funciona a nivel macro y micro. Existiendo una imbricación profunda entre ambos niveles. Es como un solar, donde podremos edificar lo que queramos, pero cada planta desde el encofrado, nos determinará al siguiente paso en la estructura. Una mala construcción de base, nos situará en un error conceptual. Y tocará deconstruir, para reubicar nuestras expectativas, con nuevos planos y materiales.
Esta es la causa de las reformas, revoluciones y cambios de paradigma en general. Pero estas pulsiones son infrecuentes, generalmente las fuerzas conservadoras tienden a imponerse. Y sólo en ocasiones de suma tensión puede producirse el germinar de una nueva apertura, a una óptica diferente o por qué no complementaria.
Un cordial saludo.
Estimada, Libertad.
Disculpa mi aparente digresión.
Coincido en el valor empírico como anclaje fundamental de la teoría económica. La experimentación y el método, aplicados de forma acertada, sin duda producen los mejores frutos.
Mis comentarios, no obstante pretendían demostrar que existe otra vía, otra forma de hacer economía, a través de la prosa común, engarzando una variedad de temas, para abrir un espacio de reflexión o cuestionamiento que enriquezca nuestras posiciones de partida.
Un cordial saludo. 🙂
El experimento natural de consecuencias más masivamente positivas fueron las "zonas económicas especiales" en la China de Deng y posterior. Cientos de millones salieron de la pobreza partiendo de la miseria más absoluta, en muy pocos años. Echo en falta la opinión de los economistas occidentales sobre el fenómeno más dramático de nuestro tiempo.
Por más vueltas que le doy no encuentro que aportan o pueden aportar los llamados experimentos naturales más allá de unos resultados, que siempre serán discutibles por las dificultades prácticamente insalvables de encontrar grupos de contraste auténticamente homogéneos, y que en cualquier caso no son generalizables. Los resultados del estudio sobre los efectos aparentemente contrarios a lo que dice la teoría económica de un aumento relativamente moderado del l salario mínimo, pueden explicarse perfectamente por la propia teoría económica, sin necesidad de experimento natural alguno.
Los comentarios están cerrados.