El enfoque tradicional y el enfoque experimental: entendiendo el Premio Nobel

Entrada conjunta con Anna Sanz de Galdeano

Como seguro que ya saben, la Academia Sueca de las Ciencias le ha otorgado el premio del 2019 en Economía en memoria de Alfred Nobel, a los profesores Abhijit Banerjee, Esther Duflo, y Michael Kremer por su enfoque experimental en la lucha contra la pobreza global. Mónica Martínez-Bravo y Pedro Rey ya publicaron esta estupenda entrada  en la que resumen las múltiples contribuciones de los galardonados. En esta entrada nos centramos en un aspecto muy específico: explicar lo que significa el “experimental approach” utilizando algunas de las contribuciones de los galardonados en la economía de la educación. El objetivo de esta entrada es explicar en qué consiste el enfoque experimental y, especialmente, enfatizar la revolución que ha supuesto y que ha motivado la elección de los galardonados. Antes de continuar, queremos aclarar que no pensamos ni que el enfoque experimental sea el único bueno, ni que carezca de desventajas o retos, ni que se pueda ni se deba aplicar siempre (dejamos estas cuestiones para una entrada futura). Es más, su co-existencia con los enfoques no experimentales con los que se retroalimenta, contribuye al avance del conocimiento. La entrada se basa en nuestras contribuciones a la mesa redonda que organizó la Asociación Española de Economía junto con Fundación Ramón Areces, en la que también participó Mónica Martínez-Bravo, y cuyo video completo se puede ver aquí.

Los galardonados, con diversos colaboradores, han evaluado muchos programas de “último eslabón”: no grandes políticas macroeconómicas ni programas de crecimiento, sino aspectos más concretos relacionados con cómo hacer efectiva la inversión en educación, salud, agricultura, etc. Ejemplos de este tipo de políticas de “último eslabón” en educación incluyen la provisión de desayunos gratis en los colegios y de libros de texto a los alumnos o la contratación de profesores a tiempo determinado.

Los galardonados no recibieron el Premio Nobel por haber realizado el primer experimento de campo en Economía (ejemplos de experimentos de campo en EEUU muy anteriores incluyen el conocido como el RAND Health Insurance Experiment, los programas Perry Preschool Project y STAR Project sobre desarrollo en la infancia, así como experimentos sobre el impuesto negativo sobre la renta, entre otros). Tampoco les otorgaron el Premio Nobel por haber realizado el primer experimento económico en países en vías de desarrollo. En este vídeo, Michael Kremer nos cuenta que sus comienzos en el mundo experimental coinciden con Progresa, un programa de transferencias condicionales diseñado por Santiago Levy cuando fue Ministro de Finanzas de México. Progresa fue sujeto a una rigurosa evaluación aleatoria y ha tenido un gran impacto tanto académico como en política económica. A los galardonados les dieron el Premio Nobel por su “enfoque experimental” en la lucha contra la pobreza.

Para entender en qué consiste el “enfoque experimental,” conviene describir primero el enfoque tradicional en la evaluación de políticas públicas en países en vías de desarrollo. Usualmente, un gobierno diseña e implementa un programa del tipo de “último eslabón.” Un académico descubre dicho programa, quizás a posteriori, y recurre a encuestas de hogares que se recogen rutinariamente (e independientemente del programa que se está evaluando) y a métodos cuasi-experimentales para evaluar el programa.

Este enfoque tradicional tiene ciertas trabas: nadie garantiza que las encuestas de hogares que se recogen rutinariamente sean suficientes para evaluar la política, pues es muy posible que las preguntas que incluyen no abarquen todos los aspectos necesarios, que haya muy poco solapamiento geográfico con las áreas geográficas donde se implemente el programa, o que los años en los que se recoge la encuesta no coincidan con el periodo de implementación de la política. Estos problemas, que también tienen relevancia en los países ricos, son más importantes para países en vías de desarrollo que no dedican tantos recursos a la recogida rutinaria de datos.

El enfoque tradicional tiene otras trabas: estás evaluando desde fuera y puede ser que se te perciba como una especie de auditor y que no se comparta contigo toda la información necesaria. Además, nada garantiza que las políticas que ha diseñado el gobierno sean las que más necesitamos estudiar para avanzar nuestro conocimiento: a todos los políticos les encanta cortar cintas e inaugurar escuelas. Pero la traba que resulta más relevante para nuestra exposición es la que se hace patente si, como resultado del estudio, aprendemos algo y surge una nueva hipótesis de cómo hacer la inversión más efectiva. Pues, en muchos casos, no nos queda otro remedio que esperar a que el gobierno implemente otra política que incorpore estas lecciones, lo cual posiblemente nunca ocurrirá. O quizás podamos encontrar una política parecida en otro país, pero que tendrá distintas instituciones, distintos datos, etc.

En el “enfoque experimental” por el que se ha otorgado el Premio Nobel es un proceso experimental iterativo, en el que los investigadores co-diseñan junto con los implementadores de programas (gobiernos, multilaterales y ONGs) una serie de experimentos para evaluar políticas de “último eslabón” de modo que las lecciones aprendidas de un experimento se incorporan en el diseño del experimento siguiente. A ser posible, recogiendo el mismo tipo de datos, de la misma manera, y en lugares con instituciones iguales o similares a las de los experimentos anteriores. Posiblemente, este proceso experimental iterativo no es muy distinto de cómo realizan investigación los economistas experimentales, si bien trabajan en el laboratorio y no directamente sobre políticas públicas (aunque los resultados puedan ser muy útiles para el diseño de dichas políticas).

El “enfoque experimental” tiene muchas otras ventajas. Para empezar, la asignación de los potenciales beneficiarios al programa es aleatoria, lo cual minimiza la posibilidad de sesgo en la estimación del efecto del programa que se está evaluando. El método de diseño de las políticas con los implementadores hace que te vean como compañero de viaje, y sean muy abiertos contigo en los problemas que tienen en el terreno, lo que ayudará a que surjan nuevas hipótesis que favorecerán la investigación presente y futura. Pero para crear un proceso iterativo que permita aprender de experimentos pasados e incorporar las lecciones aprendidas en futuros experimentos resulta fundamental que los investigadores jueguen un papel muy importante como co-diseñadores de las políticas que se evalúan. Asimismo, el enfoque experimental brinda a los investigadores una oportunidad única de utilizar sus conocimientos de la literatura existente y su capacidad de analizar la evidencia disponible identificar carencias o necesidades relevantes y para diseñar y evaluar experimentalmente programas que aspiren a abordarlas.

El enfoque experimental ha supuesto una revolución progresiva gracias a la cual, desde los años noventa, se han aprendido varias lecciones valiosas desde el punto de vista de lo que funciona y lo que no (y por qué) en la lucha contra la pobreza. En el resto de esta entrada vamos a ilustrar con algunos ejemplos puntuales enfocados en la educación cómo ha sido este proceso.

El aprendizaje ha sido gradual y generalizar es complejo pero, una tras otra, las aportaciones de los galardonados y sus colaboradores han contribuido a rellenar el rompecabezas planteado por preguntas cruciales como: ¿qué debemos que hacer para que los niños vayan a la escuela? ¿Y para que aprendan algo una vez que están allí?

En los años noventa, Kremer y varios colaboradores hicieron una serie de experimentos en Kenya diseñados para abordar algunas de las carencias más evidentes del sistema educativo del país: la escasez de recursos en las escuelas y al absentismo tanto de los estudiantes como de los profesores.

En uno de los experimentos se suministraron desayunos gratis a los niños de una muestra de escuelas escogidas aleatoriamente. El absentismo escolar se redujo en estas escuelas (con respecto a las escuelas del grupo de control en las que no se ofrecieron desayunos gratis), pero esto no se tradujo en una mejora generalizada en el aprendizaje de los niños medido mediante pruebas estandarizadas. Lo mismo sucedió al utilizar ayudas visuales al aprendizaje como los rotafolios o al desparasitar a los niños en las escuelas: se redujo el absentismo estudiantil pero los resultados de los exámenes no mejoraron en general.

Así pues, se lograron progresos en el ámbito de la reducción del absentismo estudiantil, ¿pero qué había que hacer para que los niños más vulnerables aprendiesen además de ir a la escuela? ¿Cómo mejorar la calidad de la educación? Las experiencias en Kenya sugirieron que únicamente aumentar los recursos no funcionaba, pero fueron muy útiles porque ya arrojaron luz sobre cómo plantear intervenciones que quizás sí podrían lograr que los niños aprendiesen más. Por ejemplo, ni la provisión de libros de texto ni de desayunos gratis mejoraron el aprendizaje infantil en general, pero sí el de los niños con mejores resultados y de aquellos cuyos profesores estaban mejor formados antes de la intervención, respectivamente. Quizás no había que descartar el aumento de recursos para mejorar el aprendizaje de los niños más vulnerables, pero desde luego había que hacer algo más. Aquí se ve el proceso iterativo al que nos referíamos con anterioridad.

Desde el inicio de los años 2000 Banerjee, Duflo, Kremer y varios colaboradores ahondaron en esta cuestión en varios países. A través de varios análisis experimentales, constataron que los programas focalizados en los estudiantes con peor desempeño a menudo (esto es, en distintos lugares y con diferentes implementadores) funcionan. Además, con el paso del tiempo el diseño de los experimentos y su integración con la teoría económica no han dejado de mejorar y hoy en día la mayoría de los diseños experimentales no solo aspiran a averiguar qué funciona y qué no sino por qué o a través de qué mecanismos los programas funcionan (o no). En concreto, varios trabajos de los galardonados han mostrado que un motivo importante por el cual las intervenciones educativas de tipo compensatorio (como las sesiones de refuerzo o la tecnología educativa que personaliza el contenido de acuerdo a los niveles de aprendizaje de los usuarios a menudo funcionan) es que la adecuación de la enseñanza al nivel de los estudiantes mejora su aprendizaje. También hay evidencia de que agrupar a los estudiantes en función de su nivel mejora el desempeño de los más retrasados (pese al cambio en su grupo de pares) porque ayuda a los profesores a ajustar su docencia al nivel del alumnado. En el ámbito de la gobernanza en las escuelas y los incentivos al profesorado, se ha mostrado que los maestros contratados localmente a tiempo determinado por las asociaciones de padres y maestros faltan menos a clase y mejoran más el aprendizaje infantil que los funcionarios contratados centralizadamente. Además, estos efectos beneficiosos se potencian cuando la gestión escolar recae más en las escuelas, se empodera a los padres y son las asociaciones de padres y maestros las que seleccionan, eligen, dan seguimiento a los profesores contratados, valoran su desempeño y, en última instancia, deciden sobre su continuidad.

Estudios como los que hemos descrito han tejido una red de evidencia rigurosa cuyo impacto ha sido no solo académico. Gracias al esfuerzo de muchas personas y de instituciones como J-PAL, el Banco Mundial o el Banco Interamericano de Desarrollo, las lecciones aprendidas a través del enfoque experimental resultan muy accesibles y ya forman parte a menudo del diálogo con las organizaciones no gubernamentales, con los responsables del diseño de las políticas de muchos países en desarrollo y con la sociedad civil. Hoy en día, cualquier persona interesada en averiguar qué programas funcionan y dónde en el sector educativo o en otros puede consultar las lecciones aprendidas de las evaluaciones aleatorizadas lideradas por académicos afiliados a J-PAL en el sector educativo o en otros puede consultarlo en la base de datos y los resúmenes divulgativos disponibles en su web. Otro ejemplo de evidencia puesta al alcance de todos es el SkillsBank, un repositorio creado por el Banco Interamericano de desarrollo en el que se puede consultar la evidencia disponible sobre la eficacia relativa de las diferentes políticas para desarrollar habilidades a lo largo de la vida. Aunque casi resulte una obviedad, no podemos evitar subrayar que las ventajas del enfoque experimental no aplican única y exclusivamente a los países pobres. Ojalá un día nuestros políticos conviertan en rutina la evaluación de políticas públicas (y cuando sea posible y beneficioso siguiendo el enfoque experimental) a los programas destinados a mejorar nuestras vidas. En este documento sobre el anteproyecto de la Ley de Economía Sostenible, ya abogábamos al respecto.