Cómo generalizar un programa piloto

No sé si es mi impresión, pero el premio Nobel de este año ha generado más reacciones (generalmente positivas) que otras veces. Me sumo a los artículos publicados en este blog al respecto con esta entrada (este, este y este), que creo complementa las demás a la hora de explicar los méritos de los premiados, y que es una traducción de un artículo publicado en Mapping Ignorance. Se reproduce aquí con el permiso de ambos portales.

 La economía necesita teoría, experimentos de laboratorio, datos históricos y pruebas de campo. Los programas piloto y los ensayos controlados aleatorios son particularmente creíbles desde el punto de vista de su validez interna. Sin embargo, los resultados de estos programas y ensayos son más bien una "prueba de concepto" y no se extienden necesariamente más allá del contexto en el que se implementan y pueden no mantenerse si se generalizan.

Banerjee, Banerji, Berry, Duflo, Kannan, Mukerji, Shotland, y Walton estudian (aquí) seis desafíos principales para extraer conclusiones de ensayos controlados aleatorios localizados: efectos de equilibrio de mercado, efectos indirectos, reacciones políticas, dependencia del contexto, aleatorización o sesgo de selección del sitio, y sesgo de prueba. A continuación, documentan la superación de algunos de estos desafíos usando como ejemplo una intervención exitosa que comenzó con una organización no gubernamental en algunos barrios marginales, y se desarrolló a una política implementada a escala por los gobiernos estatales en India. Aquí presentamos un resumen de su trabajo usando párrafos seleccionados del artículo.

Los desafíos

1. Efectos de equilibrio de mercado

El primer desafío debería ser familiar para los economistas. Una implementación a pequeña escala puede tener solo consecuencias de equilibrio parcial, mientras que una implementación a gran escala puede afectar el equilibrio general. Como consecuencia, los resultados de un programa a pequeña escala pueden subestimar o sobreestimar los resultados en caso de ser generalizado. Por ejemplo, otorgar una beca a un pequeño grupo de estudiantes puede tener un gran efecto en el grupo, pero una generalización de las becas aumentará el logro educativo en toda la población, disminuyendo el rendimiento general de la educación (aquí).

Como otro ejemplo, considérese el bajo impacto de los microcréditos en los beneficiarios según los ensayos de control aleatorizados (aquí se revisa esta literatura). Sin embargo, el repentino colapso del microcrédito en Andhra Pradesh, India, debido a razones políticas y no a razones económicas, causó un gran efecto negativo en las comunidades donde se utilizó. Aunque el mecanismo no se entiende completamente, parece que el microcrédito tiene un efecto multiplicador donde se implementa, algo que no se habría capturado en los microdatos.

2. Efectos indirectos (spillovers)

Muchos tratamientos realizados en un colectivo tienen efectos indirectos en colectivos vecinos, lo que implica que esos colectivos no son grupos de control ideales. Algunos efectos indirectos están relacionados con la tecnología. Por ejemplo, las lombrices intestinales son contagiosas, por lo que si un niño es desparasitado, esto afectará también a su vecino. Otras fuentes de efectos indirectos son causas informativas: cuando se introduce una nueva tecnología (como una tela mosquitera de cama tratada con insecticida de larga duración); las primeras personas que están expuestas a ella pueden no aceptarla o usarla adecuadamente.

3. Reacciones políticas

Las reacciones políticas, incluida la resistencia o el apoyo a un programa, pueden variar a medida que los programas se amplían. Es probable que los funcionarios corruptos se interesen en aprovecharse de los programas una vez que alcanzan cierto tamaño (aquí).

4. Dependencia del contexto

Las evaluaciones generalmente se llevan a cabo en unas pocas ubicaciones (cuidadosamente elegidas), con organizaciones específicas. ¿Se extenderían los resultados en una configuración diferente (incluso dentro del mismo país)? ¿Dependerían de algunas características observadas o no observadas de la ubicación donde se llevó a cabo la intervención?

5. Aleatorización o sesgo de selección del sitio

Las organizaciones o individuos que aceptan participar en un experimento temprano pueden ser diferentes del resto de la población. Esto puede deberse a que los socios dispuestos son particularmente competentes y motivados, porque los que tienen más probabilidades de beneficiarse también tienen más probabilidades de ser tratados, o porque la organización, sabiendo que será evaluada, elige una ubicación o un subgrupo donde se espera que los efectos sean particularmente grandes.

6. Control del sesgo / desafíos de implementación

Un programa a gran escala será dirigido inevitablemente por una burocracia también a gran escala. El monitoreo intenso que es posible en un programa piloto puede que ya no sea factible cuando eso ocurra, o puede requerir un esfuerzo especial.

Una generalización exitosa: enseñar en el nivel adecuado

Pratham, una organización no gubernamental india, diseñó un enfoque engañosamente simple, que se ha dado en llamar "enseñar en el nivel adecuado". La idea básica es agrupar a los niños, durante algún período del día o parte del año escolar, no según su edad, sino según lo que saben.

De los barrios pobres de Bombay a 33 millones de niños

La asociación entre los investigadores y Pratham comenzó con un ensayo controlado aleatorizado como "prueba de concepto" del Programa Balsakhi de Pratham en las ciudades de Vadodara y Mumbai, realizado entre 2001 y 2004 (aquí). Los niveles de aprendizaje de los niños participantes aumentaron en 0,28 desviaciones estándar.

A continuación, Pratham repitió este enfoque hecho en centros urbanos relativamente prósperos del occidente de India para llevarlo a las áreas rurales, donde se vieron forzados a depender en gran medida de voluntarios en lugar de maestros remunerados. Para facilitar este cambio, la pedagogía se volvió más estructurada y más formal, con énfasis en la realización de pruebas frecuentes. Todo ello requirió diseñar una nueva evaluación aleatorizada para probar el modelo basado en voluntarios en el contexto mucho más problemática de las zonas rurales del norte de la India.

Los resultados fueron muy positivos, pero también revelaron nuevos desafíos: el entusiasmo de los voluntarios disminuía con el tiempo, las clases terminaban prematuramente, y solo el 12% de los niños elegibles participaron en el programa, dejando atrás desproporcionadamente a los estudiantes del extremo inferior.

Un primer intento de generalizar con el gobierno

A partir de 2008, Pratham y Abdul Latif Jameel Poverty Action Lab se embarcaron en una serie de nuevas evaluaciones para medir los resultados del enfoque de Pratham al integrarse con el sistema escolar del gobierno.

Se llevaron a cabo diferentes implementaciones para determinar las causas del éxito o el fracaso. En las intervenciones en que el programa proporcionaba material escolar o material más capacitación no encontraron ningún efecto. Cuando se agregaron voluntarios al programa, la evaluación mostraba un impacto positivo en Bihar, pero no en Uttarakhand, los dos estados donde se realizó el estudio. A primera vista, parecía que el hecho de que las escuelas no utilizaran a los voluntarios según lo previsto (formaban parte del equipo escolar) podría ser la razón por la cual la intervención de Uttarakhand no funcionó. Sin embargo, un análisis cuidadoso mostró que la razón no era la distinción entre voluntarios y maestros de escuela del gobierno, sino entre el personal que incorporaba el aspecto de enseñanza específico y el que no. En otras intervenciones, donde el programa fue implementado por maestros de escuela durante los campamentos de verano, arrojó resultados positivos. ¿Por qué no se tienen estos resultados cuando el programa se aplica durante el día escolar normal?

Conseguir que los maestros se tomen la intervención en serio

Primero, se hicieron todos los esfuerzos para enfatizar que el programa fue totalmente respaldado e implementado por el gobierno, en lugar de una entidad externa. Segundo, el programa se implementó en una hora específica durante la jornada escolar. Este cambio envió una señal de que la intervención era ordenada por el gobierno, rompió la inercia del statu quo de seguir rutinariamente el plan de estudios y facilitó el cumplimiento. Tercero, durante la hora extra, los niños fueron reasignados y trasladados físicamente a las aulas en función de los niveles. Esto eliminó la discreción del maestro sobre si agrupar a los niños por logros.

Esta nueva versión del programa se evaluó en el año escolar 2012-2013 en 400 escuelas, de las cuales 200 recibieron el programa. Esta vez los resultados fueron positivos. Aún así, en áreas donde esto era difícil de implementar porque la cultura de la enseñanza era muy débil (Pratham) y con el permiso de la administración del distrito, se desarrolló el modelo de "Campamentos de aprendizaje" dentro de la escuela utilizando voluntarios.

Se necesitaron cinco ensayos de control aleatorio y varios años para recorrer la distancia de un concepto a una política exitosa a gran escala, beneficiando a millones de niños.

Hay 4 comentarios
  • José Luis, bienvenido al mundo de la ingeniería social. Por necesarios que sean los pocos conocimientos científicos disponibles, jamás serán suficientes para tomar decisiones individuales y mucho menos colectivas.

    Llegado a viejo uno tiene que preocuparse por su salud. Sí, no importa cuánto se haya preocupado antes, si siempre gozó de buena salud, lo más probable es que no haya tomado siquiera algo para el dolor de cabeza. Pero la vejez no perdona y algo pasa, y mejor reaccionar rápido. Si en la nueva condición tiene que visitar con frecuencia al médico, entonces se preocupará sobre cómo el médico diagnostica, prescribe y controla. Descubrirá que para el médico uno es un "experimento" porque poco, muy poco, sabe sobre los costos del uso frecuente de un medicamento. Costos que varían mucho entre pacientes y todo se reduce a la capacidad del médico para procesar la información que va recibiendo de ellos. Con el tiempo entenderá que el éxito depende mucho más de usted que del médico. Uno debe "observarse" cuidadosamente a sí mismo para informar bien al médico y rezar para que el médico haya sacado conclusiones razonables en función de los otros muchos "experimentos" que atiende.

    Lo fácil es celebrar un experimento exitoso aunque no se tenga certeza sobre sus causas. Lo más difícil es sacar "lecciones" útiles para otros experimentos y por eso uno debe tener mucho cuidado en "recetar" a otros.

      • Sí, de eso va, y por eso mi comentario recuerda que también vale para las decisiones individuales. Por razones de espacio no puedo comentar sobre proyectos "piloto" de ingeniería social en China --distintas de los ensayos premiados referidos en su post-- que luego se generalizaron (no recuerdo que se haya hecho una evaluación de esos proyectos y su extensión).

  • Aquí en Santiago de Chile hoy muchos lamentan que el Gran Show se haya movido a Madrid. Esta semana las pistas estarán llenas de políticos y activistas que demandan PARAR EL MUNDO para salvarnos de la extinción; así, en su website la BBC advierte "COP25 talks open as 'point of no return' in sight" (https://www.bbc.com/news/science-environment-50614518)
    y Pedro Sánchez (aprovechando el retraso de Greta) grita "Hoy, sólo un puñado de fanáticos niega la evidencia” (https://www.elmundo.es/ciencia-y-salud/ciencia/2019/12/02/5de4cb85fc6c83273b8b468f.html ).

    Los ingenieros sociales estamos excitados por la perspectiva de una gran demanda por nuestros servicios. Aquí en Santiago, sin embargo, muchos estábamos molestos porque el Presidente Piñera (Ph.D. Economics, Harvard, 1975) prefería escuchar a Greta y otros activistas pero no a nosotros. Algunos colegas dieron opiniones mediáticas para atraer la atención del gobierno, pero sin éxito. Me han dicho que otros prepararon "experimentos express" para generar evidencia en apoyo de un gran plan para la Salvación del Planeta. Pero nos quedamos sin el pan y sin la torta.

    En ese contexto de mucho ruido, agradeceré referencias a compilaciones de evaluaciones de experimentos/programas pilotos serios sobre soluciones posibles al calentamiento global. Me interesan soluciones a nivel de un territorio bien definido, soluciones “locales” no “globales”, sea ese territorio una jurisdicción política o no.

Los comentarios están cerrados.