Los efectos de largo plazo de una intervención pública en educación (I)

Alguna vez me preguntan cómo encuentro tiempo para dedicar al blog. Parte del secreto es que a diferencia de un artículo científico, o incluso que uno en prensa tradicional, un blog es interactivo y en buena medida lo escriben los lectores. Por ejemplo, la semana pasada hablaba de un experimento extraordinario de Roland Fryer sobre incentivos a estudiantes para mejorar su rendimiento. Carlos Jerez preguntó por la necesidad de mantener la intervención en el tiempo para conseguir un efecto. Acto seguido Núria Rodríguez-Planas, desde la Universitat Autònoma de Barcelona, me enviaba un excelente estudio suyo reciente que contestaba la pregunta. Hoy comento la evidencia de Núria y otra relacionada con el mismo asunto.

Para los impacientes, Núria encuentra que los efectos de corto plazo de la intervención en adolescentes no se mantienen en el largo plazo, excepto para los más jóvenes. Otra evidencia que comento muy brevemente hoy, y en más detalle en próximas semanas, sugiere que las intervenciones en niños muy jóvenes pueden ser duraderas y muy rentables desde el punto de vista social. Mi conclusión es que hay que encauzarlos jóvenes, cuanto más, mejor.

Pero vamos a los detalles. Primero el experimento del que habla Núria. El Quantum Opportunity Program es una intervención de cinco años de duración sobre jóvenes estudiantes de secundaria (de unos 14 años al comenzar). El programa incluye un refuerzo educativo, un monitor para los chicos e incentivos monetarios para la participación en el programa. Este programa duraba cinco años y sus efectos se midieron en su último año, a los tres y a los cinco años de acabar. Para poder evaluarlo de manera rigurosa, se siguió al grupo intervenido y a otro grupo de control, y la participación en uno u otro grupo se seleccionó al azar.

La intervención se centraba en estudiantes con malas calificaciones en escuelas con problemas. La parte más innovadora del programa era que a cada estudiante tratado se le asignaba un monitor experimentado que debía desarrollar con él una relación de largo plazo durante los cinco años que duraba la intervención. Este monitor, cada uno de los cuales tenía solamente entre 15 y 25 chicos a su cargo, debía proporcionar el tipo de atención que un pariente interesado suele proporcionar y de la que estos chicos normalmente carecen. Esta relación debía mantenerse incluso si el chico dejaba el programa, abandonaba la escuela, era encarcelado o se mudaba fuera de su barrio o ciudad.

Las actividades propiamente educativas tenían tres partes. Refuerzo académico en matemáticas y lengua, así como ayuda en la preparación a la universidad y otros estudios post-secundarios; educación cívica y social (planificación familiar, higiene, salud, ayuda psicológica); y servicio comunitario (visitar residencias de ancianos o comedores sociales).

Finalmente, los estudiantes recibían 1,25 dólares por cada hora que participaban en el programa (incentivos por inputs) y entre 1000 y 3000 dólares por conseguir el título de bachillerato y/o matricularse en algún tipo de estudio post-secundario (incentivos por outputs).

Como se pueden imaginar una intervención de este tipo no es barata. El coste aproximado fue de unos 25.000 dólares por participante, y su generosa financiación fue compartida entre el departamento (ministerio) de trabajo americano y por la Fundación Ford.

Los datos que produjo la intervención son ricos en muchas dimensiones. Resultados de exámenes de lengua y matemáticas, datos sobre si los estudiantes recibieron el título de bachillerato, si se matricularon en algún tipo de estudios después del bachillerato, datos laborales (si trabajaron y cuánto ganaban), datos sobre conductas de riesgo y resistencia en el programa. Además, los datos sobre participación en estudios y empleo se recogieron al terminar el programa, tres y cinco años después de acabarlo. Un pequeño problema es que la única medida disponible de los estudiantes antes de su tratamiento es la nota de octavo (equivalente a nuestro segundo de ESO).

Los resultados son, como ya avancé, algo decepcionantes. El programa aumenta en un 7% la probabilidad de terminar el bachillerato a tiempo (comparando el grupo tratado con el de control) y en un 6% la de matricularse en la universidad o algún tipo de estudios post-secundarios (estas diferencias representan, respectivamente una mejora del 17,5% y del 23%). El problema es que las diferencias se anulan tres años más tarde, en ese momento en el grupo de control hay un 16% adicional de titulados de bachillerato, frente a un 10% de los tratados. Es decir, el 7% de ganancia inicial es esencialmente un adelanto de la titulación. En ese momento hay un 7% más de chicos trabajando en el grupo de control, lo cual parcialmente puede ser debido a que hay más participantes del grupo tratado estudiando. Finalmente, cuando pasan 5 años no se aprecian diferencias entre los dos grupos ni en porcentaje de empleados ni de titulados. Es decir, los efectos iniciales de la intervención desaparecen con el tiempo.

No todo es negativo. La riqueza del estudio permite analizar la diferencia de resultados entre diversos grupos. La más importante es la que existe entre los estudiantes de comenzaron noveno (nuestro tercero de ESO) con catorce años (es decir, en el tiempo normal) o los que empezaron con más de catorce (porque habían repetido algún curso, por ejemplo). Los que empezaron con catorce y participaron en el programa, tenían una probabilidad de haber acabado el bachillerato 7 puntos por encima de los que no participaron, a los cinco años de acabar el programa. También tenían una tasa de matriculación en la universidad 12 puntos por encima de los estudiantes comparables del grupo de control, y 10 puntos por encima para estudios post-secundarios en general. Para estos chicos, la intervención tiene un efecto duradero.

Como decía antes, una parte de las conclusiones es desconsoladora. Que no se pueda recuperar a algunos chicos incluso con una intervención que cuesta 25.000 dólares resulta dramático. La parte buena es que algunos chicos sí que son rescatables, incluso a los catorce años. Y los experimentos del programa Perry o del Abecedarian, así como el experimento STAR de Tennesee, que comentaré en próximas semanas, sugieren que si podemos intervenir a edades muy tempranas es posible ganar esta batalla. Hay gente a la que no le gusta el programa, pero el nombre “No Child Left Behind” (“ningún niño dejado atrás”) me parece que señala un buen objetivo. ¿No les parece?

Hay 6 comentarios
  • Sinceramente, necesitaría mas datos sobre el modelo de intervención, pero me parece un modelo bastante equivocado y economicista de intervenir en lo social.

    Los problemas principales que enfrenta un joven en su desarrollo educativo no son, principalmente, economicos, sino mas bien sociales o de clase. Por mucho dinero que se meta, clases de refuerzo e incentivos economicos, lo mas importante en la vida de una persona joven son sus grupos de referencia primaria, tanto sus padres como, muchas veces, sus grupos de iguales, donde construye su identidad, lo que es, su proyecto de vida (o falta de el). Un tutor no vive con el chico. No es su referencia cultural principal en absoluto. El entorno es determinante en la educacion, como demuestran muchisimos estudios.

    Si hay algo que demuestra esta investigacion es, precisamente, que lo economico no lo es todo o, mejor dicho, que lo economico no es nada en determinados ambitos. Tratar de pagar para que los chicos estudien mas es como utilizar argumentos logicos para convencer a un fundamentalista. Son herramientas que no tienen en cuenta el contexto ni la situacion. Los incentivos economicos sirven con aquellos que estan socializados en su uso. Pensar que los niños son, por definicion, un Homo Oeconomicus ilustra a las claras la fe que se tiene en determinados axiomas economicos que, una y otra vez, se demuestran incorrectos.

    un saludo!

  • treimegisto, justamente de eso se trata un estudio como éste: ver que funciona y qué no, por tanto el que se haya dado un resultado parcialmente negativo no quiere decir que el modelo esté equivocado. Si lo que se quiere saber es si los incentivos monetarios funcionan y el estudio nos dice que no, pues éste es también un resultado importante que podría evitar que se malgasten recursos en programas similares en el futuro. O al menos se podrán dirigir mejor los recursos hacia esos grupos en los que se ha demostrado un efecto positivo.

    Sobre el programa No Child Left Behind (sobre todo sobre sus apartados de mayores opciones para los padres y mayor transparencia en las escuelas) se puede escuchar un podcast interesante de EconTalk aquí: http://www.econtalk.org/archives/2010/04/ravitch_on_educ.html

  • Gracias Trimegisto por tus comentarios. Si bien es verdad que la tutora o el tutor no vivía con la chica o el chico, sí que tenía mucho contacto con él (muchos de ellos estaban accesibles 24 horas al día, 7 días a la semana, y realizaban actividades de 3 a 6 de la tarde y un medio día durante el fin de semana) y el objetivo del programa era que se estableciese una fuerte relación entre ambos. Según los psicólogos este tipo de relaciones pueden ayudar al crecimiento emocional de la alumna o el alumno (ver Grossman and Tierney, 1998; DuBois et al., 2002a, b; Jekielek et al., 2002; Keating et al., 2002; Herrera et al., 2007; Karcher, 2005; DeWit et al., 2006; and Rhodes, 2008). Por otro lado, dos terceras partes de las actividades consistían en mejorar el entorno social, cultural, y emocional del chico o de la chica.
    El motivo de dar incentivos económicos es que frecuentemente los jóvenes tienden a descontar demasiado el futuro, o no darse cuenta de los beneficios de una buena educación. La idea es que estos incentivos pueden llevarles a aumentar su esfuerzo académico y mejorar su educación (bajo el supuesto que ambos están correlacionados). También hay economistas y psicólogos que piensan lo contrario: que dichos incentivos monetarios son malos ya que reducen la motivación "intrínsica" de hacer las cosas porque sí y la sustituyen por motivación “extrínsica” de hacer las cosas a cambio de dinero. Por lo que cuando se retira la ayuda económica, los efectos desaparecen. En el papel, describo con detalle las distintas teorías económicas y psicológicas detrás de los tres componentes del programa (el tutor, las clases, y los incentivos económicos)
    Al final es una cuestión empírica, y por eso es importante que este tipo de intervenciones se evalúen con una metodología experimental. Sólo realizando una evaluación causal (o de impacto) con metodología de “experimento clínico” podemos saber cuál es el efecto de distintas intervenciones. Y aprender de las que funcionan y de las que no funcionan.
    Finalmente, este estudio es relevante dado que en la actualidad hay muchos países que ofrecen a estudiantes incentivos económicos para mejorar su rendimiento escolar--por ejemplo en tres institutos de Créteil (en los suburbios de Paris), el programa Capital Gains en Washington DC, el programa Spark and Million Motivation Campaign en Nueva York, el programa The Paper Project en Chicago (Fryer, 2010), el programa Progresa in Mexico (Behrman et al., 2000; and Schultz, 2004), el programa Familias en Acción en Colombia (Attanasio et al., 2006), o el programa the Education Maintenance Allowance en el Reino Unido (Dearden, Emmerson, Frayne, and Meghir, 2005).

  • La mayoría de las personas que conozco que opinan de este tema comparten la opinión de Trimegisto. Yo también la comparto, pero lo que no veo es posibles soluciones al problema, ya que aquí prima la mentalidad del camino fácil. Sin embargo, es curioso cómo los programas de integración de los gitanos a través de la educación han dado buenos resultados. El nivel cultural y económico de los hijos de gitanas que han ido al colegio o incluso a la universidad es significativamente mayor que los de la media.

  • En este caso supongo que es la intuición que nos dice que pagando no funciona. Desde mi punto de vista el dinero no motiva, si no es para despertar el bajo instinto de hacer trampa. Si el educador no puede convencer que el futuro es lo importante y que aprendiendo es como se labra, mejor lo deje estar.

    Cada tres o cuatro meses nos sorprenden con un nuevo descubrimiento sobre el cerebro, la genética y la influencia que ambos tienen en el carácter de los humanos.
    Hace poco unos investigadores de Harvard descubrieron que la "maldad o bondad" se ubica sobre la oreja derecha. Si a un humano se le aplica la fuerza de un pequeño campo electromagnético en dicha zona, cambia su interés por ser doloso para los demás.
    Aparentemente eso nada tiene que ver con lo que hablamos, pero no pasará mucho tiempo que se descubra la zona del cerebro que nos convierte en estudiosos o rebeldes, en vagos o trabajadores, en... Y no digo que la manipulemos, pero sí que conociéndola podamos discernir quien sirve para una cosa u otra. Estoy seguro que si unos neurobiólogos analizaran los individuos protagonistas de dicho estudio, encontrarían que la mayoría es un caso perdido para el estudio, en contra de lumbreras para otras cosas.

Los comentarios están cerrados.