Hace unas semanas, cuando hablé sobre los resultados la prueba CDI, ya nos alertó Carlos Jerez sobre un artículo de la revista Time referida a los experimentos escolares de Roland Fryer. En aquel momento dije que prefería discutir aquellos experimentos más en profundidad cuando viera el artículo científico, que nos permitiría ahondar en asuntos metodológicos y de otros órdenes con más detalle. Pues bien, el artículo científico está disponible desde el 4 de abril, así que ya toca. Lo pueden encontrar aquí. La buena noticia es que hay algo que funciona. La mala es que solamente algunos incentivos son tan potentes como nos gustaría y que nos queda mucho por aprender.
El artículo de Time era en realidad un buen resumen. Caricaturizando, los premios por resultados no producen efectos apreciables. En cambio, las recompensas por "actividades", por ejemplo leer libros, sí que los dan. Pero vamos a los detalles, que nos pueden ilustrar sobre las razones de los resultados y, especialmente, sobre las circunstancias en que éstos se producen.
Fryer y su equipo del EdLabs realizaron experimentos en varias ciudades americanas. En todos ellos había un grupo de colegios (el grupo tratado) en el que los chicos podían recibir una recompensa por hacer o conseguir algo, y otro grupo de colegios (el grupo de control) que no recibía recompensa. La asignación de cada colegio a grupo tratado o grupo de control era aleatoria, igual que en el ensayo clínico de un medicamento (me dicen mis amigos epidemiólogos que estos "experimentos de campo" se llaman también ensayos comunitarios). Ambos grupos de colegios eran evaluados al final del año y la diferencia entre grupos sirve para medir el efecto del "tratamiento".
En Dallas a los chicos (segundo de primaria) del grupo tratado se les daba 2$ por leer un libro (y se verificaba si lo hacían con un test de comprensión computerizado al acabar de leerlo), con un máximo de hasta 40 libros al año.
En Nueva York se trabajó con chicos de cuarto y séptimo (equivalente pues a nuestro primero de la ESO). Aquí se recompensaba (al grupo tratado) directamente por las notas en 10 tests estandarizados de matemáticas y lengua. Los de cuarto recibían 2.5 dólares por cada punto (sobre un total de 10) en cada examen. Podían ganar, pues, hasta 250 dólares en el curso. Para los de séptimo se doblaban las ganancias.
En Washington los estudiantes recibían puntos por distintos factores de "producción" educativos. Todos ellos recibían puntos por asistencia y comportamiento y cada colegio escogía otros tres criterios con ayuda de los expertos de Edlabs. En particular, solían estar incluidos el llevar uniforme, hacer la tarea o los trabajos de clase. La recompensa media fue de 320 dólares y la máxima de 1300.
En Chicago los estudiantes eran de noveno (nuestro tercero de la ESO). Aquí se recompensaba (al grupo tratado) por las notas de clase en las cinco asignaturas troncales (matemáticas, lengua, ciencias naturales, ciencias sociales y educación física). Cada estudiantes recibía $50 cada A (sobresaliente), $35 por la B (notable), $20 por la C (bien), and $0 por la D (aprobado). Si un estudiante suspendía un curso, no recibía nada por ninguna asignatura hasta que la aprobase y entonces recuperaba el dinero de las otras. La máxima ganancia era de 2000 dólares al año (la media fue de 695).
A todos los estudiantes de cada ciudad (tratados y de control) se les evaluó al final del año con un test estandarizado igual para todos, pero específico de cada ciudad. Por ejemplo, en Dallas con el test Iowa de destrezas básicas en matemáticas y lectura. En Nueva York con un test de matemáticas y lengua desarrollado pro McGraw Hill. Washington y Chicago tienen también sus propios sistemas de evaluación locales.
Los resultados para Nueva York y Chicago muestran que los incentivos para sacar mejores notas, sea en los exámenes normales del colegio o en exámenes estandarizados no mejoran los resultados de los chicos. Para ninguno de los tests, de los cursos o de las metodologías estadísticas se obtiene un resultado estadísticamente distinto de cero. En el caso de Nueva York es claro que dar incentivos para hacerlo bien en el test no mejora los resultados del test. Pero, como dice Fryer, el resultado de Chicago es algo más difícil de interpretar. Dar incentivos para las notas no tiene impacto en el test estandarizado, pero en principio podría tenerlo en las notas. Esto es difícil de juzgar porque para las notas la comparación entre grupo tratado y de control puede estar contaminada, los profesores pueden haber cambiado (incluso sin querer) su forma de puntuar al saber el efecto que esto tendría en los estudiantes.
En cambio, el efecto en Dallas es significativo y bastante grande. Participar en el programa de incentivos a la lectura mejora el resultado en exámenes estándar de vocabulario o comprensión lectora aproximadamente un cuarto de desviación estándar, es decir, sube a un chico casi diez puntos porcentuales en la distribución. Para que se hagan una idea, es un tamaño similar al efecto más grande de todos los que Brindusa Anghel y yo descubrimos en nuestro análisis de la prueba CDI de la comunidad de Madrid. Que equivalía a la diferencia entre el estudiante medio cuyos padres no habían acabado la ESO respecto a los que tenían padres con estudios universitarios. Y esto a un coste máximo de 80 dólares por niño al año. Creo que no he visto muchas intervenciones sociales que puedan ganar a esta en coste-efectividad. Y aunque no es definitivo, merece ser replicado y estudiado de manera más detallada.
Los resultados de Washington también dan resultados positivos, pero su significación estadística es marginal y hay otros problemas (la aleatorización no fue tan buena y el experimento es más complicado).
Por un lado, estas observaciones están muy bien porque quieren decir que hemos averiguado una intervención que funciona a un coste razonable. Pero es algo decepcionante que ni siquiera unos incentivos de un tamaño tan considerable a los alumnos por resultados consigan un efecto apreciable. Fryer sugiere que la ventaja de incentivar directamente el esfuerzo es que el estudiante ve una conexión más directa porque se reduce la incertidumbre. El problema es que no todos los esfuerzos son tan fáciles de medir como la lectura de un libro. Y esto hace inevitable que en algún caso haya que premiar resultados.
Por tanto yo no desesperaría en la búsqueda. Sabemos por los resultados de Angrist y Lavy en Israel de los que me hacía eco hace unos meses que unos incentivos algo mayores (unos 1500 dólares en Israel, un país de renta algo menor) que los incentivos a los estudiantes por resultados pueden funcionar en algunas circunstancias. Ahora se trata de averiguar en cuáles funcionan. Hay otros indicios, aparte de la cuantía de cuándo lo hacen. Por ejemplo, es posible que los profesores o los padres de Israel estuvieran más implicados ya que allí se trataba del acceso a la universidad, por lo que el "premio" para ellos era más grande. Además, los estudiantes de Dallas eran los más jóvenes de todos, y sabemos por los trabajos de Heckman que la intervención temprana es particularmente efectiva. Así que mi recomendación para los responsables de política en particular, y los ciudadanos interesados en general, es que debemos seguir buscando hasta estar seguros de qué es lo que funciona mejor. Nadie dijo que el camino del rigor científico en la evaluación fuera fácil.