¿Incentivos a la lectura o premios por las notas?: Los experimentos de Roland Fryer

¿Incentivos a la lectura o premios por las notas?: Los experimentos de Roland Fryer

Hace unas semanas, cuando hablé sobre los resultados la prueba CDI, ya nos alertó Carlos Jerez sobre un artículo de la revista Time referida a los experimentos escolares de Roland Fryer. En aquel momento dije que prefería discutir aquellos experimentos más en profundidad cuando viera el artículo científico, que nos permitiría ahondar en asuntos metodológicos y de otros órdenes con más detalle. Pues bien, el artículo científico está disponible desde el 4 de abril, así que ya toca. Lo pueden encontrar aquí. La buena noticia es que hay algo que funciona. La mala es que solamente algunos incentivos son tan potentes como nos gustaría y que nos queda mucho por aprender.

El artículo de Time era en realidad un buen resumen. Caricaturizando, los premios por resultados no producen efectos apreciables. En cambio, las recompensas por "actividades", por ejemplo leer libros, sí que los dan. Pero vamos a los detalles, que nos pueden ilustrar sobre las razones de los resultados y, especialmente, sobre las circunstancias en que éstos se producen.

Fryer y su equipo del EdLabs realizaron experimentos en varias ciudades americanas. En todos ellos había un grupo de colegios (el grupo tratado) en el que los chicos podían recibir una recompensa por hacer o conseguir algo, y otro grupo de colegios (el grupo de control) que no recibía recompensa. La asignación de cada colegio a grupo tratado o grupo de control era aleatoria, igual que en el ensayo clínico de un medicamento (me dicen mis amigos epidemiólogos que estos "experimentos de campo" se llaman también ensayos comunitarios). Ambos grupos de colegios eran evaluados al final del año y la diferencia entre grupos sirve para medir el efecto del "tratamiento".

En Dallas a los chicos (segundo de primaria) del grupo tratado se les daba 2$ por leer un libro (y se verificaba si lo hacían con un test de comprensión computerizado al acabar de leerlo), con un máximo de hasta 40 libros al año.

En Nueva York se trabajó con chicos de cuarto y séptimo (equivalente pues a nuestro primero de la ESO). Aquí se recompensaba (al grupo tratado) directamente por las notas en 10 tests estandarizados de matemáticas y lengua. Los de cuarto recibían 2.5 dólares por cada punto (sobre un total de 10) en cada examen. Podían ganar, pues, hasta 250 dólares en el curso. Para los de séptimo se doblaban las ganancias.

En Washington los estudiantes recibían puntos por distintos factores de "producción" educativos. Todos ellos recibían puntos por asistencia y comportamiento y cada colegio escogía otros tres criterios con ayuda de los expertos de Edlabs. En particular, solían estar incluidos el llevar uniforme, hacer la tarea o los trabajos de clase. La recompensa media fue de 320 dólares y la máxima de 1300.

En Chicago los estudiantes eran de noveno (nuestro tercero de la ESO). Aquí se recompensaba (al grupo tratado) por las notas de clase en las cinco asignaturas troncales (matemáticas, lengua, ciencias naturales, ciencias sociales y educación física). Cada estudiantes recibía $50 cada A (sobresaliente), $35 por la B (notable), $20 por la C (bien), and $0 por la D (aprobado). Si un estudiante suspendía un curso, no recibía nada por ninguna asignatura hasta que la aprobase y entonces recuperaba el dinero de las otras. La máxima ganancia era de 2000 dólares al año (la media fue de 695).

A todos los estudiantes de cada ciudad (tratados y de control) se les evaluó al final del año con un test estandarizado igual para todos, pero específico de cada ciudad. Por ejemplo, en Dallas con el test Iowa de destrezas básicas en matemáticas y lectura. En Nueva York con un test de matemáticas y lengua desarrollado pro McGraw Hill. Washington y Chicago tienen también sus propios sistemas de evaluación locales.

Los resultados para Nueva York y Chicago muestran que los incentivos para sacar mejores notas, sea en los exámenes normales del colegio o en exámenes estandarizados no mejoran los resultados de los chicos. Para ninguno de los tests, de los cursos o de las metodologías estadísticas se obtiene un resultado estadísticamente distinto de cero. En el caso de Nueva York es claro que dar incentivos para hacerlo bien en el test no mejora los resultados del test. Pero, como dice Fryer, el resultado de Chicago es algo más difícil de interpretar. Dar incentivos para las notas no tiene impacto en el test estandarizado, pero en principio podría tenerlo en las notas. Esto es difícil de juzgar porque para las notas la comparación entre grupo tratado y de control puede estar contaminada, los profesores pueden haber cambiado (incluso sin querer) su forma de puntuar al saber el efecto que esto tendría en los estudiantes.

En cambio, el efecto en Dallas es significativo y bastante grande. Participar en el programa de incentivos a la lectura mejora el resultado en exámenes estándar de vocabulario o comprensión lectora aproximadamente un cuarto de desviación estándar, es decir, sube a un chico casi diez puntos porcentuales en la distribución. Para que se hagan una idea, es un tamaño similar al efecto más grande de todos los que Brindusa Anghel y yo descubrimos en nuestro análisis de la prueba CDI de la comunidad de Madrid. Que equivalía a la diferencia entre el estudiante medio cuyos padres no habían acabado la ESO respecto a los que tenían padres con estudios universitarios. Y esto a un coste máximo de 80 dólares por niño al año. Creo que no he visto muchas intervenciones sociales que puedan ganar a esta en coste-efectividad. Y aunque no es definitivo, merece ser replicado y estudiado de manera más detallada.

Los resultados de Washington también dan resultados positivos, pero su significación estadística es marginal y hay otros problemas (la aleatorización no fue tan buena y el experimento es más complicado).

Por un lado, estas observaciones están muy bien porque quieren decir que hemos averiguado una intervención que funciona a un coste razonable. Pero es algo decepcionante que ni siquiera unos incentivos de un tamaño tan considerable a los alumnos por resultados consigan un efecto apreciable. Fryer sugiere que la ventaja de incentivar directamente el esfuerzo es que el estudiante ve una conexión más directa porque se reduce la incertidumbre. El problema es que no todos los esfuerzos son tan fáciles de medir como la lectura de un libro. Y esto hace inevitable que en algún caso haya que premiar resultados.

Por tanto yo no desesperaría en la búsqueda. Sabemos por los resultados de Angrist y Lavy en Israel de los que me hacía eco hace unos meses que unos incentivos algo mayores (unos 1500 dólares en Israel, un país de renta algo menor) que los incentivos a los estudiantes por resultados pueden funcionar en algunas circunstancias. Ahora se trata de averiguar en cuáles funcionan. Hay otros indicios, aparte de la cuantía de cuándo lo hacen. Por ejemplo, es posible que los profesores o los padres de Israel estuvieran más implicados ya que allí se trataba del acceso a la universidad, por lo que el "premio" para ellos era más grande. Además, los estudiantes de Dallas eran los más jóvenes de todos, y sabemos por los trabajos de Heckman que la intervención temprana es particularmente efectiva. Así que mi recomendación para los responsables de política en particular, y los ciudadanos interesados en general, es que debemos seguir buscando hasta estar seguros de qué es lo que funciona mejor. Nadie dijo que el camino del rigor científico en la evaluación fuera fácil.

Hay 6 comentarios
  • Parese un momento a meditar lo siguiente: ¿Piensa usted que algún APA de algún colegio español permitiría aplicar eso? Aún suponiendo que el gobierno pusiera el dinero, la progresía no consentiría que se pervirtiera a los niños de esa manera, o que se les discriminara entre listos y tontos, etc, etc.

  • Imagino que no sería fácil aquí. A Fryer le ayudan varias cosas. Algunas no se pueden replicar. Por ejemplo, en los Estados Unidos llevan mucho tiempo haciendo experimentos sociales. Él es profesor de una universidad tan distinguida como Harvard, para que la que no tenemos equivalente. Pero hay un par de cosas que sí podríamos imitar aquí. Fryer montó una ONG con un fondo de 6 millones de dólares de donaciones privadas. Y yo creo que si el dinero no es público, resultaría más fácil. Él es miembro de una minoría, y podía explicarle a la gente con la que iba a hablar que él había salido de un barrio como aquellos y estando donde estaba podía apreciar la importancia de una buena educación y de intentarlo todo para conseguir el objetivo. Vale la pena leer el artículo porque uno se da cuenta de que el proceso no es nada fácil. Pero vale la pena. Por ejemplo, ahora nosotros podemos traer a un profesor de Harvard a explicar el sistema.

  • Es un buen divulgador. Y alguien que inspira confianza. A esto es a lo que me refería justamente. Hace falta que quien se acerque a los colegios para pedirles participar sea merecedor de confianza, como Fryer.

  • Hola Antonio, gracias por comentar el artículo y pasar el enlace al estudio. Es interesante porque muestra que incentivos funcionan mejor, como el de la lectura y te da buenas razones, como que los inputs es algo que los estudiantes ven que pueden controlar más fácilmente.

    Lo que me pregunto es que otras razones hay y si los resultados cambiarían si los incentivos se mantuvieran por más de 2 años. Me explico, estudiar bien es una cuestión donde el hábito hace al monje, por tanto no es algo fácil de cambiar de un día para otro. El mejor resultado de los incentivos de la lectura podría ser no solo porque sea más fácil medir el esfuerzo que se necesita, por parte de los alumnos, sino que es algo que ya sabes hacer, y que es relativamente fácil aprender a quedarse un rato leyendo. No es lo mismo ponerse delante de un libro como una novela, que a resolver un sistema de ecuaciones que no comprendes, porque los conocimientos previos necesarios no los has aprendido bien. En la mayoría de asignaturas de ciencias dependes mucho más de lo que hayas aprendido antes que en una de letras. Por lo tanto es mucho más difícil mejorar los resultados a corto plazo para un estudiante en las primeras, es decir lo que en el estudio ven como una cualidad necesaria para que el estudiante mejore sus hábitos de estudio, el poder conseguir una recompensa a corto plazo por sus resultados, varía según el tipo de estudios.

    Si es verdad que alguien como Punset podría facilitar estudios como éste en España, además empezó como economista, aunque ahora esté más interesado en la neurología. Sin duda las investigaciones como éstas son de lo más interesantes y necesarias, lo malo es lo difícil que se plasmen los resultados en políticas o esa es mi impresión.

  • Es muy posible, como dices, que los efectos varíen con la duración del estímulo de maneras diferentes para distintos tipos de materias. Pero no estoy seguro de si quieren seguir con el estudio. No me sorprendería que a algunos estudiantes los siguieran más tiempo, porque es un procedimiento estándar para ver si los resultados se mantienen una vez se retira el estímulo. Es menos habitual mantener el estímulo varios años, aunque en algunos estudios se ha hecho. Como decía, nos queda mucho por aprender, el tiempo que tarda el efecto en notarse, como dices, pero también la edad a la que el efecto es más grande, o los grupos de población más susceptibles.

    Y no sé si es tan difícil plasmarlos en políticas. Se pueden establecer becas condicionales a los resultados. Muchas ya lo son, se trata simplemente de profundizar en esa dirección. Paradójicamente un período de crisis es más favorable a tomar medidas de este estilo. Se ve más claramente el coste de oportunidad de los fondos públicos, y es menos difícil políticamente justificar que se retira una ayuda a alguien que no la aprovecha.

Los comentarios están cerrados.