La semana pasada salieron los resultados del PISA financiero. Y resultó que repetimos algo que lleva pasando desde que empezaron los resultados de PISA por primera vez. Algo de lo que me quejo desde la primera entrada que escribí por aquí, hace la friolera de 15 años, a España le falta varianza. Esto tiene un aspecto positivo. En el nivel 2 tenemos menos gente que otros países que incluso nos superan en media (el 17,1%, mejor que la media de la OCDE del 17,8%). Eso es bueno, muy bueno. El sistema deja menos gente atrás. Pero nos falta mucha gente arriba. En el nivel 5 tenemos el 4,7%, menos de la mitad de la media de la OCDE, el 10,6%. No sé a ustedes, pero a mí me parece un escándalo, del que nuestros gestores educativos deberían dar cuenta.
Y ¿cuál es la solución? Algunos igual piensan que ya está bien. El sistema es igualitario, pues adelante. Y otros piensan que la solución es elevar los estándares. Si eso quiere decir que más gente tiene que suspender, o repetir, sea. Yo creo que las dos opciones están equivocadas. En realidad, España ya hace repetir más de la cuenta. Al mismo nivel de desempeño en PISA, los estudiantes españoles es más probable que hayan repetido que en otros países. Pero tampoco me parece bueno para el progreso del país que no haya más estudiantes excelentes. Necesitamos mejores científicos, mejores ingenieros, juristas, economistas y, sobre todo, gobernantes.
Una de mis conjeturas para el origen de la situación es que en el sistema español hay un déficit de atención a la diversidad. En parte porque el “control de calidad” pasa por “¿has dado todo el temario?” y poco más. Esto hace muy difícil tener una clase a varias velocidades. También tenemos menor evaluación por pares, los profesionales están más solos en el aula, y esto hace difícil compartir estrategias para enfrentar el problema. Y además la separación de los estudiantes por niveles de habilidad está prohibida formalmente (aunque sospecho que de facto se usa).
Pero también llevo tiempo pensando (y diciendo) que la tecnología podría ser (parte de) la solución. Hoy les cuento una experiencia americana que muestra que igual tenía razón. Les cuento un artículo de Oreopoulos, Gibbs, Jensen y Price, que me recomendó Lucas Gortázar. Les contaré los experimentos que estudiaron los autores, pero la revisión de la literatura también merece la pena. En particular, una frase de la introducción llama la atención “Una revisión encontró que 12 de 19 ensayos controlados aleatorios de CAL (aprendizaje asistido por ordenador) en los últimos años tuvieron un impacto sustancial, que oscilaba entre 0,14 y 0,56 desviaciones estándar en la mejora de la puntuación de las pruebas al final del año escolar (Escueta et al. 2020).”
El artículo comienza observando que los estudiantes a menudo avanzan hacia nuevos temas sin comprender completamente los anteriores, lo que genera lagunas en el conocimiento, particularmente en materias como matemáticas. Este es, como les decía, un problema fundamental en un sistema como el español que se centra en “terminar temarios”. Hay posibles soluciones, como las tutorías individuales, pero aunque sabemos que funcionan muy bien, son demasiado caras como para universalizar. El aprendizaje asistido por ordenador (CAL), ejemplificado por plataformas como Khan Academy, podría ser una alternativa para el aprendizaje personalizado.
El objetivo de los programas que se estudian es aumentar el aprendizaje de dominio (“mastery learning”). Es decir, se intenta garantizar que los estudiantes demuestren competencia en un tema antes de continuar. Muchos profesores tienen dificultades para conseguirlo en clases muy diversas. El CAL puede facilitarlo al proporcionar un progreso incremental, ofreciendo retroalimentación inmediata y oportunidades para revisar y volver a intentar hasta lograr el dominio.
El estudio evalúa el programa "Khoaching with Khan Academy" (KWiK), que ofrece formación a los profesores sobre la integración efectiva de CAL en su plan de estudios. La formación, realizado por "khoaches", incluye el establecimiento de objetivos, resolución de problemas y mejores prácticas. El artículo presenta los resultados de dos ensayos aleatorios que demuestran la efectividad del programa KWiK.
El primero es un ensayo piloto en siete escuelas públicas metropolitanas de Nashville, que involucró a 47 profesores y alrededor de 3000 alumnos de sexto a octavo curso (equivalente a sexto de primaria y primero y segundo de ESO). Los estudiantes fueron asignados al azar para practicar uno de dos temas antes de una prueba estandarizada. El resultado mejoró en alrededor de 0.3 desviaciones estándar (en sexto y octavo), y de 0.08 en séptimo. El resultado fue mejor en las clases que practicaron más, aunque estas diferencias de tiempo de práctica no son exógenas.
El segundo es un experimento del Distrito Escolar Independiente de Arlington. En él participaron 224 profesores de tercer a octavo curso (112 en el grupo de tratamiento y 112 en el de control) y unos 11000 estudiantes. Los profesores tomaron una sesión de desarrollo profesional motivando el trabajo antes de reunirse con el “khoach”. Son estudiantes bastante pobres, cerca del 50% se identifican como hispanos y una proporción parecida tienen recursos familiares tan bajos que pueden tener comidas gratis en el colegio.
Unos 33 “khoaches” (normalmente estudiantes de grado o postgrado con formación en economía de la educación) proporcionaron dos sesiones de formación a los profesores en el uso de Khan Academy y de manejo del aula. Luego se reunían media hora a la semana durante todo el curso que duró la intervención. Se observan resultados positivos de alrededor de 0.17 desviaciones estándar en los cursos 3 a 6, pero nada en los cursos 7 y 8. Esto puede ser en parte porque el tiempo de uso de Khan fue mucho más bajo (la quinta parte) en esos cursos, aunque, de nuevo, este menor uso no es exógeno.
Dado el resultado parecido en el estudio más corto y el más largo en términos del tiempo de uso, que no es realmente exógeno, y el efecto de aprendizaje, surge la pregunta de si se puede establecer de manera un poco más robusta el “efecto dosis”. Los autores exploran si dentro de la misma escuela los estudiantes que han sido asignados “al azar” a profesores que dan más tiempo de práctica lo hacen mejor. Lógicamente es posible que los profesores que usan más tiempo esta herramienta sean mejores, así que esta estimación no es muy limpia. Las diferencias, calculadas de formas diferentes, son bastante significativas. Por ejemplo, entre no practicar nada y practicar 50 minutos, la diferencia es de unos 0.27 desviaciones estándar. Como digo, esto no es definitivo, pero muy sugerente y probablemente el tiempo es una variable relevante.
Algo de lo que no hablan los autores, pero que se le ocurrió a Andreu Arenas (el editor de la entrada) hablando de este tema, es que estas herramientas pueden ser más atractivas para las generaciones actuales. Estos estudiantes son mucho mucho más visuales y están más acostumbrados a interactuar con la tecnología. Que además está optimizada para ser como un videojuego y proporcionar un cierto valor de "consumo". Y esto puede ser parte del éxito.
Yo creo que, dados nuestros retos, estos datos deberían ser suficientes para, como mínimo, comenzar a desarrollar programas piloto de este tipo en nuestras escuelas. Igual incluso podemos mejorar la media sin aumentar la varianza. Eso ya sería un sueño, pero un sueño que vale la pena perseguir
