Por Andreu Arenas y Lucas Gortazar
Desde que empezó la pandemia, una de las mayores preocupaciones acerca de sus efectos a largo plazo ha sido comprender cuál ha sido el efecto del cierre de las escuelas en 2020 sobre el aprendizaje de los alumnos y la desigualdad. En el momento en que empezó la pandemia existía un gran desconocimiento acerca de la efectividad de la enseñanza online (que en casi todos los casos, fue parcial y en formato de “emergencia”), sobretodo en circunstancias tan excepcionales. Sin embargo, si la pérdida de aprendizaje generalizada fuera tal, sus consecuencias sociales y económicas serían potencialmente muy significativas. Por ejemplo, Hanushek y Woessman estiman que una pérdida de aprendizaje de un 25% respecto a un año académico sin pandemia podría reducir el PIB per cápita a largo plazo en un 1.9%.
Estimar la pérdida de aprendizaje causada por la pandemia e identificar los grupos que se han visto afectados con mayor intensidad es un primer paso fundamental para el diseño de políticas que traten de paliar estos efectos. Cuantificar la pérdida de aprendizaje, sin embargo, no es trivial. Requiere comparar el aprendizaje de los alumnos que han sufrido el cierre de escuelas con un contrafactual que aproxime el aprendizaje que habría tenido lugar en su ausencia. Este ejercicio es complicado porque cada generación de alumnos es distinta de la anterior, y la pandemia ha afectado a todos los alumnos a la vez: no hay un mundo contrafactual donde no hubo pandemia ni cierre de escuelas. Hasta la fecha, han sido muchos los estudios que han tratado de responder a esta cuestión en varios países (ver Holanda, Bélgica, Alemania, o Italia, por ejemplo), centrándose la mayoría en el periodo de confinamiento de marzo a junio de 2020: todos estos estudios muestran una pérdida de aprendizaje relevante, aun mayor en países en desarrollo. Algunos estudios han ampliado el foco e incorporan también el periodo de reapertura escolar, encontrando efectos más limitados en la pérdida de aprendizaje, algo que sugiere que la reapertura podría haber paliado parte del impacto del confinamiento (ver por ejemplo, Brasil, Reino Unido o Dinamarca).
En un documento de trabajo reciente, presentamos las primeras estimaciones de pérdida de aprendizaje por la pandemia en España con datos de evaluaciones externas del Instituto Vasco de Evaluación e Investigación Educativa (ISEI-IVEI). Estimamos la pérdida de aprendizaje en marzo de 2021, un año después del cierre escolar, y después de seis meses de la reapertura de los centros educativos (que en España fue una de las más exitosas). También disponemos de información acerca del empeoramiento del bienestar socioemocional del alumnado durante la pandemia, lo que nos permite entender hasta que punto ambos fenómenos se solapan. Hasta la fecha, ninguna investigación había podido considerar ambos efectos de forma conjunta.
Nuestro ejercicio empírico sigue una estrategia de Diferencias en Diferencias y se basa en medir las competencias de un mismo alumno antes (4º de Primaria, en 2017) y después de la pandemia (2º de ESO, en 2021), y comparar esa evolución con la que solía tener lugar para un alumno semejante (mismas características, mismo centro) entre ambos cursos antes de la pandemia (4º de primaria en 2015 y 2º de ESO en 2019). De esta forma, nuestras estimaciones ajustan por las diferencias en competencias que existen entre alumnos, y por las diferencias en competencias entre distintos cursos y centros educativos. En otras palabras, estimamos la pérdida de aprendizaje con modelos con efectos fijos de alumno y de curso por escuela.
Además de permitirnos observar el mismo alumno antes y después de la pandemia, los datos del ISEI-IVEI son especialmente interesantes para medir la pérdida de aprendizaje causada por la pandemia porque utilizan la metodología de Teoría de Respuesta al Item (TRI), porque cada ola dispone de ítems comunes (que permiten comparación entre años distintos) y porque son llevadas a cabo por evaluadores externos: esta combinación de factores no se da en ninguna otra CCAA. Por otra parte, una limitación de nuestro estudio es que la participación de las escuelas en las evaluaciones en 2011 fue voluntaria: sin embargo, a partir de los datos de resultados de aprendizaje de competencias pre-pandemia, observamos que el nivel medio de competencias en 4º de Primaria de los participantes en marzo de 2021 es muy parecido al de la cohorte de control (con participación universal, pre-pandemia). En otras palabras, los alumnos que participaron en las evaluaciones en 2021 tenían un nivel medio de competencias pre-pandemia muy parecido al de otros años. En cualquier caso, nuestras estimaciones ajustan estadísticamente por diferencias entre escuelas mediante efectos fijos de escuela-curso, y presentamos otras comprobaciones que sugieren que la participación voluntaria no sesga nuestras estimaciones.
Las estimaciones muestran una pérdida de aprendizaje estadísticamente significativa, especialmente pronunciada en matemáticas (alrededor de 0.075 desviaciones estándar), también significativa en euskera (0.05 desviaciones estándar) e inexistente en castellano. La pérdida media de las tres competencias es de 0.045 desviaciones estándar de aprendizaje, un efecto que aun siendo cuantitativamente importante, es menor que los observados en otros países. Sin saberlo a ciencia cierta, contemplamos dos hipótesis que pueden explicar este resultado. La primera es que el cierre de escuelas en España fue relativamente corto y la reapertura, eficiente. La segunda es que capturamos la pérdida de aprendizaje más tarde en el tiempo en que se produce: por ejemplo, la literatura que estudia la pérdida de aprendizaje durante las vacaciones de verano ha documentado recientemente cómo el momento en que se mide esta pérdida puede afectar los resultados significativamente.
Además del efecto medio, estudiamos si la pérdida de aprendizaje ha sido muy distinta entre alumnos y centros. En general, encontramos que la pérdida de aprendizaje es más heterogénea en función de las características de los centros que de características individuales del alumnado. En concreto, encontramos que la escuela pública es la red que ha sufrido especialmente los efectos de la pandemia. También observamos cómo se amplía la brecha entre escuelas que suelen tener niveles altos y bajos de competencias previos a la pandemia (incluyendo diferencias entre las escuelas concertadas). Sin embargo, dentro de cada escuela, se produce una convergencia o regresión a la media entre los alumnos con mejores y peores notas pre-pandemia, quizás auspiciada por las medidas de compresión curricular durante la pandemia. En general, no observamos diferencias por nivel socioeconómico del alumno ni de la escuela: y si estas se dan, se diluyen por completo cuando incorporamos las variables de escuela. Nuestros datos nos permiten estimar quién se ve más afectado por la pandemia, pero entender las causas de esa heterogeneidad es más complicado. Tres hipótesis para explicar las diferencias de resultados entre centros de distinta titularidad (en línea con resultados de otros estudios) podrían ser la mayor autonomía, preparación para enseñanza online y dependencia de recursos de las familias en la escuela concertada.
Figura: Pérdida de aprendizaje por características del centro y del alumno, media matemáticas-euskera-castellano (en desviaciones estándar)
Finalmente, mostramos que la pandemia ha tenido, según las percepciones de los propios alumnos, un efecto negativo importante sobre su bienestar socioemocional. Este impacto es especialmente pronunciado entre el alumnado socialmente más desfavorecido, aquel con un menor nivel de aprendizaje previo, y los alumnos varones. Además, observamos que existe una correlación importante entre la pérdida de aprendizaje y el deterioro socioemocional de los alumnos. Este resultado es interesante porque sugiere que los alumnos con mayores pérdidas de aprendizaje son conscientes de ello, e indica que la respuesta a la pandemia debe pasar por políticas públicas con un enfoque integral, que combinen aprendizaje y aspectos socioemocionales.
Los resultados del estudio son relevantes por varios motivos. Este es el primer estudio que aborda la pérdida de aprendizaje en España; debería generalizarse esta iniciativa a otras CCAA, dada la importancia de la cuestión. Para ello es necesario seguir apostando por una agenda de evaluación educativa sostenida en el tiempo, nacional y autonómica con apoyo político y basado en el rigor científico. Segundo, el hecho de que el “factor escuela” sea el mediador de lo ocurrido durante la pandemia tiene serias implicaciones sobre la política educativa en general, e invita a investigar el papel de la gobernanza de los centros educativos, especialmente los públicos. Tercero, las diferencias en pérdida de aprendizaje por competencias son importantes, y señalan a las matemáticas, junto con el bienestar socioemocional de los alumnos, como las dos dimensiones a las que las políticas educativas deben prestar atención en el futuro.
