- Nada es Gratis - http://nadaesgratis.es -

Lo que el recorte se llevó: evidencias sobre el Programa de Acompañamiento Escolar

nochildlbehind1

Entre los años 2009 y 2014, el gasto público en educación se recortó en un 16.8% (1). Los gastos a cargo del Ministerio de Educación se redujeron en un 34.7% y los de las CCAA en un 14.9%. Estos recortes no fueron neutrales. En especial, sólo desde el 2012, la partida de los PGE dedicada a la “educación compensatoria”, es decir, aquella destinadas por ejemplo a mejorar las oportunidades educativas de alumnos de entornos socioeconómicos más desfavorecidos se redujeron en más de un 90% (2). En gran parte de las CCAA los recortes en esta partidas también fueron sustanciales (3),

Entre los años 2012 y 2013, se sentenciaron los denominados “Programas de cooperación territorial” (4). Pueden visitar la página web fantasma que sigue albergando el Ministerio con información sobre este conjunto de “planes y programas de cooperación con las comunidades autónomas cuyo objetivo (era) la contribución a la mejora del sistema educativo en aspectos que se consideran esenciales para el aumento de la calidad de la educación

Cuando se le preguntó a la Secretaria de Estado de Educación (hoy en la OCDE) por la desaparición de algunos de estos programas en los PGE del 2012 (entre los que se encontraba, Educa3, para la extensión de plazas en centro de educación de 0 a 3 años), aseguró “que el ministerio, ante la necesidad de recortar, decidió eliminar los programas inviables" (5). Al año siguiente, estos programas quedarían definitivamente liquidados con la desaparición de los planes contra el abandono escolar temprano, el programa de lenguas extranjeras y el denominado Plan PROA (Programas de Refuerzo, Orientación y Apoyo)

El Plan PROA fue “concebido como un proyecto de cooperación territorial entre el Ministerio de Educación y las Comunidades Autónomas, (pretendía) abordar las necesidades asociadas al entorno sociocultural del alumnado mediante un conjunto de programas de apoyo a los centros educativos.… (Ofrecía) recursos a los centros educativos para que, junto a los demás actores de la educación, (trabajasen) en una doble dirección: contribuir a debilitar los factores generadores de la desigualdad y garantizar la atención a los colectivos más vulnerables para mejorar su formación y prevenir los riesgos de exclusión social”

Una línea de actuación del PROA era el Programa de acompañamiento escolar en centros de educación secundaria (PAE) que se diseñó para ayudar a los estudiantes de bajo rendimiento a alcanzar unos estándares académicos mínimos en centros escolares situados en zonas socioeconómicamente más desfavorecidas o en entornos culturales o sociales con una clara desventaja socioeducativa. Consistía básicamente en ofrecer horas de clase extra y una atención más personalizada a través de grupos de estudio reducidos a los alumnos que acumularan retraso al comenzar la educación secundaria.

El hecho es que por mucho que nos parezca que en teoría estos programas deban tener un impacto positivo en el rendimiento escolar de estos alumnos, necesitamos evidencia para poder contradecir aseveraciones tales como las realizadas por la entonces secretaria de estado. De hecho, la evidencia sobre este tipo de programas es escasa, especialmente en España. Por ello. hay que celebrar la publicación de estudios que permitan aportar algo de luz, como el realizado recientemente por José Ignacio García-Pérez y Marisa Hidalgo-Hidalgo de la Universidad Pablo de Olavide, titulado “No student left behind? Evidence from the Programme for School Guidance in Spain”.

Previamente, el Ministerio había encargado una evaluación del PROA, a las profesoras Asunción Manzanares Moya y Sara Ulla Díez, investigadoras en pedagogía de la Universidad de Castilla-La-Mancha. Estas autoras se centraron en los logros académicos conseguidos por los alumnos de los centros que participaron en el PROA en el curso 2010/11, obteniendo resultados como los mostrados en este gráfico (página 89):

comparacion_infrome

Este gráfico compara resultados en términos de promoción de curso de alumnos que han participado y los que no han participado en el PROA. Llegan a la conclusión de que la tasa de promoción de los alumnos que no participan en el PAE en Secundaria es casi un 13 p.p. superior al de los alumnos participantes. Evidentemente, como las propias autoras reconocen, estos resultados no nos dicen gran cosa. Estos datos no tienen en cuenta las características de los alumnos y de los centros que no sólo influyen en que hayan sido seleccionados y hayan decidido participar en el programa, sino también en los propios logros académicos. No cuentan con esta información y por lo tanto este informe no puede ser considerado como una evaluación satisfactoria del programa.

José Ignacio García y Marisa Hidalgo si que disponen de esta información, lo que les permite intentar responder a dos preguntas: ¿Sirvió para reducir el número de alumnos que se quedan atrás del progreso general de la clase? ¿Mejoró las puntuaciones medias de los estudiantes que recibieron dicho programa?

Además, comprueban si la intervención tuvo éxito en dos contextos diferentes: miden el impacto del programa mientras se está realizando la intervención, y, también analizan si es más eficaz cuanto mayor es el tiempo que el centro escolar ha participado en el mismo. Lo hacen además con evaluaciones externas a los propios centros, es decir, no influidas por la valoración de quienes están encargados de aplicar el programa, con información muy detallada sobre las características de alumnos y escuelas, y con una estrategia empírica muy avanzada en materia de evaluación de políticas educativas

Para realizar este análisis utilizan evaluaciones externas a los centros: los exámenes PISA realizados en el año 2012 (es decir a los alumnos de 15 años que cursaban en ese momento estudios de Enseñanza Secundaria Obligatoria). En concreto, utilizan los datos de los resultados de PISA 2012 en las 15 CCAA con una muestra representativa (ampliada), y además, como bien saben ya nuestros lectores toda una batería de información sobre el entorno sociodemográfico del alumno y características de las escuelas. Disponen además de la información sobre centros que fueron incluidos en PISA y que participaron en el PAE. En concreto, más del 10% de los centros que aplicaron el PAE durante el cursos 2011/12 fueron también evaluadas en el PISA 2012.

Este gráfico muestra el porcentaje de centros que implementaron el PAE en cada CCAA durante la duración de este programa. Se observa como se fue introduciendo progresivamente. El estudio se centra en los cursos 2008/2009 hasta 2011/2012. Más del 60% de los centros de la muestra no implementaron el PAE y la mayoría de los que lo implementaron lo hicieron en el período considerado. Una vez que los centros participaron el programa la mayoría continuaron en cursos posteriores. Tampoco parece que los centros hayan participado en un orden particular según el índice de estatus económico, social y cultural (ESCS).

fig_pae_ccaaLos autores se centran en los resultados obtenidos en el test de comprensión lectora, y no sólo investigan cómo se pudo ver afectado el rendimiento medio de los centros que participaron en el programa, sino también que se fijan en los resultados de aquellos alumnos de los colectivos procedentes de entornos más desfavorecidos y si se encuentran en los cuartiles de menor rendimiento.

En los grupos de control no consideran aquellos centros que han participado en otras líneas de actuación del PROA diferente del PAE y consideran varios tipos de grupos de tratamiento. El que denominan PAE-Inmmediacy, que son aquellos alumnos pertenecientes a centros que participaron en el PAE en el curso 2011/2012, es decir, cuando se realizó el examen de PISA, y el PAE-Intensity, para aquellos alumnos de centros que participaron  varias veces en los cuatro últimos cursos: PAE-Intensity 1-2, si participaron 1 o 2 cursos, y PAE-Intensity 3-4 si lo hicieron 3 o 4 cursos)

En cuanto a su estrategia empírica, consiste en un tratamiento específico de la selección en el grupo de tratamiento mediante estimación vía re-ponderación (re-weigthing estimates). Esto es, estiman primero un modelo de que proporciona una probabilidad estimada de participación en el PAE y utilizan los resultados para ponderar los alumnos en la muestra de control. Con ello, obtienen estimaciones del efecto de tratamiento medio para los alumnos tratados, esto es, lo que se encuentran en centros que aplicaron el PAE. Dejo a los lectores interesados que lean más sobre este procedimiento en el texto, así como otros desarrollos técnicos como el control de variables inobservables de alumnos y centros que pueden influir en su propensión a participar en este tipo de programas, y me quedo aquí con una de las principales tablas de resultados.

table8El panel superior de la tabla se refiere a los efectos estimados del PAE sobre el porcentaje de alumnos de condición socioeconómica desaventajada que se encuentra en el cuartil de rendimiento inferior. Los resultados negativos indican  una menor presencia proporcional de este colectivo en este cuartil en los centros tratados que en los no tratados, una vez utilizados los métodos que permiten controlar por la selección. El panel inferior se refiere a las diferencias en las notas de comprensión lectora medias. Las primeras líneas de cada panel se refieren a las estimaciones con re-ponderaciones sin covariables, la segundas con, y las demás utilizando los estimadores de propensity score del vecino más próximos.

Los resultados indican que el impacto del programa sobre el colectivos de niños de entornos más desfavorecido fue estadísticamente significativo, mayor en el año de aplicación y también para aquellos centros con más experiencia en la aplicación del PAE. Además, también se observa un efecto positivo sobre la nota media de los centros que aplicaron el PAE, variando entre 5.53 puntos PISA (6,4% de un desv. Estand) y 12.34 (14.2% de una desv. Est.).

Conclusiones

Esta última legislatura se ha caracterizado por dos principales acciones de política pública: las reformas y los recortes, en especial, tanto en el ámbito del mercado laboral como de la educación. No se trata de discutir aquí acerca de la bondad y/o necesidad de estas reformas, pero si recordar (por si fuera necesario) que han sido desequilibradas. La reforma laboral de la que ya hemos tratado ampliamente en este blog, fue desequilibrada porque actuó rápidamente en materia de flexibilidad, y muy tardía e insuficientemente en materia seguridad vía reforma de las políticas activas, políticas que además sufrieron importantes recortes. En materia educativa, la LOMCE también ha supuesto incrementos notables en los niveles de dificultad para los alumnos desde la primaria (doy fe, lo estoy experimentado en casa), y no ha venido acompañada de los recursos suficientes no sólo para implementarla (ver esta entrada de Lucas Gortazar), sino también para ayudar a alumnos procedentes de familias más desaventajadas a superar dicho aumento de dificultad. Por lo contrario, programas de apoyo a aquellos alumnos con mayor probabilidad de quedarse atrás han sido suprimidos con la excusa de que eran inviables.

La otra lección de ese paper de José Ignacio y Marisa, es que siempre conviene tener evidencia acerca de programas antes de calificarlos de inviables. Una evidencia científica y rigurosa, más allá de simples informes que no aportan información de interés, tal cómo la que nos ilustra incesantemente Antonio Cabrales en este blog, es más necesaria que nunca. Lo curioso es que este mismo paper también fue auspiciado por el Ministerio, en concreto por el Instituto Nacional de Evaluación Educativa, cuando este era un modelo prometedor de cómo se podían hacer evaluaciones serias en nuestro país (es decir, antes de convertirse también en página web fantasma). Creo que tanto en políticas activas del mercado de trabajo como en políticas educativas y otras políticas sociales necesitamos de un AIReF, una institución independiente que pueda hacer y promover evaluaciones rigurosas de este tipo de políticas. Ya saben, … para salirse del Pleistoceno.

Nota: imagen de portada extraída de aquí