¿Determinan las puntuaciones en los exámenes estandardizados la calidad de las escuelas?

Por Laia Navarro-Sola

En plena era de la educación estandarizada, las puntuaciones en exámenes estandardizados como los de las pruebas de ingreso a la universidad o las pruebas PISA son la brújula principal que guía el camino de la calidad escolar. Decisiones trascendentales, como el cierre de escuelas, la remuneración por desempeño de los maestros o los procesos de rendición de cuentas, a menudo se sustentan en estas métricas. Éstas pueden ser simples promedios del rendimiento académico del colegio o medidas más sofisticadas de la efectividad de la escuela para mejorar las calificaciones en esos exámenes. Éstas aproximan el efecto causal de las escuelas en el rendimiento académico, y se denominan como el “valor añadido” de la escuela. Sin embargo, ¿es la mejora de los resultados académicos la única medida de la calidad de la escuela que debemos tener en cuenta, o existen otros factores determinantes que estamos dejando de lado?

En un estudio reciente publicado en el Review of Economic Studies, coescrito por Diether W. Beuerman, C. Kirabo Jackson, Francisco Pardo y yo misma, analizamos si las escuelas que impulsan el rendimiento académico son las mismas que marcan la diferencia en otras variables determinantes en el largo plazo, como el acceso a la universidad, los comportamientos de riesgo juvenil y los ingresos a largo plazo. En este artículo, utilizamos datos administrativos de la población de Trinidad y Tobago para investigar el impacto causal de asistir a 132 escuelas secundarias públicas (¡casi el 99% de todas las escuelas del país!) en diferentes dimensiones. Para llevar a cabo este análisis causal, nos encontramos con el conocido problema de “sesgo de selección”: Si nos limitáramos a comparar las medias de los estudiantes en escuelas con puntuaciones promedio altas y bajas, nuestros resultados estarían sesgados, ya que las familias y los hijos que asisten a unas u otras no necesariamente son similares, dado que existen disparidades en los ingresos y la educación de los padres, entre otros factores. Para eliminar la influencia de la selección y desentrañar los efectos causales del valor añadido, aprovechamos el hecho de que la mayoría de los estudiantes son asignados a sus escuelas por una combinación de las preferencias de los padres y otras razones que van más allá de su control.

En primer lugar, investigamos si las puntuaciones medias de una escuela en exámenes estandardizados pueden considerarse una medida resumen de la calidad de la escuela, pregunta que ya se menciona en otro post. Nuestros análisis muestran que las escuelas tienen un impacto significativo en muchos aspectos de la vida de los estudiantes, como los resultados académicos, el abandono escolar,  la delincuencia juvenil, la maternidad adolescente, y la obtención de empleo formal en la edad adulta. Pero aquí llega la sorpresa: la relación entre el impacto de las escuelas en los exámenes estandardizados y su impacto en estas otras áreas vitales es más baja de lo que podríamos pensar, con correlaciones que oscilan entre 0.04 y 0.15 (ver Figura 1).  Esto nos dice que el valor de una escuela es multidimensional; no siempre las escuelas que mejoran los resultados en los exámenes estandardizados son las mismas que las que impulsan mejoras en resultados relacionados con otros factores no académicos que los padres pueden valorar.

Nota Figura 1: El eje-x muestra el valor añadido en exámenes estandardizados con altas consecuencias académicas de cada escuela. El eje-y representa el valor añadido de cada escuela en los otros resultados medidos. Se han añadido líneas de tendencia y los coeficientes de correlación (netos de errores de estimación) a cada panel.

 

Ahora, avancemos y echemos un vistazo a los factores que parecen ser determinantes para los padres al seleccionar una escuela para sus hijos. Si los padres pueden distinguir entre las escuelas con un alto valor añadido en áreas específicas, las políticas de elección de escuela podrían ser una forma eficaz de mejorar la calidad de la educación al alinear los deseos de los padres con los incentivos de las escuelas. Sin embargo, investigaciones previas de MacLeod y Urquiola y de Beuermann y Jackson nos indican que las preferencias de los padres no siempre están relacionadas con el valor añadido de las escuelas en los exámenes estandardizados. Incluso algunos estudios que analizan directamente las preferencias por el valor añadido académico de las escuelas concluyen que los padres no siempre pueden evaluarlo con precisión (Rothstein 2006, Abdulkadiroglu et al. 2020), lo que nos lleva a cuestionar si los sistemas de elección de escuela realmente funcionan. Pero aquí viene el giro: esto no significa necesariamente que la elección de escuela no sea beneficiosa. Si los padres valoran las escuelas que mejoran otros aspectos que no están estrechamente relacionados con las mejoras en los exámenes estandardizados, la elección de escuela podría marcar la diferencia en áreas que los padres valoran pero que las pruebas estandarizadas no logran medir.

Así pues, ¿cuáles son los factores relevantes en la elección de escuela por parte de los padres? Para investigarlo, conectamos las preferencias de los padres, reflejadas en el ranking de preferencia escolar que cada familia indica, con el impacto causal del valor añadido de cada escuela en distintas variables. Luego, empleamos modelos de elección discreta para inferir las preferencias por las escuelas. ¿Y qué encontramos? Los padres tienden a favorecer las escuelas cercanas, las escuelas con un mejor promedio académico y las escuelas con compañeros con alto rendimiento, lo cual concuerda con estudios previos (Burgess et al. 2015, Abdulkadiroglu et al. 2020).  Sin embargo, aquí vienen los resultados novedosos. En primer lugar, los padres de niños con un alto rendimiento académico tienden a elegir a escuelas con efectos causales más positivos en las mejoras de exámenes estandardizados con mayores consecuencias académicas. En segundo lugar, al considerar los resultados no académicos, los padres prefieren escuelas que reduzcan el crimen juvenil, disminuyan los embarazos de adolescentes y aumenten la participación en el mercado laboral. Estos patrones persisten incluso teniendo en cuenta el promedio de los resultados de la escuela, la distancia a la escuela y la calidad académica de los compañeros. Sin embargo, también documentamos patrones diferenciales en la elección de escuela según el rendimiento académico inicial. Los padres de niños con alto rendimiento académico otorgan calificaciones más altas a las escuelas que muestran contribuciones relativamente mayores a la mejora de las puntuaciones en los exámenes estandardizados. En cambio, los estudiantes con bajo rendimiento actúan en dirección contraria (Figura 2).

Nota Figura 2: Las líneas conectadas representan la diferencia entre las estimaciones del modelo de elección de los impactos de las escuelas en tres resultados no académicos y la estimación del modelo de elección de los impactos de las escuelas en la medida de los exámenes estandardizados con altas consecuencias académicas, escalada por la estimación de la distancia en logaritmos. Esta diferencia se calcula por separado para cada celda (ventilo del rendimiento académico inicial) × (género). El eje-x representa el ventilo del rendimiento académico inicial individual (medido antes de la inscripción en la escuela secundaria). Las estimaciones resultan del modelo de elección que incluye las estimaciones de los impactos causales de las escuelas en todos los resultados, los promedios a nivel de escuela para todos los resultados, la calidad de los compañeros y la distancia en logaritmos, las variables de control a nivel de escuela y una medida de las probabilidades estimadas de rechazo de la escuela, así como interacciones de estas probabilidades con todos los atributos de la escuela.

 

¿Qué nos sugieren estos resultados? Que los beneficios de los sistemas de elección de escuela pueden extenderse a una amplia gama de resultados más allá de las puntuaciones en exámenes. Esto podría indicar un sistema eficiente en acción si las elecciones de los padres reflejan sus verdaderas preferencias.  Sin embargo, si estas diferencias se deben a la falta de información, se podría resolver proporcionando a los padres datos sobre el valor añadido (impacto causal) de las escuelas en una amplia gama de resultados académicos y no académicos. Además, estos hallazgos ofrecen una explicación plausible para la débil relación entre las preferencias parentales por las escuelas y los impactos de las puntuaciones de pruebas estandardizadas de las escuelas. En última instancia, nuestro estudio muestra un ejemplo de la complejidad de la calidad educativa, destacando que medir una escuela únicamente por los resultados en las pruebas estandardizadas puede no proporcionar una imagen completa, instando a los responsables de la toma de decisiones en políticas educativas a considerar una visión más integral de la calidad escolar.