- Nada es Gratis - https://nadaesgratis.es -

El otro valor añadido (I)

Los lectores ya saben que soy muy favorable a los exámenes estandarizados y a que los resultados sean públicos. Porque su realización y publicación representa un ejercicio de transparencia democrática, y porque, como señalan Hanushek y Woessman en un artículo que resume la evidencia internacional (sección 4.4.1.) los resultados de los estudiantes están positivamente asociados a la existencia de medidas que permitan comparar entre escuelas. Pero estoy de acuerdo con los que critican esta publicidad en que hay maneras mejores y peores de divulgar esta información. Por esto hoy quiero hablar del valor añadido de los profesores y las escuelas.

Para comprender el argumento de los críticos, el triunfo del Mirandés en la Copa del Rey este año, o del Alcorcón hace un par de años, son ejemplos suficientemente expresivos. Ambos equipos vencieron en esta competición a otros equipos a priori superiores en recursos y jugadores; y la prensa y los aficionados valoraron muy positivamente su victoria, y muy negativamente la derrota de los oponentes. La cuestión es, ¿cómo podemos localizar el Mirandés o el Alcorcón de las escuelas, es decir, aquellas que proporcionan un mayor valor añadido por encima de la calidad intrínseca de los chicos que acuden a ellas y sus familias?

La primera observación, quizá obvia, es que si los resultados no se publican, nunca podremos encontrarlas. De manera que aún estando de acuerdo con la crítica, no estoy de acuerdo con la solución de algunos críticos, que es no publicar los resultados; la solución no es menos luz, es más luz. El Reino Unido es ejemplar en este respecto. La página web de la BBC publica rankings de escuelas según los resultados de las reválidas a distintos niveles educativos, pero la información que publica sobre cada escuela es realmente interesante. Por ejemplo, la de la escuela con mejores resultados del país y la de la escuela con peores resultados. Se puede ver que en la mejor escuela el gasto por estudiante y el salario de los profesores es menor que en la peor (y que las dos están, curiosamente, en Essex). Pero, en cambio, el porcentaje de estudiantes que puede acceder a un menú gratuito (una medida estándar de pobreza) es del 46% en la peor escuela y de un 11% en la mejor.

Toda esta información contextual es muy útil para hacerse una idea del tipo de escuela al que nos enfrentamos. Pero además nos dan una medida de valor añadido de la escuela. El Reino Unido no es el único sitio en que se hace. También lo proporcionan otros lugares como Los Angeles. En esencia se trata de tomar a un estudiante y ver la diferencia entre cómo sería su proyección escolar en una escuela o con un profesor medios, dadas sus circunstancias personales y familiares, y ver cómo ha sido su progresión real. Si tenemos suficientes estudiantes, la media de estas diferencias puede ser una buena medida del valor añadido de ese profesional o esa escuela.

Alguien se preguntará: ¿pero sirven para algo estas medidas? De entrada hay muchos escépticos sobre que los exámenes estandarizados midan algo útil: ¿quién sabe la relación entre lo que nos pasa en la vida y en un examen estándar? Por otro lado, la estimación del valor añadido puede tener problemas estadísticos serios, que conviene tener en mente a la hora de evaluar la evaluación. A todos estos escépticos les recomiendo encarecidamente la lectura de un artículo reciente de Chetty, Friedman y Rockoff que vamos a comentar a continuación (ya hemos hablado de Raj Chetty en el contexto del experimento STAR y el efecto en los salarios de disminuciones de la ratio). El artículo trata de contestar a dos preguntas fundamentales. La primera es si hay algún problema metodológico en la forma cómo se calcula habitualmente el valor añadido; es decir, dado que hay muchas variables no observables, lo mismo para el individuo que para la escuela, cuando se hace la proyección escolar de la que hablábamos antes el resultado podría estar sesgado. La segunda (cuya respuesta glosaremos la semana que viene por cuestiones de espacio) es si los exámenes estándar sirven para predecir el rendimiento laboral de los chicos u otras cosas relevantes.

Para contestarlas usan una base de datos de dos millones y medio de estudiantes entre el curso tercero y octavo de primaria (nuestro segundo de la ESO), y 18 millones de exámenes de lectura y matemáticas, en un distrito escolar americano grande entre los años 1989 y 2009. También tienen los datos fiscales de estos chicos entre 1996 y 2010. En estas bases de datos hay información de lo que ha pasado con los chicos tras la escuela: si han ido a la universidad, si han sido padres/madres adolescentes y su renta. También hay información de los padres: su renta, sus ahorros para la jubilación y la edad de la madre al nacer los hijos. En la base de datos fiscal se puede localizar más de un 90% de los chicos.

Los autores calculan primero el valor añadido de una manera estándar; es decir, hacen una regresión del resultado de los chicos en los exámenes condicional a las notas de exámenes anteriores y a algunas características del chico y de otros estudiantes de su clase (por ejemplo, para el alumno se usan raza, sexo, edad, expulsiones y ausencias pasadas, si son repetidores, alumnos de educación especial o saben poco inglés). La diferencia entre el valor predicho por los observables y el valor real es una mezcla del impacto del profesor o la escuela más otros componentes aleatorios. Pero la media de estos errores en todas las clases que enseña un profesor a lo largo de los años puede ser una buena medida de su valor añadido, bajo ciertos supuestos que es lo que se quiere probar; por ejemplo, que los chicos sean asignados a los profesores y escuelas de manera aleatoria. Si cuando un chico es malo es asignado de manera sistemática a un determinado profesor, el valor añadido de este profesor no se podría estimar con este procedimiento. Sería como pensar que un médico es malo solamente sobre la base de cuántos enfermos mueren bajo su cuidado; en un mundo perfecto los enfermos más difíciles acabarían con los mejores médicos, y esto podría disparar sus estadísticas de mortalidad a pesar de su calidad.

Una primera prueba de la validez de la medida de valor añadido es utilizar otras variables observables que los investigadores obtienen en su nuevo estudio (la renta de los padres o sus ahorros) y no suelen estar presentes en otros y verificar si esto tiene algún efecto. El resultado se puede ver en la figura 1. Mientras que la primera figura del panel muestra que el valor añadido tiene poder predictivo en el resultado escolar, las siguientes figuras muestran que añadir datos sobre la renta de los padres o resultados del estudiante de años previos al anterior tienen un poder predictivo adicional prácticamente indistinguible de cero. Esto no quiere decir que la renta de los padres no importe, es simplemente que ya está incorporada en el resultado del estudiante en el año anterior y otras variables de la regresión original.

Por si esto no basta, porque tal vez las variables inobservables para estos investigadores son un problema, el estudio explota las entradas y salidas de profesores de las escuelas. Si estas entradas y salidas individuales no están relacionadas con cambios inobservables de características de los alumnos, nos pueden dar una idea del impacto de los profesores que entran y salen. Los cuatro paneles de la figura 2 nos muestran los efectos de entradas y salidas (respectivamente a izquierda y derecha) de profesores de alto y bajo (respectivamente en parte superior e inferior) valor añadido. La línea de puntos representa el rendimiento en el año anterior al movimiento y la línea sin puntos el año del cambio. Claramente los profes de alto valor añadido te hacen mejorar al entrar y empeorar al salir. Y lo opuesto pasa con los de bajo valor añadido.

La primera conclusión del estudio es que nos podemos fiar bastante de las medidas estándar del valor añadido. Para ser más precisos, el valor añadido tiene un poder predictivo y causal sobre las notas de los alumnos en exámenes estándar. La segunda pregunta: ¿predicen algo los exámenes estándar? la contestaré la semana que viene.