Cuando se anunció la creación del bachillerato de excelencia hace algo más de un año sugerí que en ausencia de evidencia muy fuerte a favor o en contra del mismo era prudente esperar a ver qué sucedía con el mismo antes de juzgar sus resultados (aquí). Bien, ya ha pasado un año, y parece que el experimento se quiere ampliar, según la prensa por su “notable éxito”. Me gustaría saber cuál es la evidencia de este éxito, aunque también me asombra la ligereza con la que los que se oponían antes de empezar ya lo tildan de fracaso. Para explicar por qué es tan importante que se coleccione y analice esta evidencia, les voy a contar alguna investigación reciente que siembra dudas sobre este tipo de proyecto.
Les recuerdo que el problema que se intenta solucionar es de los más serios que tiene nuestro país, como hemos dicho en numerosas ocasiones (aquí o aquí) y es razonable probar lo que haga falta para resolverlo, incluso desoyendo temporalmente a los críticos, que muestran más prejuicios que evidencia. Pero sería bueno que se fueran coleccionando los datos suficientes para responder a esa crítica y se explicara cómo se piensa hacer la evaluación. El artículo que discutiré hoy nos da, entre otras cosas, pistas sobre cómo hacerlo.
En la entrada anterior ya les contaba alguna evidencia internacional relacionada. La más cercana correspondía a un estudio de Damon Clark relativo a las grammar school británicas. Hoy cambiamos de continente y nos vamos a las “exam schools” americanas de la mano Abdulkadiroglu, Angrist y Pathak. Estas “exam schools” incluyen 3 institutos de Boston y 3 de Nueva York. Los de Boston incluyen la escuela más antigua de los Estados Unidos, el Boston Latin School fundado en 1635 (Latin porque estudiaban latín, no tiene que ver nada con nuestros hermanos hispanohablantes) que tiene unos 2000 estudiantes, la Latin Academy con 1700 estudiantes y el John D. O'Bryant High School of Mathematics and Science con 1200 estudiantes. Los de Nueva York son el Stuyvesant High School (3000 estudiantes), Bronx High School of Science (2600 estudiantes), y el Brooklyn Technical High School (4500 estudiantes).
La mayor parte de estas escuelas han aparecido en los rankings nacionales de mejores escuelas de Estados Unidos (por ejemplo, las de Newsweek o el U.S. News & World Report) y sus estudiantes son realmente buenos. El estudiante medio del Boston Latin School es casi dos desviaciones estándar mejor que el estudiante medio de Boston en matemáticas (¡está en el percentil 95 de la distribución!) y 1,75 en inglés. En O'Bryant y la Latin Academy no están tan lejos, pero también tienen ganancias sustanciales (más de una desviación estándar en matemáticas e inglés en O'Bryant, y 1,25 en la Latin Academy). Los estudiantes de las “exam schools” de Nueva York también son muy buenos. Los de Brooklyn Technical están 1,5 desviaciones por delante del estudiante medio de Nueva York en matemáticas e inglés y los de Stuyvesant más de dos desviaciones estándar.
Los estudiantes de estas escuelas tienen más horas de matemáticas y requisitos curriculares más exigentes que los de otras escuelas de sus respectivos estados. También tienen mejores instalaciones (bibliotecas, laboratorios), gracias a generosas donaciones de ex-alumnos. Por otro lado tienen tamaños de clase más elevados. La ratio de alumnos por profesor en el Latin School es de 22 comparada con una media de 12 en la escuela media y 15 en el bachillerato para otras escuelas del distrito. En Nueva York las “exam schools” tienen una ratio de 31 comparado con una ratio de 27 en el distrito en su conjunto.
Las características sociales de los estudiantes admitidos se escalonan entre los admitidos, los solicitantes y la población general, siempre dentro de niveles socioeconómicos bajos. En Boston, por ejemplo, un 63% de los admitidos tenían derecho a comida gratis, una medida de pobreza, frente a un 71% de los solicitantes y un 72% de la población general. Otro ejemplo, entre los admitidos había un 60% de negros y latinos, frente a un 58% entre los solicitantes y un 77% de la población general (conviene entender que en Estados Unidos las minorías tienden a vivir en el centro de las ciudades y las clases acomodadas en barrios o ciudades de la periferia).
La identificación de los efectos de entrar en estas escuelas se realiza aquí, como en el trabajo de Clark mediante una regresión de discontinuidad. Esto es prácticamente equivalente a comparar estudiantes justo por encima y por debajo de las notas de corte que permiten entrar en esta escuela. La razón por la que esto sirve para identificar bien el efecto es que si el corte es, digamos, un 7,5, el hecho de tener un 7,6 o un 7,4 se debe sobre todo al azar y por tanto la diferencia entre los resultados escolares de ambos se pueden atribuir a la escuela ya que no hay un sesgo de selección importante.
Y sin más procedo a mostrarles parte de la evidencia. La tabla muestra los resultados de regresiones para Boston (Nueva York es muy parecido). Las tres primeras columnas son estimaciones paramétricas para cada una de las escuelas y la cuarta para el conjunto de las escuelas. Las columnas cuarta a octava hacen un análisis paralelo no paramétrico. Las filas indican el año de la solicitud y el año en que se hace el examen estándar cuyas notas se comparan. Aunque lo pueden ver ustedes mismos creo que el resumen más adecuado es que no hay evidencia de un efecto sistemático de estas escuelas.
La figura representa un análisis parecido. En el eje horizontal está la nota en el examen de entrada (el 0 es la nota de corte, por tanto los que entran están típicamente a la derecha y los que no entran a la izquierda). En el eje vertical la nota del examen estándar que mide los resultados. Claramente la línea es creciente porque los chicos que son mejores al empezar normalmente lo son después. Pero si las “exam schools” fueran efectivas, debería verse un salto significativo en el cero. Y como pueden ver no hay tal salto.
Una precaución para interpretar los resultados es que el grupo para el que se se identifica limpiamente el efecto de las escuelas es especial. Son los chicos que han sido admitidos por poco, que normalmente serán los menos buenos de las “exam schools” y los mejores del resto de las escuelas. Es posible que no sean del todo representativos. Pero aún así los resultados son interesantes. Por ejemplo, si el programa se expande es probable que el tipo de estudiantes nuevos que acceden a él sean más parecidos a sus participantes marginales de hoy, que a los que están muy por encima del margen. Y si en España se decidiera, como se ha propuesto en Estados Unidos, dar preferencia en la admisión a estudiantes de minorías o de bajo estatus socioeconómico, estos estudiantes también se parecerán más a los marginales de la actualidad que al resto.
Antes de que alguien saque conclusiones apresuradas, hay dos motivos importantes para dar un margen de confianza al programa madrileño u otros que se puedan comenzar en España. El primero es que no tenemos evidencia local, y nuestro sistema escolar es suficientemente distinto del americano como para que podamos preguntarnos si los resultados aquí serán iguales. Y el segundo es que a mí me queda una duda sobre los resultados americanos. ¿Es posible que los padres y chicos que se matan a trabajar para entrar en estas escuelas, y los ex-alumnos que las apoyan afanosamente estén tan equivocados? Aunque son un fan decidido de los exámenes como medida de resultados, también soy consciente de que tienen limitaciones, como ya les expliqué con el análisis del experimento STAR a largo plazo, y a lo mejor este es uno de los casos en los que las limitaciones son aparentes.
La conclusión que yo saco, por tanto, es que debe hacerse un análisis riguroso y transparente de los resultados. No es muy difícil, como muestra el artículo, basta conservar las notas de los no admitidos y buscar donde están para comparar las notas de sus exámentes estándar (en la selectividad, por ejemplo). Y si nos convencemos de que no funcionan, no hay que tener miedo de reconocerlo y buscar otras maneras de resolver el problema. A mí en general no me molesta un político que hace algo atrevido y se equivoca, en cambio no puedo soportar a quien no prueba nada o a quien prueba y no nos deja saber si lo hizo mal.