¿Es realmente efectiva la política educativa más popular?

José Montalbán Castilla

Una dimensión clave en el debate público sobre la calidad y la distribución de recursos educativos es la ratio entre el número de alumnos y profesores, es decir, el tamaño de la clase.

Entre las ventajas de disminuir el tamaño de la clase se encuentra su facilidad de implementación, pero, sobre todo, su popularidad, con prácticamente todos los agentes implicados a favor (ej., padres, profesores y gestores públicos). Como consecuencia, varios países han reducido el tamaño medio de la clase en las últimas décadas, y muchos políticos aspiran a seguir reduciéndolo (aquí y aquí). Sin embargo, su mayor desventaja es que es una medida tremendamente costosa. Crear nuevas clases implica contratar nuevos profesores. Esto pone en jaque el ya limitado presupuesto de Educación, donde en torno al 60% del gasto se destina al pago de salarios. Para determinar si disminuir el tamaño de la clase es una política pública eficaz, hay que determinar su coste, evaluar como beneficiaría a los estudiantes (a corto y largo plazo), y comparar dicho coste-beneficio con el de otras medidas.

Esta entrada comienza mi andadura como colaborador habitual de Nada es Gratis, y tiene como objetivo tratar de esclarecer la evidencia empírica sobre una de las preguntas más antiguas de la economía de la educación, que a pesar de su intensivo estudio, sigue siendo de actualidad.

Como en casi todas las preguntas interesantes de la vida, el efecto del tamaño de la clase es difícil de identificar causalmente. La mayoría de los cambios en los inputs educativos que experimentan los estudiantes se producen como resultado de decisiones llevadas a cabo por sus padres, los directores de colegios, etc. Esto implica que la mayoría de la variación en esta variable esta correlacionada con otros determinantes del desempeño educativo, produciendo resultados sesgados. Por ejemplo, como destacan Angrist y Pischke, la correlación observada entre el tamaño de la clase y los resultados de los estudiantes no debe tomarse como evidencia seria, puesto que los estudiantes con menor rendimiento normalmente se asignan a clases más pequeñas para ofrecer una atención más individualizada.

Para determinar el efecto causal del tamaño de la clase se han utilizado principalmente tres métodos analíticos. En primer lugar, el método de oro en evaluación de políticas: el experimento aleatorio o RCT (Krueger 1999; Chetty et al. 2011). Este procedimiento asigna aleatoriamente clases de varios tamaños para estimar los efectos causales. El experimento más famoso sobre esta política, y uno de los buques insignia en la economía de la educación, es el Student/Teacher Achievement Ratio (STAR) desarrollado en Tennessee en los años 80 (un tal Antonio Cabrales nos hablaba sobre sus efectos). En segundo lugar, las regresiones de discontinuidad o RDDs (Angrist and Lavy, 1999; Friedriksson et al. 2013; Leuven y Løkken, 2020). Este método utiliza las reglas sobre el tamaño máximo de la clase para comparar colegios que abren más clases por pasarse del límite (disminuyendo el tamaño medio de la clase) con los que no, pero que tienen un número de estudiantes muy similar. Esta regla se remonta hasta el siglo XII, cuando Maimonides interpretó que el Talmud fijaba un número máximo de 40 alumnos por clase. En tercer lugar, las variables instrumentales o IVs (Hoxby, 2000; Bach y Sievert, 2020). Estos trabajos utilizan datos longitudinales para explotar la variación aleatoria anual en el tamaño de las cohortes escolares, que inducen cambios en el tamaño de las clases.

A pesar de su inmensa popularidad en todos los ámbitos de la política educativa, la evidencia sobre su utilidad es muy controvertida. En una revisión de la literatura, Hanusek no encuentra grandes ventajas de políticas basadas simplemente en disminuir el número de alumnos por clase. A mi juicio, una de las revisiones de la literatura más interesante y reciente es la desarrollada por Leuven y Oosterbeek (2018). Para seleccionar los estudios relevantes, estos autores fijan tres filtros: (el estudio) debe estar publicado o en proceso de publicación en una revista internacional que utilice revisión por pares; utilizar datos europeos; y su diseño de investigación debe ser válido para estimar efectos causales. A continuación, describiré las concusiones principales de estos estudios, además de añadir dos contribuciones recientes, Leuven y Løkken (2020), y Bach y Sievert (2020).

Figura 1: Estimaciones sobre el Efecto del Tamaño de la Clase

Notas: Elaboración propia basada en Leuven y Oosterbeek (2018), donde se añaden algunos estudios adicionales. DE se refiere a desviaciones estándar. Los coeficientes indican el cambio en el rendimiento académico, medido en desviaciones estándar, causado por el incremento de un alumno por clase, por lo que los coeficientes negativos indican efectos positivos de disminuir el tamaño de la clase. Los puntos indican los coeficientes. Las líneas negras horizontales muestran los intervalos de confianza al 90%.

La Figura 1 muestra un resumen de los efectos del tamaño de la clase en el rendimiento académico de los estudiantes. De 34 coeficientes estimados: 17 son negativos estadísticamente significativos, 8 son negativos no significativos, 8 positivos no significativos, y 1 positivo significativo. (Aclaración: los coeficientes indican el cambio en el rendimiento académico, medido en desviaciones estándar, causado por el incremento de un alumno por clase, por lo que los coeficientes negativos indican efectos positivos de disminuir el tamaño de la clase). En general, estas estimaciones indican que los efectos de disminuir el tamaño de la clase son positivos. Sin embargo, el tamaño de los efectos es relativamente pequeño, y únicamente la mitad de ellos son estadísticamente significativos.

Figura 2: Estimaciones sobre el Efecto del Tamaño de la Clase por Años de Exposición

Notas: Elaboración propia basada en Leuven y Oosterbeek (2018), donde se añaden algunos estudios adicionales. DE se refiere a desviaciones estándar. Los coeficientes indican el cambio en el rendimiento académico, medido en desviaciones estándar, causado por el incremento de un alumno por clase, por lo que los coeficientes negativos indican efectos positivos de disminuir el tamaño de la clase. Los puntos indican los coeficientes. Las líneas negras horizontales muestran los intervalos de confianza al 90%.

Figura 3: Estimaciones sobre el Efecto del Tamaño de la Clase por Nivel Educativo

Notas: Elaboración propia basada en Leuven y Oosterbeek (2018), donde se añaden algunos estudios adicionales. DE se refiere a desviaciones estándar. Los coeficientes indican el cambio en el rendimiento académico, medido en desviaciones estándar, causado por el incremento de un alumno por clase, por lo que los coeficientes negativos indican efectos positivos de disminuir el tamaño de la clase. Los puntos indican los coeficientes. Las líneas negras horizontales muestran los intervalos de confianza al 90%.

Uno podría preguntarse si los resultados serían diferentes si los alumnos estuviesen expuestos a una clase más pequeña durante más tiempo, en vez de un sólo año. Sin embargo, la duración de la “exposición” no parecen ser un factor relevante (Figura 2). La Figura 3 muestra que intervenciones de este tipo en Educación Primaria parecen ser ligeramente más efectivas, donde el 65% son estadísticamente significativas, frente al 50% en Secundaria. Estos resultados están en línea con la mayor rentabilidad de intervenciones tempranas, aunque su rentabilidad está muy por debajo de otras como el Programa Perry.

Los efectos a largo plazo en el mercado de trabajo son también controvertidos, con trabajos rigurosos encontrando efectos positivos en los salarios futuros (Friedriksson et al. 2013), mientras que otros encuentran un efecto nulo muy preciso (Leuven y Løkken, 2020), en contextos muy similares. Los efectos en las habilidades no-cognitivas de los estudiantes parecen ser más consistentes, aunque más escasos, como nos cuentan Sevilla, Sainz y Sanz. Por tanto, esta política no parece tener impactos generales muy efectivos.

Una hipótesis alternativa, explorada teóricamente por Lazear (2001) y Albornoz et al. (2018), es que el efecto directo del tamaño de la clase varíe entre distintos tipos de estudiantes dando lugar a efectos heterogéneos. La evidencia empírica muestra que los efectos parecen ser más grandes para estudiantes de bajo nivel socioeconómico (Friedriksson et al. 2016; Bach y Sievert 2020), aunque en muchos casos las diferencias no son significativas (Krueger, 1999; Leuven y Løkken, 2020). Esta heterogeneidad, podría ser una justificación para aplicar esta política a gran escala. Sin embargo, esta política dista mucho de ser la más eficaz si el objetivo es ayudar a mejorar el rendimiento de estudiantes de entornos socioculturalmente menos favorecidos. Políticas públicas como tutorías en pequeños grupos y recuperación escolar registran un coste-beneficio muy superior (ver EEF y Menttores).

La evidencia causal sobre el efecto del tamaño de la clase no parece corresponder con su popularidad generalizada. No está claro cómo se podría usar la evidencia existente para realizar propuestas de políticas útiles. Éstas requieren extrapolación, y, por tanto, un sólido conocimiento sobre cómo los incentivos y restricciones median los efectos del tamaño de la clase. Aún estamos lejos de proveer respuestas definitivas en estos aspectos.

Necesitamos, por tanto, más investigación para poder recomendar esta política de manera fiable. Todavía sabemos poco sobre cómo el efecto del tamaño de la clase depende de los modos de instrucción y aprendizaje que implementan los profesores, sobre como cambia el ambiente en la clase, y sobre cómo modifican los estudiantes, padres y profesores sus aspiraciones y comportamientos. Tampoco conocemos mucho sobre los efectos no-lineales de cambios en el tamaño de la clase. Los estudiantes de doctorado interesados podrían desarrollar proyectos de investigación sobre estos temas relativamente desconocidos. Además, los políticos podrían ayudarles a evaluar rigurosamente esta política leyendo a Rockoff (2009), que recomienda maneras muy útiles de diseñar la evaluación, evitando la oposición de la comunidad educativa.

El concepto general del efecto del tamaño de la clase depende ampliamente de los modos tradicionales de instrucción y aprendizaje. Mientras que los colegios de hoy en día se parecen mucho a los colegios de nuestros abuelos, las nuevas tecnologías y las innovaciones pedagógicas pueden cambiar la naturaleza de las clases, y con ella, su relación con los efectos del tamaño de la clase. Por tanto, cuando esto ocurra, ¿tienen estos efectos fecha de caducidad?

Hay 10 comentarios
  • ¡Artículo super interesante! Como profesional de la educación con experiencia a pie de aula ordinaria (desde 25 a 35 alumnos por clase) y en aulas de enriquecimiento para alumnado de alto potencial (no más de 8 niños por grupo) me quedo con la duda "existencial" de cómo deberíamos interpretar la variable "tamaño del aula".

    Leo en la entrada: "los coeficientes negativos indican efectos positivos de disminuir el tamaño de la clase". Entiendo que siendo la variable tamaño de la clase una variable discreta. ¿Pero cuál tiende a ser el rango de esa variable? Mi intuición basada en mi experiencia (en muchos colegios y con muchos profesores de toda España) es que quizás reducir de 35 a 30 el número de alumnos en un aula no tenga efectos significativos. Pero reducirlos a 20 o a 15 alumnos, quizás (o seguramente) sí.

    Sobre todo, partiendo de mi experiencia más cotidiana: trabajar con "solo" 8 alumnos en clase. Lo cual es una pasada desde el punto de vista educativo.

    ¡Un saludo!

    • Estimado César:

      Muchas gracias por tu comentario, que es muy interesante y de una relevancia tremenda.

      La media de la OECD era 20,5 alumnos por clase (20,9 en España) en Primaria para las instituciones públicas en 2019, y de 22,5 (24,7) en Secundaria. Tu comentario es muy relevante, y se refiere a esta frase de la entrada: “Tampoco conocemos mucho sobre los efectos no-lineales de cambios en el tamaño de la clase.” Muchos de los estudios utilizan RDD, que por diseño solamente identifica efectos de cambios grandes en el tamaño de la clase ocasionados al añadir una clase adicional (no pueden mirar bien a los efectos no-lineales). Bach y Sievert (2020) encuentran efectos no-linearles: efectos negativos grandes de añadir un alumno más en clases que ya eran grandes (>20 students), y ningún efecto de +1 estudiante en clases con menos de 20 estudiantes. Lazear (2001) tiene reflexiones teóricas muy interesantes para esto. Ej: puede haber un tamaño óptimo de la clase porque muy pocos estudiantes puede ser negativo debido a las pocas interacciones que se producen, pero demasiados estudiantes pueden ser disruptivo, por lo contrario. Aun necesitamos saber más sobre los efectos no-lineales de reducir el tamaño del aula.

      Un cordial saludo

  • Un asunto del máximo interés. Dentro de que las mediciones en ciencias sociales son necesariamente imprecisas, lo que se observa en la entrada es que la evidencia parece apuntar más a un efecto positivo como es lógico esperar con las salvedades ya mencionadas de que la reducción puede ser muy variada. Por otra parte si los datos están estandarizados, una ganancia de media desviación estándar no parece tan pequeña.

    Una cosa que me ha llamado la atención es el comentario "Todavía sabemos poco sobre cómo el efecto del tamaño de la clase depende de los modos de instrucción y aprendizaje que implementan los profesores, sobre como cambia el ambiente en la clase, y sobre cómo modifican los estudiantes, padres y profesores sus aspiraciones y comportamientos". ¿No se supone que en un análisis causal todos esos otros factores se mantienen constantes?

    Finalmente ¿tienen el mismo valor, en cuanto a la valoración del efecto causal, los distintos métodos empleados? Es decir, ¿tiene la misma solidez la evidencia derivada de un RTC que de un estudio RDD?

    • Estimado Briony:

      Muchas gracias por tu comentario.

      En cuanto a tu primer punto sobre las ganancias medias, me gustaría hacer una aclaración. Como bien indicas, una ganancia media de un 50% de la DE es muy grande. Sin embargo, la ganancia máxima estimada es la del estudio de Friederikson et al. (2016), que estiman un impacto de 4.4% de la DE. Por tanto, está muy lejos de ser media DE.

      En cuanto a tu segundo comentario, me parece muy interesante. Este se refiere a los mecanísmos y la diferencia entre efectos directos e indirectos de disminuir el tamaño de la clase. Desde el punto de vista teórico, disminuir el tamaño de la clase puede tener efectos directos e indirectos. Los efectos directos son aquellos que ocurren cuando el resto de factores que afectan a los resultados de los estudiantes se mantienen constantes. Es decir, este es el efecto de un cambio en el tamaño de la clase manteniendo constante la calidad del profesor, la composición de la clase o la implicación parental. Los efectos indirectos se producen cuando cambios en el tamaño de la clase inducen cambios en otros factores que afectan al rendimiento de los estudiantes. Por ejemplo, el incremento de la atención individualizada por parte del profesor en clases más pequeñas puede incrementar la motivación del estudiante. El efecto total de la política es la suma de los efectos directos e indirectos (Todd and Wolpin, 2003). Ambos son causales. Por tanto, no sólo es importante determinar si disminuir el tamaño de la clase mejora los resultados de los estudiantes, sino identificar los canales por los que esto se produce.

      En cuanto a la diferencia entre el RCT y RDD, en este caso ámbos tienen diferencias pero son muy equivalentes. Ambos métodos estiman efectos locales medios de un tratamiento (LATE), y sus limitaciones son prácticamente las mismas. Estos se diferencian más de los otros IVs de los que hablaba en la entrada sobre explotar la variación aleatoria anual en el tamaño de las cohortes escolares que inducen cambios en el tamaño de las clases, o un método de Diferencias en Diferencias que estima un efecto "global" en contraposición con el efecto "local".

      Encantado de resolver más dudas o comentarios.

      Un cordial saludo

  • Hola Jose, y enhorabuena por la entrada, tan clara como esperaríamos los que ya te conocemos algo. Gran fichaje para NeG!

    En mi opinión, el tema de la ratio alumno/profesor está sobredimensionado en economías desarrolladas, como la española, en la que la ratio se mantiene en valores moderados. Supongo que existe una ratio óptima pero, como tú apuntas, pienso que las ganancias de desviarse algo (hacia arriba o hacia abajo) de la misma no compensa los costes, y máxime cuando se compara con otras alternativas.

    Hace más de 20 años, en este artículo con C. Meghir y L. Dearden https://ideas.repec.org/a/tpr/restat/v84y2002i1p1-20.html a partir de una encuesta longitudinal para UK encontrábamos poca evidencia de sus efectos generales sobre la performance académica o los ingresos futuros de los chicos (algo en el de las chicas). Sí encontrábamos en cambio mayores efectos del tipo del colegio, lo que relacionábamos con la gestión de los centros escolares y la calidad del profesorado. Incidir sobre estas dos variables es en mi opinión, un modo mucho más efectivo y barato de aumentar la calidad educativa que seguir dándole vueltas a otros inputs, como puede ser la ratio estudiantes/profesor. Lo que sucede es que no es políticamente popular poner a los centros a rendir cuentas, cambiar el sistema de contratación de profesores, o desmantelar las escuelas de magisterio que tanto daño están haciendo en la formación de los que tienen que formar a nuestros hijos.

    Relacionado con esto último, no me fiaría mucho de los estudios que no midan la performance académica a partir de pruebas estandarizadas. Si yo soy un profesor que me ponen a dar clase a un grupo de 10 estudiantes frente a otro que da clase a un grupo de 20, para hacer una correcta evaluación tengo que descontar la diferencia en la calidad de los estudiantes entre los dos grupos, y el incentivo que el profesor de 10 estudiantes tiene a salir bien retratado en la foto.

    Un abrazo,

    Javier

    • Hola Javier,

      Muchísimas gracias por tus comentarios y generosas palabras! Me alegro mucho de que te guste el artículo.

      Coincido contigo en la reflexión. Mirando los efectos de todos los inputs educativos que tenemos, el input que parece ser el más importante es el profesor. Incrementar la calidad del profesorado se estiman efectos de entre 0.1--0.2 DE (Slater et al., 2012; Chetty et al., 2014a), e incrementar en 1DE la calidad del profesorado incrementa los ingresos futuros en 1.3% (39,000 dolares) (Chetty et al., 2014b). Creo que aquí es donde tenemos que poner el foco de las políticas, pero efectivamente, como apuntas, no es muy popular.

      En cuanto a lo último, coincido totalmente contigo en que una medida estandarizada de rendimiento es fundamental aquí, puesto que es comparable entre distintos estudiantes/colegios, y a lo largo del tiempo.

      Muchas gracias por tus reflexiones.

      Un fuerte abrazo

  • Hola, José: me ha parecido muy interesante el artículo y muy relevante de cara a la necesidad de elaborar políticas públicas basadas en la evidencia, algo tan necesario especialmente en España.

    Tenía una pequeña duda (desde la casi total ignorancia en temas estadísticos) y es acerca del método seguido para elaborar los gráficos que empleas en el artículo. Me ha parecido una forma muy visual y atractiva para resumir los tamaños de los efectos encontrados en la literatura. Me preguntaba si en el gráfico simplemente se reportan "tal cual" los coeficientes que están estimados en los artículos, o si para hacer este tipo de revisiones sistemáticas se requiere algún tipo de cálculo o conversión extra sobre lo que reportan los papers, ya que en los gráficos todos los coeficientes están midiendo el efecto en DE por incremento de un alumno y desconozco si los métodos de los distintos artículos miden ya de la misma manera.

    Gracias por la labor divulgativa y perdona la ignoracia.

    Un saludo

    • Estimado Pedro:

      Muchas gracias por tu comentario.
      No te disculpes para nada! Es una muy buena pregunta. En este caso, todos los trabajos en algún momento ofrecen una estimación del efecto por alumno, para que sean comparables con el resto de investigaciones en la literatura. Entonces hay que leeer todos los trabajos para sacar la estimación del efecto de incrementar en +1 el tamaño de la clase. La mayoría de los trabajos estiman efectos en el rendimiento acaadémico estandarizado, y estos están por definición en DE. Sin embargo, algunos estiman el efecto en años de escolarización (ej., Browning & Heinesen (2007), Bingley et al (2010)), o nota media (Gary-Bobo & Mahjoub (2013)). En estos casos hay que calcular el efecto en DE de la variable dependiente. Si la información sobre esto no está en el paper, como es el caso de algunos, hay que contactar a los autores directamente para preguntárselo.

      Luego en cuanto a la forma visual del gráfico, lo que hago es calcular los intervalos de confianza con los coeficientes y los errores estándar. Luego ordeno los estudios de menor a mayor efecto, y los represento en un gráfico tipo "twoway" de Stata.
      Si tienes más dudas, con gusto te contesto.

      Un saludo

  • Me ha encantado la entrada, mucha evidencia condensada y explicada con claridad. Enhorabuena.

    Coincido con algunos comentarios en que en este caso la intuición de los agentes implicados sobre los beneficios de reducir la ratio está (al menos en parte) refrendada por (la mayoría) de los análisis científicos. Aunque el efecto al reducir "un alumno" el tamaño de la clase es pequeño, si lo extrapolamos a 5 o 10 alumnos menos por clase ya es de una magnitud mayor.

    También coincido en que puede haber efectos no lineales, y tamaño de clase (o umbrales) óptimos, que pueden ser también distintos para distintas edades o áreas del conocimiento. Mucho por investigar aún!

    Y en cuanto al coste, pues ciertamente es una medida cara. Supongo que es popular para los gestores porque es sencilla: más profesores, menos ratio. Tener "mejores" profesores, o mejorar la implicación de las familias no tienen recetas aparentemente fáciles (y quizá por eso las administraciones ni intentan abordar estos aspectos).

    • Estimado Juan:

      Muchas gracias por tu comentario.
      Coincido con tus reflexiones. Los resultados se expresan en el efecto de incrementar un alumno, porque normalmente la medida relevante para hacer un coste-beneficio de las políticas es el coste y beneficio por alumno.

      En cuanto a las políticas a aplicar, creo que es más importante incrementar la "calidad" del profesorado puesto que la investigación señala al profesor como el input más importante en términos de efectos. Aunque efectivamente el cómo llevarlo a cabo es más problemático debido a que hay más discrepancia en cuanto a que es más efectivo. Con respecto a como incrementar la implicación de las familias, te recomiendo que leas este trabajo que personalmente me gusta muchísimo (se aprende mucho sobre métodos y externalidades): https://academic.oup.com/restud/article/81/1/57/1729174?login=true En este caso se puede hacer una intervención muy sencilla, barata, y con efectos muy grandes para aumentar la impliación de los padres en zonas de menor nivel socioeconómico.

      Un saludo

Los comentarios están cerrados.