El valor añadido de los directores de escuela

Este viernes pasado se celebró en FEDEA un workshop sobre educación, en el que discutimos artículos que se convertirán en capítulos de una monografía (siguiendo la estela de ésta, ésta o ésta). Ya hablaremos de la monografía cuando llegue el momento, pero el artículo que presentó Eric Hanushek no estará incluido y vale la pena comentarlo ahora porque toca un asunto crucial del que hemos hablado poco: la importancia de los directores de escuela.

Algo de lo que sí que hemos hablado es de la relevancia de la autonomía de los centros. Pero esta autonomía la debe gestionar alguien. Y el estudio de las organizaciones, tanto teórico como empírico, sugiere que la selección de los gestores será crucial para el rendimiento de las mismas. Lo sorprendente es que pocos de estos estudios se refieren al impacto de los directores de escuela. El propio Hanushek, que se ha pasado tanto tiempo hablando de la importancia de los profesores, nos reconoció que no había pensado en este problema hasta hace poco y le ha llamado la atención la magnitud del impacto que tiene un buen director y que se refleja en el estudio que nos presentó.

Como explican Hanushek y sus coautores (Branch y Rivkin), la dificultad de conocer el impacto de cualquier directivo en los resultados de una organización es separar su impacto del de otros factores que la llevan a tener buenos resultados. Por esto utilizan un par de técnicas diferentes para tener más seguridad sobre los resultados y unos datos de gran calidad.

Se trata de una serie de paneles de datos en los que pueden seguir a directores, profesores y estudiantes en todas las escuelas públicas de Texas, y que contienen los resultados de estudiantes en exámenes estandarizados anuales, algunas características de los estudiantes e información de profesores y estudiantes. Para que se hagan una idea de la magnitud del estudio, se observan a 7420 directores durante los seis años de 1995 a 2001 (y aproximadamente dentro de un año tendrán una versión del artículo con información hasta el 2012). De los profesores y los directores se saben la raza, el sexo, la experiencia, estudios, salario, la asignatura que enseñan y el tamaño de su clase. La información sobre los estudiantes indica su raza, sexo y si tienen beca de comedor, un indicador de renta muy usado en los estudios americanos. Además para cada estudiante se conocen las notas en exámenes estandarizados en matemáticas y lengua para cada año entre el curso tercero y el octavo, y quiénes fueron sus profesores.

Una primera observación descriptiva de los datos es que los directores cambian frecuentemente. En la tabla que sigue las columnas indican la proporción de directores que llevan solamente un año y los que llevan seis o más. Las filas distinguen entre el cuartil superior e inferior tanto de renta (proporción de alumnos con beca de comedor) como de resultados en matemáticas. Entre un quinto y un sexto de las escuelas tienen directores nuevos y solamente un tercio tienen directores con seis años o más en la escuela. Además, los directores en escuelas con mejores resultados y menos alumnos con becas de comedor tienen una menor tasa de rotación.

Como ya dijimos anteriormente el desafío principal es distinguir el efecto de los directores frente al de otros factores no observables que afectan a la escuela. El primer tipo de análisis es una regresión del rendimiento del estudiante en su rendimiento pasado, más otros factores observables y la identidad del director. El efecto, como se puede ver en esta tabla es realmente grande. En un solo año cambiar un director en una escuela por uno que sea una desviación estándar mejor, mejora el rendimiento en 0.2 desviaciones estándar en media (es decir, sustituir un director del cuartil inferior con uno de la media, ¡mejora los resultados un 8 por ciento al año!). Otra forma de ver la importancia de este número es que es del orden de magnitud del efecto de un profesor en una clase. Pero mientras que el profesor afecta a un grupo, ¡el director afecta a toda la escuela! El impacto es algo menor en las escuelas del cuartil con más estudiantes con becas de comedor (0.16), y algo superior (0.26) en el cuartil con menos estudiantes necesitados.

Este efecto puede estar sobrestimado porque, por ejemplo, se envíe a los mejores directores a las escuelas con mejores estudiantes (en dimensiones no capturadas con las variables observables). Una manera de eliminar este efecto es hacer una regresión del resultado de los estudiantes explicada por las variables observables más un efecto fijo (una constante distinta) para cada escuela y un efecto fijo para cada director. Esto elimina el problema anteriormente mencionado y será correcto en la medida en que el cambio de director no esté correlacionado con un cambio en la calidad de estudiantes. Los efectos son menores en este caso como se puede ver en la tabla siguiente, que tiene la misma estructura que la anterior y compara los estimadores con efectos fijos de escuela (tercera columna) y sin ellos (segunda columna). Pero siguen siendo muy grandes, teniendo en cuenta que el orden de magnitud de los efectos de un buen profesor son del orden de 0.2 desviaciones estándar (ver aquí) pero mientras que un profesor afecta a su clase, el efecto de un director es ¡para toda la escuela!

La pregunta del millón, claro está, es qué hace un director más efectivo. La conjetura más razonable, dado lo que sabemos de otros tipos de organización es que toman decisiones de personal más adecuadas. Aunque los datos no son perfectos para contestar la pregunta, el artículo estudia si la tasa de rotación de profesores en escuelas con peores resultados se reduce en escuelas con mejores directores. La siguiente tabla muestra que esto es así, aunque solamente es significativo para el cuartil de más elevada calidad de directores.

Como se suele decir, y nunca mejor que en este caso, hace falta más investigación (y como les decía los autores están comprometidos a realizar un estudio con el triple de datos en un año), pero este primer paso nos da una llamada de atención muy poderosa. Es imperioso que nuestros directores de escuela sean autónomos en sus decisiones, pero también que haya un control de calidad exhaustivo para que solamente los mejores permanezcan en sus puestos. El impacto acumulativo que suponen incluso las estimaciones más bajas de Hanushek y sus coautores sugieren que la decisión no se puede dejar al azar. También sugiere que es muy mala idea que los directores de escuela (o los rectores de universidad) sean elegidos por los mismos profesores, especialmente si la razón por la que los directores son útiles es que pueden librar a las escuelas de los profesores menos efectivos.

Hay 16 comentarios
  • Gracias por tu interestante post.
    Dices: "Es imperioso que nuestros directores de escuela sean autónomos en sus decisiones, pero también que haya un control de calidad exhaustivo para que solamente los mejores permanezcan en sus puestos. ". Creo que son imperiosos ambos objetivos. Es más, creo que el primero puede hacer más mal que bien si no se pone suficiente empeño en el segundo.
    La nueva reforma educativa parece apuntar hacia una mayor autonomía, ¿sabes si se preocupa de mejorar el esquema de incentivos de los directores de centro?

    • Javier, creo que has dado en el clavo. En la sanidad pública, empieza a pasar eso: más autonomía para los gestores pero siguen siendo elegidos con criterios políticos y no responden ante nadie. Es un caso concreto de la aplicación práctica de la teoría explicada hace unos días por César Molinas.

    • Sí, son imperiosos los dos. En las entradas que hemos escrito sobre autonomía se ve que el peor de los mundos en autonomía sin rendición de cuentas. Y el mejor autonomía con rendición de cuentas.

      • Interesantímo artículo para la comunidad educativa. Respecto a qué ha de hacer un director para ejercer bien su trabajo hace un par de años se publicó un estudio hecho en varios paises de Europa sobre la influencia del liderazgo escolar en los resultados educativos de los alumnos. Se exponian diversos estilos que podían depender del director y del contexto, etc. Se trata del LISA projects http://www.leadership-in-education.eu/index.php?id=235

  • Habláis de autonomía, pero ¿hasta dónde alcanza la autonomía de los directores en nuestro sistema educativo público (donde estudia la mayoría)? Que yo sepa, no puede contratar al personal que quiera, ni tampoco puede modificar de forma significativa el currículum. Y de momento, los incentivos no compensan, razón por la cual la Administración tiene a veces que "obligar" a algunos directores a aceptar el cargo. Para que los directores pudieran realmente controlar sus escuelas, haría falta una reforma mucho más importante de la que se plantea.

    Saludos y gracias.

  • Soy profesor de Secundaria de Economía y es cierto que el director es fundamental para la marcha de la escuela. Menos en España que en EE.UU. donde tiene más poder para contratar, renovar, incentivar y controlar el rendimiento de los profesores (trabajé un año en EE.UU. y todas las semanas entraba la directora en mi aula). Creo que lo que hace bueno a un director es su capacidad para distinguir que el objetivo del centro es enseñar, su capacidad de seleccionar a los mejores para ello -donde tenga potestad para hacerlo- y su capacidad para mantener un buen ambiente cooperativo en la escuela (algo que en las escuelas públicas es más fácil, simplemente porque no estás pendiente del despido a finales de junio...).

    Aprovecho si me permitís que se trata de un post sobre educación, para comentar el nuevo anteproyecto de real decreto. La Economía pasaría de ser asignatura "de modalidad" en primero de Bachillerato (todos los alumnos que escogían la opción de ciencias sociales la cursaban), para ser sólo optativa en esta opción. Ahora mismo ya podía ser optativa en otras modalidades y por necesidades organizativas en la práctica nunca se ofrecía. Me temo que ahora sea así y no se ofrezca en absoluto, aunque por otro lado se podrían formar grupos de optativas más amplios si incluimos alumnos de Ciencias... creo que sería mejor que fuese una optativa de "oferta obligatoria".
    La sustituta es la asignatura de literatura universal, más apropiada creo para Humanidades que para Ciencias Sociales.

  • Post hoc ergo propter hoc. El paper define al buen director como aquel que dirige un centro con buenos resultados en los exámenes estandarizados y establece un factor causal entre el papel del director y los resultados de los exámenes, a pesar de que la introducción menciona la dificultad de hallar ese nexo causal. En las pp. 17-20 explican cómo se infiere la contribución del director a los resultados del centro, aunque en la página 11, esta premisa ya había permitido llegar a:

    “It is tempting to conclude that the best principals are quite evenly distributed
    across schools while the weakest principals are disproportionately found in high poverty
    schools. Note, however, that we cannot distinguish between two, quite different
    explanations for this pattern. High poverty schools may draw a disproportionate share of
    the overall least effective principals; or, the least effective principals may be evenly
    distributed but the adverse effect of low-productivity principals is larger in the most
    disadvantaged schools.”

    Sin embargo, en la página 22 se advierte que:

    “The prior estimates rely on indirect measures of principal impact, namely student
    learning gains during a principal’s tenure in a school. It does not include any
    observations about what a principal actually does to improve or limit learning.”

    • No, el efecto se identifica porque una escuela es sistemáticamente mejor con ese director que otras escuelas con otros directores, o que la misma con otro director. A mí esto no me parece "post hoc, ergo propter hoc". Claro que tiene problemas, pero ya sabemos por el caso de los profesores que es muy difícil identificar su efecto simplemente con observables.

      • Sí, si no se explica y se separan los periodos cronológicos en las mediciones. Tenemos un centro A y al director 1A entre el periodo 1996-1999, mientras que los test estandarizados se introdujeron en el año 1995. El mismo centro A, tiene el director 1B en el periodo 1999-2002. El director 1A saca unos resultados mediocres, mientras que 1B unos resultados notables. ¿Es mérito de 1B? No lo sabemos, porque puede que 1B haya recibido el trabajo acumulado de 1A, o que sea director en un periodo de tiempo en que los profesores del centro han logrado adaptarse mejor los test estandarizados o puede que en 2001 la administración impulsó un programa de clases de refuerzo que, en algunos centros ha tenido éxito y en otros no (mérito del director o de la plantilla de profesores).
        El enfoque empleado en el paper es reduccionista y, pese a la robustez de sus números, plantea muchos problemas metodológicos. Los propios autores lo saben, y se refieren a ellos a partir de la página 20 sin destacarlos suficientemente. Esas limitaciones deberían estar expuestas en la introducción y destacadas, pero, claro, la conclusión sería que el artículo no están concluyente.

  • Y sobre la supuesta importancia de la autonomía de los directores (21-22), los autores afirman:

    “Although better principals may also attract and hire more effective: teachers, the absence of quality measures for new teachers and the fact that many principals may have little control over new hires lead us to focus specifically on turnover.
    Unfortunately, our data do not contain information on personnel decisions that
    would enable us to separate voluntary and involuntary transitions, and existing evidence
    suggests that teachers rather than principals initiate the majority of transitions.”

    De hecho, el paper prueba que hay correlación entre los centros con mucha rotación de profesorado (poca permanencia) y malos resultados académicos y se infiere que estos centros son los que tienen malos directores. Los efectos positivos de la autonomía del director en la toma de decisión no aparece probada en el artículo.

    Después de leer mucha modelación matemática y suponer que la carga de la prueba de la efectividad del modelo está en (Bertrand and Schoar 2003); pero, como especialista en los sistemas educativos decimonónicos, me quedo un poco sorprendido por la aproximación realizada.
    Sorprende que el marco legislativo y burocrático sea omitido. Se debe explicar cómo ha sido el proceso cronológico de implementación de los test estandarizados, porque es posible que detrás de los buenos directores esté una mejor adaptación del profesorado a esta forma de medir su rendimiento.

    • Si el director no tiene autonomía, ¿cómo demonios va a tener un impacto en el funcionamiento del centro? Particularmente cuando una parte importante de la mejora conseguida tiene que ver con retener a los mejores profesores y dejar ir a los peores.

      • Los propios autores del paper plantean dudas sobre esa supuesta autonomía de los directores como he destacado al reproducir partes del artículo y también sobre su impacto, aunque no lo destacan suficientemente.
        Suponemos que los mejores directores se esfuerzan por retener a los mejores profesores y expulsar a los peores, pero eso, como los autores sostienen, es una suposición. Y el artículo no la prueba en ningún momento. Como el paper comenta, en la toma de decisiones de los profesores pueden influir muchos otros factores.

        Puede que sea más caro, pero es más riguroso completar estas aproximaciones con estudios de carácter cualitativo con encuestas a los profesores de distintos centros, etc, etc… sobre su ambiente de trabajo, la influencia del director, la importancia que le da al éxito de los test sobre otros factores del trabajo, la percepción de la administración… Esta clase de trabajos ilustran y pueden ayudar a entender más cosas, que estimar un aumento del 8% anual de la calidad educativa.

  • Finalmente, merece una mayor reflexión el carácter de servicio público de un centro educativo sin entrar a valorar su titularidad, porque, sea privado o estatal, está sometido a las políticas educativas de la administración. Supongo que, como es un borrador, no se aborda la cuestión, pero es fundamental describir la política educativa seguida por la administración, porque no es posible saber si el “éxito” de los directores ha sido trasladar correctamente buenas decisiones políticas, no aplicar malas decisiones políticas o implementar sus propias iniciativas educativas.

    Todo esto sin entrar a discutir si se puede valorar la calidad del trabajo de un director de escuela exclusivamente con los resultados de estos test.

    Sea como sea, me parece que un poco precipitado aportar como “prueba” este artículo para defender que una mayor autonomía de los directores en la toma de decisiones es necesariamente positiva.

    • Nadie dice que la calidad de una escuela se pueda medir "exclusivamente" con un test. Pero medirla sin ninguna prueba estándar que permita comparar los resultados es algo muy cercano a misión imposible. Eso sí, misión más cómoda para los perezosos, que preferimos que no se nos mida y seguir felicitándonos por los buenos que somos sin el tostón de dar cuentas a nadie.

  • En el paper se equipara calidad del trabajo del director a resultados en los test estandarizados, por lo tanto sí se sostiene una medición exclusiva en esa variable.
    Por otra parte, me parece poco elegante mencionar “la oposición” a los test estandarizados (supongo que como doctor por una universidad española soy de natural perezoso), porque no la encuentro en ninguno de los posts que he escrito.
    He planteado dudas sobre la metodología empleada en el artículo que aquí se comenta y sobre su uso como una prueba a favor de la autonomía de los directores. Si mis reparos son fundados o simples dislates lo decidirá el consenso académico, imagino.

    Y, finalmente, sobre el tostón de dar cuentas y luchar por la transparencia sé bastante. De una forma bastante estúpida, he optado por el altruismo interesado (si hay transparencia en el mundo académico, yo me beneficiaré después de todo) y, como secretario de una organización local de jóvenes investigadores, he dedicado mucho tiempo a un gran coste personal (tanto de oportunidad como de pérdida de posibles benefactores) para lograr transparencia y rendimiento de cuentas en mi propia universidad, en la ANECA y en la ANEP con más fracasos que éxitos. De hecho, las últimas horas libres de mi tiempo las he dedicado a estudiar la aplicación del programa DOCENTIA que las universidades españolas habían hecho para ver qué tenía de bueno y qué de malo la propuesta de mi universidad.

  • Siguiendo algunas de las puntualizaciones previas de Carles Sirera, un "director de escuela" (en España deberíamos sustituir ese término por los de colegios e institutos) tendrá valor añadido si es capaz de lograr que "sus" profesores desarrollen el denostado modelo "teaching to the test". Ahora bien, la relación entre los tests estandarizados y el aprendizaje merece estudios serios. Es un tanto ridículo que los investigadores se contenten con obtener un parámetro, independientemente de su relación con la educación.
    Mientras tanto no parece más que un intento de introducir empresas en el negocio educativo: Pearson, EdExcel, AQA,... Por cierto, en Galicia los profesores no tenemos ningún tipo de información sobre quién elabora las "Avaliacións de Diagnóstico" (que por otro lado, no diagnostican en absoluto, ya que solo generan un par de parámetros estadísticos en el contexto de Galicia). Negocio...

Los comentarios están cerrados.