El otro valor añadido (I)

Los lectores ya saben que soy muy favorable a los exámenes estandarizados y a que los resultados sean públicos. Porque su realización y publicación representa un ejercicio de transparencia democrática, y porque, como señalan Hanushek y Woessman en un artículo que resume la evidencia internacional (sección 4.4.1.) los resultados de los estudiantes están positivamente asociados a la existencia de medidas que permitan comparar entre escuelas. Pero estoy de acuerdo con los que critican esta publicidad en que hay maneras mejores y peores de divulgar esta información. Por esto hoy quiero hablar del valor añadido de los profesores y las escuelas.

Para comprender el argumento de los críticos, el triunfo del Mirandés en la Copa del Rey este año, o del Alcorcón hace un par de años, son ejemplos suficientemente expresivos. Ambos equipos vencieron en esta competición a otros equipos a priori superiores en recursos y jugadores; y la prensa y los aficionados valoraron muy positivamente su victoria, y muy negativamente la derrota de los oponentes. La cuestión es, ¿cómo podemos localizar el Mirandés o el Alcorcón de las escuelas, es decir, aquellas que proporcionan un mayor valor añadido por encima de la calidad intrínseca de los chicos que acuden a ellas y sus familias?

La primera observación, quizá obvia, es que si los resultados no se publican, nunca podremos encontrarlas. De manera que aún estando de acuerdo con la crítica, no estoy de acuerdo con la solución de algunos críticos, que es no publicar los resultados; la solución no es menos luz, es más luz. El Reino Unido es ejemplar en este respecto. La página web de la BBC publica rankings de escuelas según los resultados de las reválidas a distintos niveles educativos, pero la información que publica sobre cada escuela es realmente interesante. Por ejemplo, la de la escuela con mejores resultados del país y la de la escuela con peores resultados. Se puede ver que en la mejor escuela el gasto por estudiante y el salario de los profesores es menor que en la peor (y que las dos están, curiosamente, en Essex). Pero, en cambio, el porcentaje de estudiantes que puede acceder a un menú gratuito (una medida estándar de pobreza) es del 46% en la peor escuela y de un 11% en la mejor.

Toda esta información contextual es muy útil para hacerse una idea del tipo de escuela al que nos enfrentamos. Pero además nos dan una medida de valor añadido de la escuela. El Reino Unido no es el único sitio en que se hace. También lo proporcionan otros lugares como Los Angeles. En esencia se trata de tomar a un estudiante y ver la diferencia entre cómo sería su proyección escolar en una escuela o con un profesor medios, dadas sus circunstancias personales y familiares, y ver cómo ha sido su progresión real. Si tenemos suficientes estudiantes, la media de estas diferencias puede ser una buena medida del valor añadido de ese profesional o esa escuela.

Alguien se preguntará: ¿pero sirven para algo estas medidas? De entrada hay muchos escépticos sobre que los exámenes estandarizados midan algo útil: ¿quién sabe la relación entre lo que nos pasa en la vida y en un examen estándar? Por otro lado, la estimación del valor añadido puede tener problemas estadísticos serios, que conviene tener en mente a la hora de evaluar la evaluación. A todos estos escépticos les recomiendo encarecidamente la lectura de un artículo reciente de Chetty, Friedman y Rockoff que vamos a comentar a continuación (ya hemos hablado de Raj Chetty en el contexto del experimento STAR y el efecto en los salarios de disminuciones de la ratio). El artículo trata de contestar a dos preguntas fundamentales. La primera es si hay algún problema metodológico en la forma cómo se calcula habitualmente el valor añadido; es decir, dado que hay muchas variables no observables, lo mismo para el individuo que para la escuela, cuando se hace la proyección escolar de la que hablábamos antes el resultado podría estar sesgado. La segunda (cuya respuesta glosaremos la semana que viene por cuestiones de espacio) es si los exámenes estándar sirven para predecir el rendimiento laboral de los chicos u otras cosas relevantes.

Para contestarlas usan una base de datos de dos millones y medio de estudiantes entre el curso tercero y octavo de primaria (nuestro segundo de la ESO), y 18 millones de exámenes de lectura y matemáticas, en un distrito escolar americano grande entre los años 1989 y 2009. También tienen los datos fiscales de estos chicos entre 1996 y 2010. En estas bases de datos hay información de lo que ha pasado con los chicos tras la escuela: si han ido a la universidad, si han sido padres/madres adolescentes y su renta. También hay información de los padres: su renta, sus ahorros para la jubilación y la edad de la madre al nacer los hijos. En la base de datos fiscal se puede localizar más de un 90% de los chicos.

Los autores calculan primero el valor añadido de una manera estándar; es decir, hacen una regresión del resultado de los chicos en los exámenes condicional a las notas de exámenes anteriores y a algunas características del chico y de otros estudiantes de su clase (por ejemplo, para el alumno se usan raza, sexo, edad, expulsiones y ausencias pasadas, si son repetidores, alumnos de educación especial o saben poco inglés). La diferencia entre el valor predicho por los observables y el valor real es una mezcla del impacto del profesor o la escuela más otros componentes aleatorios. Pero la media de estos errores en todas las clases que enseña un profesor a lo largo de los años puede ser una buena medida de su valor añadido, bajo ciertos supuestos que es lo que se quiere probar; por ejemplo, que los chicos sean asignados a los profesores y escuelas de manera aleatoria. Si cuando un chico es malo es asignado de manera sistemática a un determinado profesor, el valor añadido de este profesor no se podría estimar con este procedimiento. Sería como pensar que un médico es malo solamente sobre la base de cuántos enfermos mueren bajo su cuidado; en un mundo perfecto los enfermos más difíciles acabarían con los mejores médicos, y esto podría disparar sus estadísticas de mortalidad a pesar de su calidad.

Una primera prueba de la validez de la medida de valor añadido es utilizar otras variables observables que los investigadores obtienen en su nuevo estudio (la renta de los padres o sus ahorros) y no suelen estar presentes en otros y verificar si esto tiene algún efecto. El resultado se puede ver en la figura 1. Mientras que la primera figura del panel muestra que el valor añadido tiene poder predictivo en el resultado escolar, las siguientes figuras muestran que añadir datos sobre la renta de los padres o resultados del estudiante de años previos al anterior tienen un poder predictivo adicional prácticamente indistinguible de cero. Esto no quiere decir que la renta de los padres no importe, es simplemente que ya está incorporada en el resultado del estudiante en el año anterior y otras variables de la regresión original.

Por si esto no basta, porque tal vez las variables inobservables para estos investigadores son un problema, el estudio explota las entradas y salidas de profesores de las escuelas. Si estas entradas y salidas individuales no están relacionadas con cambios inobservables de características de los alumnos, nos pueden dar una idea del impacto de los profesores que entran y salen. Los cuatro paneles de la figura 2 nos muestran los efectos de entradas y salidas (respectivamente a izquierda y derecha) de profesores de alto y bajo (respectivamente en parte superior e inferior) valor añadido. La línea de puntos representa el rendimiento en el año anterior al movimiento y la línea sin puntos el año del cambio. Claramente los profes de alto valor añadido te hacen mejorar al entrar y empeorar al salir. Y lo opuesto pasa con los de bajo valor añadido.

La primera conclusión del estudio es que nos podemos fiar bastante de las medidas estándar del valor añadido. Para ser más precisos, el valor añadido tiene un poder predictivo y causal sobre las notas de los alumnos en exámenes estándar. La segunda pregunta: ¿predicen algo los exámenes estándar? la contestaré la semana que viene.

Hay 15 comentarios
  • mi propuesta sería tener tres exámenes estandarizados:
    * uno al final de primaria
    * otro al final de secundaria
    * la actual selectividad (o como se llame ahora)

    y publicar, para cada centro de secundaria y bachillerato:
    * nota media de sus estudiantes al entrar (en el examen estandarizado anterior)
    * nota media de sus estudiantes al salir (en el examen estandarizado siguiente)
    * el porcentaje de estudiantes que se han quedado por el camino (para evitar que un centro no te permita terminar por miedo a que empeores sus resultados)
    * el tiempo medio que han tardado los estudiantes que no se han quedado en el camino (para evitar que el centro te haga repetir por miedo a que empeores sus resultados)

    desgraciadamente, parece que los educadores españoles preferirían que los romanos raptaran a sus hijas por orden de Rómulo antes que ser evaluados

  • Loable y necesaria iniciativa, con demasiados enemigos.
    Artículo 144.3 de la LOE:

    "EN NINGÚN CASO, LOS RESULTADOS DE ESTAS EVALUACIONES PODRÁN SER UTILIZADOS PARA EL ESTABLECIMIENTO DE CLASIFICACIONES DE LOS CENTROS."

    http://ampaginerdelosrios.blogspot.com/2010/05/nota-de-prensa-de-la-fapa-giner-de-los.html
    http://ampaginerdelosrios.blogspot.com/search/label/PRUEBA%20DE%20SEXTO
    De todas formas, las familias utilizan los escasos recursos de los que disponen como pueden.
    http://www.enfemenino.com/forum/show1_enfantseduc_50/bebe-ninos/ninos-el-colegio-educacion.html

  • La evaluación la considero fundamental para conseguir al menos un nivel mínimo de exigencia, también la existencia de cierta disciplina y autoridad en las aulas que no debe ser confundida con un régimen cuartelario.

    No obstante hay factores que inciden en la calidad de la educación que también deben ser valorados.

    He mirado por curiosidad los resultados de la escuela con peores resultados del Reino Unido y me han parecido tan desastrosos que he curioseado un poco para saber qué pasa allí.

    Mi conclusión provisional es que es necesario mucho talento y excelencia para sacar adelante una escuela en esas circunstancias. Desde luego el entorno es todo un reto para cualquier profesor.

    http://www.crayshill.essex.sch.uk/Default.html

    "Welcome to Crays Hill Primary School. Local children - 0. Gipsy children - 50."

    http://www.telegraph.co.uk/education/3346539/Welcome-to-Crays-Hill-Primary-School.-Local-children-0.-Gipsy-children-50.html

    "The Gypsies, their neighbours – and me stuck in the middle
    Film-maker Richard Parry has been following the conflict over Dale Farm, Essex, for six years. Now, with a mass eviction on the way he asks if there is a better way of resolving such a long-running conflict."

    http://www.guardian.co.uk/world/2011/jul/17/travellers-basildon-eviction?INTCMP=ILCNETTXT3487

    "Dale Farm school at risk following evictions. Future of Crays Hill primary school, where all but three pupils are Dale Farm residents, remains unclear."

    http://www.guardian.co.uk/uk/2011/oct/19/dale-farm-school-risk-evictions

    http://en.wikipedia.org/wiki/Dale_Farm

  • Un post muy interesante, Antonio. Ya estoy esperando la continuación

    2 aclaraciones previas:

    1. ¿Es positivo hacer pruebas estandarizadas? Claramente sí, aunque me preocupe el teaching to the test. Hay que diseñar muy bien, pero que muy bien los exámenes, para no desvirtuar la enseñanza

    2. ¿Es positivo que los resultados sean públicos? También claramente sí, especialmente si estos vienen acompañados de información sobre las características de la escuela y su alumnado

    Ahora supongamos, por el momento, que la medida estándar de valor añadido no tiene problemas. Tendríamos entonces una buena proxy del efecto del profesor sobre los resultados académicos, pero ¿es esta la medida más interesante para un alumno y sus padres a la hora de elegir colegio? Me temo que la respuesta es negativa. Para estos, no interesan en absoluto medidas que controlen por peer effects. Como decía la extraordinaria viñeta de El roto, que trajo recientemente Manuel Bagües, lo importante en el colegio es al lado de quien te sientas https://nadaesgratis.es/?p=17891

    Es posible que un colegio tenga profesores no especialmente brillantes, pero que acudan alumnos con muy buenas características y que lo compensen con creces. Pues allí que habrá que ir. ¿Profesores extraordinarios que son capaces de impulsar a clases enteras de alumnos con deficientes condiciones de partida? Una bendición, pero, lo siento, si se puede, habrá que buscar otro colegio

    Respecto al trabajo de Chetty, Friedman y Rockoff tengo la sensación de que están buscando las llaves a la luz de la farola. Y no se han perdido por ahí

    En un trabajo reciente (*), que ya he mencionado en alguna ocasión, Plomin y coautores ponen de manifiesto la importancia de la genética a la hora de explicar el valor añadido. Los niños y niñas más brillantes han sacado buenas notas en el pasado, pero también aprenden más durante el curso. Las medidas de valor añadido se explican en buena medida por la genética, por lo que no están midiendo la verdadera contribución del profesor

    Que el aprendizaje dependa en buena medida de las habilidades cognitivas de cada uno no creo que vaya a sorprender a nadie. Lo que me parece llamativo es que se pretenda progresar en los determinantes de los resultados educativos a espaldas de la inteligencia de los sujetos. No es el sólo el entorno, ni sólo la genética. Es nature via nurture

    Saludos

    PD A ver si desterramos la tabula rasa y el determinismo genético de una vez por todas

    (*) Haworth CMA, Asbury K, Dale PS, Plomin R, 2011 Added Value Measures in Education Show Genetic as Well as Environmental Influence. PLoS ONE 6(2): e16006. doi:10.1371/journal.pone.0016006 http://www.plosone.org/article/fetchObjectAttachment.action;jsessionid=2D98F267786C67FE0B0AA24D9A12B660?uri=info%3Adoi%2F10.1371%2Fjournal.pone.0016006&representation=PDF

    • Penny, dices: "Los niños y niñas más brillantes han sacado buenas notas en el pasado, pero también aprenden más durante el curso". Pero esto no es lo que dicen los autores, lo que dicen es que hay factores genéticos, distintos de las abilidades cognitivas e incorrelados con el rendimiento anterior, que influyen en el valor añadido ("The main point, to which we shall return, is that corrected-achievement scores are influenced by genetic factors that are independent of those influencing g or previous achievement").

      Luego dices también: "Las medidas de valor añadido se explican en buena medida por la genética, por lo que no están midiendo la verdadera contribución del profesor", pero esto solo es así si esos factores genéticos que influyen en el valor añadido están correlados con la elección o asignación del profesor. Cuando esta asignación se hace aleatoriamente, para un tamaño de muestra suficientemente grande, sí deberíamos poder obtener algo que mide específicamente la aportación del profesor.

      • Hola fulano, gracias por tus comentarios

        No hay atajos: las variables omitidas son una lata. Y mucho cuidado especialmente con relaciones no lineales y variables omitidas. Es un campo de minas y sabemos que en muchos contextos los estimadores usuales son inconsistentes, incluso aunque las variables omitidas estén incorrelacionadas con las incluidas. Por otro lado, no creo que la asignación de profesores sea muy aleatoria

        Hasta la próxima

        PD En la página 6 del artículo puedes leer “not only do brighter children perform better at previous measurement occasions, they also learn more subsequently”

        • Penny, en cualquier modelo probabilístico hay factores desconocidos que afectan a la variable de estudio y su presencia no significa que haya un problema de variables omitidas. Si no existieran, emplearíamos modelos determinísticos y podríamos predecir sin error. Que más quisiéramos. Pero como sí hay esa variabilidad inexplicada, para eso están la inferencia estadística y la teoría de muestreo. Supongamos que la mejora de cada alumno es función del profesor y de otros factores de cualquier tipo. Si mides la mejora de cada alumno y el profesor se elige aleatoriamente entonces la media muestral de las mejoras de los alumnos del profesor k es un estimador consistente de la esperanza de mejora para un alumno que tenga como profesor a k. Si hay diferencia significativa entre dos profesores, esa diferencia se debe exclusivamente a ellos. Si los profesores no son asignados aleatoriamente, entonces no, claro. Todo reposa en esa hipótesis.

          Es verdad, también dicen eso. Fallo mío.

          • Lo siento, fulano, pero no hay atajos. Con carácter general, ni siquiera la asignación aleatoria te salva de la inconsistencia. Mira, por ejemplo, Gail, M. H. Wieand y S Piantadosi (1984) Biased estimates of treatment effect in randomized experiments with nonlinear regressions and omitted covariates Biometrika 71(3):431-444.

            Además, ¿no tiene mucho interés analizar el impacto de la inteligencia sobre el aprendizaje?

            Saludos

  • Estoy de acuerdo con la primera parte del argumento de Penny. Fijaros que la diferencia principal entre la encuela con mejores resultados de Gran Bretaña y la que presenta peores resultados no es el "valor añadido" (los indicadores que presenta la página web son muy parecidos, y las pequeñas diferencias que se observan probablemente no tengan valor estadístico),

    La gran diferencia es el "background" social de los alumnos, y la composición social de los centros. La composición social del los centros se expresa a través de "peer effects", climas escolares, e implicación de los padres en las escuelas. Por una parte, estudiantes de capacidad similar y parecido extraccción social obtienen mejores resultados cuando comparten escuela o grupo clase con estudiantes brillantes o de origen social más elevado que cuando sus compañeros presentan malos resultados o provienen de entornos desfavorecido.

    Por otra parte, los estudiantes se benefician de las actividades de presión y control que ejercen los padres sobre los equipos directivos y docentes de las escuelas. Esa actividad está directamente relacionada con la composición social de los centros. Los padres de clases medias y altas son más proclives y más capaces de ejercer este control y exigir resultados a las escuelas.

    Un resumen de los efectos de la composición social sobre resultados escolares se puede encontrar aquí (no es, ni mucho menos, el mejor "state of the art", pero uno de los pocos que he encontrado cuyo acceso es abierto):

    http://www.aare.edu.au/07pap/per07416.pdf

    Eso no significa negar la importancia del "valor añadido" del profesor. Pero tengo dudas de que, tal como están las cosas en este país, se pueda incidir de forma significativa en el "valor añadido" mediante políticas públicas (¿despido de profesores que no dan la talla? ¿nuevas estrategias de reclutamiento? ¿cuales? ¿mejor formación del profesorado? ¿de qué tipo?). Y tengo más dudas aún de que estas políticas iban a corregir desigualdades educativas.

  • Interesante post! Una duda añadida. ¿Se ha planteado alguien la hipótesis de que algunos profesores obtengan un alto valor añadido en algunos contextos y un bajo valor añadido en otros contextos? Es decir, ¿hay matchings óptimos entre características del profesor y del contexto? Por ejemplo, un profesor con mucha mano izquierda y muy buen motivador, pero que explica regular podría obtener un gran resultado en un colegio con alumnos desmotivados y un resultado regular en un colegio con alumnos ya motivados. Por el contrario, un profesor con grandes dotas para la materia concreta pero poca "mano izquierda" podría aportar gran valor añadido con alumnos ya motivado y casi nulo con alumnos desmotivados. ¿Alguien sabe si se han contemplado estas posibilidades?

    • Hola vi,
      Planteas que el valor añadido del profesor dependa del contexto. No conozco trabajo empírico alguno al respecto, pero necesitaría mucha, mucha evidencia para convencerme de que no estás en lo cierto. Y es que no existe tal cosa como “El” valor añadido del profesor
      Saludos

  • La técnica que describes para la estimación del Valor Añadido es una de las más simples. Hay modelos muchos más complejos basados en el análisis de regresión multinivel longitudinal que utilizan tres o más mediciones del logro académico de los estudiantes, además de los predictores de contexto de los estudiantes, profesores y escuelas. Pero sobre todo destacar que el modelo de Valor Añadido de Inglaterra es uno de los más simples que únicamente utiliza dos medidas de rendimiento y cuyos datos utilizan los autores del artículo que mencionas.
    La finalidad del VA es tratar de eliminar el efecto de esos factores genéticos y contextuales para aislar el efecto del docente o la escuela sobre el cambio o crecimiento en aprendizaje.

  • Tengo una amiga maestra en Los Ángeles. Según ella, las escuelas sitas en los barrios populares -en los que trabaja- tuvieron que subir los muros por el constante baleado (textual) a que eran sometidas sus fachadas. El alumnado es variopinto en cuestión racial y allí se habla desde el urdu hasta el ucraniano. En esas condiciones, conseguir buenos resultados es todo un logro.
    ¿Es un problema genético?
    Posiblemente algunos no hayan tomado en cuenta los resultados en Pakistán o en Ucrania. Es posible que allí tengan otros genes, por mucho que los genetistas demuestren lo contrario.
    ¿Es un problema social?
    Quizá, pero solo de un tipo, ya que en estas escuelas existe un grupo, según el editor superior a la mitad , que no responde a tal; por lo que, como es habitual, generalizar es un error ya muy demostrado, que solo sirve para divagaciones de estudiosos, eso sí, excepto para Einstein y similares, que en este caso no habrían pasado del ESO.
    Hace poco un catedrático, curiosamente de economía, me contaba que ellos, antes de examinar ya saben quién aprobará, quién suspenderá y quién vale, que eso último a veces no tiene que ver con lo primero ni con lo segundo.
    Entonces, ¿para qué los exámenes? Le pregunté.
    Su respuesta levantaría ampollas, aunque creo que el que más y el que menos ya habrá pensado en eso.

    En el tema que enlazas recuerdo que hablamos de las distintas varas de medir de cada Instituto, que con exámenes estandarizados se hace muy difícil -Aún recuerdo los exámenes de revalida de mi época, todos en una gran aula, chicos de distintas escuelas, para aprobar el 4º y el 6º de bachillerato. Eso sí eran exámenes estandarizados. Ahora solo se da en la selectividad, aunque teniendo en cuenta la nota de corte del instituto-
    Y hablando de institutos y ejemplos:
    El hijo de mi cuñado no se sacaba ni el EGB, pero para enchufarlo en la SEAT (el típico pozo) su padre necesitaba ese título y en Bellvitge hay un instituto para eso, concertado claro.

  • Muy interesante, Antonio.

    Qué gusto tener estudios tan extensos y bien planteados, ¿no?

    Saludos.

  • En esa referencia lo que se dice es que puede haber un sesgo al estimar los coeficientes de un modelo paramétrico. Pero de lo que se habla aquí no es de eso. Se trata, como te decía en mi mensaje anterior, de algo más sencillo, de la media muestral de las mejoras de los alumnos de un cierto profesor. Demostrar que bajo asignación aleatoria, ese estimador es consistente para la la esperanza de mejora para un alumno que tenga a profesor en concreto es un sencillo ejercicio de probabilidad.

    “Además, ¿no tiene mucho interés analizar el impacto de la inteligencia sobre el aprendizaje?”

    Si, pero eso no significa que haya que esperar a saberlo todo para extraer conclusiones. Eso sería como decir que no se pueden emplear métodos estadísticos para la epidemiología hasta que se hayan explicado todos los mecanismos biológicos de las enfermedades.

Los comentarios están cerrados.