¡Los coles hacen trampa y la culpa es de la prueba!

He de confesar que escribo este artículo un poco indignado. No es que tenga mucha confianza en la prensa, pero al menos de The Economist esperaba algo más de seriedad. Un artículo de la semana pasada informaba sobre un caso de "corrupción" (no encuentro un nombre mejor) escolar. Trece profesores, entre ellos un director y un subdirector de una escuela primaria, habían sido castigados por alterar las notas de un examen estandarizado en su colegio. Hasta aquí, todo normal, alguien hace trampas y se le castiga. Lo que me indigna es que el Economist se muestra comprensivo con esos profesores.

Antes de entrar en detalles, dejen que les explique el trasfondo de la cuestión. La primera ley firmada por George W. Bush cuando llegó a la presidencia fue el No Child Left Behind Act (Ningún Niño Dejado Atrás). Fue una de las pocas leyes que apoyaron los dos partidos en su presidencia, en parte porque fue diseñada en buena medida por el equipo de Bill Clinton. Los dos aspectos más sobresalientes de la ley eran la rendición de cuentas de las escuelas, a través de los exámenes estándar (digamos unas reválidas, para entendernos) iniciativas basadas en la investigación y, muy importante, información a los padres como una base para la acción. Uno de los aspectos más importantes de la ley es que los padres deberían ser informados si la escuela de sus hijos lo estaba haciendo mal, medido por una serie de indicadores, y se les permitiría elegir escuelas fuera del área que normalmente les correspondería sin vivir allí. Las escuelas que lo estuvieran haciendo mal perderían fondos y podrían ser cerradas.

Por tanto, un mal comportamiento de las escuelas en los exámenes puede llevar a malas consecuencias para éstas. Ante esto caben dos reacciones. Intentar mejorar o hacer trampas. Por cierto, es la misma elección a la que se enfrenta un estudiante. A ninguno nos extraña que haya estudiantes que elijan ir por el mal camino, ¿verdad? Entra dentro de lo natural. Los profesores debemos estar atentos para impedir que hagan trampas, eso es todo. Pues al Economist le parece que esto es un problema (y traduzco del original) "Y en esto, dicen muchos especialistas en educación, radica el problema: el inmenso peso que el NCLB da a un sólo examen. Los profesores pasan una porción de tiempo "enseñando para el examen", porque saben que los resultados determinan sus futuros. Un estudio del sistema escolar de la Kennedy School de Harvard encuentra que cuanto más peso se da a los exámenes, es más probable que los profesores alteren los resultados."

Como son muy listos, no llegan a disculpar a los criminales, pero es llamativo que citen a alguien de la Kennedy School con un estudio que demuestra que si hay más incentivos se hacen más trampas. Seguro que si miramos cuántos atletas se dopan o cuántas casas se roban también depende de los premios en la competición o el dinero que hay en las casas. ¿Y qué? Pues a castigar a los que se portan mal, y basta. ¿Que los profesores pasan mucho tiempo dedicados a que los alumnos aprueben el examen? Yo diría que es lo normal. Si el examen está mal hecho, perderán el tiempo, y si está bien hecho, no lo harán.

Para colmo, acaban diciendo que el ministro de educación es crítico con el NCLB. Y citan como evidencia que varios estados han bajado los estándares para dar una ilusión de progreso. ¿Pero esto que es? ¿Los estados se comportan mal, y la culpa es de la ley? Un poco de seriedad, señores míos.

Pero también hay alguna buena noticia. Hastings and Weinstein estudian el efecto de NCLB en general, y en particular en el contexto de un experimento de campo en Carolina del Norte. En ambos casos, encuentran que proporcionar a los padres información clara sobre las escuelas hace a más padres cambiar a sus hijos de escuela. Entre un 5 y un 7 por ciento más de padres cambian a sus hijos (sin información es un 16 por ciento) cuando tienen información. Y cambiar a un niño a un colegio que es una desviación estandar mayor mejora su rendimiento en aproximadamente un tercio de desviación estándar, una mejora muy significativa.

Así que yo sugeriría que nos dejemos de bobadas. Las reválidas son importantes, nos ponen a los profesores firmes y a los chicos y sus padres también. Algunos, niños o profesores, haremos trampas. Pues a castigar al tramposo. Tarjeta amarilla y después tarjeta roja. Y que gane el que más sude la camiseta.

Hay 11 comentarios
  • Tienes razón, la evaluación es vital, pero hay que escuchar sus defectos para mejorarla, ua que si pueden ser perjudiciales si lo que evaluán no es lo más importante que debe aprender un niño y los profesores tienen que dejar de enseñar unas cosas para centrarse en lo que va a salir la prueba. Muchos estudios han mostrado que enseñar a los niños en habilidades, que no en materias, como la autodisciplina o concentración tiene grandes beneficios en su educación y su renta futura, si los profesores se tienen que centrar en materias más facilmente medibles dejarán de enseñar esas habilidades, en los casos en los que se hayan atrevido. Os recomiendo el ejemplo que vi en la magnífica The Wire, en la 4 temporada, que versa sobre la educación. En esta abren un programa piloto para sacar a los "corner kids", los que venden droga en las esquinas, y chicos con problemas similares, de sus malos hábitos de estudios que molestan constantemente en clase, pero el esperimento choca, entre otras cosas, con los tests.

  • Carlos, plenamente de acuerdo en que el examen esté bien diseñado, lo digo en el artículo. Pero no creo que haya contradicción entre que el examen sea de matemáticas o lengua y que haya que enseñar autodisciplina o concentración. No se me ocurre ninguna manera seria de aprender matemáticas excepto con mucha disciplina y mayor concentración. Quizá algún superdotado pueda probar teoremas o resolver integrales mientras se baña relajadamente en el Mediterráneo, pero la mayor parte de nosotros tenemos que encerrarnos en un despacho con poca luz y poco ruido, y pasar unas cuantas horas allí. Así que el profesor que no enseñe esas habilidades no lo hará bien y sus estudiantes tendrán dificultad con las mates.

  • Esta es la tendencia actual. Los escolares son cada vez menos responsables de sus actos. Si pegan a un profesor o a un compañero, es culpa de la sociedad en la que vivimos y, pobres de ellos, que solo son inocentes víctimas. Si suspenden un examen, es problema del sistema educativo que les somete a una presión desmesurada… En este sentido, me parece paradójico que surjan modelos educativos que “defiendan” a los escolares de la presión de la “vieja escuela”, sobretodo, teniendo en cuenta que vivimos en un mundo cada vez más y más competitivo. Con esta tendencia, sólo formaremos pusilánimes sin preparación, incapaces de someterse a situaciones de presión.

    No niego que haya que mejorar el sistema educativo, pero, desde luego, no hay que escurrir el bulto, tomar la tangencial y crear programas que, únicamente, descargan a los escolares de responsabilidad –por lo que no llegan a comprender qué es- y, lo más importante de todo, desnaturalizan el sentido primitivo de la escolarización: Educar.

  • Estimado Antonio,
    Muy interesante el post. En mi opinión, y queden advertidos que tengo nula autoridad en la materia, la nota de The Economist no es tan desacertada desde el punto de vista del análisis económico de los incentivos de NCLB sobre el accionar de profesores, directores de escuela, y autoridades educativas a nivel de estados en USA. Digo esto basándome en lo que hace alrededor de un año escuché en un seminario en el que Derek Neal discutía los incentivos que subyacen en el esquema de NCLB.

    Para hacer un resumen sucinto del argumento de D. Neal, dejo estos tres puntos que él puso en el tapete como los más “problemáticos” en NCLB:

    1) La definición de los estándares mínimos (“proficiency”) que deben adquirir los niños de acuerdo a NCLB es demasiado vaga, lo que implica que el diseño de las medidas que pueden usarse para evaluar el rendimiento escolar está sujeto a manipulación no sólo política (NCLB delega en los estados la potestad de definir cuál es el estándar mínimo y cómo se mide) sino también por parte de maestros y autoridades de escuela (que ven su trabajo depender fuertemente de los resultados de estos tests estandarizados). Además, aún cuando existiese un sistema ideal para medir la “proficiency”, la multidimensionalidad de tareas intrínseca a la actividad docente difícilmente pueda ser promovida en su conjunto por un sistema de “pay-for-performance” basado en una medida “objetiva”, tal como lo establece la NCLB (en la cual, si no se llegan a metas específicas de “Adequate Yearly Progress”, las escuelas/docentes/autoridades son severamente sancionados). En este sentido, y tal y como lo remarca Neal, el argumento es el mismo que en Holmstrom y Milgrom (1991) (“Multitask Principal-Agent Analyses: Incentive Contracts, Asset Ownership and Job”): Los esquemas de pago de acuerdo a performance basados en medidas “objetivas” (notas) del “producto” (educación) pueden crear incentivos a los trabajadores (docentes) para redirigir sus esfuerzos hacia algunas tareas específicas de manera de mejorar su propia performance pero afectando negativamente el objetivo final de la organización (lograr una educación integral). Este punto va en línea con lo que ya ha sido comentado sobre cómo un sistema de accountability basado en tests estandarizados puede afectar otras dimensiones (no “medibles”) de la educación. Tengo entendido que esto sí ha pasado, por ejemplo en lo que respecta a las clases de educación física, que han quedado fuera de las “core subjects” incluidas en la NCLB Act.
    2) La idea de “alcanzar un mínimo rendimiento educativo” (no-child-left-behind) puede llevar a resultados socialmente ineficientes. El argumento en este punto no sólo tiene que ver con esto de "teaching for the test", sino también con cómo se dirigen los esfuerzos docentes, y en general, los recursos educativos en un sistema que promueve el rendimiento de sólo una parte de la distribución de rendimientos educativos dentro de un aula. Este estudio que acaba de aparecer en REStat (http://www.mitpressjournals.org/doi/abs/10.1162/rest.2010.12318) muestra que la introducción de NCLB parece haber tenido efectos positivos sólo sobre la parte “media” de la distribución de rendimiento escolar, olvidándose de las colas baja y alta de esta distribución.
    3) El último punto tiene que ver con la amenaza, de acuerdo a Neal “no creible”, de una sanción masiva para aquellas instituciones que no hayan alcanzado un 100% de no-child-left-behind para el año 2014. Neal remarca que al ser la amenaza “no creible” se distorsionan los incentivos que la ley quiere crear.

    En resumen, NCLB sí sesga los incentivos de las actores involucrados hasta el punto de “invitarlos” (no quisiera usar una palabra tan extrema, pero no tengo otra a mano) a hacer trampa en las evaluaciones. Pensándolo de esta manera, las pruebas, o mejor dicho, el sistema de incentivos contenido en la NCLB Act pareciera que sí es el culpable de que algunos se dediquen a hacer trampas en vez de tratar de mejorar verdaderamente el rendimiento.

    Un saludo.

  • Maria, perdona el retraso en contestar, estoy fuera y mis coautores me secuestran todo el dia.

    1. Los estados no hacen "trampa" literalmente, relajan los estándarres. Es una chapuza, pero al ser transparentes se retratan. Y tienen que dar explicaciones. Aunque sea por vergüenza irán espabilando. Con respecto a "multitasking" simplemente no estoy de acuerdo. Todavía no me ha dicho nadie cuáles son esas habilidades no medibles que son tan difíciles de capturar y por esto se olvidan. Ya le contesté a Carlos que la disciplina y el esfuerzo no pueden ser. Alguien me habló otro día de "tolerancia". Lo siento, una clase en la que no hay respeto no se puede aprender y por tanto el profesor que no la refuerce no conseguirá resultados. A mí me parece una excusa de profesores sin muchas ganas de trabajar que se excusan en algo no medible para que no le pidan rendir cuentas.
    2. En esto estoy de acuerdo. Los objetivos solamente sobre los que están abajo distorsionan el esfuerzo sobre los de arriba. Por tanto hay que mejorar el mecanismo para tenerlos en cuenta. No me parece tan difícil.
    3. También de acuerdo. Las sanciones han de ser creíbles.

    Lo que no veo es por qué 2 y 3 hacen aceptable que la gente haga trampas. Si hacen trampas es porque no esperan ser castigados o se creen tan listos que no los cogerán. Pues razón de más para demostrar que están equivocados.

  • Hola Antonio,
    muchas gracias por tu respuesta, y mil perdones por la mía tan tardía (recién veo tu entrada).
    Respecto a lo de multitasking, en mi opinión creo que sí existen formas "no medibles" de proveer una educación de calidad dentro del aula. Por ejemplo, una profesora de matemática puede enseñar su materia desde una óptica muy reduccionista (http://es.wikipedia.org/wiki/Reduccionismo), implicando una mayor carga de esfuerzo al docente de física o química para adaptar los conocimientos matemáticos de los niños a marcos conceptuales estrechamente vinculados a la matemática, aunque forzadamente separados por el método de enseñanza de la profesora de matemática. En este caso, la profesora de matemática podría hacer un esfuerzo por enseñar a sus alumnos que tanto los conceptos como también la “forma de pensar matemáticamente” son útiles en otros campos del saber. De esta manera la profesora estaría incurriendo en un esfuerzo adicional que poco aportaría a la nota de los niños en exámenes de matemática, aunque mucho podría hacer por el producto "educación" en su conjunto.
    Respecto al punto 2. , no sólo se distorsionan los incentivos de los docentes a hacer más esfuerzo con los estudiantes que están en la parte alta de la distribución, sino también, y quizá esta sea una de las consecuencias más funestas de esta política, con los que están en la cola baja de la distribución, quienes quedan “abandonados” a su (mala) suerte educativa. Pero como tú bien dices, estos malos incentivos serían algo no tan difícil de arreglar.
    Respecto a tu último comentario, yo creo que los argumentos expuestos en 2. y 3., sí colaboran al "cheating" de los maestros y escuelas, en el sentido de que guían su accionar hacia comportamientos que se alejan de la prescripción del "principal" (el estado, o mejor dicho "la sociedad") de proveer una educación adecuada, que se lograría poniendo esfuerzo sobre todos los estudiantes, por ejemplo, sin distinguir por grado de habilidad previa. A esto es a lo que me refiero con que la NCLB "incita" a "hacer trampas" no sólo a los estados (como se aclara en el argumento 1.) sino también a maestros y escuelas, a través de los argumentos expuestos en 1., 2. y 3. Pero por supuesto esto no implica que "sea aceptable" que algunos hagan trampas, pero sí que es "esperable" que algunos lo hagan bajo este marco de incentivos contenidos en la NCLB.
    Siempre es muy motivador leer tus comentarios, así que gracias por estos posts.
    Un saludo.

    María

  • Educar es otra cosa. A mi juicio, para los centros educativos "Más vale cooperar que competir". Y no sólo cooperar centre centros, sino también con los entes sociales. Los centros educativos tienen que ser agentoes del desarrollo comunitario y ámbitos de ciudadanía. Llenos de valores como la solidaridad y la cultura. En el mundo hay niños con enfermedades, con carencias económicas, emocionales o culturales, y en una auténtica escuela todos deben ser aceptados y queridos.
    Si una persona sabe que va a ser juzgada y, si no da la talla, va a ser estigmatizada y apartada , no manifestará su ignorancia por miedo a ser calificada de torpe. Esto bloquea para aprender. A los centros educativos les pasa igual, acabarán matándose unos a otros, y los chicos más desfavorecidos pagarán las consecuencias de tanto "espíritu competitivo". No es moralmente aceptable que el éxito de unos se construya sobre el fracaso de otros.
    Podéis leer a auténticos educadores como Calasanz, Lorenzo Milani, Freire, Freinet, ....

    • Angel, la ley americana de la que hablamos no juzga a los niños sino a los colegios. Y los estándares que se aplican nos son relativos sino absolutos. A un colegio se le castiga si no va bien medido contra el estándar no contra otros. Por tanto, más bien fomenta la cooperación entre escuelas para ayudarse entre ellas a superar los estándares. Y tampoco me parecería mal evaluar a los niños con una reválida. España es de los poco países que no cuentan con ella. No se trata de estigmatizar y apartar al que vaya mal. Se trata de averiguar quien va mal para ayudarlo.

Los comentarios están cerrados.