Los efectos de revelar a los profesores sus propios estereotipos

La semana pasada asistí a un seminario de Paolo Pinotti, profesor en la Universidad Bocconi de Milán. Paolo lleva unos años implicado en un proyecto muy interesante, en el que intentan potenciar los resultados escolares de los niños de origen inmigrante en Italia. En un trabajo anterior encontraban que un programa de tutorías y orientación aumentaba la proporción de niños (varones) de origen inmigrante y alta capacidad que elegían asistir a un instituto académico o técnico en lugar de uno vocacional. En el estudio que nos presentó el otro día, se centraban en determinar si los profesores tienen algún tipo de sesgo inconsciente que les hace puntuar más bajo a los niños inmigrantes, y si una intervención sencilla podría “neutralizar” ese sesgo.

En primer lugar, Paolo y sus coautores documentan que los niños de origen inmigrante reciben notas más bajas en primaria que los niños de origen italiano. Esto puede ser por muchas cosas, claro. Sus notas también son más bajas en los tests estandarizados y corregidos de forma anónima que se realizan en varios puntos durante la educación obligatoria, lo que sugiere que hay diferencias reales de nivel, en media. Pero cuando comparan a niños con la misma nota en los tests estandarizados, los inmigrantes siguen recibiendo notas de clase más bajas por parte de sus profesores. Esto puede reflejar diferencias legítimas de conocimiento o comportamiento que los profesores captan pero los tests estandarizados no, o podría deberse a que los profesores “discriminan” en contra de los alumnos extranjeros, quizá inconscientemente.

Para intentar identificar esta última posibilidad, los investigadores encuestaron a más de 1.000 profesores de primaria, y les hicieron un test diseñado para detectar sesgos inconscientes. Este tipo de tests están diseñados para detectar si asociamos un determinado tipo de personas (según su género, etnia, origen, etc) con determinadas cualidades, de manera inconsciente (pueden hacer la prueba aquí). De ellos ya nos habló Michela Carlana recientemente, en el contexto de los estereotipos de género (Michela también es coautora en el estudio que les cuento hoy). En este caso, se buscaba determinar en qué medida los profesores asociaban nombres italianos o extranjeros (típicos de los países de origen más comunes entre el alumnado) a cualidades positivas o negativas.

El primer resultado es que, de manera aplastante, los resultados del test sugieren que los profesores efectivamente asocian estereotipos negativos a los nombres de origen inmigrante (ver figura 1). Además, estos estereotipos negativos no se relacionan directamente con el nivel observado de los alumnos de origen inmigrante que cada profesor ha tenido en su grupo durante los cinco años anteriores, es decir, no reflejan simplemente su experiencia de la capacidad media de sus alumnos nativos y extranjeros.

Aún más interesante, los profesores más sesgados (según este test) puntúan más bajo a sus alumnos de origen inmigrante, comparado con alumnos nativos del mismo nivel (medido con los exámenes estandarizados), al menos en matemáticas (en lengua este resultado no es tan marcado). Esto sugiere que los profesores penalizan a los alumnos inmigrantes de manera inconsciente.

¿Qué se puede hacer? Bueno, si el sesgo es de verdad inconsciente, quizá simplemente revelar esta información a los profesores pueda ayudar. Para comprobarlo, los investigadores comunicaron sus puntuaciones en el test de sesgo inconsciente a todos los profesores encuestados, pero a algunos la información se les reveló antes de la evaluación trimestral de los estudiantes, mientras que a otros (elegidos por sorteo) su puntuación se les comunicó después de haber evaluado a los alumnos.
Los investigadores comprobaron así que los profesores que fueron informados sobre sus propios estereotipos negativos hacia los inmigrantes, “corrigieron” ese sesgo en las notas de ese trimestre, es decir, puntuaron de forma similar a alumnos nativos e inmigrantes de similar capacidad. Sin embargo, los profesores que no recibieron la información hasta más tarde, mantuvieron el sesgo inicial en la distribución de notas de nativos e inmigrantes (ver su figura 4). Es decir, simplemente revelar sus estereotipos inconscientes a los profesores fue suficiente para corregirlos.

Estos resultados sugieren que intervenciones de bajo coste pueden ser efectivas para reducir la discriminación basada en estereotipos (más o menos infundados). Sin embargo, hay una cualificación: los profesores que recibieron la información sobre su sesgo, también “corrigieron” al alza las notas de los estudiantes inmigrantes en lengua, donde ya dijimos que no se había detectado discriminación para empezar. Es decir, es posible que los profesores corrigieran las notas de los alumnos extranjeros “demasiado”. Es difícil saber hasta qué punto sin tener información más detallada sobre el nivel real de los estudiantes (la nota en los tests estandarizados puede no ser una buena medida de la capacidad real de los niños en matemáticas o en lengua).

En cualquier caso, los resultados tienen varias implicaciones interesantes. Primero, se confirma que los profesores tienen sesgos inconscientes que pueden afectar a las notas de los alumnos. Y segundo, simplemente revelar información sobre los estereotipos propios puede ayudar a corregir esa penalización inconsciente. Quizá todos los que tenemos que evaluar a personas en tareas que pueden incluir un componente subjetivo deberíamos auto-evaluar nuestros sesgos implícitos, para así intentar evitarlos. Me dispongo a hacerlo antes de corregir los exámenes de mis alumnos de este trimestre.

Hay 14 comentarios
  • Un profesor que asume la responsabilidad de hacer bien su trabajo sabe que los exámenes se deben corregir tres veces. La primera para determinar quiénes están "más allá de la duda razonable" en cuanto a que han aprobado. La segunda para determinar entre quiénes no pasaron el primer corte cuáles deben presumirse aprobados, es decir, a quiénes darles el beneficio de la duda. La tercera para revisar que las dos primeras correcciones las hizo bien. Cuando no se sigue ese proceso, y para peor la escuela no establece un instancia de apelación, el profesor debe renunciar y si no lo hace lo deben suspender y eventualmente expulsar.

    Una enseñanza muy importante en la infancia y la adolescencia es el ejemplo de profesores responsables y de procesos serios para juzgar los esfuerzos personales.

    • En las notas de primaria se incluye información no sólo sobre los resultados de un examen, sino también sobre comportamiento en el aula, y adquisición de conocimientos no evaluados con exámenes, sino con ejercicios semanales en el aula, presentaciones orales, trabajos en grupo, etc. No estamos hablando sólo de corregir un examen de matemáticas, donde está claro si el resultado es correcto o no. Yo creo que tener en cuenta más que sólo un examen para evaluar una asignatura en general es bueno, ya que no sabemos diseñar exámenes perfectos, pero claro, se introduce también la subjetividad. Yo misma, al evaluar presentaciones orales, intento ser consciente de mis posibles sesgos, y no es trivial.

      • En mi opinión, la gran mayoría de lo que hoy se considera sesgos son preferencias y como tales son parte esencial de la personalidad de cada uno. Incluso cuando esas preferencias implican desprecio por algo al extremo de rechazarlo abierta y cruelmente, es decir, cuando se manifiestan en odio hacia otras personas, no dejan de ser preferencias. Solo cuando el odio se manifiesta en acciones que perjudican a otros --sin importar si hubo o no intención-- entonces se justifica atribuir al causante una responsabilidad penal y civil.

        Los otros sesgos los reconocemos fácilmente porque cuando se advierte a alguien de que ha actuado sesgado, no duda en reconocerlo. Por supuesto el reconocimiento no implica corrección..

        En todo caso, las intervenciones "sencillas" no son más que intentos solapados de cambiar las preferencias de otros. Los maoístas radicales se han transformado en maoístas marginales.

        • Llámalo como quieras, pero creo que estaremos de acuerdo en que los profesores debemos evaluar competencias, y no basar las notas en quién nos cae mejor o peor, quién nos gusta más o menos. La intervención del estudio que resumo no intenta cambiar las preferencias subjetivas de los profesores, sólo intenta que éstas no afecten a las notas de los alumnos.

      • Nota aclaratoria: Respecto a su punto sobre exámenes estandarizados, usted puede reemplazar “exámenes” en mi comentario con “evaluaciones" de los alumnos. Nada cambia porque obviamente los exámenes estandarizados, en principio, no permiten identificar alumnos. Pero ningún profesor serio se basa únicamente en exámenes estandarizados para evaluar sus alumnos. En todo caso, este punto vuelve a resaltar que las preferencias y los hábitos cognitivos de los profesores son dos variables que --además del conocimiento especializado de la materia-- se deben considerar en el momento de su selección y contratación, y también en el momento de su evaluación profesional para promoverlo o removerlo.

      • En distintos grados nuestras preferencias marcan nuestros juicios sobre los demás, en particular cuando nuestro trabajo es pasar juicio sobre los demás. En un proceso judicial el juez sabe bien en qué medida sus preferencias pueden jugar un papel decisivo, y piensa más de dos veces antes de dictar sentencia. Como se trata de adultos, quienes designan a los jueces prestan atención a las preferencias de los candidatos y cómo han afectado su comportamiento pasado.

        En cuanto a profesores de universidad, cuando se buscan buenos investigadores, su elección presta poca (o ninguna) atención a sus preferencias. Pero luego, como docentes, sus preferencias pueden sorprendernos. Distinto es cuando se buscan profesores solo para enseñar.

        En cuanto a profesores de primaria y secundaria, la elección intenta considerar las preferencias de los candidatos para evitar sorpresas. No siempre se consigue porque hay pocas alternativas y los electores a veces no tienen la capacidad para evaluarlos.

        Por mi experiencia, apuesto a que la probabilidad de que un profesor "hincha de River" repruebe a un adolescente "hincha de Boca" es muy baja, casi cero. Si lo reprueba será por otro motivo aunque se lo acuse falsamente que lo hizo por ser "hincha de Boca".

        El análisis estadístico del paper de Alesina y otros me parece un instrumento grotesco para buscar y remover manazas podridas. En el mejor de los casos, sirve para recordar la importancia del proceso de selección.

  • A mí lo que más me pasma del sistema educativo (desde luego no es lo único) es lo que se trasluce por analogía de la siguiente pregunta:
    ¿Que pensaría usted si quien da las clases de conducción examina a su propio alumnado y puede otorgarles o denegarles el carnet de conducir? ¿No sería más consecuente con incentivos que personas distintas hicieran esas tareas distintas? (En el tema conducción sí está separado).
    Desde luego se podrá aducir que no cabe la analogía (yo pienso que sí cabe).

  • La pregunta clave es ¿que evaluación representa mejor la realidad?. La entrada se basa en la idea de que la "evaluación estandarizada y anónima" representa mejor la realidad que el profesor que conoce a los alumnos y convive con ellos.

    No necesariamente. Bien podría suceder que lo que esté "sesgado" a favor de los inmigrantes sean los exámenes estandarizados y anónimos y que las notas de los profesores reflejen mejor la realidad. Obviamente cuando se "hace ver" (en realidad sin saberlo) que su forma de corregir es equivocada, los profesores la modifican respondiendo a ese "condicionamiento artificial" (por eso la mejora en lengua donde no habia sesgo de partida).

    Resulta curiosa la idea de que los "evaluadores profesionales" puedan evaluar mejor con menos información (por definición un test estandarizado y ciego tiene menos "información" que la evaluación por tu profesor). Aunque después de todo, en la Academia podría suceder porque que un profesor evalúe bien o mal es totalmente irrelevante para su carrera profesional o para el éxito de su colegio/universidad. No habiendo "feedback" de la realidad al profesor, no hay manera de corregir el sesgo si existiera; más que con la intervención de "evaluadores de evaluadores" que podrían estar igualmente sesgados.

    Lo triste, en realidad, es que las evaluaciones en la escuela influyan en la carrera profesional de las personas (via efecto "señal") cuando todos sabemos que evaluan conocimientos irrelevantes en el mundo real.

  • Que tenemos sesgos inconscientes ya es algo más que probado (por ejemplo, Kahneman). Y corregirlos diciendo a los profesores que lleven cuidado con ellos, tiene el problema que la propia autora señala en el artículo. Una solución que parece más atractiva es anonimizar las pruebas de evaluación. ¿Por qué no se hace?

    • No se hace porque jamás las pruebas anónimas serán suficientes para evaluar los alumnos de primaria y secundaria. En algún momento del proceso de evaluación se requiere conocer a cada alumno para un juicio razonable sobre su desarrollo --no hay y jamás habrá dos personas iguales, algo que ya se manifiesta al nacer. Guste o no, hoy más que nunca antes, la masificación escolar y la decadencia de la familia tradicional imponen cargas absurdas en los profesores de esos niveles: si antes eran complementos útiles en la crianza familiar de los niños, hoy los políticos (y muchos de sus cómplices intelectuales) les quieren imponer un papel importante en esa crianza, papel para el que raramente fueron formados y raramente se interesaron.

      El fondo del problema es la pretensión de muchos de que "otros" deben hacerse cargo de la crianza de los niños --algo que se justifica cuando los niños son abandonados (algunos parecen creer que el 90+% de los niños son abandonados por el simple hecho de que sus padres no hacen lo que ellos creen que debe hacerse).

      • Estoy de acuerdo con Vd. en que en esos niveles educativos, el trato diario con cada uno de los alumnos, proporciona una información mucho más valiosa que la de cualquier instrumento tipo test o cualquier otra prueba individualizada, muy burdos en comparación. Pero el tema fundamental de la entrada, tal como yo la he entendido, es la posible (para mí segura) existencia de sesgos. De existir, ese sesgo afectará a la percepción que el profesor se va formando de cada uno sus alumnos, perjudicando a determinados grupos. Y en este sentido una prueba anonimizada sí es muy superior. Obviamente no toda la evaluación (ni la mayor parte) de estos alumnos se debe basar en test o exámenes anónimos, pero sí pueden constituir un complemento importante.

        Respecto al papel de los maestros en la sociedad y la valoración que ésta hace de esos profesionales, entraríamos en otra dimensión de la que, aun siendo crítico, no me siento muy autorizado a decir nada.

        • La afirmación de que "una prueba anonimizada es superior" es apresurada. Será superior si permite medir mejor lo que queremos medir al evaluar.

          El problema es que no tenemos ni idea:

          ¿algo del pasado?: si el individuo aprendió

          ¿algo del futuro?: la "capacidad" del individuo en su vida adulta

          Y si es "el pasado": ¿lo que el individuo aprendió de lo que se le enseñó o de lo que incluimos en un programa "estándar" y encargamos a un profesor (concreto) enseñarle?.

          Y si es "el futuro": ¿su capacidad para una "vida académica" o en un vida adulta "real"? (nada que ver).

          La verdad es que evaluamos una característica del pasado y la usamos como "proxy" de una característica futura. Esta por ver la validez de ese "proxy", más allá de la "profecia autocumplida" que lleva a arruinar la vida de muchos individuos mal adaptados a la aburridísima artificiosidad de la Academia y que podrían haber sido (de no existir los prejuicios "Academizantes" de esta sociedad) excelentes profesionales "reales".

          Lo de menos es el sesgo "evaluando" emigrantes (aunque eso sin duda "vende bien"). Lo terrible es la tremenda importancia que damos a algo tan artificioso y desconectado de la realidad como es "evaluar académicamente".

          Si nuestros profesores tienen "sesgos" lo de menos es que se les note evaluando, lo preocupante debería ser que se les notará también enseñando.

          Quizás deberíamos encargar a los "robots" que formen y evalúen a nuestra juventud. Ellos no tienen sesgos (supongo).

  • Tengo una duda sobre un aspecto ético de la investigación.

    En la parte en que se muestra a los profesores los sesgos antes o después de corregir yo veo un elemento que pueda perjudicar a los alumnos. Es decir: la investigación introduce un elemento que puede dañar los intereses de los que participan en el estudio (los alumnos en este caso).
    Según tengo entendido, los diseños experimentales con grupos de control son difíciles de realizar en escuelas porque precisamente el grupo control siempre supone un perjuicio (o alta probabilidad) para los participantes en ese grupo. Ningún comité ético aprueba un estudio así.
    Yo mismo me he visto involucrado en algo parecido en una institución educativa y la investigación no tuvo el permiso del comité ético.

    No he leído el artículo original, pero por experiencia en con otros estudios dudo que diga algo al respecto.

    ¿Ideas al respecto? ¿Alguien tiene experiencia con estudios con grupos de control en escuelas y con alumnos reales? ¿Cómo lidió con este problema?

  • Muy interesante todo.

    En secundaria obligatoria hay aspectos "no curriculares" que se evalúan legalmente en España, como imagino en otros paises. Por ejemplo el comportamiento en clase o la asistencia.

    No sé si esto tendría algún valor explicativo en el modelo para explicar las disparidades observadas, quizás no. Pero algunos proxys útiles para descubrirlo podrían ser el número de sanciones, o el número de faltas. Quizás deberían chequearse, si es posible.

Los comentarios están cerrados.