Por Daniel Montolio y Pere A. Taberner
Para much@s estudiantes universitari@s el inicio de año viene acompañado por una intensa época de exámenes finales. Después de las vacaciones navideñas tienen que afrontar este periodo caracterizado por el estrés y la ansiedad de superar los exámenes. Aunque los exámenes no es la única situación de presión a la que se enfrenta el alumnado, sí que es la más notoria y visible. En este contexto es interesante entender si los diferentes niveles de presión a que se ven expuestos l@s estudiantes universitari@s afectan al desempeño y si son distintos entre chicos y chicas. De hecho, la literatura psicológica acuñó la expresión “chocke under pressure” (Baumeister, 1984) para referirse al efecto de rendir por debajo de nuestras capacidades cuando estamos sometidos a presión. En este blog ya se ha hablado de las brechas de género en entornos educativos de alta presión, en el contexto de una oposición pública (aquí) o en un entorno competitivo como una competición de matemáticas escolar (aquí). Nosotros queremos aportar un poco más de evidencia a esta interesante cuestión a partir de la experiencia universitaria.
¿Qué hacemos en nuestro artículo?
Nuestro trabajo, recientemente publicado en abierto, pretende analizar si existen diferencias de género en el rendimiento académico según el nivel de presión al que estén sometidos los alumnos universitarios. En concreto, nos centramos en los resultados de pruebas tipo test de opción múltiple por ser un formato muy extendido en la universidad para evaluar los conocimientos del alumnado. Además, existe evidencia de que este formato de examen perjudica a los individuos más adversos al riesgo, en especial, a las mujeres (ver, por ejemplo, Espinosa y Gardeazabal, 2010; Espinosa y Gardeazabal, 2020).
Para analizar esta cuestión, hemos aprovechado la introducción de la evaluación continua en el diseño de la evaluación de una asignatura universitaria (ver Tabla 1 para una síntesis del sistema de evaluación analizado) a raíz de la implementación del Plan Bolonia. Así, y de forma resumida, comparamos para siete cursos académicos, los resultados de los test llevados a cabo durante el cuatrimestre en el marco de la evaluación continua (asociados a baja presión) con los resultados del test realizado el día del examen final (asociado a alta presión). El examen final constaba de dos partes, el test de opción múltiple y un set de preguntas abiertas.
La baja presión de los test realizados durante la evaluación continua viene determinada por el peso de cada uno de ellos en la nota final o por el periodo en el que se realizan (durante el periodo lectivo); lo que contrasta con el peso en la nota final del test realizado en el examen final (muy superior) y que, además, se lleva a cabo durante el periodo de exámenes. En nuestro caso, usamos una definición de presión similar a la usada por Azmat et al., 2016 en una muestra de estudiantes de secundaria y bachillerato, pero con una segunda fuente de presión adicional.
Tabla 1: Resumen del sistema de evaluación de la asignatura analizada
Nota: la primera columna es el peso de todos los parciales de evaluación continua en la nota final. Eso implica que cada parcial podía tener un peso de entre 3,3% y 20%, dependiendo del curso. En la columna del segundo periodo, el primer porcentaje se refiere a todo el examen final (test y preguntas abiertas) y el porcentaje entre paréntesis se refiere solo a la parte del test.
El diseño de la evaluación de la asignatura, tal y como se muestra en la Tabla 1, nos permite explotar esta segunda fuente de presión: tenemos en cuenta intervalos de cursos más homogéneos en cuanto a la presión inducida por la existencia (o no) de una regla eliminatoria que incrementaba la presión en los exámenes: los estudiantes que sacaban menos de un 5 en la evaluación continua tenían que sacar un 4 o más en el test final para que la segunda parte del examen (preguntas abiertas) fuese corregida. En caso de no cumplir ninguno de estos dos requisitos, el estudiante suspendía automáticamente la asignatura al ser matemáticamente imposible sacar más de un 5 en la nota final. En otras palabras, los estudiantes sabían que el test del examen final era eliminatorio si no se había aprobado la evaluación continua. Esta regla incrementaba de forma considerable la presión sobre los test en esos cursos (de hecho, esa norma se eliminó en el curso 2013/2014 por las quejas constantes de los alumnos). Así, este segundo ejercicio, que nosotros llamamos análisis de heterogeneidad, nos permite detectar cuatro escenarios de presión (ordenados de menor a mayor presión):
- Los parciales de evaluación continua durante los cursos en los que no existe la regla eliminatoria (low-low).
- Los parciales de evaluación continua durante los cursos con la regla eliminatoria (low-high).
- El tipo test del examen final durante los cursos en los que no existe la regla eliminatoria (high-low).
- El tipo test del examen final durante los cursos con la regla eliminatoria (high-high).
Creemos que nuestro estudio aporta novedades respecto a la literatura existente por varios motivos: (i) el uso de exámenes test evita cualquier posible sesgo en la nota originado por la corrección de los profesores; (ii) todos los exámenes test analizados presentan un formato muy similar (mismo diseño de preguntas, mismo nivel de dificultad y misma penalización por pregunta incorrecta); (iii) se compara a los mismos estudiantes a lo largo de varios test, pero expuestos a diferentes niveles de presión; (iv) se analiza una situación en el mundo real que resulta muy recurrente en el mundo universitario y (v) los datos disponibles permiten analizar los mecanismos que permiten explicar los resultados obtenidos. Además, en el artículo analizamos la posibilidad de que exista sesgo de selección según el género de l@s estudiantes en los resultados (presentarse o no a los exámenes) concluyendo que, a pesar de una ligera selección en los parciales, los principales resultados obtenidos se mantienen.
¿Qué estrategia empírica seguimos?
Para realizar el análisis econométrico, hemos creado un panel de dos periodos con todas las cohortes de alumnos que optan por la evaluación continua durante los 7 cursos objeto de estudio. El primer periodo del panel es la media individual de los test parciales de la evaluación continua y el segundo periodo es el resultado del test de la primera parte del examen final para cada estudiante. Se presentan 3 modelos diferentes que incluyen diferentes maneras de controlar por los efectos de clase y de curso. A partir de los resultados de las estimaciones, se obtienen las brechas de género en cada uno de los dos periodos. Además, analizamos el potencial sesgo de selección que podría haber con el alumnado que elige evaluación única o que no se presenta a los exámenes.
Resultados
Los resultados del primer ejercicio (ver Tabla 2) muestran como las alumnas, en media, obtienen mejores notas que los alumnos en la evaluación continua (baja presión), alrededor de 0.05 desviaciones estándares (DE), pero obtienen peores notas en el examen final (alta presión), alrededor de 0.08 DE. Las regresiones cuantílicas muestran diferencias a lo largo de la distribución de las notas. Cuando el alumnado se enfrenta a situaciones de presión baja, las diferencias a favor de las chicas desaparecen en la parte alta de la distribución, mientras que cuando se enfrentan a presión alta las diferencias a favor de los chicos incrementan considerablemente a mayor nivel de notas.
Tabla 2: Brecha de género en los parciales y en el examen final
Nota: 3.705 estudiantes y 7.410 observaciones. La variable dependiente, nota, está estandarizada a nivel examen y curso. Errores estándar agrupados a nivel clase-curso entre paréntesis y *** indica estadísticamente significativo a 1%, ** a 5% y * a 10%.
Los resultados del segundo ejercicio, el análisis de heterogeneidad, van en la misma dirección. En la Figura 1 se puede apreciar que en el escenario de menor presión (Low-Low), las chicas obtienen mejor rendimiento que los chicos, alrededor del 0.08 DE. Sin embargo, cuando vamos aumentando la presión, la brecha de género a favor de las chicas se va reduciendo hasta revertirse y convertirse en una brecha a favor de los chicos en el escenario de mayor presión (High-High), de alrededor de 0.132 DE. Las estimaciones cuantílicas muestran patrones similares al primer ejercicio: a lo largo de la distribución de notas, la brecha de género se va reduciendo a favor de los chicos.
Figura 1: Brechas de género de menor a mayor escenario de presión
Nota. Brecha de género positiva indica a favor de las chicas.
El análisis de los mecanismos sugiere que estas brechas de genero en escenarios de mayor presión se generan por un descenso en el rendimiento académico de las chicas, mientras que los chicos obtienen las mismas notas. Además, mostramos evidencia de que estas diferencias vienen por un mayor número de respuestas en blanco por parte de las chicas con mejores notas cuando aumenta la presión.
Este estudio permite entender algunos de los elementos que explican las diferencias de género en el rendimiento académico y, en especial, pone en evidencia el papel de los exámenes tipo test en las desigualdades educativas: Las pruebas tipo test perjudican a las chicas en escenarios de mayor presión. Un sistema de evaluación debería medir los conocimientos del alumnado sin que el resultado de esta evaluación dependa del propio diseño de la evaluación. Además, este estudio pone de manifiesto los beneficios de algunas de las medidas implementadas por el Plan Bolonia en la igualdad de género.