- Nada es Gratis - https://nadaesgratis.es -

El efecto psicológico de una señal en Matemáticas

Pedro Albarran (Universidad de Alicante), Marianna Battaglia (Universidad de Alicante) y Marcello Sartarelli (Universidad Complutense de Madrid e ICAE)

Aunque la habilidad innata y las competencias adquiridas son los principales determinantes de los resultados educativos, se ha planteado que algunos factores psicológicos también pueden desempeñar un papel relevante (ver Lavecchia et al., 2014 para una revisión bibliográfica). Por ejemplo, los trabajos de Machin et al. (2020) para el Reino Unido y de Papay et al. (2010) para EE.UU. han demostrado que, entre estudiantes con similares habilidades, tienen una mayor probabilidad de asistir a la universidad aquellos que obtienen una puntuación justo por encima del corte para aprobar en las pruebas finales de la educación secundaria, en comparación con los que están justo por debajo. Entender los mecanismos conductuales de los estudiantes y cómo estos reaccionan ante señales positivas de rendimiento no es una tarea fácil y requiere, entre otros elementos, un contexto en el que se realicen uno o más exámenes a lo largo del tiempo y que, al menos uno de ellos, sea de bajo riesgo: es decir, que el hecho de estar justo por arriba o por debajo de un corte no tenga un efecto “mecánico” en el resultado final.

En Albarran et al. (2021) aprovechamos la estructura de evaluación de la primera asignatura de Matemáticas en los grados de Economía y ADE en la Universidad de Alicante, con dos pruebas parciales de baja exigencia seguidas de un examen final, para cuantificar la relevancia empírica de los efectos psicológicos sobre el rendimiento. Las pruebas parciales y los exámenes se califican en una escala de 0 a 10, siendo el 5 la puntuación de aprobado (como es habitual en todos los niveles de enseñanza en España). Combinando datos administrativos y de encuestas para tres cohortes de estudiantes (años académicos 2016 a 2019), estimamos el efecto de obtener un aprobado en al menos una de las dos pruebas parciales sobre la calificación del examen final. Para ello usamos un diseño de regresión con discontinuidad (RD) en el que la running variable es la calificación mas alta de las obtenidas en las dos pruebas intermedias, T1 y T2, centrada en el valor de referencia para el aprobado (5), es decir T* = (T1,T2) – 5

Obtener un 5,1 en lugar de un 4,9 en las pruebas parciales tiene un efecto irrelevante en la probabilidad de aprobar la asignatura, puesto que los estudiantes pueden presentarse al examen final, independientemente de haber superado las pruebas parciales o no. Por tanto, postulamos que el mecanismo de comportamiento que subyace al efecto de “aprobar” en al menos un examen parcial es de naturaleza principalmente psicológica. Para verificar nuestras hipótesis, definimos la variable binaria P = I(T* ≥ 0) igual a 1 para los estudiantes sujetos al efecto psicológico e igual a 0 para los demás. Esto concordaría con la evidencia anecdótica sobre las reacciones de los estudiantes que dan una interpretación positiva a superar la calificación de referencia de 5 y pensar que lo harán mejor que otros en la evaluación posterior de la asignatura. Evidencia empírica de este efecto, conocido como left-digit effect, se ha documentado en varios estudios económicos, incluidos algunos en contextos educativos (ver Goodman et al., 2018).

En primer lugar, evaluamos la validez de nuestro diseño de investigación. Encontramos que la distribución de características predeterminadas (variables socio-demográficas obtenidas en las encuestas a los estudiantes), están equilibradas en el punto de corte de 5. Un punto importante es que descartamos las observaciones de los estudiantes que obtienen una puntuación muy cercana al 5 debido a una elevada frecuencia de estudiantes cuyo valor máximo en las pruebas parciales es exactamente 5 (ver Figura 1 y 2 en Albarran et al., 2021). Este enfoque, conocido como “donut RD” garantiza que no se incluyen observaciones que puedan haber sido manipuladas por características observables y/o por otras de no observables (Barreca et al. 2011; 2016).

La variable de salida que usamos en el análisis empírico es la calificación en el examen final (estandarizada dentro de cada año para poder comparar nuestros resultados con aquellos en estudios relacionados). La Figura 1 muestra las estimaciones de los polinomios de RD para estudiantes cuyo máximo entre las calificaciones de la pruebas parciales es inferior a 5 (T* < 0) y para aquellos cuyo máximo es superior o igual superior (T* ≥ 0). En la Figura 1 se ve claramente que el efecto es positivo e inferior a una unidad.

Figura 1: Gráfica de las estimaciones del polinomio RD sobre la calificación en el examen final estandarizada por año (donut con radio de 0.2)

En la Tabla 1 presentamos las estimaciones de la especificación RD. El efecto obtenido es de aproximadamente 0,30 de una desviación estándar para el ancho de banda óptimo en las columna (1). Este ancho de banda óptimo se determina siguiendo cómo criterios, por un lado, tener un elevado tamaño muestral y, por el otro, no incluir aquellas observaciones con un valor de T suficientemente “lejos” de 5 como para que el grupo de estudiantes cuyo valor de la calificación más alta en las pruebas parciales es inferior a 5 y el grupo con un valor superior o igual a 5 no sean comparables (ver Imbens and Kalyanaraman, 2012) En las demás columnas se muestra que estos resultados son robustos si añadimos controles, para diferentes valores del donut, si variamos el ancho de banda del RD o si utilizamos especificaciones cuadráticas.

Tabla 1: Efecto de una señal positiva en al menos una de las dos pruebas parciales sobre la calificación del examen final estandarizada por año (donut con radio de 0.2)

En general, el tamaño del efecto obtenido está en el extremo superior de las estimaciones sobre el rendimiento de los alumnos en función de la experiencia del profesor (De Paola, 2009) o de la información sobre el rendimiento pasado del estudio (Bandiera et al., 2015), pero está en línea con el efecto de la mayor parte de la literatura sobre evaluación aleatoria de las políticas educativas (Banerjee et al., 2007), del tamaño de las clases (Angrist y Lavy, 1999) o de la calidad del profesorado (Rockoff, 2004). En particular, es similar, aunque ligeramente superior, a los efectos de informar a los estudiantes de su rendimiento pasado encontrados por Brade et al. (2018) y Azmat et al. (2019), y confirma los hallazgos de Azmat e Iriberri (2010) que muestran que proporcionar información sobre su rendimiento (relativo) mejoraba las calificaciones de los estudiantes de secundaria en un 5%. Por el contrario, no encontramos diferencias de género: los chicos y las chicas reaccionan a la señal de la misma manera.