Tuve la suerte de coincidir con Gema Zamarro en las últimas Jornadas de la Economía de la Educación. Allí conocí su trabajo que me pareció muy bonito e interesante, tanto desde el punto de vista de la interpretación de los resultados de PISA como de las propias recomendaciones de política educativa. Les dejo esta entrada que Gema ha tenido la amabilidad de escribir para todos nosotros.
Por Gema Zamarro
Desde el inicio del estudio PISA allá por el año 2000, muchos países han centrado sus debates de política educativa en los resultados internacionales en este tipo de pruebas. En esto España no es una excepción. No es raro ver en los periódicos reportajes especiales y titulares como este, cada vez que nuevas ediciones de PISA salen a la luz: “La educación española se atasca en ciencias y matemáticas, pero mejora en lectura”. Los resultados en PISA han sido también tratados en múltiples ocasiones en NEG, por ejemplo aquí, aquí o aquí. Sin embargo, tras esta práctica generalizada está el supuesto de que las diferencias que observamos en rendimiento en este tipo de pruebas corresponden directamente a diferencias en niveles de conocimiento de los estudiantes. Después de todo, así es como se supone que estas pruebas han sido diseñadas, ¿o no?
Desde mi grupo de investigación, charassein, en el Departamento de Reforma Educativa de la Universidad de Arkansas en EEUU, hemos estado retando este supuesto, ya que creemos que una parte importante de los resultados en este tipo de pruebas puede deberse a diferentes niveles de esfuerzo de los estudiantes. En mi documento de trabajo junto con Collin Hitt e Ildefonso Mendez encontramos que entre 32% y 38% de la variación entre países que observamos en los resultados de PISA se puede explicar por los distintos niveles de esfuerzo en la realización de la prueba, y no sólo por diferencias en el nivel de conocimientos de los estudiantes.
Para llegar a esta conclusión estudiamos los resultados de PISA de 2009 y usamos tres medidas de esfuerzo del estudiante. Para la primera medida, seguimos el trabajo de Borghans y Schils (2012), y calculamos hasta qué punto el rendimiento de los estudiantes disminuye a lo largo del examen de conocimiento de PISA, es decir, el nivel de fatiga de los estudiantes durante el examen. En particular, comparamos la probabilidad de acertar respuestas correctamente a las primeras preguntas del examen con la probabilidad de responder correctamente a las últimas preguntas. El hecho de que PISA diseñe distintas versiones del examen con un orden distinto de preguntas y asigne las distintas versiones a los estudiantes de manera aleatoria, nos permite controlar por el efecto del nivel de dificultad de las preguntas. De esta manera, sabemos que si el rendimiento disminuye en el transcurso de la prueba no es porque el final del examen tenga preguntas que son especialmente difíciles. Encontramos que, en media, los estudiantes de todos los países se cansan a lo largo del examen pero que hay países en los que los estudiantes se cansan mucho más que en otros. Uno de esos países parece ser España.
La Gráfica 1 muestra la probabilidad estimada de acertar correctamente a preguntas del examen, al principio y al final, para un grupo seleccionado de países. Vemos que los campeones de PISA, como Finlandia u Hong Kong, empiezan fuerte en el examen y sus estudiantes, aunque se cansan, no lo hacen tanto como en otros países. España es un país en el que los estudiantes empiezan realmente fuerte, al mismo nivel casi que Corea del Sur, pero pronto pierden interés y decaen al nivel de EEUU al final del examen. El caso más dramático es Grecia, el país con mayor tasa de fatiga en el examen. Es interesante saber que Borghans y Schils (2012) también encontraron este mismo resultado para Grecia, usando un año distinto de datos de la prueba PISA. Por ello, creemos que este tipo de medida de esfuerzo capta niveles de esfuerzo generales de los estudiantes en un país y no tanto algo idiosincrático que pasó un año determinado.
Gráfica 1: Rendimiento al Principio y al Final del Examen PISA, por País
En segundo lugar, estudiamos el esfuerzo de los estudiantes en la encuesta que el estudio PISA administra siempre después del examen de conocimiento. Añadir estas medidas de esfuerzo es una contribución importante de nuestro trabajo. Creemos que nos permiten detectar estudiantes totalmente desmotivados que no se pueden captar bien si sólo estudiamos los niveles de fatiga durante el examen. Esto es así porque, si el esfuerzo de los estudiantes se mantiene bajo durante todo el examen, el nivel de fatiga detectado será también nulo o muy bajo. Creemos que si este es el caso, los estudiantes seguramente tampoco se esfuercen en la encuesta y los podremos captar de esta manera. Además, uno podría argumentar que las medidas de fatiga en el examen se pueden ver afectadas por diferencias entre países en habilidades cognitivas o en las técnicas usadas durante el examen. Este no será tanto el caso en la encuesta ya que estas encuestas suelen ser simples, se escriben para niveles bajos de comprensión lectora y corresponden con preguntas básicas sobre el colegio, información demográfica y opiniones del estudiante. En particular, nosotros medidos esfuerzo en la encuesta a través de la proporción de preguntas que el estudiante deja en blanco (“item non-response”) y de medidas de hasta qué punto el estudiante parece responder a “boleo”, esto es, da respuestas que son impredecibles dadas sus respuestas previas y las de otros estudiantes a la misma pregunta y preguntas relacionadas (“careless answering”). La Gráfica 2 muestra la media de estas medidas para países participantes en PISA. Una vez más, España está entre los países con menores niveles de esfuerzo, también cuando miramos a la encuesta. Estudiantes en España dejan en blanco relativamente más preguntas y dan respuestas en media que aparecen más impredecibles.
Gráfica 2: Medidas de Esfuerzo en la Encuesta PISA, por País
A continuación estudiamos cómo la distribución internacional de resultados de PISA cambia si ajustamos por estas diferencias en esfuerzo de los estudiantes. En general, encontramos una menor dispersión de resultados cuando ajustamos por esfuerzo aunque los rankings de países no cambian tanto. España, por ejemplo, pasaría del puesto 28 en matemáticas al puesto 23 y del puesto 32 en matemáticas y ciencia al puesto 27 y 26, respectivamente, si se tienen en cuenta las diferencias entre países de esfuerzo de los estudiantes.
Con estos resultados quiero enfatizar que no es que crea que las pruebas de PISA no son válidas y no proporcionan información relevante. Todo lo contrario. Creo que proporcionan información muy necesaria, pero también creo que debemos ser conscientes de que siempre que preguntamos a los estudiantes en un examen, los resultados potencialmente reflejan dos cosas: cuánto saben y cuán dispuestos están en decirnos lo que saben. El hecho de que los niveles de esfuerzo sean distintos entre países es un resultado muy importante a tener en cuenta en la interpretación de los resultados en este tipo de pruebas y en la propuesta de políticas educativas para intentar mejorar rendimiento. Mi investigación previa, así como la de otros investigadores (ej. Borghans and Schils, 2012; Hitt, Trivitt and Cheng, 2016; Hitt, 2015; Zamarro et al. 2016), encuentra que este tipo de medidas de esfuerzo en exámenes o en encuestas predicen resultados educativos y en el mercado laboral más tarde en la vida y que pueden aproximar rasgos de personalidad o habilidades no cognitivas relacionadas con la perseverancia.
La reacción a resultados bajos en pruebas como PISA, la mayoría de las veces, ha sido pensar en intervenciones o políticas para mejorar o incrementar la instrucción en las materias en las que necesitamos mejorar. Los resultados de nuestro trabajo, para casos como España, muestran que potencialmente debemos trabajar las habilidades no cognitivas de nuestros estudiantes ya que estos muestran una deficiencia general de esfuerzo. Creo que si centramos toda nuestra energía solamente en intervenciones para mejorar el conocimiento puede que no veamos los resultados deseados. Este puede que no sea un camino fácil ya que otro de nuestros trabajos sugiere que hay un elemento cultural que determina estas habilidades no-cognitivas. Sin embargo, creo que merece la pena intentarlo.