Tuve la suerte de coincidir con Gema Zamarro en las últimas Jornadas de la Economía de la Educación. Allí conocí su trabajo que me pareció muy bonito e interesante, tanto desde el punto de vista de la interpretación de los resultados de PISA como de las propias recomendaciones de política educativa. Les dejo esta entrada que Gema ha tenido la amabilidad de escribir para todos nosotros.
Por Gema Zamarro
Desde el inicio del estudio PISA allá por el año 2000, muchos países han centrado sus debates de política educativa en los resultados internacionales en este tipo de pruebas. En esto España no es una excepción. No es raro ver en los periódicos reportajes especiales y titulares como este, cada vez que nuevas ediciones de PISA salen a la luz: “La educación española se atasca en ciencias y matemáticas, pero mejora en lectura”. Los resultados en PISA han sido también tratados en múltiples ocasiones en NEG, por ejemplo aquí, aquí o aquí. Sin embargo, tras esta práctica generalizada está el supuesto de que las diferencias que observamos en rendimiento en este tipo de pruebas corresponden directamente a diferencias en niveles de conocimiento de los estudiantes. Después de todo, así es como se supone que estas pruebas han sido diseñadas, ¿o no?
Desde mi grupo de investigación, charassein, en el Departamento de Reforma Educativa de la Universidad de Arkansas en EEUU, hemos estado retando este supuesto, ya que creemos que una parte importante de los resultados en este tipo de pruebas puede deberse a diferentes niveles de esfuerzo de los estudiantes. En mi documento de trabajo junto con Collin Hitt e Ildefonso Mendez encontramos que entre 32% y 38% de la variación entre países que observamos en los resultados de PISA se puede explicar por los distintos niveles de esfuerzo en la realización de la prueba, y no sólo por diferencias en el nivel de conocimientos de los estudiantes.
Para llegar a esta conclusión estudiamos los resultados de PISA de 2009 y usamos tres medidas de esfuerzo del estudiante. Para la primera medida, seguimos el trabajo de Borghans y Schils (2012), y calculamos hasta qué punto el rendimiento de los estudiantes disminuye a lo largo del examen de conocimiento de PISA, es decir, el nivel de fatiga de los estudiantes durante el examen. En particular, comparamos la probabilidad de acertar respuestas correctamente a las primeras preguntas del examen con la probabilidad de responder correctamente a las últimas preguntas. El hecho de que PISA diseñe distintas versiones del examen con un orden distinto de preguntas y asigne las distintas versiones a los estudiantes de manera aleatoria, nos permite controlar por el efecto del nivel de dificultad de las preguntas. De esta manera, sabemos que si el rendimiento disminuye en el transcurso de la prueba no es porque el final del examen tenga preguntas que son especialmente difíciles. Encontramos que, en media, los estudiantes de todos los países se cansan a lo largo del examen pero que hay países en los que los estudiantes se cansan mucho más que en otros. Uno de esos países parece ser España.
La Gráfica 1 muestra la probabilidad estimada de acertar correctamente a preguntas del examen, al principio y al final, para un grupo seleccionado de países. Vemos que los campeones de PISA, como Finlandia u Hong Kong, empiezan fuerte en el examen y sus estudiantes, aunque se cansan, no lo hacen tanto como en otros países. España es un país en el que los estudiantes empiezan realmente fuerte, al mismo nivel casi que Corea del Sur, pero pronto pierden interés y decaen al nivel de EEUU al final del examen. El caso más dramático es Grecia, el país con mayor tasa de fatiga en el examen. Es interesante saber que Borghans y Schils (2012) también encontraron este mismo resultado para Grecia, usando un año distinto de datos de la prueba PISA. Por ello, creemos que este tipo de medida de esfuerzo capta niveles de esfuerzo generales de los estudiantes en un país y no tanto algo idiosincrático que pasó un año determinado.
Gráfica 1: Rendimiento al Principio y al Final del Examen PISA, por País
En segundo lugar, estudiamos el esfuerzo de los estudiantes en la encuesta que el estudio PISA administra siempre después del examen de conocimiento. Añadir estas medidas de esfuerzo es una contribución importante de nuestro trabajo. Creemos que nos permiten detectar estudiantes totalmente desmotivados que no se pueden captar bien si sólo estudiamos los niveles de fatiga durante el examen. Esto es así porque, si el esfuerzo de los estudiantes se mantiene bajo durante todo el examen, el nivel de fatiga detectado será también nulo o muy bajo. Creemos que si este es el caso, los estudiantes seguramente tampoco se esfuercen en la encuesta y los podremos captar de esta manera. Además, uno podría argumentar que las medidas de fatiga en el examen se pueden ver afectadas por diferencias entre países en habilidades cognitivas o en las técnicas usadas durante el examen. Este no será tanto el caso en la encuesta ya que estas encuestas suelen ser simples, se escriben para niveles bajos de comprensión lectora y corresponden con preguntas básicas sobre el colegio, información demográfica y opiniones del estudiante. En particular, nosotros medidos esfuerzo en la encuesta a través de la proporción de preguntas que el estudiante deja en blanco (“item non-response”) y de medidas de hasta qué punto el estudiante parece responder a “boleo”, esto es, da respuestas que son impredecibles dadas sus respuestas previas y las de otros estudiantes a la misma pregunta y preguntas relacionadas (“careless answering”). La Gráfica 2 muestra la media de estas medidas para países participantes en PISA. Una vez más, España está entre los países con menores niveles de esfuerzo, también cuando miramos a la encuesta. Estudiantes en España dejan en blanco relativamente más preguntas y dan respuestas en media que aparecen más impredecibles.
Gráfica 2: Medidas de Esfuerzo en la Encuesta PISA, por País
A continuación estudiamos cómo la distribución internacional de resultados de PISA cambia si ajustamos por estas diferencias en esfuerzo de los estudiantes. En general, encontramos una menor dispersión de resultados cuando ajustamos por esfuerzo aunque los rankings de países no cambian tanto. España, por ejemplo, pasaría del puesto 28 en matemáticas al puesto 23 y del puesto 32 en matemáticas y ciencia al puesto 27 y 26, respectivamente, si se tienen en cuenta las diferencias entre países de esfuerzo de los estudiantes.
Con estos resultados quiero enfatizar que no es que crea que las pruebas de PISA no son válidas y no proporcionan información relevante. Todo lo contrario. Creo que proporcionan información muy necesaria, pero también creo que debemos ser conscientes de que siempre que preguntamos a los estudiantes en un examen, los resultados potencialmente reflejan dos cosas: cuánto saben y cuán dispuestos están en decirnos lo que saben. El hecho de que los niveles de esfuerzo sean distintos entre países es un resultado muy importante a tener en cuenta en la interpretación de los resultados en este tipo de pruebas y en la propuesta de políticas educativas para intentar mejorar rendimiento. Mi investigación previa, así como la de otros investigadores (ej. Borghans and Schils, 2012; Hitt, Trivitt and Cheng, 2016; Hitt, 2015; Zamarro et al. 2016), encuentra que este tipo de medidas de esfuerzo en exámenes o en encuestas predicen resultados educativos y en el mercado laboral más tarde en la vida y que pueden aproximar rasgos de personalidad o habilidades no cognitivas relacionadas con la perseverancia.
La reacción a resultados bajos en pruebas como PISA, la mayoría de las veces, ha sido pensar en intervenciones o políticas para mejorar o incrementar la instrucción en las materias en las que necesitamos mejorar. Los resultados de nuestro trabajo, para casos como España, muestran que potencialmente debemos trabajar las habilidades no cognitivas de nuestros estudiantes ya que estos muestran una deficiencia general de esfuerzo. Creo que si centramos toda nuestra energía solamente en intervenciones para mejorar el conocimiento puede que no veamos los resultados deseados. Este puede que no sea un camino fácil ya que otro de nuestros trabajos sugiere que hay un elemento cultural que determina estas habilidades no-cognitivas. Sin embargo, creo que merece la pena intentarlo.
Hay 15 comentarios
Hola, Gema:
Me ha parecido una entrada muy interesante. Quisiera saber una serie de cuestiones acerca de lo que comentas: ¿qué factores del sistema educativo, si los hay, pueden incidir en el aumento de la fatiga que muestran los estudiantes en general y a los españoles en particular? Por otro lado, ¿qué posición ocuparía España si solo tenemos en cuenta el inicio de las pruebas PISA?
¡Muchas gracias Juan Francisco! Muy buenas preguntas. Estudiar qué factores pueden estar relacionados es nuestro siguiente paso. Por ahora, nuestros resultados indican que hay un componente cultural. Hasta qué punto la sociedad valora el esfuerzo y el capital cívico de un país parecen relacionados con el nivel de esfuerzo de los estudiantes en este tipo de pruebas. También parece que características de los colegios pueden tener relación pero todavía tenemos que seguir estudiando esto y no tenemos conclusiones claras en este momento. Si miras al working paper en el Anexo tabla 4A tienes los resultados de nuestras estimaciones de rendimiento al principio del test en la primera columna con números. Según estas estimaciones si solo miramos al principio del test España seguiría en el puesto 27 aunque las diferencias entre países se reducen bastante.
Podría citarse tambien el trabajo de Balart, Osterbeen y Webbink (2016) o de Balart y Cabrales (2014), que tambien miden la fatiga de PISA para España y otros países
http://www.sociedadyeducacion.org/site/wp-content/uploads/SE-Balart-Cabrales.pdf
http://ftp.iza.org/dp9559.pdf
Fernando, muchas gracias por tu comentario. Sí, estoy de acuerdo, estos trabajos son también relevantes para nuestros resultados. Nosotros también hemos mirado la influencia de diferencias en esfuerzo, o habilidades no cognitivas, en el rendimiento de las distintas regiones de España. Este es el artículo:
http://www.uaedreform.org/downloads/2015/07/edre-working-paper-2015-05.pdf
También recomiendo leer este documento de trabajo de NBER que acaba de salir y que muestra, en un marco experimental, que pagar incentivos a los estudiantes en EEUU mejora su rendimiento en este tipo de pruebas. Creo que este artículo también es un buen complemento a nuestro trabajo: http://www.nber.org/papers/w24004
Un enfoque original e interesante. Una circunstancia que podría influir es el tipo de pruebas de evaluación que se emplean en cada país. Es decir, ¿es posible que los estudiantes Finlandia sean evaluados regularmente en la escuela con tipos de pruebas más aprecidas a las que se emplean en PISA?
Por otra parte estoy de acuerdo en la influencia de factores culturales. En concreto en España, mi experiencia me dice que los estudiantes no se esforzarán pruebas a las que no vean una utilidad inmediata.
Ánimo con sus investigaciones y gracias por el post.
¡Muchas gracias Enrico! Exploramos un poco mirando esfuerzo dependiendo de si los países tienen sus propias pruebas “high stakes” o si PISA puede que sea más importante para ellos porque no hacen otros test y no parecía que había una relación muy clara. Pero es un buen comentario y lo seguiremos mirando…
Hola Gema, enhorabuena por vuestro trabajo, me ha parecido una entrada muy interesante. Creo que tiene mucho sentido lo que cuentas sobre el capital cívico de una sociedad y el esfuerzo que los estudiantes ponen en este tipo de pruebas. El tema del esfuerzo me ha llevado a pensar un poco acerca de la implementación de estos exámenes en los distintos países y me preguntaba qué es lo que sabemos (como usuarios de los datos) acerca de este aspecto: qué información reciben los estudiantes acerca de estas pruebas y de la utilidad científica de las mismas (para qué sirven, qué se puede aprender de ellas, por qué es importante hacer comparaciones entre países, por qué es importante tomárselas en serio…), quién les explica y proporciona esta información, hasta qué punto sus profesores o la dirección del centro están implicados en la logística de estas pruebas (motivando quizá más así a los estudiantes), ¿son los exámenes de PISA similares en cuanto al tipo y duración a los exámenes que los estudiantes están acostumbrados a hacer?, ¿en qué momento de la jornada escolar se realizan los exámenes de PISA? ¿a primera hora o al final de la jornada?...En general, ¿sabemos si estas cuestiones de implementación varían por países? ¿qué se sabe acerca de ello?
Aprovecho también para preguntarte si habíais mirado el tema de la fatiga o esfuerzo por regiones en España. Gracias!
¡Gracias Laura! Estas son todas muy buenas preguntas y todavía no tengo respuesta a todas ellas. Sé que el equipo de las pruebas PISA pone un gran esfuerzo para garantizar que las pruebas se realicen de manera equivalente en los distintos países participantes. PISA sigue un modelo de muestreo aleatorio estratificado en dos etapas. En la primera etapa los colegios de cada país se asignan a estratos dependiendo de sus características y así se obtiene una muestra aleatoria de colegios. Dentro de los colegios, se elige una muestra aleatoria de estudiantes por lo que no todos los estudiantes de un colegio se eligen para participar. De esta manera se intenta garantizar una muestra representativa de la población de estudiantes de 15 años de cada país. Ya que no todos los colegios participan ni todos los estudiantes de un colegio, incluso si los gobernantes de un país ven la prueba PISA como importante, no está claro que los directores de los colegios también lo hagan. Como una medida de hasta qué punto los directores de colegio consideran PISA como una prueba importante hemos estado mirando su esfuerzo en la encuesta PISA sobre el colegio que deben completar. Encontramos una relación significativa entre esfuerzo del director en esta encuesta y el esfuerzo de los estudiantes en la encuesta PISA, que los estudiantes hacen, pero no en el test. La relación parece también pequeña. En cualquier caso, estoy de acuerdo que sería bueno encontrar más información sobre cómo se imparte PISA.
En cuanto a esfuerzo en las distintas regiones de España te recomiendo mirar este otro trabajo nuestro: http://www.uaedreform.org/downloads/2015/07/edre-working-paper-2015-05.pdf
Y como comentaba Fernando arriba estos otros trabajos relevantes: Balart, Osterbeen y Webbink (2016) o de Balart y Cabrales (2014)
Creo que es importante destacar la incidencia de factores no cognitivos como la perseverancia y la persistencia en las tareas . El concepto de esfuerzo debería ser matizado para diferenciarlo del el significado pnsentido que le da la LOMCE
Me parece un gran trabajo y muy interesante ¿Puede que estemos dando demasiadas facilidades a los alumnos y eso haga que se esfuercen menos? Me da la sensación de que cada vez los profesores trabajamos más y los alumnos "se dejan llevar".
Creo que el "nivel de conocimiento" y la fatiga durante el examen (al menos medida por la diferencia en performance al principio y al final del examen) no son independientes.
Yo puedo pasarme un dia entero resolviendo las sumas y restas de mi hijo de 7 años sin mostrar fatiga pero me cansaría antes del cálculo diferencial. Lo que parece es que finlandeses y koreanos, resuelven más parte de sus pruebas con el "sistema 1" mientras que los españoles y griegos recurren más a su "sistema 2".
Si eso fuera así no es obvia la idea de que la fatiga no se resuelve con "más conocimiento".
El "pasotismo" es otra cosa pero, respecto a la idea de "mejorar las habilidades cognitivas" enraizadas en "elementos culturales", buena suerte. El futuro (o la tumba) es de los valientes.
Quizás ofrecer un peta a los estudiantes que muestren entusiasmo en la realización de las pruebas PISA y completen adecuadamente la encuesta mejoraría mucho los resultados de los estudiantes españoles
http://www.elmundo.es/elmundosalud/2012/04/30/noticias/1335807433.html
Un artículo muy interesante, Gema. Muchas gracias.
Recuerdo una entrevista con Toni Nadal, entrenador de Rafa Nadal, que decía que veía que en los colegios se ponía mucho énfasis en los conocimientos y poco en los valores y en las virtudes. Veo que tenía mucha razón.
Por otro lado, si no estoy equivocado, regiones como Castilla y León tienen resultados en PISA similares a los de los mejores países del mundo. ¿Son sus estudiantes más perseverantes y menos dados a la fatiga? ¿Habéis estudiado esos datos por comunidades autónomas? Y luego también hay diferencias de resultados por colegios, lo que supongo que complica el estudio.
En cualquier caso, enhorabuena
Enhorabuena, Gema, por el excelente trabajo que aporta la necesaria confirmación científica a lo que los profesores experimentamos día a día.
Ahora bien, si me permites el simplismo, lo que se plantea tiene que ver con la carrera de fondo. Un individuo no puede afrontar un maratón si no está entrenado. Por mucha voluntad que pongamos, todos hemos conocido el desfallecimiento, viendo cómo nos adelantan compañeros como motos. Es importante el interés, la ilusión, la autoestima en la realización de la prueba, correcto, y es un aspecto en el que se debe trabajar. Pero, quizás, sea más necesario estar bien preparado para afrontar un reto, que dados los niveles de exigencia de la Educación Secundaria actual en España sea un maratón para demasiados alumnos.
Hola Gema,
Esta el alumno obligado a contestar las preguntas en el orden en que aparecen? Quizas no es un tema de esfuerzo sino de conocimiento de estrategias ("dejate las preguntas mas dificiles para el final").
Gracias por la estrada, es muy interesante.
Los comentarios están cerrados.