de Julián Messina y Julian Cristia
En nuestro último post argumentábamos que el punto de partida para mejorar la política pública en la promoción de habilidades ha de estar en hacer un mejor uso de la evidencia para guiar las políticas públicas, algo que desgraciadamente es poco común. En este post nos centramos en el aprendizaje en primaria, y argumentamos que, aunque la evidencia sólida es aún escasa, existen algunas áreas de actuación que son prometedoras y en las que convendría experimentar. El análisis proviene de una extensa revisión cuantitativa de la literatura que realizamos para la publicación de Aprender Mejor: Políticas Públicas para el Desarrollo de Habilidades. Información detallada de la mayor parte de estas intervenciones, incluyendo poblaciones objetivo, contexto y métodos de análisis, se puede encontrar en el Skillsbank, una página web que resume áreas de actuación para la promoción de habilidades en las distintas etapas del ciclo de vida.
Hacia medidas estándar de impacto de políticas públicas
Para calcular el impacto de diferentes intervenciones sobre el aprendizaje en primaria procedimos en varios pasos. En primer lugar, definimos el objetivo a seguir como la mejora en dos ámbitos: lecto-escritura y matemáticas. Esto no significa que pensemos que en la escuela primaria sólo se ha de hacer énfasis en estos dos ámbitos, pero es fácil coincidir en que una buena lecto-comprensión, escritura y matemáticas son indispensables, pues además de ser éstas herramientas útiles per se, van a ser los instrumentos que permitirán un mejor aprendizaje futuro. Una vez que tenemos claros los objetivos, hacemos una revisión pormenorizada de la literatura y sólo incluimos en el análisis estudios que cumplen dos requisitos: (i) los impactos están bien identificados y (ii) tengan potencial de ser escalables. Por impactos bien identificados nos referimos a evaluaciones experimentales o cuasi experimentales donde hay un grupo de control, que no recibe la intervención pero es similar a quienes la reciben y por tanto sirve como comparación, bien identificado. El segundo punto no es menos importante, porque existen muchas intervenciones que aparentemente funcionan, pero son muy difícilmente replicables fuera del contexto particular en el que fueron testeadas o sería muy difícil implementarlas a gran escala.
Una vez que hemos seleccionado las intervenciones, nos enfrentamos a la difícil tarea de cómo ordenarlas. Es raro encontrar dos intervenciones idénticas que hayan sido evaluadas en diferentes contextos. Hasta ahora son fundamentalmente académicos quienes publican las evaluaciones de estas intervenciones. Y en el mundo académico se premia especialmente la innovación, así que los incentivos a replicar lo que funcionó en el país A en el país B son muy bajos, por no decir nulos. Esto no es necesariamente malo, pues así se innova con nuevas intervenciones y eventualmente aprendemos sobre cómo hacer mejor las cosas. Pero en ciencias sociales los contextos son fundamentales, por lo que lo que funciona en el país A puede no funcionar en el país B. Algún día estaremos más cerca de las ciencias de la salud, en las que los propios profesionales de implementación de políticas se encargan también de evaluarlas y publicar los resultados, contribuyendo a crear un acervo de conocimiento con las mismas intervenciones evaluadas en diferentes contextos. Desgraciadamente, aún no estamos en este punto.
Pero bueno, aunque no haya dos intervenciones iguales, existen ámbitos de intervención en los que podemos agrupar las diferentes políticas que han sido evaluadas. En el caso de primaria, identificamos 22 ámbitos de actuación que tenían como objetivo mejoras en el aprendizaje de matemáticas o lectoescritura. El abanico de intervenciones es amplio, yendo desde el uso de tutorías individualizadas, hasta dar incentivos monetarios o no monetarios a alumnos o profesores, pasando por diferentes opciones de uso de tecnología en el aula, tamaño y organización de la clase, etc. Una vez ordenadas las intervenciones, estandarizamos los impactos en aprendizaje para que sean comparables y utilizamos técnicas de meta-análisis que permiten agregar los resultados de múltiples evaluaciones y calcular un efecto promedio utilizando ponderaciones en base a la precisión estadística de cada estudio.
Una vez que tenemos claros los impactos de cada opción de política, nos queda la parte más peliaguda: calcular sus costes. Para la toma de decisiones, el coste-efectividad de cada opción de política es la variable clave. Alguna de las evaluaciones publicadas provee información de costes, pero en el mejor de los casos es incompleta. Lo que sí suele contener cada evaluación es información sobre los insumos necesarios. Con esta información y el coste de los insumos en un país tipo, podemos extrapolar los costes por estudiante. En nuestro caso calculamos los costes para Colombia en el 2015. Esto quiere decir que los costes en dólares no van a ser muy informativos para países de ingresos más altos, como por ejemplo España. Pero mientras la estructura de costes sea similar en ambos países la comparación entre el coste relativo de cada alternativa seguirá siendo válida.
Algunas intervenciones prometedoras
De todos los grupos de intervenciones estudiados, el apoyo con tutorías individualizadas a los alumnos que van rezagados es la que obtiene una mejor nota media. El impacto medio de las cuatro intervenciones estudiadas arroja una mejora de 34 puntos de aprendizaje. Para poner este número en contexto, se calcula que un estudiante promedio de tercer curso en Estados Unidos mejora en alrededor 40 puntos en un año, con lo cual, esta intervención en promedio !ha generado una mejora en los aprendizajes del 80%! Es difícil encontrar otras intervenciones tan efectivas. El problema que tienen las tutorías individualizadas es que, como cabe esperar, son muy caras. Una alternativa más costo efectiva, aunque no particularmente económica, consiste en agrupar las sesiones de apoyo en grupos pequeños. Pero como bien saben los lectores de este blog, nada es gratis. Al ser menos focalizadas las clases los impactos estimados también son más pequeños. El impacto medio de las 6 intervenciones incluidas en esta categoría es de una mejora de 9 puntos de aprendizaje.
Una opción apreciada entre economistas es la de dar mayores incentivos, tanto a alumnos como a profesores, para que hagan mejor su trabajo. Los primeros aprender y los últimos enseñar. Los incentivos monetarios tanto para alumnos como para maestros han demostrado tener un impacto positivo, aunque no elevado, con mejoras de entre 6 y 8 puntos de aprendizaje como promedio. Menos estudiados y probablemente más prometedores son los incentivos no monetarios a alumnos. Algunas de estas intervenciones consisten en hacer una pequeña presentación a los alumnos donde se les muestra que asistir a la escuela y aprender paga, dándoles información sobre los retornos a la educación o llevando a las escuelas figuras de prestigio, mentores, que motiven a los alumnos a estudiar más. Otras intervenciones dan incentivos directos al aprendizaje a través de competiciones, por ejemplo, sobre quién lee más libros en un mes. Estas intervenciones de incentivos no monetarios son más prometedoras porque son mucho menos caras, y las mejoras de aprendizaje en los pocos estudios hasta ahora evaluados muestran resultados muy similares a los incentivos monetarios.
El estudio también mostró que, al menos con la evidencia disponible, algunas de las opciones más discutidas en los medios y en diversos ámbitos de política económica no parecen ser las más costo-efectivas. Una de ellas es la reducción del tamaño de la clase. Reducir el número de alumnos en el aula de 25 a 20 estudiantes tiene un impacto medio de 6 puntos de mejora en el aprendizaje. Evidentemente, el costo de esta intervención en términos de infraestructuras y profesorado adicional necesario en cambio es muy elevado. Otras dos opciones que son más discutidas en países en vías de desarrollo pero que quizá apliquen menos a España son la extensión de la jornada escolar y exigir un mayor nivel educativo de los maestros. Las escuelas de muchos países en vías de desarrollo aún funcionan con dos turnos, mañana y tarde, con lo que las horas efectivas de enseñanza no suelen pasar de las cuatro. Extender la jornada escolar hasta las 7 horas que típicamente cursan los alumnos en los países desarrollados implicaría básicamente doblar el número de escuelas, y los resultados hasta ahora obtenidos son poco alentadores: un mero aumento de 4 puntos de aprendizaje. En muchos países en vías de desarrollo los maestros no necesitan tener un título universitario de grado superior. Basta con 2 años de educación terciaria. La evidencia disponible sugiere que exigir el grado superior, aún siendo muy costoso, no arroja efectos significativos sobre el aprendizaje.
Dejamos para el final dos áreas de actuación particularmente prometedoras. Ambas tienen que ver con distintas formas de apoyo a los maestros. Todos hemos experimentado lo que puede llegar a motivar un buen maestro, y el lastre en el aprendizaje que puede llegar a ser que te toque un maestro malo. Y cada vez tenemos más evidencia sólida de la importancia del maestro en el aprendizaje de los chicos (por ejemplo, en este trabajo para preescolares). Lo que no sabemos es cómo transformar un mal profesor en un buen profesor. Una opción prometedora es apoyar al maestro en la organización y contenido de la clase dándole detallados planes didácticos para cada día de clase y contenidos que pueden usar. Los resultados son alentadores, con mejoras medias en el aprendizaje de 9 puntos a un costo muy modesto. El otro camino prometedor consiste en apoyar las enseñanzas del maestro con clases de apoyo en laboratorios de computación un par de horas a la semana. La ventaja del aprendizaje de las matemáticas o la comprensión lectora a través del ordenador es que el software, si está bien diseñado, se adapta al nivel del alumno, asegurándose así de que nadie se quede descolgado. Por otro lado, se puede incorporar en el propio software juegos y competiciones que motiven a los alumnos a prestar atención. Los resultados de las intervenciones hasta ahora evaluadas son prometedores, con ganancias promedio en el aprendizaje de 16 puntos de aprendizaje y costos reducidos, sobre todo si las escuelas ya cuentan con un laboratorio con ordenadores.
Terminamos este post con una advertencia. Como hemos mencionado más de una vez, el contexto y la problemática local es fundamental para el diseño adecuado de las políticas públicas en áreas como el aprendizaje en primaria. Es por ello que el análisis que hemos hecho no debería ser tomado como un recetario sobre lo que hay que hacer o no hacer. Bajo nuestro punto de vista, la revisión de la evidencia internacional es un buen punto de partida para identificar áreas prometedoras de actuación, pero no puede ser sustitutivo de pilotear y evaluar a pequeña escala la intervención preferida en cada contexto antes de lanzarse a la aventura de una actuación a gran escala.
Hay 20 comentarios
Los incentivos a través de competiciones me da que puede desanimar a quienes no ganan nunca.
Yo resumiría el artículo en:
1. Orientar al profe (planes didácticos y contenidos)
2. Motivar al alumno (informar sobre réditos educativos y competiciones).
3. Reforzar clases (tutoría individualizada y/o clases por ordenador)
Completamente de acuerdo JesusR. Las competiciones hay que diseñarlas con cuidado para que no desanimen. Mi colega Julian C. me comentaba sobre una iniciativa en Chile aún en proceso de evaluación en la cual las competiciones son entre clases respondiendo a preguntas de matemáticas en un ordenador. La gracia del ordenador es que puede registrar el nivel inicial de conocimientos de cada chico, de forma que lo que importe para acumular puntos no sea cuánto sabes, sino cuánto mejoras con respecto a tu punto de partida. Al competir entre clases y no a nivel individual se daban refuerzos positivos entre los compeñeros.
Si fuéramos capaces de olvidarnos de vez en cuando del seguimiento del currículo y de cumplir los programas, si pudiéramos obviar el orden establecido de los temas, si admitiéramos que además de los contenidos de la materia podemos hablar de muchas otras cosas, es muy posible que la motivación no tuviera que diseñarse, sino que surgiría de forma natural.
Se trata de abandonar esa tendencia a la repetición de aquello que pensamos que funciona, que evita que nos equivoquemos; se trata de prescindir de ese apego a lo malo conocido que viene emparejado con el temor. Con esta forma de actuar, la escuela se convierte en una cantera de conformistas, perezosos y rebeldes, pero nunca de revolucionarios, de personas capaces de generar una revolución. Porque la repetición conduce inevitablemente a la falta de atención y, desde ella, es fácil instalarse en la pereza, es fácil dejarse arrastrar por la inercia, por la tendencia a mantenerse en el estado que ya se tenía. Justo lo opuesto a la actitud que se necesita para aventurarse, para explorar lo desconocido.
http://www.otraspoliticas.com/educacion/motivacion/
¿Qué les parece esto: http://itenlearning.com/mejora-de-resultados-en-matematicas-y-lectoescritura/?
😀
Estimado Julian,
La iniciativa parece interesante, pero la evaluación no parece bien diseñada. Si entiendo bien (y le pido disculpas si me he perdido algo porque lo he mirado rápidamente) la evaluación consiste en comparar pruebas diagnósticas de los alumnos que participan en el programa antes y después de la intervención (diapositiva 7 de ppt). El problema con este tipo de mediciones antes-después, es que todos los alumnos (los que participan en el programa y los que no) mejoran en matemáticas y lectoescritura a lo largo del curso. Por eso es fundamental tener un grupo de estudiantes que llamamos "de control", que sea idéntico al grupo de alumnos participantes y en el que también se mida su desempeño antes y después. Es a través de las diferencias entre la evolución de los que participan en el programa y la evolución de los que no participan, que podemos establecer la efectividad del programa.
Un cordial saludo
Efectivamente, siempre nos olvidamos del contrafactual y de sus inesperados resultados :).
Un saludo.
Es muy fácil mejorar la calidad del profesorado. Tanto que asombra que no se haya aplicado un sistema que funciona en múltiples ámbitos.
Todos los años, al terminar el curso, se pide a los alumnos o a sus padres (dependiendo de la edad) o a ambos que valoren la calidad del profesor en una escala de 1 a 10.
El 10% de profesores con peor "rating" se les ofrece un diagnóstico de sus problemas, tutorías enfocadas a su mejora y un seguimiento. Si un periodo razonable (1 o 2 cursos) el profesor sigue en el mismo percentil se le "invita" a dedicarse a otra tarea que no sea la educación.
El 10% de profesor con mejor "rating" consiguen un suplemento salarial y se les invita a dar charlas al resto sobre su metodología en las aúlas y se invita a profesores (jóvenes o "malos") a observar en directo sus clases.
Tan fácil (se aplica parcialmente en mucha formación de postgrado) y con resultados asegurados.
Creo que siempre subyace a estos debates sobre la enseñanza la idea de que la devaluación del factor trabajo observada en las últimas décadas se debe a un desajuste serio en los métodos educativos, al hecho de que los métodos "no están adaptados a los retos del mundo actual".
No. Cualquiera que trabaje en la economía real (sector privado, gente que depende de un salario para vivir, esas cosas) ha visto que los jóvenes que empiezan están mejor formados (en el sentido de "adaptados a los retos") que nunca y, sin embargo, ganan menos que nunca.
La causa de la devaluación del trabajo es, sencillamente, el exceso de oferta. Ya no hay demanda agregada para tener a todo el mundo trabajando 40 horas semanales. ¿Es tan difícil comprenderlo?
Hola Jaime. Posiblemente los jóvenes de hoy están mejor preparados para alguno de los retos del mercado de trabajo al que se enfrentan (por ejemplo, para el uso de nuevas tecnologías) que sus mayores. Pero quizá esa no es la comparación adecuada. Para que la economía sea competitiva necesitamos que los jóvenes españoles de hoy estén tan bien preparados como en Finlandia o en Alemania. Y si miramos los resultados de PIACC, centrándonos en los jovenes de 20 a 24 con educación terciaria, en España andamos por la cola. En matemáticas, por ejemplo, estamos entre Chipre e Irlanda, a distancia considerable de Finlandia, Holanda y Alemania. Por otro lado, es difícil hablar de exceso de oferta cuando economías como las de EEUU o Alemania están en pleno empleo. El problema del mercado de trabajo español, más allá de un problema de habilidades, tiene mucho que ver con una legislación laboral disfuncional, algo sobre lo que se ha hecho mucho hincapié en este blog.
Julian,
es una visión muy desenfocada pensar que son nuestros estudiantes universitarios quienes hacen competitiva una economía.
Para empezar, los países no compiten: cuantas más cosas produzcan los estudiantes finlandeses o los alemanes, más cosas tendrán que producir los estudiantes españoles pues mayor será la demanda agregada (y a la inversa). Lo peor que le puede pasar a los "profesionales españoles" es que los finlandeses o los alemanes sean unos mantas (y eso para cualquier nivel de formación en España).
Pero es que, además, salvo casos excepcionales, compiten los "profesionales" no los estudiantes. Los estudiantes, cuando salen de la universidad son una "carga" (que te asignen un becario siempre fue más trabajo adicional que ayuda), son los profesionales con más de 15 años de experiencia (por ser generoso), quienes marcan la diferencia.
En esos 15 años pasan cosas mucho más relevantes que la universidad: formación en el trabajo, nivel de competencia entre empresas, incentivos para arriesgar.
Nunca pregunté a mis jefes que sacaron en el PIACC y dudo mucho que hubiera correlación entre lo que sacaron y su "calidad" (si acaso negativa).
Gracias por el comentario. Uso medidas para los jovenes para darle una oportunidad a España de quedar mejor en el ranking, pues tenemos un rezago importante con países como Finlandia o Alemania, así que no sería sorprendente que los adultos de más de 55 estuviesen peor preparados. El motivo de centrarse en universitarios, de nuevo, es intentar comparar manzanas con manzanas, pero los resultados no son muy diferentes si miramos adultos jóvenes con niveles educativos menores.
No dudo que sus jefes supiesen poca matemática o tuviesen bajos niveles de lecto-escritura, pero discrepo que ésto sea irrelevante para hacer una economía competitiva. Quizá es por eso que España es uno de los países con una menor inversión privada en I+D de toda la OCDE, como nos contaba Gerard Llobet hace unos días en este blog.
Gracias Julian por la respuesta.
El argumento no es que las matemáticas o la lecto-escritura sean malas. El argumento es que lo que la mejora marginal en matemáticas o lecto-escritura aporta es muy inferior a lo que aportaría:
* Evitar que los jóvenes tengan (en %s de echarse a temblar) trabajos temporales y rotatorios en los que no se forman (un universitario medio que lleva 5 años sin trabajo fijo está peor formado para el mercado laboral que alguien espabilado que terminó el high school y lleva 5 años fijo en una empresa innovadora).
* Evitar las barreras regulatorias del emprendizaje. Uno tiene la sensación de que formarse para ser funcionario aporta más bien poco a la competitividad del país (por muy bien que lean y sumen los funcionarios).
* Evitar modelos fiscales que penalizan el éxito y el esfuerzo.
No se trata de descubrir qué es marginalmente útil si no cual es la relación entre la utilidad marginal conseguida y los recursos empleados en obtenerla.
Jaime, que los jóvenes de hoy en dia estuviesen mejor preparados para el mercado laboral sería, de suceder, una auténtica casualidad dada la desconexión absoluta existente entre mercado laboral y formación.
En la mayor parte de los casos (por no decir en todos) quienes se dedican a formar a nuestros jóvenes tienen una experiencia muy limitada (cuando no nula) de los mercados laborales "reales".
Y no creo que sea un problema de "demanda agregada", pues muchas economías mundiales están en situación de pleno empleo.
Lo que probablemente sucede es que el aumento del número de universitarios solo conduce a una "inflación de credenciales": el nivel de estudios requerido para conseguir un trabajo ha aumentado mucho más que el nivel de estudios requerido para desempeñar un trabajo. Si todo el mundo tiene estudios, esos estudios valen menos en el mercado laboral. Si esos estudios son en filología clásica, historia, ciencias políticas o, mal que nos pese, economía con más razón todavia.
Gracias Jose Pablo. No creo que fuese tan fácil, pues las valoraciones docentes de padres y/o alumnos están llenas de sesgos que uno debería controlar antes de juzgar a un maestro, pero seguro que con el tratamiendo adecuado e información adicional serían útiles para ir en la dirección de dar incentivos y apoyo a los maestros que lo necesitan.
Julian,
no sé si tienen sesgos o no. Pero también los tiene la opinión de los electores cuando eligen Presidente del Gobierno y ese sigue siendo el mejor sistema que se nos ha ocurrido. Y también los tienen los clientes cuando "eligen" bienes y servicios y ningún sistema tan bueno como el "mercado con sesgos" se nos ha ocurrido.
Las ventajas de mantener el sistema "simple" y fácil de entender superan los posibles incovenientes de los "sesgos" (sesgos que asumimos con "soltura" en el mejor sistema político y de intercambios voluntarios que hemos sido capaces de diseñar).
Mis 4 hijos han pasado a estas alturas ya por varios colegios. En todos ellos, sin excepción, había un consenso claro entre los padres de qué profesores eran pésimos y que profesores eran excelentes. Desaprovechar esa información (que es la favorita de los padres al principio de cada curso y que está disponible solo con preguntarla) no tiene ningún sentido. Y ahora mismo el sistema la desaprovecha.
Los sesgos existen, y hay bastante literatura al respecto. Por ejemplo, de genero. A igualdad de calidad, los alumnos tienden a apreciar más a profesores hombres que a mujeres (al menos en educación terciaria). Por ejemplo, aqui; https://www.sciencedirect.com/science/article/pii/S0047272716301591. Pero coincido con Ud. El hecho de que puedan existir sesgos no quiere decir que debamos despreciar la información. Lo que hay que hacer es tratarla con cuidado.
Jose Pablo:
Repare en que el método de evaluación de profesores que propone se presta a la aparición de terceros afectados y que no pueden defenderse.
Si los profesores y los alumnos se ponen de acuerdo en plan: "yo os apruebo aunque sepáis poco y vosotros me dais una buena calificación", esto es una posible estafa para terceros, ya sea porque ellos sí se esforzaron o están dispuestos a hacerlo, ya sea porque se matriculan en ese centro pensando que en él no ocurren esas cosas.
No tengo tan claro siquiera que el método pueda funcionar en la universidad, donde los alumnos son adultos y se puede considerar que desean aprender "por la cuenta que les tiene", o sea, ser atractivos a los ojos de sus futuros empleadores. La correlación entre lo que sabe un recién titulado y lo que su empleador cree que sabe es escasa. Como usted bien ha dicho, casi todo se aprende trabajando.
Jose Pablo, Julián:
Gracias por las réplicas. Es difícil en tan poco espacio desarrollar todas las ideas que se vienen a la cabeza.
En efecto, los países no compiten económicamente. La falacia de la competitividad se basa en la idea errónea de que la economía es un juego de suma cero. Si los finlandeses son más listos que nosotros, se llevarán nuestra comida y moriremos de hambre. ¡Cuánto daño ha hecho Darwin!
Pues no. Cuanto más listos sean los finlandeses, mejor para nosotros, porque querrán que les enseñemos la Alhambra o les demos clases de flamenco (hablo de cosas que sabemos hacer) a cambio de parte de lo mucho que producen.
Así funciona la economía, a menos que... haya resistencias para la expansión de la demanda agregada. Porque, en ese caso, los puestos de trabajo son escasos y los asalariados deberán COMPETIR por ellos. Este problema no se presenta para los capitalistas; quizá vendan menos, pero lo compensan con la reducción de los costes.
Ningún economista que se precie negará (aunque sea sólo algo tácito, implícito en los modelos) que la demanda puede crecer DE MANERA INDEFINIDA.
Yo, que tengo menos autoestima, no lo tengo tan claro.
Gracias por el comentario Jaime. Efectivamente, si en Finandia son mas productivos eso no implica menos empleo para España. Pero en el largo plazo los salarios están vinculados al nivel de productividad de una economía, y existe mucha evidencia que vincula dicho nivel al nivel de cualificaciones de su fuerza de trabajo
Para anyadir a las ideas: el ambiente en la escuela
Las teorias modernas dicen que los ninyos se socializan con los ninyos (e.g. se copian el comportamiento, adquieren personalidad..)
Conseguir que un ninyo este expuesto a una clase donde el resto de los ninyos sean participativos en un graaaaan plus (como generalizarlo puede ser mas dificil).
Esto esta bastante estudiado en USA con los ninyos afroamericanos
http://www.nytimes.com/books/first/j/jencks-gap.html
Los comentarios están cerrados.