CORE ECON – Primer intento de evaluación

N.A. Una versión prácticamente idéntica de esta entrada, la escribí con Christian Spielmann, y se publicó en el Blog de CORE Econ.

Ya les he contado un par de veces que estoy implicado en un ambicioso proyecto de renovación curricular en economía (aquí, o aquí). Estamos muy ilusionados con ello, pero dado lo pesados que nos ponemos con la evaluación docente (aquí, aquí o aquí) imagino que estarán deseando saber si nos aplicamos el cuento. Hoy toca proporcionar un indicio preliminar, y como verán para nuestro alivio las noticias son bastante buenas.

Primero, les recuerdo brevemente el objetivo del proyecto. La enseñanza de la economía necesita una renovación, nuestros libros de texto introductorios se parecen demasiado a aquellos en los que estudié yo, a pesar de los avances de la economía en estas décadas. El proyecto CORE está fuertemente arraigado en los resultados empíricos y los desafíos del mundo real, y todas las unidades comienzan a partir de observaciones y regularidades empíricas, para luego presentar a los estudiantes los instrumentos económicos necesarios para comprender mejor las cuestiones de interés. Asimismo, los libros de texto tradicionales por lo general comienzan a partir "del mercado de competencia perfecta" y otras instituciones se ven solamente como desviaciones anecdóticas. Pero (tal vez curiosamente, visto desde fuera), este no es la forma de pensar actual de los economistas académicos. En el CORE empezamos con un enfoque más moderno, en el que pensamos en las personas y las sociedades como entidades que necesitan ser organizadas y tomar decisiones, y lo hacen lo mejor que pueden. En este proceso, las reglas (escritas o no) que regulan sus interacciones son cruciales para el resultado final.

Lógicamente, el nuestro no es el único ejemplo de renovación docente. También les hemos contado el esfuerzo de transformar la enseñanza de los métodos empíricos del "Mastering Metrics" (que después comentaron José García Montalvo y Jesús Gonzalo), o el proyecto de innovación docente que contó Humberto Llavador en el Simposio de la AEE integrando fuertemente los métodos experimentales en la enseñanza de la introducción a la economía.

Las encuestas de evaluación docentes del curso fueron buenas los dos años que lo hemos enseñado, pero ya saben que tengo dudas fundadas en la evidencia sobre su utilidad como instrumento de evaluación. Por esto nos concentramos en la otra medida que proponía en la entrada que escribí sobre encuestas de evaluación, el impacto en nuestros estudiantes en asignaturas que tomaron después de la nuestra. De paso contestaremos a la pregunta favorita que nos hacía muchos colegas desde la introducción del CORE Econ en UCL en 2014:"Pero, ¿Los estudiantes que tomaron el curso de introducción con el currículo CORE estarán bien preparados para las asignaturas de economía intermedia en el segundo año?" Profesores, administradores e incluso los estudiantes se hicieron eco de esta preocupación en todo el mundo.

A menudo nos vimos tentados a responder: "Sí – claro que lo van a hacer bien" - estábamos seguros de que el CORE cubría los conceptos económicos y las técnicas necesarias para sobresalir en sus estudios futuros. Sin embargo, preferimos esperar para dar esa respuesta en público hasta que pudimos aportar alguna evidencia sobre el asunto. Ahora podemos, finalmente, dar una respuesta preliminar (como debe serlo cualquier respuesta científica): "Los datos disponibles hasta el momento indican que nuestros estudiantes están muy bien preparados para sus estudios intermedios en micro y macroeconomía".

Este verano, los estudiantes de segundo año que hicieron los exámenes de Microeconomía y Macroeconomía intermedias en UCL eran la primera cohorte de estudiantes que habían estudiado introducción a la economía con el CORE en su primer año. Mientras el CORE ha cambiado significativamente la estructura de nuestro curso de introducción a la economía, nuestros cursos de segundo año se han mantenido (esencialmente) sin cambios y siguen basándose en libros de texto estándar intermedios.

Comparando las notas de los exámenes de micro y macro intermedia de este año con las de la cohorte anterior, que había estudiado un curso de introducción a la economía tradicional, los resultados confirman la hipótesis original. En tanto la micro como la macroeconomía, la cohorte que estudió el Core Econ lo hizo en promedio significativamente mejor que los estudiantes que no tomaron el CORE. Pero la mejora no se da solamente en el promedio. Más estudiantes consiguieron un “first class” (la máxima clasificación) o un “upper second” (la segunda clasificación). Además, hubo una clara reducción en los ”third class” (la cuarta peor clasificación), y menos estudiantes suspendieron macroeconomía. Por tanto, es una mejora global, no de un único grupo de estudiantes.

(Nota: Para los lectores que no conozcan el sistema del Reino Unido, según la Agencia de Estadísticas de Educación Superior, un título de "first class" I se da en promedio en universidades del Reino Unido al 20% de los estudiantes, un “upper second” II.1 al 50%, un “lower second” II.2 al 25%. Y un “third class”III al 5%. Lógicamente estas estadísticas reflejan las medias de los que han aprobado, y por tanto excluyen suspensos, y en todo caso varían de asignatura en asignatura.)

Porcentaje de notas de los estudiantes de la cohorte expuesta a CORE (en negro) y la no expuesta a CORE (en rojo).
Porcentaje de notas de los estudiantes de la cohorte expuesta a CORE (en negro) y la no expuesta a CORE (en rojo) para microeconomía.
Porcentaje de notas de los estudiantes de la cohorte expuesta a CORE (en negro) y la no expuesta a CORE (en rojo) para macroeconomía
Porcentaje de notas de los estudiantes de la cohorte expuesta a CORE (en negro) y la no expuesta a CORE (en rojo) para macroeconomía

Aunque no podemos estar seguros de los mecanismos que dan lugar a este resultado, una posibilidad es que refleje el efecto del CORE en un aumento de la motivación de los estudiantes, lo que podría mejorar el esfuerzo y el compromiso en el segundo año de estudio. Otra hipótesis es que al proporcionar una formación menos mecánica y más reflexiva, el material del CORE prepara mejor para las necesidades de los cursos avanzados.

No hay tampoco evidencia de que se tratara de un grupo inusualmente talentoso de estudiantes. Una forma de verlo es que el rendimiento de la misma cohorte en Econometría, una asignatura de segundo curso que se toma al mismo tiempo que la microeconomía y la macroeconomía intermedias, es muy similar para esta cohorte a la de sus predecesoras. Puesto que la econometría está, por naturaleza, más relacionada con las matemáticas y la estadística y menos relacionada con la introducción a la economía, la estabilidad en el rendimiento de la econometría nos anima a pensar que la clara mejora en la macro y la microeconomía no puede ser debidas a una cohorte más capaz en general.

Porcentaje de notas de los estudiantes de la cohorte expuesta a CORE (en negro) y la no expuesta a CORE (en rojo) para econometría.
Porcentaje de notas de los estudiantes de la cohorte expuesta a CORE (en negro) y la no expuesta a CORE (en rojo) para econometría.

El CORE es riguroso en el sentido de que exige a los estudiantes reflexionar y aplicar las herramientas analíticas y empíricas apropiadas con el fin de analizar los problemas del mundo real con cuidado. Además, se enseña a los estudiantes desde el principio de sus estudios, que los economistas profesionales utilizan herramientas narrativas y representaciones gráficas de los modelos, además delas matemáticas. Este enfoque parece que da resultados cuando se trata de aprender y entender un tratamiento más técnico de la economía.

Por supuesto, es demasiado pronto para hacer afirmaciones muy generales sobre el efecto del CORE sobre el aprendizaje del estudiante. Tendremos que hacer un análisis más elaborado sobre este tema. Sin embargo, estas estadísticas nos dan más confianza de que la renovación de nuestro curso de introducción a la economía es un paso en la dirección correcta.

Antonio Cabrales

Doctor en Economía por la Universidad de California, San Diego (1993). Actualmente es Profesor del departamento de economía de la University College London e Investigador Afiliado del CEPR. Sus áreas de investigación se centran en la Economía de las organizaciones, el diseño de instituciones, economía del comportamiento y economía experimental.

Hay 6 comentarios
  • Antonio, me parece genial! Un resultados estupendos que bien merecen el esfuerzo. Crees que puede influir también el posible entusiasmo de los profesores por un sistema que no es sólo más atractivo para los estudiantes? Creo que el "entusiasmo" los profesores también influye en la "afición" hacia una u otra asignatura.

  • Es possible, e incluso probable. Logicamente en cualquier proyecto docente influye el entusiasmo del profesorado por el mismo. Justamente cuando hablaba de las escuelas "no tradicionales" sugeria esto mismo como origen de su exito con algunos estudiantes. En realidad por esto es tan dificil evaluar una metodologia docente de forma aislada, por la gran complementariedad que hay entre el metodo y quien lo emplea.

  • Antonio, enhorabuena, es una gran noticia que este nuevo enfoque funcione. Dado que no creo que sea un grupo elegido aleatoriamente, ¿podéis/pensáis hacer algún análisis ulterior, teniendo en cuenta algunas características de los estudiantes?

    • Si, claro, a eso me refiero con "Tendremos que hacer un análisis más elaborado sobre este tema." En todo caso el grupo "tratado" es el curso en que se introdujo, que se decidio poco menos que al azar (es decir, no esperamos a ver si venia una buena cohorte para introducirlo, y en todo caso estas no suelen variar mucho de un curso al siguiente), asi que probablemente veremos que las muestras estan bastante equilibradas en los observables.

  • Que gran proyecto.

    Sería estupendo que este cambio de perspectiva llegara eventualmente también al programa de 1º de Bach en forma, por ejemplo, de una segunda línea de manuales que compita con la versión más "ortodoxa" en una gran editorial. O bien como apuesta de una editorial más pequeña.

    Los chicos de secundaria son esponjas. Este nuevo enfoque más significativo para ellos, percibido más cerca de su realidad, creo que sería muy exitoso.

    • Gracias, Abelardo. Un profesor de secundaria americano está comenzando un proyecto de adaptación del CORE a secundaria. Si alguien está interesado, le puedo poner en contacto.

Los comentarios están cerrados.