¿Puede ayudar la IA generativa en la docencia?

Creo que no es una exageración decir que la IA generativa puede cambiar el mundo en general, y quizá hasta tenga (o no) un impacto en productividad mayor de lo que ha tenido Internet. De esto ya hemos hablado por aquí, tanto en general como para España. Y también hemos visto que es una herramienta que se está convirtiendo en imprescindible en la investigación económica. Hoy me gustaría centrarme en el impacto en la docencia, a partir de un interesante artículo de Wang y Fan que hace una revisión sistemática de la literatura sobre el tema (y que me ha pasado mi hijo). El artículo se centra en ChatGPT, es decir, no cubre todos los diferentes modelos de IAG que existen, pero intenta abarcar muchos estudios diferentes. También es verdad que todos los LLM (Modelos de Lenguaje Grandes) funcionan de forma similar.

Desde su irrupción en noviembre de 2022, ChatGPT ha generado un gran entusiasmo. Profesores, estudiantes, tecnólogos y responsables de políticas públicas debaten su potencial como herramienta de aprendizaje, pero también sus riesgos. ¿Estamos ante una revolución educativa o simplemente ante un asistente con luces y sombras? Y, quizá conviene ser prudentes. Primero, porque la tecnología avanza a gran velocidad, y no sabemos lo que puede pasar en 3 años o, mucho menos, en una década. Y, segundo, porque hay una tradición de que diferentes tecnologías van a ser tremendamente disruptivas, y luego no cambia mucho. Yo me acuerdo de que había gente que pensaba que los MOOC (Cursos Abiertos Online Masivos) nos iban a dejar sin trabajo, y aquí estamos. Y los más mayores me dicen que algo similar pasó cuando nació la televisión.

El trabajo de Wang y Fan lleva a cabo una meta-análisis de 51 estudios experimentales y cuasi-experimentales publicados entre noviembre de 2022 y febrero de 2025. Su objetivo es determinar si ChatGPT mejora el rendimiento académico, la percepción del aprendizaje y el el pensamiento crítico o creativo. Y, lo que quizá es más importante, entender cuándo y cómo funciona mejor.

Los autores analizan tres dimensiones clave del aprendizaje. El rendimiento académico, evaluado típicamente con exámenes o pruebas objetivas. La percepción del aprendizaje, a través de escalas de autoevaluación y cuestionarios. El pensamiento de orden superior, que incluye habilidades críticas, creativas y de resolución de problemas.

Cada dimensión se evalúa a través del estadístico Hedges’s g, una medida estandarizada del tamaño del efecto. Con respecto al estadístico de Cohen, que también mide los efectos en desviaciones estándar y que hemos usado mucho por aquí (yo desde luego todo el rato), la diferencia principal es que hace un ajuste por muestras pequeñas.

Los resultados son bastante contundentes. En rendimiento académico, el tamaño del efecto es muy alto, g = 0.867. Francamente, es tan alto que me cuesta creer. La mayor parte de intervenciones educativas que conozco son mucho más pequeñas, en el mejor de los casos de un tercio de ese número. No digo que sea mentira, y desde luego sube mis creencias a posteriori, pero de momento mantengo algo de escepticismo. En percepción del aprendizaje y pensamiento de orden superior,  es también grande, pero algo más modesto,  g = 0.456 y g=0.457, respectivamente. Esto significa que, en promedio, los estudiantes que usan ChatGPT obtienen mejores resultados académicos, tienen una experiencia de aprendizaje más positiva y desarrollan mejor sus habilidades cognitivas complejas en comparación con aquellos que no lo usan.

El estudio analiza también qué factores amplifican o reducen este impacto. Para empezar, el efecto es más fuerte en cursos de escritura académica y formación en habilidades no cuantitativas, que en matemáticas o ciencias duras. Por otro lado, el uso de ChatGPT en entornos de aprendizaje basados en problemas o proyectos potencia especialmente el rendimiento. Además, los efectos se estabilizan y maximizan con un uso continuo de entre 4 y 8 semanas. El uso ocasional o por menos de una semana muestra resultados más modestos. Quizá lo más interesante, para mí, es que ChatGPT funciona mejor cuando actúa como tutor inteligente (proporcionando guía, retroalimentación o correcciones) o como compañero de aprendizaje, en lugar de ser solo una herramienta auxiliar. Creo que esto último es muy importante. Sabemos en educación que la tutorización es muy útil, pero también que es cara, porque funciona en grupos pequeños. Si ChatGPT funciona como sustituto de un input caro, hacemos una gran revolución.

Los autores sugieren una serie de recomendaciones prácticas para educadores y responsables de políticas, que son medio de sentido común, pero por completitud, las comparto también.

1. Incorporar ChatGPT en marcos pedagógicos sólidos, como la taxonomía de Bloom, especialmente para fomentar pensamiento crítico y creativo.
2. Utilizarlo de forma transversal, en diferentes niveles educativos y tipos de curso, adaptando su rol según las necesidades (tutor, compañero, herramienta).
3. Favorecer modelos activos, como el aprendizaje basado en problemas o en proyectos (de lo que soy muy fan, como ya dije aquí), donde ChatGPT puede servir como acelerador del proceso.
4. Asegurar una integración continua, evitando su uso puntual o improvisado. Lo ideal es mantener su uso por al menos un mes para estabilizar beneficios.
5. Formar a docentes y estudiantes para que usen ChatGPT con sentido crítico, evitando una dependencia acrítica de la herramienta (me ha pasado a mí, que he tomado una solución a un problema de investigación de la herramienta y estaba todo mal, y me ha retrasado varias semanas cuando al final nos dimos cuenta).

Aunque los resultados son optimistas, los propios autores advierten que los efectos sobre la percepción del aprendizaje y el pensamiento de orden superior aún tienen un margen de mejora. Además, la base empírica para estas dos dimensiones sigue siendo relativamente limitada. También señalan riesgos ya identificados en otras investigaciones: dependencia tecnológica, posibles errores en las respuestas de la IA, y dilemas éticos sobre plagio o autoría. Por ello, subrayan la necesidad de un uso guiado y reflexivo, no meramente instrumental.

Por tanto, incluso ateniéndonos literalmente a los resultados del estudio, ChatGPT no es una varita mágica, pero sí puede ser una herramienta transformadora si se integra con criterio pedagógico. Podemos mejorar los resultados, pero el impacto requiere su uso cuidadoso e integrado en la estrategia pedagógica.

Pero además como ya he dicho por el lado positivo la propia herramienta está evolucionando a toda velocidad. Y del lado negativo la historia del empleo de las tecnologías de la información y comunicación nos obliga a ser prudentes. Pero para ser el “one-handed economist” que pedía Truman, creo que esta vez sí que puede que nos encontremos con una tecnología realmente disruptiva. Y en todo caso parece que la opinión de que con ChatGPT los niños se van a volver tontos y no van a saber pensar de momento no tiene mucha base. Se aceptan apuestas.