En este foro nos hemos quejado repetidamente de la mala situación de nuestra universidad. Y hemos sugerido algún método para dar incentivos a los departamentos y titulaciones (por ejemplo aquí) tanto desde el punto de vista docente como investigador. Pero no a los individuos. En investigación la cosa es relativamente fácil y no es muy distinto a evaluar la de los departamentos. Pero, ¿y la docencia? Como verán, los procedimientos actuales son de dudosa utilidad. Pero es urgente encontrar una solución mejor, así que propondré algunos. Porque, como les mostraré, un mal profesor les cuesta dinero.
La evaluación docente más habitual se realiza mediante encuestas, que rellenan los estudiantes de manera anónima en algún momento del curso, normalmente antes del examen final. Como nos cuentan Becker y Watts en el año 1973 solamente el 30% de las universidades americanas utilizaban estas encuestas pero hoy día las usan prácticamente todas. La costumbre llegó a España más tarde, pero hoy son igualmente frecuentes. El objetivo es medir la capacidad docente de un profesor para tenerlo en cuenta en las decisiones de contratación y promoción. Esto a su vez es necesario porque la investigación es muy importante en esas mismas decisiones. La ausencia de algún criterio objetivo de calidad docente podría dar lugar a una asignación excesiva (en algún caso hasta exclusiva) de tiempo a la investigación.
Las encuestas suelen tener preguntas sobre el cumplimiento de las obligaciones de asistencia y atención al alumno, y otras preguntas relacionadas con la claridad de las explicaciones, interés y dificultad percibida de la asignatura y los materiales docentes, así como de satisfacción global con la docencia. Típicamente las preguntas sobre claridad y satisfacción global son las que mayor atención reciben por parte de los administradores universitarios. No es raro, por ejemplo, que un profesor que recibe notas en el cuartil inferior de las encuestas vea denegada su promoción.
Algunas consecuencias positivas se derivan de estas evaluaciones. Hoy día es raro, por ejemplo, que un profesor deje de venir de manera inexcusada y reiterada a impartir su clase, algo que en mi época de estudiante de grado era muy habitual. Pero las evaluaciones también son muy contestadas. Como dicen Becker y Watts, “muchos docentes ven las evaluaciones como concursos de popularidad que pueden ser manipulados por las políticas de calificación de un instructor, la ratio de entretenimiento en el aula, y la elección de actividades en la misma.”
Por todo lo anterior, y por el trabajo que cuesta recopilarlas, analizarlas y distribuirlas estaría bien evaluar la utilidad de las encuestas respecto al objetivo final, el aprendizaje de los alumnos y sus resultados en el mercado de trabajo. La mejor evidencia que conozco procede de un artículo de Braga, Paccagnella y Pellizzari. Los autores utilizan datos de la universidad Bocconi de Milán. Esta es una universidad privada, que imparte docencia en derecho, economía y administración de empresas. Una parte muy significativa de los profesores italianos de economía que enseñan en las mejores universidades del mundo se formó allí, al igual que destacados dirigentes empresariales del país.
Una característica importante de los datos es que los estudiantes que entraron en la universidad en el curso 1998/1999 fueron asignados de manera aleatoria a los diferentes grupos de los cursos obligatorios. Estos grupos además tenían el mismo programa. Por tanto, las diferencias de rendimiento en cursos posteriores de estos estudiantes se pueden atribuir a haber estado en estos grupos y no, por ejemplo, a la auto-selección de los mejores estudiantes con los mejores profesores. Obviamente en el grupo pasan otras cosas, además de recibir clases del profesor correspondiente. Pero los autores tienen datos de las características de los estudiantes del mismo, como sus notas de las pruebas de acceso a la universidad, de manera que pueden controlar por el efecto de haber caído por suerte en un grupo con mejores estudiantes.
El primer resultado es muy importante para entender la magnitud del problema. La diferencia de rendimiento entre los estudiantes que tuvieron a los mejores profesores (la calidad se mide, como decíamos, por los resultados en cursos posteriores) respecto a los que recibieron clase de los peores es de 0.427 desviaciones estándar, alrededor del 5.6% de la nota media. Para poner este efecto en perspectiva, los autores estiman una elasticidad de 0.45 del salario inicial (sobre el que también tienen datos) respecto de las notas de los estudiantes. Esto quiere decir que un mal profesor le cuesta a un estudiante de Bocconi, cuyo salario mensual medio en su primer trabajo es de cerca de 1000 euros, unos 25 euros al mes, un 2.5% de su salario.
De manera que identificar a un mal profesor puede ser un buen negocio para los estudiantes. Pero, ¿saben hacerlo? Estrictamente hablando sí, porque sus evaluaciones predicen bien la calidad del profesor. Lo malo es que la relación es inversa. Los mejores profesores en términos de resultados tienen, en media, peores evaluaciones. Como puede verse en la primera columna de la tabla que ponemos a continuación la correlación entre la efectividad del profesor y las dos preguntas más usadas de las evaluaciones, la de satisfacción global, y la de claridad del profesor, es negativa y significativa. Y además bastante grande. Un aumento de una desviación típica en la calidad del profesor le baja la evaluación en 0.4 desviaciones típicas. De manera que un profesor que estuviera en la mediana le bajaría al percentil 29 de la distribución.
La segunda y tercera columnas son también interesantes. La correlación negativa se hace mucho más pequeña (y hasta pierde su significación, pero esto es debido también al menor tamaño muestral) cuando las clases tienen más del 25 por ciento de estudiantes de alta capacidad. La definición de alta capacidad usada aquí es que los estudiantes estén en el cuartil superior de notas del examen de acceso a la universidad. La conjetura razonable es que la correlación negativa puede venir determinada sobre todo por los peores estudiantes.
El último resultado, bastante preocupante porque es consistente con el de otros estudios (Carrel y West, o Weinberg, Fleisher y Hashimoto) es que la correlación de la evaluación en el curso con las notas del profesor es positiva. Es decir los profesores bien evaluados solamente preparan a los estudiantes para su propio examen y luego estos lo hacen mal en las siguientes asignaturas. O, incluso peor, les sobornan con exámenes facilitos para salir bien en la foto (esto se puede hacer incluso cuando los exámenes son posteriores a la evaluación, bien creando una reputación o con promesas implícitas o explícitas).
Por si alguien se pregunta si vale la pena poner en cuestión una práctica tan generalizada sobre la base de un solo estudio de una sola universidad y un solo país, vale la pena leer los otros dos estudios que acabo de mencionar, de Carrel y West y Weinberg, Fleisher y Hashimoto. Los dos concluyen que las evaluaciones docentes no tienen una relación estadísticamente significativa con los resultados de los estudiantes, más allá del curso que evalúan. Por tanto, como mínimo las evaluaciones son inútiles para predecir. Y en el peor de los casos predicen el éxito al revés.
A mí me parece que tenemos que seguir buscando maneras de evaluar a los profesores. Una técnica que se usa en algunas universidades, como señalan Becker y Watts, es la evaluación por otros profesores. Pero no me convence demasiado. Las oportunidades para que unos nos cubramos las espaldas a otros son demasiado evidentes.
Otras dos posibilidades las sugieren el estudio de Braga, Paccagnella y Pellizzari. Una es preguntar sobre todo a los buenos estudiantes. En mi época en la Universitat Pompeu Fabra el decano se reunía con alguna regularidad con los estudiantes de mejores expedientes y obtenía información muy valiosa sobre los profesores y los cursos que impartían. Pero probablemente esta solución tampoco es perfecta. Es posible que los intereses de los estudiantes más capaces no sean representativos de los demás, o que sufran menos a los malos profesores.
Y me dejo para el final mi favorita. Si los exámenes los propusieran y corrigieran instructores distintos a los que dan las clases, uno podría buscar una medida de efectividad docente parecida a la de Braga, Paccagnella y Pellizzari. Los profesores son tan buenos como los resultados de sus alumnos en estos “exámenes estandarizados”, condicionales a sus notas de entrada en la universidad. Esto es, el premio o castigo se da por el valor añadido real de un profesor. Así nos equipararíamos en forma de evaluación a la de los profesores de primaria y secundaria. Y evitaríamos un sistema que en el mejor de los casos informa poco, y potencialmente puede llevar a corruptelas e inflación de notas.