- Nada es Gratis - https://nadaesgratis.es -

Los exámenes “on-line” no son exámenes

Por Juan Luis Jiménez

La pandemia del Covid-19 ha traído importantes cambios en la docencia en todo el mundo: para los gestores, lograr que alumnado y docentes dispongan de infraestructuras adecuadas para recibir y realizar la labor docente; para el alumnado, adaptarse al nuevo marco telemático; y para los docentes, mantener la calidad de las clases que fueron presenciales, además de evaluar “en condiciones”.

Algunos de estos cambios se han abordado en el blog. Cerrar los centros educativos (para primaria y secundaria, fundamentalmente) es una mala opción para la igualdad de oportunidades del alumnado, como nos apuntó Sevilla et al, o Sainz y Sanz (aquí o aquí). Antonio Cabrales mostró evidencias positivas sobre la docencia virtual en la Universidad. Pedro Rey aportó consejos para implementar clases virtuales que alcancen mejores resultados. Gerard Llobet se preguntó si era positivo grabar las clases.

Pero, ¿y la evaluación de los conocimientos? ¿Es diferente hacer un examen presencial que uno online, en la Universidad? Javier Ferri apuntaba que sí y, de hecho, abogaba por aplazar las evaluaciones hasta que pudieran ser presenciales.

Hace unos días, la prensa recogía que miles de universitarios solicitaban la suspensión de los exámenes presenciales por miedo a los contagios, y la consecuente transformación de estos en exámenes “on-line”. La pregunta es directa y recurrente: ¿es una buena idea, para alumnos y para docentes (excluyendo, obviamente, la existencia de riesgo sanitario evidente)? Trataré de aportar evidencias objetivas y, probablemente, algunos sesgos profesionales.

¿Qué es un examen?

La primera cuestión que debemos plantearnos es, precisamente, qué es un examen. Según la R.A.E. de la Lengua, es una “prueba que se hace de la idoneidad de una persona para el ejercicio y profesión de una facultad, oficio o ministerio, o para comprobar o demostrar el aprovechamiento en los estudios”.

La definición es clara y aséptica. Pero quienes han pasado por las aulas sabrán que un examen es un “hervidero de incentivos” (entiéndanlo como desee) en el que se evalúan no solo conocimientos adquiridos, sino también competencias que, en muchos casos, son aún más valiosas que el propio conocimiento de la materia.

Como docente, me atrevo a afirmar (esto es una opinión) que la mejor opción es siempre realizar una evaluación continua de las asignaturas (esa era la piedra angular del Plan Bolonia, aunque no necesariamente lo lograse). Pero como sabemos, su relación con el tamaño de la clase es inversa: cuanto mayor es el grupo, menor es la probabilidad de aplicar dicha evaluación. Y hay que recordar también que las reformas, sin financiación, suelen no alcanzar los resultados previstos.

¿Por qué no es gratis pasar de exámenes presenciales a on-line?

Un examen “on-line” tiene una característica claramente diferenciadora e indiscutible respecto a uno presencial: las garantías sobre su honesta realización disminuyen notablemente. Y eso, suceda o no el hecho ilícito, afecta a todo el proceso de evaluación, e incluso de estudio: desde la propia configuración del examen, al contenido, estructura, tiempo de realización, etc.

La OCDE (2020) publicó un documento acerca de los exámenes “on-line” durante la pandemia del Covid-19 en la Universidad, en el que destacaban los principales retos a los que se enfrentan estos instrumentos. A saber: la posibilidad de actos académicos deshonestos; la dificultad de evaluar competencias y habilidades; las diferentes situaciones personales durante el examen (el aula es igual para todos, pero los hogares no); y el riesgo de fallos técnicos.

García-Peñalvo et al (2020) (aquí, aquí o aquí), añaden que los docentes podemos incurrir en una transformación no adecuada del sistema de evaluación de las asignaturas a “on-line”; la existencia de brechas tecnológicas, de uso y de competencia digital; y la falta de apoyo por las autoridades político-académicas.

Por lo anterior, la OCDE planteaba recomendaciones al respecto, resumidas en: 1) cancelar o posponerlos, si fuera posible (como apuntó Javier Ferri); 2) garantizar la supervisión “on-line”; 3) rediseñar los exámenes; 4) sustituirlos por otros modos de valoración (exámenes orales, mayor evaluación continua, etc.).

¿Se han evaluado resultados “on-line” vs presenciales?

Sí. Y la literatura presenta resultados poco halagüeños. Butler-Henderson y Crawford (2020) hacen un repaso de los problemas que genera la realización de exámenes “on-line” a partir de 31 artículos de investigación. Su análisis descriptivo muestra las dificultades en la realización de los mismos.

Vázquez et al (2021) utilizan datos de un experimento en un examen con dos tipos de supervisión (en directo y a través de webcam). Los autores encuentran que los resultados son un 11% mejores en aquellos cuyo sistema de vigilancia era más laxo, lo que señala potenciales problemas de “copieteo” cuando nadie supervisa.

Dendir y Maxwell (2020) aprovechan la introducción de vigilancia por webcam para un examen de dos cursos online (en uno se introdujo y en otro no). Las estimaciones concluyen que, controlando por otros factores, los resultados empeoraron allí donde existía vigilancia por cámara, apoyando estos resultados la hipótesis de actividades deshonestas por parte del alumnado. Daniel Montolio encontró, analizando datos promedio sin controles de dos cursos académicos diferentes, que en los exámenes no-presenciales el alumnado obtenía mejores notas.

Klijn et al (2020) estudiaron, con datos de 500 estudiantes de Economía y ADE en una Universidad española, cómo afectó a los resultados de los exámenes que estos fueran no-supervisados (por la pandemia, en el segundo semestre de 2020). Dicho examen se configuró como uno de múltiples respuestas, sin posibilidad de retroceso, con diferentes rondas de preguntas (que provenían de órdenes de preguntas aleatorios).

Los autores encontraron que las preguntas que formaban parte de las rondas anteriores, en las siguientes aumentaba un 7,7% la nota media respecto de la anterior, además de reducirse un 18,1% el tiempo que tardaban en responder. Dicho de otra forma: hicieron trampas. Ello se debió a los flujos de información desde las rondas anteriores hacia las posteriores (calculan que entre el 13,4% y el 22,5% de los estudiantes realizaron tales trampas). Y, lo que es más grave, un recordatorio del código de ética de la universidad que se envió a un subgrupo a mitad del examen, no afectó a los niveles de copiado (el efecto disuasorio por la potencial sanción fue nulo).

¿Conclusión?

El cambio en la forma de evaluar no es trivial. La mejor opción es (repito, es una opinión) la evaluación continua, pero en grupos grandes se torna en una misión casi imposible. En consecuencia, si el curso no ha podido transformarse de esa forma, a la dificultad que tiene el profesorado de realizar un examen que sintetice los conocimientos y competencias a adquirir, se suma las dudas sobre la realización del mismo por parte del alumnado en modalidad “on-line”.

Ello implica que los profesores no configuremos los exámenes de la misma forma (quizás estemos demasiado preocupados en que no copien) y empeore la calidad del mismo o el tiempo concedido para responder, entre otros.

Si hacemos un examen donde se incentive al alumnado a engañar, este deja de serlo. Y los exámenes on-line lo consiguen, empeorando por tanto los conocimientos del alumnado, sus resultados futuros y poniendo claramente en duda la valía de los títulos obtenidos (no hay que olvidar la potencial existencia de un efecto de desprestigio generalizado).

En esto, siempre se puede acudir a la frase que suelo (perdón por poner mi ejemplo) espetar al alumnado que justifica copiar en un examen: “ojalá el médico que tenga que tratarnos en el futuro no esté copiando ahora mismo”. Es dura, pero todos lo entienden. Solo internalizando efectos aprendemos, porque nada es gratis.