En el mundo digital en el que vivimos cada vez es más fácil recabar datos acerca del desempeño de los miembros de una organización, lo que abre la posibilidad a utilizar esta información para aumentar su motivación. Por ejemplo, las empresas podrían informar a sus vendedores sobre su posición en el ranking de ventas, o las instituciones educativas podrían informar a sus estudiantes sobre su posición en el ranking de notas, con la esperanza de estimular a los que no lo hacen tan bien para que mejoren y animar a los que ya lo están haciendo bien para que perseveren. Este tipo de intervenciones han despertado mucho interés porque tendrían un coste muy limitado y en muchos casos parecen funcionar, pero los resultados de un experimento de campo que hemos realizado en una universidad española muestran que su éxito depende de las motivaciones y las expectativas de los participantes (Azmat, Bagues, Cabrales e Iriberri 2015).
En la mayor parte de los experimentos de laboratorio realizados, los individuos aumentan su esfuerzo cuando reciben información sobre cual es su desempeño en relación a un grupo de referencia y lo mismo se observa en varios experimentos naturales. Por ejemplo, Ghazala Azmat y Nagore Iriberri (2010) muestran que en un colegio del País Vasco, los estudiantes comenzaron a sacar mejores notas a partir del momento en el que la cartilla de notas comenzó a informar no sólo de la nota del alumno, sino también de cual era la media de la clase. Tran y Zeckhauser (2012) y Katreniakova (2014) encuentran resultados similares en colegios de Vietnam y de Uganda respectivamente. También hay experiencias exitosas en el ámbito laboral. La productividad de los trabajadores de una empresa de distribución aumentó cuando comenzaron a recibir información sobre cual era su productividad en relación a otros trabajadores, a pesar de que esta información no afectaba directamente a su salario (Blanes-i-Vidal y Nossol 2011). Pero aunque es menos frecuente, también se han observado casos en los que la productividad de los miembros de una organización se resiente cuando reciben información sobre su desempeño relativo (e.g. Barankay 2011; Blader, Gartenberg y Prat 2015).
Este efecto desigual del feedback se podría deber quizás a que en distintos contextos los individuos tienen distintas expectativas y también distintas aspiraciones. No es lo mismo averiguar que estás en la media cuando creías ser uno de los mejores, que cuando esperabas estar en la cola. Ambas situaciones son posibles. En ocasiones tendemos a ser excesivamente optimistas en relación a nuestro desempeño. Sin ir más lejos, en una encuesta realizada hace unos años entre los profesores de mi departamento, casi todos los encuestados consideraban que eran (sí, lo han adivinado!) mejores investigadores que sus compañeros. Pero no es difícil pensar en contextos en los que podría ocurrir lo contrario. Por ejemplo, cuando alguien se incorpora a una nueva institución donde los estándares son más exigentes de lo que está acostumbrado, es posible que tarde cierto tiempo en asimilar que quizás no lo está haciendo tan mal en relación al resto del grupo. Otro factor fundamental son las aspiraciones de los individuos: ¿aspiran a ser los mejores, o se conforman con no hacerlo excesivamente mal? Si las aspiraciones son discretas, saber que lo estás haciendo mejor de lo esperado quizás no resulte tan estimulante. Por desgracia, en la práctica no es sencillo anticipar el grado de confianza en sí mismos que tienen los miembros de una organización y, menos aún, averiguar cuales son sus aspiraciones.
Inspirados por los estudios empíricos que a menudo encuentran que dar feedback a los estudiantes mejora su rendimiento pero también preocupados por estas ambigüedades teóricas, decidimos estudiar de una manera controlada como reaccionaban los alumnos de nuestra universidad al recibir información sobre su posición en la distribución de notas. En una cohorte de 1,000 estudiantes, un grupo de estudiantes elegido al azar comenzó a recibir a comienzos de su segundo año de carrera información sobre su posición en la distribución. En particular, los estudiantes del grupo de tratamiento podían acceder a través de su intranet al decil que ocupaban en relación al resto de estudiantes de su cohorte. Los estudiantes recibieron esta información durante tres años hasta su graduación.
Tengo que confesar que nos llevamos una buena sorpresa cuando, al cabo de varios meses de comenzar el estudio, observamos que el grupo de tratamiento experimentaba un descenso en sus notas mientras que, al mismo tiempo, comenzaba a reportar un mayor grado de satisfacción en las encuestas de evaluación docente. La clave de lo que estaba ocurriendo nos la proporcionó una encuesta que realizamos a los estudiantes. Al contrario de lo que habíamos pensado, la mayor parte de los estudiantes creía inicialmente estar situado en una posición en el ranking mucho peor que la posición que en realidad ocupaba.
Al informarles sobre su posición real, probablemente les dimos una alegría pero, dadas sus aspiraciones, parece que decidieron reoptimizar la asignación de su tiempo. Afortunadamente, el efecto negativo sobre el desempeño sólo duró unos meses. A partir de los exámenes de recuperación de junio el grupo de tratamiento volvió a situarse en niveles similares a los del grupo de control y, hasta la finalización del tratamiento, no se observa ninguna diferencia en su desempeño.
Personalmente he extraído varias lecciones de esta experiencia. En primer lugar, creo que nos ayuda a comprender mejor la motivación de nuestros estudiantes. Si queremos estimularles a que trabajen más, darles información precisa acerca de su posición en el ranking no siempre es la solución. La segunda lección es que la teoría económica (o psicológica si prefieren) es clave para poder diseñar de manera correcta una intervención. No es muy útil saber que algo funciona en un determinado contexto, si además no entendemos exactamente por qué funciona. Por último, también nos recuerda que la evaluación de políticas públicas no es baladí. A menudo no es fácil anticipar con seguridad si una intervención será efectiva, por eso necesitamos realizar intervenciones de manera controlada. Si la universidad hubiera facilitado la información a todos los estudiantes, nunca habríamos averiguado si era útil. Y aunque a veces revele nuestra falta de certezas, únicamente a través de la realización de evaluaciones rigurosas de las políticas públicas conseguiremos saber qué es lo que realmente funciona.
Hay 12 comentarios
Muy interesante. Un comentario breve. En el abstract escribís: In the absence of treatment, students’ underestimate their position in the distribution of grades. A la vista de la figura del post, esto solo parece cierto -en general- para aquéllos que están por encima de la mediana. Imagino que probastéis de hacer el experimento para diferentes subgrupos. ¿Qué reacción encontráis para los que están por debajo de la mediana -particularmente aquéllos que son demasiado optimistas inicialmente-?
En la tabla 9 del artículo diferenciamos entre aquellos estudiantes que son demasiado optimistas y aquellos que son demasiado pesimistas (a partir de la información de la encuesta y de las características observables). Los estudiantes excesivamente pesimistas, al averiguar que lo están haciendo mejor de lo que pensaban, reducen su performance. Por el contrario, los que eran demasiado optimistas y descubren que lo están haciendo peor de lo que pensaban parecen reaccionar de la manera contraria, mejorando su performance, aunque la estimación en este caso es poco precisa.
Manuel, muy interesante vuestro trabajo, especialmente para docentes universitarios como nosotros. Ya sé que llevas tiempo fuera de España y que ahora no utilizarás mucho el español, pero "elicitar" no es un verbo español. Supongo que querrías decir "averiguar".
Mil gracias Carlos, corregido!
Me ha sorprendido el post pues creía que era una práctica habitual ya que mis notas, desde primero de EGB, y luego las de mis hijos, en cada evaluación mostraban la nota media del alumno, de la clase y la del curso (esta última en mi caso ya tardíamente).
Respecto a la motivación sí es verdad que en algunas ocasiones te espoleaba a esforzarte más pero en la "edad del pavo" con cumplir y estar en la media para que tus padres no se "mosquearan" te dabas en general por satisfecho, por lo que creo que el título del post, con ese "no" entre paréntesis, es muy acertado 🙂
Lector,
Gracias por el comentario. Creo que la forma en la que se transmite la información sobre las notas ha ido cambiando con el tiempo, debido en parte a las nuevas tecnologías y en parte a las leyes sobre privacidad. En mis tiempos de estudiante en la universidad se publicaban las listas de notas con todos los nombres en un tablón. Podías saber tu posición en la distribución y, en teoría, podía haber un efecto adicional de status porque también veías las notas de tus compañeros, aunque no estoy muy seguro de que esto fuera muy importante para la mayoría de los estudiantes. Con la llegada de las intranet y las leyes de privacidad creo que en casi todas las universidades los estudiantes tienden a recibir las notas de manera privada, pero resulta en principio posible dar información como la que señalas, la media, o la posición en la distribución. Por cierto, es curioso como estos temas tienen un encaje tan diferente en función del contexto cultural. Aquí en Finlandia en general no les hace mucha gracia nada que tenga que ver con rankings. En cambio mis compañeros chinos y coreanos me cuentan que allí sí que siguen siendo habitual exhibir las listas de notas en público como instrumento de motivación.
Para mí es un claro ejemplo en donde un sistema de rankings no funciona cuando éste únicamente informa sobre el resultado.
En mi opinión sería mucho más útil si la información que se emplea en los rankings tiene qu ver con las actividades que el alumno debe realizar para obtener ciertos resultados: nº libros leidos, ejercícios resueltos positivamente, aportaciones en clase etc
Digamos que un sistema de gestión de objetivos que emplee rankings debe emplearse a lo largo del proceso y no tanto en el punto final. Es más, incluso podría diferenciarse hasta el punto de no asociar en absoluto su posición en el ranking o su consecución de un objetivo propuesto del número ejercícios realizados con la nota final del alumno.
Como en otros casos, hay técnicas que mal ejecutadas pueden traer más problemas que los que soluciónan.
Un saludo,
Gracias Christian por tu comentario, muy útil!
Me recuerda un poco a algunas de las conclusiones a las que llegaba John List, que observaba que la reacción de los estudiantes era mayor cuando se incentivaba directamente los inputs (e.g.: libros leidos) y no los outputs (nota en el examen final).
Un pequenyo matiz es que, segun nuestro trabajo, incluso si damos información sobre el ranking en libros leídos, dependiendo de cuales son las expectativas de los alumnos acerca de su posición en la distribución y cuales son sus objetivos, esta información podría ser incluso contraproducente.
Muy breve, mi principal conclusión: no hay métodos de motivación. Solo hay circunstancias en que algunos tienen el efecto buscado. No hay una receta sino muchas a aplicar después de un análisis previo.
Vamos que hay que contar con profesionales para no aplicar el procedimiento inadecuado....
Sinceramente, resulta un poco obvio como conclusión ¿No?
Miguel Angel,
En efecto, mi lectura es que debemos ser prudentes, desconfiar de las fórmulas mágicas, conocer muy bien el contexto y la teoría económica, e intentar evaluar el impacto de las intervenciones. No sé si es obvio, pero creo que se nos olvida a menudo.
Muchas gracias, Manuel, me parece un experimento muy interesante. Quizá porque replica bastante lo que se consigue cuando se da información sobre consumo energético a los hogares: los que consumen más de la media bajan su consumo, pero también lo aumentan los que estaban mejor. Y también muestran una persistencia limitada. Las regularidades de la naturaleza humana, al fin y al cabo 🙂
Lo que me parece que sería interesante es comparar, más allá de estos patrones generales, si este comportamiento difiere entre situaciones en las que lo importante es aprobar con una referencia externa (como en la Universidad, aunque quizá en Aalto los estudiantes sí quieran hacerlo bien, no sólo aprobar) y otras en la que la referencia externa es más difícil de medir, y en cierta medida la proporciona la propia información que se da. ¿Qué opinas?
Gracias por el comentario Pedro!
Totalmente de acuerdo, creo que la clave está en qué es lo que exactamente "maximizan" los estudiantes y cómo de bien informados están en cada caso. Lo ideal sería poder repetir el experimento variando de una manera controlada el contexto.
Los comentarios están cerrados.