Elicitando creencias con incentivos monetarios

Por Pablo Brañas-Garza (@BehSnaps) con Antonio Alfonso (@alfonsocostillo) y Ignacio Garijo, Emilio Nieto, Iván Sánchez, Paula Piña, Cristina Prados, Julia Sánchez, Felipe Calvo, Adrián Cruz, Álvaro Gómez, Gonzalo Marín, María J. González, Elisa Gómez, Miguel Villar, Hilda Montenegro, Trinidad Carrascosa, Manuel Alcocer, José L. Macías, Gonzalo González, Yadira Vásquez y Fernando González.

La elicitación de creencias (lo que las personas esperan de otros) es un tema relevante en Teoría de Juegos. Pensemos por ejemplo en un experimento típico del Dilema de Presos donde los participantes sólo pueden elegir entre Cooperar o No Cooperar. Observando “solamente” las decisiones de los sujetos tendremos una comprensión limitada de los hechos puesto que No Cooperar (NC) puede deberse a dos situaciones completamente diferentes:

- El participante puede creer que su rival Cooperará: E(C)

- El participante puede creer que su rival No Cooperará: E(NC)

En el primer caso, la decisión de NC basada en creencias del tipo E(NC) nos indica básicamente que el sujeto cree que su rival es racional y, él hace mejor respuesta. Este comportamiento está muy relacionado con la cooperación condicional. En el caso contrario, elegir NC bajo las creencias E(C) indica que el sujeto se aprovecha de la bondad de su rival, es decir, es un free-rider.

Lo uno y lo otro son cosas completamente diferentes y, por tanto, si no somos capaces de elicitar las creencias de los sujetos, nuestra capacidad de entender los “tipos” es ciertamente pequeña.

La elicitación de creencias

En los últimos 20 años se ha desarrollado esta literatura extensivamente. Los primeros mecanismos eran, precisamente, del tipo del ejemplo anterior. En juegos con estrategias binarias los participantes hacían una predicción así misma binaria y, si acertaban, recibían una compensación monetaria adicional.

Los años posteriores se han centrado en la búsqueda de un mecanismo de elicitación más general para la obtención de creencias en juegos con estrategias no binarias y más de un rival (n>2 jugadores). En esto casos, el menú de mecanismos es bastante amplio: desde mecanismos más o menos sencillos del tipo “predice si tu rival va a elegir 0€, 0,5€, 1€, …, 5€” (ver este trabajo con Ismael Rodriguez-Lara y Anxo Sánchez), “predice la media de lo que harán los demás participantes” o “predice la estrategia más usada (moda) por los participantes” (por ejemplo aquí con Valerio Capraro y Ericka Rascón) hasta mecanismos realmente complicados como “usando la siguiente tabla con las celdas A, B, C, D y E dinos el porcentaje de participantes que han elegido cada estrategia (recuerda que tiene sumar 100)”.

Además, está el problema del mecanismo de pago: ¿pagamos sólo al que acierte exactamente la distribución? ¿les permitimos un poco de error? ¿les pagamos en función del error? A este tema se dedican exactamente las scoring rules, reglas de pago donde el experimentalista decide cuánto penaliza el error, desde poco hasta todo (ver ejemplo aquí con Maripaz Espinosa).

Nuestro experimento

El pasado 21 de diciembre hicimos un experimento “online” desde la clase de Microeconomía III: Teoría de Juegos de la Universidad Loyola en Sevilla (@LoyolaAnd, @LoyolaEcon). El experimento se diseñó para enseñar a los estudiantes cómo medir las predicciones de las personas. Los participantes del experimento tenían que predecir si personas de diferentes tramos de edad se vacunaría del Covid cuando le llegara su turno. El experimento se lanzó desde WhatsApp usando los contactos de los alumnos. Se consiguió una participación de más de 2000 sujetos en 36 horas.

El experimento tenía dos partes. En la primera los participantes declaraban la probabilidad de vacunarse (desde 0% hasta 100%). En la segunda parte, los sujetos hacían tres predicciones.

En la Caja 1 se les explica la tarea y las reglas de pago. Como se puede observar le pedimos a los participantes que hagan tres predicciones, donde en cada caso tiene que acertar la moda (el número más popular) y se le explica el mecanismo de pago. El participante que acertara una de las tres (elegida al azar) se llevaría 100€ y si, se diera el caso de más de un ganador, el premio se sortearía entre ellos.

Caja 1: Instrucciones

Decidimos este mecanismo (predecir la moda) porque ya lo habíamos usado en trabajos anteriores con cierto éxito. Predecir la moda es cognitivamente menos demandante que otras opciones.

En la Caja 2 aparecen las tres predicciones que se solicitan a los participantes: ¿qué probabilidad de vacunarse crees que han escogido la mayoría de los jóvenes? ¿y los adultos? ¿y los mayores? En todos los casos tenía que predecir la moda.

Para evitar efectos de orden, es decir, que la posición/orden de las preguntas genere un sesgo, hicimos dos variantes del experimento:

- Orden J-A-M: predicción sobre jóvenes → adultos → mayores

- Orden M-A-J: predicción sobre mayores → adultos → jóvenes

Los sujetos participaban aleatoriamente en una de las dos variantes. Técnicamente esto se conoce como between-subjects design, puesto que se comparan muestras de sujetos han participado en un diseño diferente. Usando una asignación aleatoria obtuvimos 982 participantes siguieron el orden J-A-M y 1033 que hicieron el orden M-A-J.

Caja 2: Predicciones

Al acabar el experimento su eligió al azar una de las tres predicciones y entre todos los ganadores (los que acertaron la moda) se sorteó el premio. Uno de ellos fue contactado para pagarle los 100€.

Los resultados

La Figura 1 muestra los resultados agregados. Para cada grupo se pinta la media y el SEM. Parece que el resultado es muy claro. Los participantes creen que los jóvenes serán menos proclives a vacunarse que los mayores. La diferencia es notable (pasamos de 56,7% para >30 años a un 76,05% para >60 años) y claramente significativa.

Figura 1: Creencias para los grupos de edad

Una de las cuestiones que más nos interese saber es si las predicciones fueron buenas, es decir, si los resultados observados coinciden con los predichos. La respuesta es claramente negativa. La Figura 2 los valores observados. A excepción del caso de los mayores de 60, donde la predicción es bastante buena, en el resto de los casos (menores de 30 y entre 30 y 60) las predicciones son pesimistas: la gente predice valores más bajos.

Figura 2: Valores observados para los grupos de edad

En cualquier caso, hay que tomar estos valores con cautela porque la distribución de participantes por tramos de edad está lejos de estar balanceada.

Diferencias en predicciones según el sexo y edad de los participantes

También nos interesa ver si las características de los participantes en el experimento tienen algún impacto en las predicciones. La Figura 3 muestra las predicciones realizadas por mujeres (arriba) y por hombres (abajo).

Figura 3: Creencias para los grupos de edad por sexo

Vemos que las predicciones de hombres y mujeres son muy similares. Sin embargo, las predicciones de las mujeres son siempre algo más bajas, aunque la tendencia es la misma: tanto mujeres como hombres predicen que los mayores serán más proclives a vacunarse o que los jóvenes serán más reacios.

De la misma manera podemos ver si los sujetos más jóvenes de la muestra predicen cosas similares que los más mayores. Para ello, tomamos la mediana de la distribución (22 años) y dividimos la muestra en dos. La Figura 4 muestra las predicciones realizadas por los más jóvenes (arriba) y más mayores (abajo).

Los jóvenes claramente tienen una visión más positiva (y más acertada según la Figura 2) de su propio grupo que los participantes mayores ya que predicen que casi el 60% del grupo de menores de 30 se vacunarán mientras que los mayores de 21 predicen que dicho porcentaje será del 55%. Además, si comparamos la predicción para los mayores encontramos que los participantes más jóvenes consideran que las personas mayores serán menos proclives a vacunarse (72,9% vs. 77.8%). En suma, la tendencia es notablemente más plana para los jóvenes.

Figura 4: Creencias para los grupos de edad por edad

Efectos de orden

Finamente, vamos a ver el tema del orden. Nos preguntamos si el orden en el que aparecen las preguntas es relevante. Recordemos que el orden J-A-M sigue la pauta creciente (jóvenes → adultos → mayores) y que el orden M-A-J lleva la secuencia al revés (predicción sobre mayores → adultos → jóvenes).

La Figura 5 muestra las predicciones según el orden. Los resultados nos indican que aquellos que usan el orden M-A-J penalizan más a los jóvenes y también, aunque en menor medida, a los adultos. Es muy interesante que ninguno de los dos órdenes altera las predicciones para los mayores (76,3% vs. 75,6%). En cualquier caso, tanto el orden J-A-M como el M-A-J, ofrecen el mismo resultado: la probabilidad de vacunarse aumenta con la edad. Sin embargo, se observa con claridad que se penaliza más a los jóvenes cuando se pregunta sobre ellos después de los mayores.

Figura 5: Creencias para los grupos de edad. Efectos de orden

El efecto orden es un problema común en muchas encuestas. Las decisiones que toman los participantes en la pregunta j-ésima tienen impacto es preguntas posteriores. En un trabajo reciente junto con Riccardo Ciacci y Ericka Rascón hemos analizado el problema del orden en encuestas sobre expectativas educativas de los padres sobre sus hijos y hemos encontrado resultados importantes. Las expectativas reveladas por los padres son sensibles al orden de las preguntas en las encuestas. Obviamente esto es un problema.

Conclusiones

En esta entrada presentamos un experimento lanzado por los alumnos de Economía de la Universidad Loyola Andalucía donde preguntamos a los participantes sobre la probabilidad de vacunarse de Covid cuándo haya vacuna. En segundo lugar, pedimos a los participantes que hagan predicciones sobre la probabilidad de vacunarse para tres tramos de edad diferentes. Encontramos que las predicciones son pesimistas para los más jóvenes y dichas predicciones no se alinean con los valores verdaderos. El pesimismo hacia los jóvenes es más acusado entre las participantes mujeres y entre los participantes mayores. Además, encontramos un claro efecto orden causado por la presentación de las preguntas.