¿Está usted a favor del Bien? ¿Y en contra del Mal? ¿Deberían morir más o menos niños de hambre? Estas son preguntas que jamás encontraremos en una encuesta porque sabemos que son preguntas idiotas y que cualquier respuesta será tonta y no nos dirá nada de interés. Sin embargo, es demasiado frecuente toparse con encuestas que incluyen preguntas sobre temas económicos con un nivel semejante de idiotez. Y aunque podríamos simplemente ignorarlo, no conviene hacerlo: estas preguntas no solo producen ruido, sino que también son peligrosas.
Las malas encuestas se pueden clasificar en dos tipos: aquellas que presentan falsas dicotomías, un menú de opciones que no son excluyentes como si lo fueran, y aquellas que deberían ofrecer opciones y no lo hacen. Me centraré sobre todo en estas últimas, que son las que, como economistas, más deberíamos vigilar.
El primer tipo de encuesta idiota nos ofrece un menú envenenado que invita a elegir entre alternativas que nadie en su sano juicio contrapondría en la vida real. Adam Przeworski lo explicaba hace poco a propósito de la World Value Survey: se pregunta a la gente si prefiere la democracia, un gobierno de expertos, un gobierno del ejército o un líder fuerte sin parlamentos o elecciones. ¿Quién puede comparar seriamente esas opciones? ¿Quién se levanta por la mañana pensando que a lo mejor preferiría que gobernara una Junta Militar? Estas preguntas no revelan preferencias reales, sino el grado de satisfacción con lo que ya tenemos. Y además lo hacen insinuando que cualquier crítica a la democracia encierra, en el fondo, un deseo reprimido de autoritarismo.
Un ejemplo patrio de esta mala praxis lo encontramos en una reciente encuesta hecha en Cataluña que planteaba la disyuntiva entre “vivir bien” y “vivir en democracia”. Claro, formulada así, hasta la persona más demócrata puede acabar respondiendo como si deseara una dictadura amable. La pregunta oculta lo esencial: que no hay tal dilema porque la democracia es un instrumento, por imperfecto que sea, para que el mayor número de gente posible pueda vivir bien. Es curioso además que estas dicotomías nunca ofrezcan el lado menos simpático de una dictadura: nadie preguntará, “¿prefiere vivir en democracia o que le torturen si discrepa del régimen?”. Y no lo harán porque esa pregunta sería tan idiota como “¿Está usted a favor del Mal?”
Con todo, esto no es lo peor que puede hacer una encuesta. Lo realmente dañino y tristemente habitual es que, cuando sí existe un trade-off real entre las opciones, la encuesta lo esconda. Todas las decisiones públicas requieren elegir entre beneficios y costes. Bajar impuestos tiene un precio. Reducir la inmigración, también. Aun así, demasiadas encuestas sobre estos temas formulan las preguntas como si estos costes no existieran. Se nos pregunta qué mundo queremos, pero sin advertir que nada es gratis.
Empecemos con los impuestos. Preguntar “¿Quiere usted pagar menos impuestos?” sin mencionar qué servicios públicos se acepta recortar sigue siendo demasiado común. Este tipo de preguntas impone de forma implícita un marco en el que la única discusión posible es cómo bajarlos. Y en ese marco, claro que la gente pide menos impuestos. Pero la pregunta real es otra: “¿quiere usted menos impuestos y menos gasto público? ¿menos impuestos y menos estado del bienestar?”. Por eso, cuando las encuestas están mínimamente bien hechas (¡incluso las del CIS!) incluyen referencias a los servicios públicos o a la inversión. La ciudadanía es capaz de entender los trade-offs fiscales; lo que no deberían hacer las encuestas es ocultárselos.
Tomemos un ejemplo reciente en el Reino Unido: la propuesta de imponer un recargo del 6% a las tasas que pagan los universitarios extranjeros. Una encuesta de YouGov muestra que la mayoría de los británicos apoya la medida. Natural: se pregunta por un impuesto virtuoso aplicado a víctimas propiciatorias, a un grupo difuso y convenientemente sin derecho al voto, y por tanto sin aparente coste alguno. Lo que no se dice es que esta medida, en realidad, equivale a gravar una de las mayores exportaciones del país: la educación. Planteada así, la cosa cambia. Ningún país sensato grava sus exportaciones, porque es caro y porque es, sencillamente, una mala idea. Pero si a la gente se le pregunta por un mundo fantástico donde todo son beneficios, económicos y emocionales, la respuesta es obvia. Lo preocupante es que luego alguien pretenda usarla para justificar sus política.
Las encuestas sobre inmigración funcionan igual que las encuestas sobre impuestos. Si omites el coste de reducirla, tu pregunta impone un marco donde la inmigración solo puede ser un problema y, por tanto, solo puede tener una solución. Si preguntas “¿hay demasiada inmigración?” sin explicar que reducirla implica menos personal sanitario, menos trabajadores en sectores críticos, menor crecimiento y menos ingresos públicos, ya estás condicionando la respuesta. La pregunta real a hacer sería: “¿Cuánto peor está usted dispuesto a vivir para reducir la inmigración?”. Pero esa, de momento, no aparecerá en ningún titular.
Cuando se pregunta de forma mínimamente honesta, por ejemplo, mencionando ocupaciones específicas, los resultados cambian radicalmente. Si se plantea “¿deberíamos permitir más inmigración para cubrir vacantes, sostener la economía o mejorar el sistema de salud?”, el apoyo a la inmigración se dispara. Cuando alguien diga querer que se reduzca la inmigración habría que preguntarle al instante cómo pretende lograrlo: ¿impidiendo contratar a trabajadores extranjeros? ¿asfixiando a sectores enteros? ¿cerrando universidades? ¿aceptando que seremos más pobres, que los precios de la vivienda aumentarán, que desaparecerán contribuyentes netos, que las cuentas públicas empeorarán? Sin clarificar los costes, la discusión pública se convierte en un paseo por la calle de la piruleta.
Cuando discutimos estas cuestiones sin mencionar los trade-offs, la conversación pública se infantiliza. Si preguntamos por mundos imposibles, las respuestas no pueden interpretarse como expresión de preferencias reales. Nadie debería decidir si quiere pagar menos impuestos sin saber qué servicios perderá, ni opinar sobre inmigración sin conocer qué sectores dejarán de funcionar, ni sobre si habría que salir de la Unión Europea sin saber cuánto bienestar estaría dispuesto a sacrificar. Como economistas, podemos elegir no juzgar las preferencias de la gente, pero, sin la información relevante, esas preferencias que supuestamente observamos en las encuestas son inservibles, porque están formuladas en un escenario que no existe. Y unas preferencias reveladas en el vacío informativo solo sirven para descarrilar el debate público y empujarnos al desastre.
Me gustaría cerrar esta entrada dirigiéndome a quienes consideran inapropiado y hasta pernicioso hablar de los beneficios económicos de la inmigración porque deshumaniza a las personas migrantes. Aunque respeto esa opinión, creo que, de nuevo, se trata de una falsa dicotomía. El argumento a favor de la inmigración es abrumador, tanto en lo moral como en lo intelectual (y no son conceptos excluyentes). Presentar argumentos materiales no resta valor a los éticos ni viceversa. Los necesitaremos todos si queremos políticas que mejoren el bienestar de las personas.
Hay 10 comentarios
Sin negar la relevancia de lo que dice el artículo, y su verdad (las encuestas suelen incluir valoraciones del encuestador, sesgos implícitos y a veces hasta explícitos, e incoherencias varias) también es cierto que las alternativas que se proponen en este artículo casi siempre adolecen de los mismos defectos.
Corregir una encuesta que adolece de sesgos ajenos para sustituirla por otra que adolece de los propios (de los cuales, por el hecho de serlo, ni somos ni queremos ser conscientes) no es buena idea.
Los que tenemos experiencia en este tipo de preguntas sabemos bien lo complejo que es hacer un buen cuestionario. Los enunciados deben ser lo más neutros posibles, pero no siempre es posible si se quiere que la pregunta sea comprensible. Las respuestas o alternativas que se ofrecen deben ser variadas y compensadas, etc, etc.
El mismo orden en que se ofrecen las respuestas afecta y mucho a las preferencias manifestadas. Sistemáticamente nos encontramos con una desviación en favor de las primeras respuestas ofrecidas frente a las terceras o cuartas. La única forma de evitar esto es que el orden de las respuestas se ofrezca de manera aleatoria a cada encuestado.
Del mismo modo, el orden de las preguntas influye notablemente, de manera que el sentido de las previas (le pone el "marco", condiciona a las siguientes).
Y muchos detalles más. Por último, los titulares de prensa con los que se difunden luego los resultados suelen ser ya directamente surrealistas.
Muchas gracias por el comentario, Jose. Coincido plenamente en que el diseño de encuestas es extraordinariamente complejo y que factores como el orden de las preguntas, la redacción o la aleatorización de las respuestas son determinantes.
De hecho, sobre el problema del orden de las preguntas estuve tentado de incluir este fragmento de Sí, Primer Ministro, pero pensé que quizá ya era demasiado: https://www.youtube.com/watch?v=SAibJgbpWOg
Mi argumento no pretende restar importancia a los elementos que mencionas, sino subrayar que existe un problema conceptual previo. Incluso un cuestionario técnicamente impecable puede producir datos inútiles si plantea dilemas inexistentes u oculta los costes reales de las opciones.
Gracias de nuevo por enriquecer la discusión.
Estimado Santi,
Aludes a una de las falacias más usadas en la retórica o razonamiento persuasivo, la falacia lógica del tercero excluido (o falso dilema). Este instrumento lógico combinado con el sentido o dirección semántica que le demos a la pregunta determina la respuesta deseada para cualquier encuesta sesgada, siendo un arma de destrucción masiva en plebiscitos o referendums.
En ese sentido nada es gratis, ahí tenemos el ejemplo del Brexit.
En cuanto a la población migrante no es tanto el debate económico como cultural ya que a muchas personas se les inflama el pecho con las arengas xenófobas. Ven sus barrios irreconocibles y creen desde su ingenuidad que el mestizaje o la conversión cultural es reversible. Esto en tiempos de globalización y multiculturalidad es un efecto bumerang histórico en relación a lo que les paso a los nativos o aborígenes hallen de los mares, que sufrieron una culturización forzosa con la llegada del hombre blanco. Ahora el camino es el inverso.
Gran entrada... por cierto, buscaré lo de los trade-offs en el diccionario, jaja.
Saludos.
Gracias por tu comentario y por la lectura, Jordi. En efecto, el tema de los falsos dilemas tiene mucho recorrido.
Gracias, Santiago, por tu amable respuesta. Un saludo,
Gracias por el articulo. Interesante aunque creia que era algo bien conocido
https://www.youtube.com/watch?v=SAibJgbpWOg
Me pregunto si hay alguna tecnica para mejorar la neutralidad de las encuestas. Testear diferentes enunciados con diferentes grupos de prueba? Intentar que una AI interprete los resultados?
Partiendo de que coincido con el autor en que la emigración tiene muchos beneficios económicos y también sociales (por ejemplo, apertura de mentes en la sociedad), no entiendo por qué se pone el acento en las encuestas, que deben servir para detectar por donde se mueven los pensamientos de las personas en una sociedad. En muchos países del mundo existe un cierto porcentaje de población que está en contra de la inmigración, esto no es algo novedoso, ha ocurrido en muchas ocasiones a lo largo de la historia, y que este porcentaje es creciente lo demuestran no solo las encuestas sino las votaciones a determinados partidos políticos y los cambios en los programas electorales de muchos otros partidos políticos (y los partidos políticos se mueven mucho por encuestas privadas que hacen ellos mismos). Querer esconder la cabeza como el avestruz ante esta situación, diciendo que las encuestas tienen que preguntarse de forma que la respuesta nos de lo que queremos obtener (que lo de la inmigración no es un problema, que solo da beneficios, etc.) no creo que sirva para mucho, salvo para hacernos sentir mejor. De hecho, entiendo que las encuestas se realizan con varias preguntas, una primera pregunta puede ser general sobre si consideran que la emigración es un problema, pero luego se pueden poner otras preguntas que se centren en esos beneficios, y también en otros problemas que pueda originar la emigración.
Gracias por tu comentario. Estoy de acuerdo en que las encuestas deben recoger cómo piensa la gente en un momento dado y que no deben pretender resolver debates. Pero no acabo de ver dónde has leído que mi argumento sea que las encuestas no me gustan porque no dan el resultado que quiero
Lo que argumento es que si las preguntas se formulan sin mencionar los trade-offs reales de las decisiones, entonces lo que recogen no son preferencias sino brindis al sol que no pueden ni deben guiar políticas concretas.
Si, por ejemplo, una reducción de la inmigración implica costes en empleo, en servicios o en crecimiento, ocultar ese contexto hace que las respuestas sean difíciles de interpretar, más allá de medir un cierto “magma de opinión”.
No propongo esconder nada; más bien lo contrario: hacer explícitos los costes y beneficios de cada opción para entender mejor qué prefiere realmente la gente.
El texto asume que la inmigración, la que tenemos, poco cualificada, reduce el precio de la vivienda y nos aporta contribuyentes netos, pero ¿no dice la evidencia empírica todo lo contrario?; que el rápido aumento de población inmigrante incrementa el precio de la vivienda (UK, Canadá, España..) y que los trabajadores de baja cualificación son receptores netos de transferencias públicas si se miden a lo largo de toda su vida? Por no contar con que, según PISA, sus descendientes, también tienen, en promedio, menor cualificación. Quizás esa opción también tenga sus costes ¿deberían aparecer en las encuestas?
En Nada es Gratis hemos revisado con frecuencia la evidencia empírica sobre inmigración,
https://nadaesgratis.es/?s=inmigracion
El balance es bastante claro: los efectos tienden a ser positivos o neutros en empleo, salarios, crecimiento y finanzas públicas; la contribución fiscal suele ser neta, y los impactos sobre la vivienda son locales y mucho más complejos que un encarecimiento generalizado. Ninguno de estos análisis respalda, sino que más bien contradice, afirmaciones como que “la inmigración poco cualificada encarece sistemáticamente la vivienda” (en la entrada enlazo un artículo que encuentra lo contrario), que “los inmigrantes son receptores netos de transferencias a lo largo de toda su vida” o que “sus descendientes tienen menor cualificación y por tanto suponen un coste añadido”.
Por tanto, yo le aconsejaría dejar de lado esos prejuicios y acercarse a la evidencia: se está mejor informado y menos enfadado. Incluso, quién sabe, quizá hasta un poco más feliz.
En todo caso, el punto del artículo es que las encuestas deberían explicitar los trade-offs: si una política tiene costes claros (del signo que sean), las respuestas a una pregunta que los omite no pueden interpretarse como una medida de preferencias
Los comentarios están cerrados.