El CIS debería dejar de hacer encuestas electorales

¿Por qué hace el CIS encuestas electorales? No lo sé. Llevo muchos años preguntándome por qué un organismo autónomo de carácter administrativo adscrito al Ministerio de la Presidencia tiene que preguntar y publicar la intención y la estimación de voto en elecciones generales. Y nunca he conseguido encontrar justificación alguna. Como el jueves pasado salió la última encuesta del CIS, quizás este sea un buen momento para escribir al respecto.

La experiencia histórica nos enseña que los estados que suministran los mejores servicios a sus ciudadanos son aquellos que se centran en sus “ventajas comparativas”. En vez de dispersarse intentado construir una industria de automóviles o administrar una aerolínea, los estados que se focalizan en asegurar una buena administración de justicia o en crear magníficas infraestructuras incrementan mucho más el bienestar social.

El pedir que los estados se centren en sus “ventajas comparativas” no es, en absoluto, una llamada a un “estado pequeño”. La lista de las cosas que los estados pueden hacer bien es larga y variada, aunque sujeta a un lógico debate; distintas personas piensan que la frontera se coloca en lugares diferentes. Estoy seguro que muchos de mis lectores incluyen más actividades en esa lista de lo que yo hago y muchos otros lectores incluirán menos. Además, no solo es la frontera contingente, pues cambia a lo largo del tiempo y con las circunstancias, sino que existen diferentes maneras de actividad estatal. Por ejemplo, y aunque la reciente experiencia en España tienda a ser negativa, uno puede pensar en una bien diseñada concesión de autopistas como una manera de lograr unas infraestructuras de primer división.

Dudo, sin embargo, que se pueda presentar, en España y en 2015, un argumento consistente para la realización de encuestas por el CIS en las que se pregunte por “la evaluación de la labor del gobierno de la nación y del primer partido de la oposición, la intención de voto en elecciones generales, la estimación de voto.”

En primer lugar, la sociedad civil produce ya una cantidad ingente de encuestas. Solo hace falta visitar Electomanía para ver que casi todos los días de la semana se publican varias de las mismas. Unas son mejores y otras son peores. Pero estos días existen suficientes medios desde la izquierda (eldiario.es, publico.es) a la derecha (larazon.es, libertadigital.es) y todas las gamas en medio como para que uno siempre pueda encontrar de una encuesta de la que “fiarse” o simplemente que refleje sus a prioris (o, si así le apetece, que sea totalmente contraria a sus ideas). Es más, uno puede incluso elaborar una media de encuestas que compense sus diferentes sesgos, sean estos ideológicos, metodológicos o simplemente debidos a la dificultad de “encuestar” con cuatro partidos nacionales de relieve (aquí lo explico cuando solo eran tres, con cuatro la situación empeora). Kiko Llaneras me pasó hace unos días este gráfico en el que precisamente efectúa esta media.

serie

En segundo lugar, no parece existir evidencia de que las encuestas del CIS generen en estos momentos predicciones muy diferentes que las de las empresas privadas (y que por tanto revele problemas con estas últimas que la actuación pudiese, al menos en principio, subsanar). De nuevo empleando un gráfico de Kiko Llaneras, en el último año, el CIS parece dar más votos al PP y al PSOE que a Podemos y Ciudadanos, pero la diferencia no es excesivamente grande y probablemente pueda ser explicada por una mayor “cautela” del CIS en imputar votos a los nuevos partidos.

compara

He intentado bucear la literatura existente sobre evaluación “prospectiva” de las encuestas en España y no he encontrado mucho. Quizás sea por su dificultad. Evaluar la calidad de una encuesta es siempre harto complejo: si el día de las elecciones los resultados son diferentes de los estimados, uno puede atribuir el error no solo a la metodología de la encuesta sino también al efecto de la campaña, los acontecimientos políticos e incluso la encuesta misma (ya que los resultados estimados pueden ayudar a cambiar “voto útil”).

Lo más interesante con lo que me he encontrado es un cuidadoso reciente libro, Los pronósticos electorales con encuestas: elecciones generales en España, Modesto Escobar Mercado, Jaime Rivière Gómez y Roberto Cilleros Conde, pero esta obra se centra en una excelente evaluación de las encuestas del CIS en si mismas más que en su comparación con otras encuestas.

Finalmente, multitud de democracias existen sin que sus gobiernos realicen encuesta electoral alguna. Desconozco en qué otros países de nuestro entorno existen encuestas públicas similares a las del CIS (no he podido encontrar una base de datos o literatura al respecto), pero mi observación casual es que estas encuestas parecen no existir ni en los países de habla inglesa (en Estados Unidos sería impensable) ni en muchos otros del norte de Europa.

Por tanto, si la sociedad civil ya efectúa decenas de encuestas, si las que efectúa el CIS no parecen ser muy diferentes y esta práctica no es común en democracias con niveles de calidad más alto que la nuestra, ¿qué añade entonces la encuesta del CIS al debate nacional? ¿Quizás tener una encuesta realizada de manera consistente a lo largo del tiempo? Pero el libro que citaba anteriormente señala que el CIS ha venido cambiando de metodología con los años (aunque hay cierta estabilidad desde 1996) y, por tanto, los valores de los datos históricos acumulados es menor. ¿Ayudar a calibrar el resto de las preguntas y sus respuestas? Pero mi intuición (basada en la evidencia de otras encuestas), es que encuestas con más preguntas suelen generar cansancio en los entrevistados y con ello menor calidad total.

A la vez, la existencia de una encuesta del CIS causa gasto (aunque este es probablemente trivialmente pequeño al ser parte de un proceso de elaboración de barómetros) y cierta sospecha en el posible uso estratégica de la misma por el Gobierno. A fin de cuentas, ¿por qué depende el CIS del Ministerio de la Presidencia? ¿No tendría mucho más sentido que dependiese de la Secretaría de Estado de Investigación, Desarrollo e Innovación? La “I” en “CIS” es “investigación”. ¿O es que la investigación académica en sociología o políticas es diferente en su esencia de otras áreas? O, si lo que importa es el aspecto estadístico, ¿por qué no de la Secretaría de Estado de Economía y Apoyo a la Empresa, como lo hace el INE? ¿E incluso, por qué no convertir al CIS en una división del INE? (sobre esta propuesta tengo mis dudas; veo argumentos en ambas direcciones). Tal cambio de ubicación administrativa ayudaría, sin lugar a dudas, a mantener y reforzar la más que loable labor del CIS en potencial la investigación sociológica de calidad en España.

El “pecado original” de la histórica supeditación del CIS al Ministerio de la Presidencia fue el interés de los gobiernos de la transición de “consolidar” su poder por los medios que fueran, incluidos el efectuar encuestas partidistas a cargo del presupuesto de todos. Son de sobra conocidas, por ejemplo, todas las maniobras que desde los ministerios se realizaron en 1977 para que la UCD, un apaño recién creado, “triunfase” pasase lo que pasase en las generales y en las subsiguientes municipales de 1979 (incluidos los 10 millones de dólares que se le pidieron desde la Zarzuela al Sha de Persia para financiar al partido del presidente).

Este riesgo de uso estratégico de las previsiones electorales del CIS es independiente de si los empleados del CIS estén o no “dirigidos” por el gobierno en 2015 (y no tengo motivo alguno para dudar en absoluto de su absoluta honestidad y tremenda profesionalidad). El problema es que, en una nación con estructuras institucionales débiles como España, tal riesgo existe. Y, al ser percibido por los ciudadanos, este riesgo baja la confianza en la administración pública. Dos ejemplos recientes de preocupación sobre la objetividad del CIS basada en datos (y que en buena medida fueron corroboradas por lar urnas) son esta excelente entrada de Manuel Bagües en NeG y este artículo en Público.

Quizás este riesgo de uso estratégico no sea efectivo ahora y los ejemplos citados anteriormente de las Europeas y de las Catalanas sean desviaciones justificables cuando se intenta capturar una situación electoral inédita, pero ¿nos fiamos de quién pueda venir en 4, 8 o 12 años? ¿Estamos seguros el Ministro de la Presidencia de la Unión de Demócratas Independientes, partido ganador de las elecciones de 2026, no va a estar tentado de manipular el CIS? Uno no puede basar su diseño institucional en las personas, tiene que basarlo en los mecanismos correctos.

En este mismo blog ya he hablado de la necesidad de reformar nuestra regulación de publicación de encuestas (aquí y aquí) y sobre la inutilidad de la jornada de reflexión (aquí). Nuestro sistema electoral y sus aledaños (CIS, encuestas, jornada de reflexión, etc.) se crearon en un momento muy determinado. Es demasiado fácil criticar desde la distancia las decisiones que se tomaron en 1976-1979. Algunas decisiones fueron fruto de la improvisación, otras de la necesidad del momento y otras quizás tenían sentido en un mundo como el de aquel entonces pero poco en el de hoy. Pero, y sin caer en una cómoda impugnación de todo lo que se hizo en aquel entonces, si que me parece claro que ha llegado el momento de modificar muchas cosas. Y una de ellas es sacar al CIS de la discusión electoral dejando de efectuar preguntas de estimación de voto (que pueden ser sustituidas por otras de interés para los investigadores en ciencias sociales) y moverlo del Ministerio de Presidencia al Ministerio de Economía y Competitividad, que es donde se encuentran otras instituciones similares.

Y como decía al principio, cuando los votantes dejen de pensar que es labor de un gobierno efectuar estimaciones electorales, quizás los mismos empiecen a pedir al gobierno que haga solo unas cuantas cosas, pero que las haga bien.

P.d. Dos aclaraciones:

1) Todo lo que he explicado aquí se aplica, solo que elevado al cuadrado, a los similares centros sociológicos de las comunidades autónomas.

2) No tengo ningún problema con la mayoría de las otras actividades del CIS. Es importante tener bases de datos sociológicas. Ya lo he intentando explicar en el texto principal pero merece la pena que lo repita.

Hay 18 comentarios
  • Se te olvida lo más importante.

    ¿De qué van a vivir los sociólogos/politólogos sin el Barómetro electoral del CIS?

    • Existen muchas otras posibilidades de estudios electorales. Jamas he negado, por ejemplo, que las universidades puedan realizar estudios semejantes.

  • A mi me gusta la encuesta que hace el CIS, y no veo inconveniente en que incluya en el cuestionario preguntas de estimación de voto. Si bien es cierto que a más preguntas mayor cansancio y probablemente más ruido en las respuestas, a mi personalmente me interesa que en una misma encuesta te pregunten por tu auto ubicación ideológica, y por tu intención de voto. Si coincido en que organizatívamente si parecería más sensato que el CIS colgase de alguno de los organismos que sugiere el autor.

  • Pese a lo que da a entender el artículo, existen encuestas electorales pagadas con dinero público en la práctica totalidad de las democracias avanzadas, incluyendo Reino Unido y Estados Unidos. Muchas de ellas incluyen estudios preelectorales, análisis de intención de voto, paneles pre y postelectorales,... como las que hace aquí el CIS.

    http://www.britishelectionstudy.com/
    http://www.nsf.gov/funding/pgm_summ.jsp?pims_id=13444

    Estoy de acuerdo en que es controvertido que el CIS participe del mundo de las estimaciones de voto, de facto compitiendo con las casas privadas de encuestas. Pero tirar por la borda los estudios electorales del CIS con ese argumento es no darse cuenta de que las predicciones no son el principal objetivo de los estudios electorales del CIS. En cuanto a estándares, riqueza de datos, disponibilidad para la sociedad y los investigadores de estos datos, etc..., la información que proveen las casas de encuestas privadas en absoluto pueden considerarse sustitutas del papel que cumple el CIS (o del ANES americano o del BES británico, o muchos otros similares en otros países).

    • Mi entrada quizas deberia de haber dejado mas claro que mi queja no es que realicen estos estudios, sino que se realicen por un organismo administrativo supeditado a Presidencia.

      El que sea un organismo administrativo y supeditado al Ministerio de la Presidencia es la clave. Jamas verias un articulo en la prensa si la Universidad de Salamanca, por ejemplo, hace una encuesta diciendo "la encuesta del gobierno...." Un organismo administrativo NO tiene la misma separacion con respecto al gobierno (ni su director es nombrado a dedo por el consejo de ministros) que tiene una universidad. Es mas, en una universidad tienes que pasar el peer review de la agencia que te financia (y la NSF, con la que he tenido mucho trato, es increiblemente seria al respecto). Y eso se ve en cosas como que el British Election Study sea un panel, no lo que hace el CIS, que la verdad es que estadisticamente tiene poco uso.

      Y lo que nadie puede negar es que el CIS nacio, desde el primer dia, con un interes del gobierno de tener informacion politica, no de realizar investigacion academica.

      Si mañana las agencias de financiacion de las universidades deciden dar una beca a un consorcio de la Universidad de Cantabria y la Universidad de Zaragoza que efectue un panel de estudios electorales, no tendria problema alguno.

      Pero estamos hablando de cosas distintas. Mi afirmacion de que no existen organismos similares al CIS realizando encuestas electorales en el Reino Unido o Estados Unidos es totalmente solida.

      • No, Jesús. El artículo critica al CIS por hacer algo que las empresas de sondeos ya hacen, y por hacerlo igual que ellas. Y no es verdad. Lo que hace el CIS (no dar una predicción electoral, sino hacer encuestas sobre preferencias, paneles pre- y post-electorales, generar series de indicadores de opinión, y ofrecer libremente los microdatos a la sociedad y a los investigadores,...) NO LO HACEN las empresas privadas. Fuera de España lo hacen entidades, consoricios, organismos,... financiados desde el Estado. Podemos discutir sobre si el modelo es el mejor (un "INE", una subcontrata a un consorcio de universidades,...) pero ese, me temo, es otro debate.

        • Y de nuevo, he dicho en mi entrada:

          "No tengo ningún problema con la mayoría de las otras actividades del CIS. Es importante tener bases de datos sociológicas. Ya lo he intentando explicar en el texto principal pero merece la pena que lo repita."

          Lo que a mi me parece mal es que se pueda publicar esto:

          http://elpais.com/elpais/2015/09/10/media/1441883592_651182.html

          (en este documento, las paginas 23 a 29) con el enorme impacto que tiene sobre la percepcion de la situacion electoral en España.

          Si 1) el CIS se limitase a hacer lo que tu sugieres, 2) el CIS se moviese fuera de Presidencia, y 3) no publicase cosas como la que señalo anteriormente, mi queja seria minuscula. Porque si el CIS hiciera solo lo que tu dices, el barometro del CIS seria como la mayoria de las estadisticas del INE, algo de gran intereses para los investigadores, pero NO una noticia de portada de todos los periodicos de España. Las encuestas del CIS son noticia de portada porque dicen "el PP sacara 125 diputados y el PSOE 89".

          Quizas la entrada no esta lo suficientemente bien escrita al respecto (empleo la palabra "encuesta" en un sentido poco tecnico), pero me parece que a la vez que el sentido global de la misma es suficientemente claro.

    • No veo muy bien este argumento. Como digo en mi entrada:

      "Evaluar la calidad de una encuesta es siempre harto complejo: si el día de las elecciones los resultados son diferentes de los estimados, uno puede atribuir el error no solo a la metodología de la encuesta sino también al efecto de la campaña, los acontecimientos políticos e incluso la encuesta misma (ya que los resultados estimados pueden ayudar a cambiar “voto útil”)."

      La idea de validar la calidad de las otras preguntas de la encuesta con los resultados finales de las elecciones me parece que sufre de problemas estadisticos de primer orden.

      • Pues está claro. El título del post es por qué el CIS debe dejar de hacer encuestas electorales. Respuesta: porque, al tiempo que hace encuestas, hace y pregunta por otras cuestiones interesantes, que muy posiblemente, otros institutos demoscopicos no harían.

      • Conviene aclarar una cosa. Las preguntas por el voto no sirven sólo para validar la encuesta a posteriori, sino también para corregir los resultados de la encuesta (todos los resultados, electorales o no) con el recuerdo de voto en las elecciones últimas. Esa corrección es la famosa "cocina" del CIS. Aquí hay una descripción breve de la misma:
        http://www.investigacionyciencia.es/revistas/investigacion-y-ciencia/numero/380/encuestas-electorales-147

        Es verdad que, para hacer esta "cocina", bastaría preguntar a quién se votó en las elecciones anteriores y no a quién va a votar en las próximas, pero supongo que una encuesta que pregunte sólo por el voto anterior y no por el voto futuro resultaría extraña para el encuestado.

        Por lo demás, completamente de acuerdo en que el CIS debería depender del INE o de Investigación.

  • Tienes toda la razón Jesús, tenemos un superestado que no deja de derrochar el dinero colocando a amiguetes e intentando manipular a la ciudadanía.... y lo que es el colmo del despilfarro son las televisiones públicas y radios del estado, comunidades autónomas, provincias y municipios (sí que hasta Barcelona tiene tele pública, no será menos).

    Por cierto, a raíz de este post leí el que hiciste sobre la jornada de reflexión y el quebranto a la libertad de expresión que suponía. Desconozco si lo sabes pero desgraciadamente en nuestro país, los partidos políticos tienen monopolizado el derecho ha hacer campaña y nadie más puede. De tal forma que la organización Hazte Oír que emprendió una campaña informativa contra Cristina Cifuentes durante las elecciones por sus posturas abortistas, se les fue negado su derecho a la libertad de expresión y se les prohibió que continuasen con su labor informativa.
    Aquí dejo la noticia http://www.elmundo.es/madrid/2015/05/06/554a6aff22601dba258b4572.html
    y la resolución vergonzosa de la JEC
    http://www.juntaelectoralcentral.es/cs/jec/doctrina/acuerdos?packedargs=anyosesion=2015&idacuerdoinstruccion=33296&idsesion=843&template=Doctrina%252FJEC_Detalle

    Así que puesto que el artículo 50.5 de la LOREG prohíbe a cualquier persona jurídica, distinta de los partidos, federaciones, coaliciones o agrupaciones de electores, que realice actos de campaña electoral, a partir del 5 de diciembre todos callados.

  • Y lo que es terrorífico, creo, es que entrando en la encuesta la estimación de voto de Ciudadanos y Podemos aparece en el epígrafe "otros":

    Existen dos gráficas. En una se recoge la intención de voto de PP y PSOE y en la otra la de CiU, ERC, IU, UPyD, PNV y ... "otros"!! ... "otros" que, por cierto, supera el 35% de estimación de voto ... es posible que haya razones "metodológicas" pero el "tufillo" es espectacular ¿no?

  • El CIS genera información sobre la opinión pública española, para información tanto del Gobierno como de la ciudadanía, y pone esos datos a disposición del público. Pocas empresas lo hacen, las universidades, podrían hacerlo o no, pero no tendrían la continuación histórica que tiene el CIS. El que no se haga en otros sitios no es motivo para quitarlo en nuestro país, pues investigadores de otros países ven con envida una base de datos como la que ha generado el CIS. Y además de preguntar por el voto, que es lo único que suele preocupar a las empresas que hacen sondeos electorales, el CIS tiene en cuenta variables relevantes en la literatura de ciencias políticas y sociología, como la ideología o la clase social. No sé, para una vez que tenemos algo original y que funciona bien, querer cargárselo no me parece sensato.

    • Me parece que no has visto mi frase:

      "2) No tengo ningún problema con la mayoría de las otras actividades del CIS. Es importante tener bases de datos sociológicas. Ya lo he intentando explicar en el texto principal pero merece la pena que lo repita."

      Y no, no me parece que un centro de investigacion sociologica dependa del Ministerio de Presidencias sea "funcionar bien".

      La solucion es sencilla: llevar al CIS de Presidencia a la Secretaría de Estado de Investigación, Desarrollo e Innovación y dejar de publicar estimacion de voto para las elecciones. Todo lo demas que hace el CIS seguiria funcionando mucho mejor.

  • En general estoy de acuerdo con la idea. Si el organismo encargado de hacer las encuestas depende del Gobierno, siempre existirá la sospecha de que haya alguna manipulación. No obstante, en relación con las numerosas encuestas que periódicamente publican los medios de comunicación, la calidad de la encuesta del CIS es, por lo que he leído, muy superior.

    Por otra parte me gustaría saber su opinión, como experto en derecho y estadística, sobre la siguiente idea: ¿podríamos sustituir las elecciones (muy caras) por una encuesta elaborada por algún organismo independiente en el que tuvieran representación todos los partidos?

    Saludos,

  • Esto ya lo he dicho en otros comentarios, pero para que no haya dudas, quiero ser mas preciso (pues en la entrada empleo la palabra "encuesta" de una manera confusa).

    En este documento:

    http://ep00.epimg.net/descargables/2015/09/10/d7811c070a49ec78531836eb3b5e8448.pdf

    que ganamos con la estimacion de voto de las paginas 23 a 29?

    A los periodistas, esta estimacion es lo unico que les importa (y al gobierno). Esto es lo que yo creo que el CIS debe dejar de hacer.

    Cree alguien que si se publicase el Preelectoral de Cataluña sin las paginas 23 a 29 se perjudicaria de alguna manera la investigacion en España sobre comportamiento politico/sociologico?

    Una postura mas radical seria llevar toda la Preelectoral de Cataluña (de la pagina 1 a la 29) a un consorcio de universidades publicas donde los investigadores estarian sometidos a peer review. Aunque sigo pensando que es la mejor solucion, entiendo las dificultades de la misma y que quizas, por conveniencia, fuera mejor dejarlo en un CIS reformado y fuera de Presidencia. Pero sinceramente, no veo justificacion alguna para las paginas 23 a 29. Y sin esas paginas, el preelecotoral del CIS pasaria de ser noticia a una nota de investigacion, que es lo que deberia ser.

Los comentarios están cerrados.