Políticas basadas en la evidencia: el movimiento se demuestra andando

"As a Citizens we want evidence-based policy NOT "policy-based evidence": where evidence is typically used as a weapon — mangled and used selectively in order to claim that it supports a politician’s predetermined position" (*)

Dejen volar su imaginación.. Imagínense una página web en la que pudieran encontrar listados de políticas y programas sociales puntuados en función de su eficacia, probada con la evidencia empírica. Estos programas vendrían clasificados por ámbitos: salud, empleo, formación, educación y pobreza, por ejemplo, y según los objetivos que pretenden alcanzar: reducir el consumo de una sustancia nociva, la inserción de los parados de larga duración, aumentar la participación en la formación continua, reducir el abandono escolar, erradicar la pobreza infantil, por poner también unos ejemplos.

Cada programa o política sería puntuado, tomando, por ejemplo, valores positivos cuando se dispone de evidencia consistente y consensuada que ha mostrado ser eficaz, es decir, ha alcanzado sus objetivos en aplicaciones previas, y tendrían valores negativos aquellos de los que la evidencia muestre lo contrario, es decir, que han mostrado ser ineficaces. Además, la puntuación aumentaría (en valor absoluto) a medida que los resultados reportados sean más sólidos y generalizables, esto es, que se obtengan mediante evaluaciones que sigan unos criterios científicos que garanticen su calidad, que se mantengan en distintas localidades o ámbitos, con distintos procedimientos y en el tiempo. Valores inferiores se darían a aquellos programas para los que no existe aún suficientes evaluaciones de calidad y sus resultados no sea generalizables, o para los que se obtengan resultados dispares. El valor cero se dejaría para aquellos para los que, aún habiendo evidencia no se puede concluir que han sido eficaces o ineficaces. Aquellos programas para los que no se disponga de evidencia no sería puntuados.Claro está, la puntuación otorgada sería documentada y justificada, y complementada con otro tipo de información como la sospechas de que pueden tener efectos indirectos sobre colectivos no beneficiarios, por ejemplo.

¿Para qué podría servir este tipo de página web? Yendo un poco más allá, esta información podría incorporarse a los proyectos de presupuestos, junto con los costes financieros previstos de cada política o programa, sirviendo para los debates parlamentarios. De igual manera, podrían incorporarse a los programas electorales. La idea es que los gestores públicos puedan tomar sus decisiones siguiendo no sólo su ideología, sino también basándose en una evidencia que pueda asegurar que el dinero público se gaste eficazmente, es decir, tenga un impacto real sobre el bienestar de la gente, al margen de especulaciones o presiones para satisfacer los intereses de unos lobbies (**) . Los beneficiarios de estas políticas podrían también ser los usuarios de una página similar. Por ejemplo, los receptores de unos bonos de formación podría usarlos en aquellos cursos que hayan mostrado ser más eficaces par la inserción o promoción laboral. Finalmente, los usuarios últimos podríamos ser los votantes.

Pueden considerar Vds que no es más que un sueño de una noche de verano de un fanático de la política basada en la evidencia, ciencia ficción, que estamos a mil años luz de ver algo similar, al menos en nuestro país, y que en cualquier caso habría que discutir muy mucho sobre la utilidad y los posibles efectos que podría tener una herramienta similar, y en parte estaría de acuerdo. Sin embargo, en EEUU, existen ya algunas páginas de este tipo. Así, la Coalition for Evidence-based Policy, mantuvo activa entre 2008 y 2015 una página web en la que se un panel de expertos identificaban programas sociales “respaldados por fuertes evidencias de que tienen impactos importantes en las vida de las personas”. El objetivo de esta iniciativa era asistir a gestores públicos en la identificación de intervenciones que cumplieran estándares de “evidencia de nivel superior” (Top tier evidence).

Los programas eran clasificados en función del nivel de confianza  de que producirían importantes efectos si se implementaran fielmente en entornos y poblaciones similares a las de los estudios originales. Así, pueden ser considerados como "Top Tier"  cuando dichos efectos se obtienen con al menos 2 RCTs (Pruebas controladas aleatorizadas) llevados a cabo en diferentes lugares o alternativamente por un amplio RCT implementado en varias localidades y "Near Top  Tier" cuando se obtengan resultados similares a los del Top Tier, pero que necesiten réplicas, al basarse en un único estudio, es decir, que se confirme que se pueden generalizar los resultados a varios ámbitos.

El relevo de esta página ha sido tomado por la página de la Social Programmes That Work (evidencebasedprograms.org) de la  Laura and John Arnold Foundation’s (LJAF). Además de los programas "Top Tier" y "Near Top Tier", añadieron una nueva categoría que denominaron "Suggestive Top Tier" para los programas que han sido evaluados con uno o varios RCT (o con evidencia cuasi-experimental) y de lo que se obtienen efectos positivos, aunque sólo para el corto plazo, o efectos con escasa significatividad estadística.  En la actualidad, la página proporciona una lista de programas en 11 áreas temáticas, 12 programas han sido clasificados "Top Tier", 15  como "Near Top Tier", y 31 han sido considerados como "Suggestive Top Tier"

En una reciente monográfico de la American Academy of Political Science, varios expertos, no sólo académicos, hacen repaso a la historia del movimiento de la política basa en la evidencia en EEUU, cómo se ha llegado por ejemplo a este tipo de herramienta, su impacto en la práctica y también los retos y expectativas que ha generado y sigue generando el movimiento en este país.

En su introducción, Ron Haskins menciona tres factores que han influido sobre el desarrollo de este movimiento. El primero es que las ciencias sociales han avanzado suficientemente para proveer evidencia que puede ser útil para la formulación de políticas. El segundo factor es que tanto los gobiernos estatales como locales han acumulado suficiente masa crítica de programas basados en la evidencia. El tercero, y quizás más importante, es que cada vez más gestores públicos están convencidos de que pueden usar la evidencia para desarrollar políticas que funcionan o que, al menos,  prometen funcionar.  Así, en un país extremadamente dividido políticamente en multitud de temas, se aprobó  la creación de una Commission on Evidence-Based Policymaking, votada de forma unánime tanto en el Senado como en el Congreso. Los trabajos de esta comisión se concretaron en una serie de recomendaciones centradas especialmente en promover un acceso más eficaz y efectivo de los datos que las agencias federales y estatales colectan para mejorar la evidencia disponible sobre las políticas públicas.

Conclusiones

Si tuviéramos que importar este modelo en España, probablemente tardásemos unos 50 años, los mismos que llevamos de retraso con EEUU en materia de evaluación de programas públicos.  Estamos bien lejos de tener una masa critica de programas basados en la evidencia: los RCTs en políticas sociales de los que disponemos podrían contarse con los dedos de las manos de un manco. Pero, lo que si tenemos ya es una masa crítica de investigadores sociales suficientemente preparados para contribuir a que este movimiento se ponga también en marcha en nuestro país. Cierto es que EEUU no es el único modelo a seguir en esta materia. La experiencia en otros países, por ejemplo, el What Works Network en el Reino Unido lleva ya unos cuantos años funcionando sobre una base distinta, apoyando en la implementación, gestión y evaluación de políticas públicas con muy buenos resultados.

Por otra parte, sin quitar importancia a este tipo de experimentos para extraer conclusiones causales, que por tanto permitirían realizar recomendaciones informadas, aún sabiendo de sus límites (ver las discusiones en varias entradas anteriores de este blog, aquí o aquí, por ejemplo),y mientras no se extienda su cultura con la práctica en España, hemos de acudir a evaluaciones cuasi-experimentales, y para avanzar en esta materia, es estrictamente necesario que se abra el acceso de los datos administrativos a la comunidad científica, y se pueda canalizar todo el trabajo realizado por nuestros investigadores sociales para que pueda revertir en la sociedad. El acceso abierto a estos microdatos es condición sine qua non no sólo para que mejore nuestra gestión de programas públicos,  también para entender mejor como funciona nuestra economía, y cuales son los efectos reales de las distintas regulaciones e instituciones.

Pero el movimiento se demuestra andando, preferiblemente hacia delante.

En mi entrada anterior, reclamaba a los nuevos responsables del Ministerio de Trabajo y Seguridad Social  que hiceran un esfuerzo y dieran un paso hacia delante, abriendo el acceso de una serie de microdatos necesarios para avanzar en nuestro conocimiento de cómo funciona el mercado de trabajo español y poder evaluar adecuadamente las políticas de empleo. También apelaba a la Airef para que tuviera un rol aún más relevante en la evaluación de políticas públicas y permitiera el acceso a lo datos que manejan para el Spending Review.  De esta forma, podría comenzar a  disponer de un stock de evidencia que facilitara las próximas ediciones de mismo.

Pasaron dos cosas desde entonces: una negativa y otra positiva. La primera es que el gobierno decidió prescindir de la Dirección General de Estadísticas y Estudios Sociolaborales, encargada por ejemplo de gestionar los cruces entre distintas bases de datos del propio ministerio, como las procedentes del Servicio Público de Empleo, y los datos de afiliación a la Seguridad Social. Un paso atrás importante, que esperemos sinceramente no sea la señal de un nuevo apagón estadístico.

La (muy) positiva es que la Airef si que estaría dispuesta a dar el paso de abrir el acceso a los datos a la comunidad científica. Así lo trasmitió su presidente en un artículo en El País. Retomando los términos utilizados en el post, decía que:

“Ahora creemos que es momento de dar un paso más y aprovechar la fuerza de la inteligencia colectiva en la evaluación de políticas, abriendo a la comunidad científica los datos cedidos para este Spending Review y ofreciendo la infraestructura de seguridad construida para garantizar la confidencialidad de los datos, así como el tratamiento previo de la información recopilada para facilitar su uso para el análisis. Con ello, la AIReF quiere contribuir a la consecución de una verdadera estrategia nacional de evaluación de políticas públicas”.

Creo sinceramente que esta es la buena y única dirección, en estos momentos. Bien estaría que los distintos grupos políticos dieran un paso conjunto y apoyarán esta iniciativa, regulando y proporcionando los recursos que facilitaran esta tarea y tomaran conciencia de los beneficios que le puede reportar.

Desde luego, den por seguro que recibirían el apoyo casi unánime de la comunidad científica. Mi pregunta es:  ¿qué acciones podemos emprender para mostrar nuestro firme apoyo a esta iniciativa?

(*) Eulalia Dalmau, http://findouteulalia.blogspot.com/2018/07/back-to-basics-7-enemies-of-evidence.html

(**) Una propuesta similar se puede encontrar aquí para su implementación por el Congressional Budget Office (CBO) de EEUU. Este ya evalúa el presupuesto y otorga una puntuación a cada acción o programa en función de los costes que generaría si se convirtiera en ley. Esta puntuación es ponderada ponderada en función de los beneficios esperados para los ciudadanos (en términos de salud, carga fiscal, seguridad nacional, .., pero estas ponderaciones no se basan aún en la evidencia empírica disponible. Estas puntuaciones también podrían variar en función de la fuente de financiación, por ejemplo, vía una reducción de impuestos o unas subvenciones (ver por ejemplo, esta propuesta)

 

Hay 7 comentarios
  • No puedo estar más de acuerdo, Florentino.
    Sólo añadir una información adicional. La Comisión Europea mantiene el CRIE (Centre for Research Impact Evaluation, https://crie.jrc.ec.europa.eu/ ) que promueve la evaluación de impacto de las políticas de mercado de trabajo. Ofrece asesoramiento a los países miembros para la realización de evaluaciones de impacto (en especial, evaluaciones experimentales). Este centro está muy relacionado con el empeño de evaluar (en el sentido de medir el impacto) de las medidas que se financian con el Fondo Social Europeo. Y tiene un repositorio de evaluaciones de políticas activas muy útil.
    Gracias una vez más, Florentino, por no cejar en el empeño de que la evaluación sea una parte fundamental de la gestión de las políticas laborales y sociales

  • Nos queda mucho más camino por recorrer. La gran mayoría de las evaluaciones de política económica no están realizadas desde una perspectiva compleja. No se consideran las interacciones, solo los efectos directos en unas pocas variables seleccionada arbitrariamente por el investigador en función de sus intereses. Muchas de nuestras prescripciones son cono esos anuncios tramposos que hablan de las bondades de determinados alimentos.: 'tocino sin azúcar ', 'toma azúcar light, con el 0% de grasa'

  • Gracias Florentino por su post. Ayuda a explicar la gran diferencia entre la Economía como ciencia de la humanidad y la Economía como ingeniería social. En cuanto ciencia --específicamente en cuanto teoría de la historia económica-- uno debe preguntarse cómo los gobiernos han tomado sus decisiones, y pareciera que en todo el mundo la gran mayoría de esas decisiones han ignorado evidencia relevante y fiable que, en distintos grados, contradecían los argumentos oficiales en su favor. El fracaso de la ciencia económica en entender cómo toman los gobiernos sus decisiones (en general, en entender la política y el gobierno en cualquier sociedad) se manifiesta en el poco avance de una teoría sintética de la historia económica.

    Pero si uno se centra en la Economía como ingeniería social, sí en los últimos 60 años --en unos pocos países, y en forma irregular-- ha habido un interés genuino por propuestas de solución a problemas económicos basadas en evidencia relevante y fiable. Debe reconocerse, sin embargo, que más allá del rechazo abierto u oculto de esa evidencia por los gobiernos y los políticos, no se puede alegar que haya mucha evidencia relevante y fiable de utilidad para formular propuestas. Debe tenerse claro que el hecho de que un experimento o un proyecto piloto o un análisis estadístico de una experiencia específica haya dejado una conclusión fiable no implica evidencia de que sea posible replicar esa conclusión en otras circunstancias.

  • Muchas gracias Florentino por compartir su análisis en este post. En mi experiencia, me temo que, en relación a la apuesta por la política basada en evidencia, vamos por detrás no sólo de países como UK o EEUU, sino también de algunos de América Latina como Chile.

    Me gustaría también llamar la atención sobre la revisión sistemática como instrumento para fomentar la política basada en evidencia. Estos trabajos sintetizan la evidencia existente sobre el efecto de un programa específico. Su gran ventaja es que permiten diferenciar la "buena" de la "mala" evidencia y a menudo, a partir de la evidencia existente, discuten de manera muy rigurosa la heterogeneidad de los efectos y las condiciones bajo las que el programa parece tener diferentes impactos.

    Saludos

  • Gracias por el artículo. Desde Catalunya trabajamos para que la cultura de la evaluación forme parte del ciclo de vida de las políticas públicas y se institucionalice.
    En este sentido Ivalua está desarrollando un trabajo de elevado interés para la Generalitat y otras administraciones públicas consorciadas.

    A destacar: qué funciona en educación

    http://www.ivalua.cat/generic/static.aspx?id=2989

    Ejemplo de evaluación de un programa utilizando diseño experimental:
    http://www.ivalua.cat/documents/1/07_07_2017_09_53_07_Informe_final_Mobilitzat_CAT.pdf

  • El movimiento se muestra andando y por eso conviene analizar en detalle algún política específica. En Economía/Ingeniería Social un caso "clásico" es la imposición de un salario mínimo. Desde el punto de vista teórico, bajo las condiciones más generales para un mercado libre de intervenciones estatales, la imposición de un salario mínimo mayor que el salario de equilibrio implica necesariamente un equilibrio con menor cantidad de empleo. Varias correcciones al análisis teórico cambiando las condiciones de la demanda y/o la oferta han demostrado que sólo en condiciones especiales podría darse que la imposición de un salario mínimo no disminuyera en equilibrio la cantidad de trabajo. Experiencias de imposición de salarios mínimos hay muchas y no sorprende que ya haya habido investigaciónes empíricas para confirmar o rechazar la conclusión del análisis teórico.

    Un último ejemplo, con una metodología original, de investigación "empírica" se presenta en este documento

    http://john-joseph-horton.com/papers/minimum_wage.pdf

    que toma en cuenta buena parte del análisis teórico bajo distintas condiciones.

    Mi impresión de la evidencia es que puede usarse para propuestas distintas si uno se atreve a aceptar un único objetivo a un costo que puede ser alto. Si la propuesta pretende sólo aumentar los ingresos de los trabajadores contratados, aumentos en salarios mínimos pueden ser eficaces. Para cualquier otro objetivo, en particular aumentar el empleo, no parece ser eficaz.

Los comentarios están cerrados.