La investigación en ciencias sociales y las políticas públicas

piaacHoy escribo desde el AVE, en el camino de vuelta a casa desde el tercer congreso internacional de PIAAC, la base de datos de la OCDE sobre competencias cognitivas en la población adulta (de la que ya hemos hablado antes, ver aquí). En el congreso han (hemos) intervenido varios colaboradores actuales y pasados de este blog, así como distintos investigadores internacionales y de la propia OCDE. Lo usaré como excusa para reflexionar sobre el papel de los economistas y las ciencias sociales en general en la formulación de políticas públicas.

Lo interesante de esta base de datos PIAAC es que, además de recoger variables demográficas y de mercado de trabajo tradicionales, trata de medir de manera objetiva las habilidades tanto lingüísticas como matemáticas y de capacidad de resolución de problemas de la población adulta, en distintos países. Una de las ventajas de estas medidas de competencias (al menos para una economista laboral como yo) es que nos podrían permitir entender mejor la relación entre, por ejemplo, el nivel educativo y el nivel de renta (¿qué clase de competencias, if any, son las que posee un graduado universitario, que hacen que gane mucho más que un trabajador menos formado?).

Mi breve papel en el congreso ha sido comentar el análisis de Caglar Ozden, del Banco Mundial, sobre las competencias de la población de origen inmigrante, y su relación con el salario y la ocupación de los trabajadores en el país de acogida.

El PIAAC también promete ayudar a responder preguntas clásicas de la literatura sobre asimilación de los inmigrantes en el mercado de trabajo del país de destino. Sabemos que, de media, un inmigrante gana menos que un trabajador nativo, pero esta brecha se reduce a medida que el trabajador pasa más tiempo en el país de acogida. Sería muy interesante saber si con el paso del tiempo, el trabajador inmigrante va adquiriendo determinadas competencias, que son responsables de su "escalada" salarial (y ocupacional). Un candidato evidente serían las competencias lingüísticas (el conocimiento del idioma del país de destino), pero sería interesante saber si también se produce asimilación en otras competencias relevantes.

Por desgracia, el reducido número de observaciones en la base de datos hace que la submuestra de inmigrantes sea muy pequeña, con lo que resulta complicado derivar conclusiones precisas de este análisis. También se echa en falta en los datos una medida directa del conocimiento del idioma del país de destino.

En un descanso del congreso, una de las organizadoras comentaba la importancia, en temas como estos (educación, inmigración, mercado de trabajo), de facilitar la comunicación entre los investigadores y los agentes sociales encargados de tomar decisiones, como partidos o cargos políticos. Le parecía crucial hacer llegar a los agentes relevantes la evidencia existente, de modo que las propuestas de política tuvieran una mayor base en evidencia fiable, y no tanto en opiniones y evidencia anecdótica. Varios problemas salieron en seguida a relucir. En primer lugar, los investigadores tienden a hablar en una jerga poco comprensible para no-expertos. Además, no suelen tener incentivos a comunicar sus resultados fuera del entorno académico. Y por último, les suele costar dar el salto de explicar los detalles de su estudio a derivar de él "recomendaciones de política".

Como investigadora, me declaro culpable de los tres cargos. Lo que a mí me conviene personalmente es publicar lo mejor posible en revistas académicas internacionales. A pesar de que trabajo temas relacionados con la evaluación de políticas públicas, no se me ocurre intentar hacer llegar mis conclusiones a los gobiernos o partidos políticos, ni mucho menos realizar recomendaciones explícitas.

Aparte del tema de los incentivos, la "timidez" de muchos investigadores a la hora de dar ese paso creo que se debe a que somos conscientes de las limitaciones de nuestro trabajo. Incluso en un encuentro tan de alto nivel como este al que he asistido hoy, alguno de los trabajos presentados trataba de extraer conclusiones de un análisis de fiabilidad limitada, debido por ejemplo a los problemas derivados del reducido número de observaciones de la muestra analizada. Intentar obligar a los investigadores a lanzar "recomendaciones de política" en base a estudios de cuyas limitaciones los autores suelen ser bien conscientes, no necesariamente ayudará a mejorar las políticas públicas. Además, muchos estudios en ciencias sociales son de naturaleza descriptiva, en el sentido de que no permiten extraer conclusiones causales (por ejemplo, documentar que los inmigrantes ganan menos que los nativos, no nos dice el por qué de esta brecha). Realizar recomendaciones de política requiere entender los mecanismos de causalidad relevantes. Para recomendar una política A frente a una B, tendríamos que conocer y comparar los efectos que tendrían A y B sobre las variables de interés.

Y esto me lleva a la lectura que tengo ahora mismo encima de la mesa (y que recomiendo), el artículo reciente del Nobel de Economía de 2015 Angus Deaton junto con la filósofa Nancy Cartwright, sobre las limitaciones de los experimentos aleatorios controlados, que tan populares se han vuelto en economía (ver aquí, aquí o aquí). Ya saben, hablo de este tipo de ensayos "de campo" en los que se divide al azar a la población de interés en un "grupo de tratamiento" y un "grupo de control", luego al primero se le aplica la medida cuya efectividad queremos evaluar, y para terminar se comparan las medias de la variable de interés entre los dos grupos, después del “tratamiento”.

Según la interpretación más extendida, tanto dentro de la profesión como fuera, este tipo de "experimentos" permitirían extraer conclusiones causales, que por tanto permitirían realizar recomendaciones informadas. Sin embargo, la lectura del artículo de Deaton y Cartwright ahonda aún más mi pesimismo sobre la medida en la que los científicos sociales podemos ayudar a mejorar las políticas públicas. Como bien señalan los autores, demostrar que algo funciona no nos ayuda por sí solo a entender por qué funciona, y por tanto no resulta informativo sobre si una determinada medida debería ser implementada. Que algo funcione en un sitio no quiere decir que vaya a volver a funcionar en otro, etcétera.

¿Dónde nos deja esto entonces? ¿Podemos aprender algo de la investigación académica en ciencias sociales, que pueda ser de ayuda para diseñar mejores políticas públicas? Quiero pensar que sí, pero nadie dijo que fuera fácil. Como académicos, quizá debemos perder el miedo a extraer conclusiones, aunque tentativas, de nuestros trabajos. Desde este blog, intentaremos seguir acercando la investigación académica en economía al público. Me temo que me repito, pero creo que es labor de todos aprender a distinguir la credibilidad de unos y otros estudios, y luego usar sus resultados (o no) para apoyar unas políticas u otras.

Hay 8 comentarios
  • Gracias por tus reflexiones, Libertad. Pero tengo que decir que te veo bastante pesimista. Leeré con atención el artículo de Deaton pero, en mi opinión, a pesar de todos los inconvenientes de los experimentos y cuasi experimentos, me parece que en ciencias sociales, poder probar que algo funciona, ya es muy importante.

    • Gracias por el comentario, Urano. Sí, estoy de acuerdo en que es importante, pero no es suficiente. En cualquier caso, y aunque a veces me venza el pesimismo, creo que merece la pena seguir intentando avanzar en la comprensión de los fenómenos sociales, con el objetivo de poder tomar mejores decisiones como sociedad.

  • Creo que el planteamiento, dudar y no aceptar por principio la infalibilidad de los métodos, es muy científico. Plantearse una duda "casi moral" sobre la utilidad de las conclusiones de los estudios, me parece que se ajusta a la famosa frase de Platón de la duda del sabio sobre su conocimiento ("...se que no se nada") Y comparto las inseguridades que implica la muy recomendable prudencia.
    Pero si partimos de el principio que define también el refranero, asignando al Tuerto su gran ventaja. Creo que siempre significará un menor riesgo (no más acierto) Y si somos autocríticos o tenemos "discrepantes" cerca (¡¡Algo difícil cierto!!) con nuestra capacidad de medir resultados, podremos corregir y rectificar si la aplicación demuestra (De forma clara, si es difuso....¿Que hacer?) que las predicción fue equivocada.
    Frente a la alternativa de esperar a un "flautista Burro" que sea capaz de entonar aleatoriamente.
    La elección entre opciones no técnicas no suele basarse en la lógica absolutamente, sino más bien en la mezcla de lógica e intuición informada. Creo que para eso la psicología tiene hasta nombre...

    • Gracias Miguel Ángel. Es verdad que conforme más sabes sobre un tema, más te das cuenta de lo poco que sabemos. Lo que pasa es que en el mundo real hay que tomar decisiones, y sería preferible no hacerlo basado sólo en intuiciones, pero a veces pienso que si yo tuviera que tomar alguna decisión importante en base a la evidencia, acabaría paralizada y sin hacer nada, pues la evidencia nunca es inequívoca al 100%, y siempre hay muchos "sí, pero".

  • Como directiva de una organización pública veo diariamente la necesidad de disponer de más evidencia científica para ayudar a tomar decisiones. También observo los problemas para hacernos con esta evidencia y las reticencias que hay en caso de que exista. Creo que es necesario disponer de canales abiertos entre universidad y administración pública (comunidades de práctica, doctorandos en la administración, bancos de investigadores en evaluación de políticas, etc) y una mayor exigencia de todos (agentes sociales, ciudadanos, empresas) a la hora de pedir explicaciones sobre en qué, cómo y por qué nos gastamos los recursos públicos. Aún con todos los problemas metodológicos que presentan las evoluciones de políticas públicas y las investigaciones sociales, es preferible disponer de ellas, antes que basar las decisiones solo con la intuición.

    • Muchas gracias por tu opinión, Anna. Estoy de acuerdo en que es una pena que no haya más canales de comunicación entre universidad y administración. Creo que hay reticencia por ambos lados: muchos investigadores no sabemos (ni necesariamente nos interesa) comunicar, y muchos en la administración tampoco quieren escuchar. También me parece fundamental promover esa exigencia de explicaciones y evaluaciones de las políticas públicas entre la ciudadanía.

  • Querida Libertad, creo que omites una cosa, y es que la falta de poder probar algo, es también evidencia. Hoy en día las políticas públicas se basan en mitos y creencias personales que nada tienen que ver con la realidad. Hacer que los investigadores hablen un lenguaje que entiendan los responsables de políticas, y dar a entender que las reformas que quieren hacer no las sustenta ningún tipo de evidencia, sería ya un gran paso. También demostrar correlaciones fuertes puede al menos marcar un posible camino a seguir, que ya sería mucho mejor que lo que existe hoy en día basado en un diálogo vacío. La educación es compleja y hay que darle el nivel de complejidad que se merece y tener verdaderos expertos hablando sobre ella. Es el mejor camino a seguir para mejor la educación de los países

Los comentarios están cerrados.