- Nada es Gratis - https://nadaesgratis.es -

Evaluación experimental de políticas: el (buen) ejemplo de las ONGs

Algunas organizaciones, tanto gubernamentales como no gubernamentales, prefieren no ser evaluadas. Aceptar una evaluación supone implicitamente admitir que existen dudas sobre el éxito de un proyecto. Además, la evaluación puede ser costosa en términos de tiempo y dinero, puede plantear dilemas éticos y, para embarazo de algún que otro gestor, podría revelar que una política no ha sido adecuada. En esta ocasión me gustaría sin embargo destacar las buenas prácticas de las numerosas ONGs internacionales que evalúan sus proyectos de forma rigurosa y transparente.  La realización de evaluaciones experimentales les permite mejorar la captación de fondos, aumentar la motivación de los empleados y entender mejor qué proyectos son efectivos y cuáles no.

Por ejemplo, los experimentos de campo realizados por varias ONGs americanas muestran que los particulares están dispuestos a donar más dinero cuando un donante anónimo se compromete a igualar sus aportaciones (Karlan y List, 2007), o cuando saben que parte del coste del proyecto ha sido ya cubierto por otros donantes (List y Lucking-Reiley, 2000). También están dispuestos a pagar a cambio de que les dejen tranquilos: donan más dinero si la ONG promete no volver a pedirles dinero durante cierto tiempo  (Kandar, Amee et al., “Once and Done: Leveraging Behavioral Economics to Increase the Bottom Line of Non-Profits”, presentado en la reunión anual de la AEA 2012),

Una evaluación experimental adecuada también puede ayudar a motivar mejor a los colaboradores de una ONG. Un reciente estudio analiza el caso de una ONG africana que combate la transmisión del SIDA distribuyendo preservativos femeninos entre la población (Ashraf, Bandiera y Jack, 2012). Para comprobar cual era el mejor mecanismo de motivación, decidió que un grupo de distribuidores, elegidos al azar, cobrase una importante comisión monetaria por cada venta mientras que a otro grupo se le ofreció un premio simbólico: un poster donde se añade una estrella por cada preservativo vendido. Al comparar las ventas de ambos grupos, se observó que los colaboradores asignados al premio simbólico vendían significativamente más preservativos que los colaboradores que recibían un incentivo monetario.

Naturalmente, esto no quiere decir que los incentivos monetarios no puedan ser útiles en algunas ocasiones. Pensemos en el polémico tema de la donación de sangre. España, a pesar de ser uno de los países del mundo con mayor número de donantes de órganos, no consigue suficientes donaciones de sangre, lo que nos obliga a importar hemoderivados. Más allá de las posibles cuestiones éticas, ¿se resolverían nuestros problemas de escasez de donaciones de sangre si se ofrececiese una pequeña gratificación monetaria?  A priori no está claro. Según algunos expertos, se podrían destruir los incentivos intrínsecos y, además de malgastar el dinero público, disminuirían las donaciones (Titmuss, R.M., 1971: The Gift Relationship, London: Allen and Unwin). Para salir de dudas, la Cruz Roja de Ohio encargó a un equipo de economistas el diseño de un experimento de campo (Lacetera, Slonim y Macis, 2012). Se asignó de manera aleatoria a unos 100,000 potenciales donantes a un grupo de control y a varios grupos de tratamiento. En el grupo de control se mantuvo la práctica de no remunerar las donaciones. En los grupos de tratamiento se anunció una determinada gratificación, que variaba entre los 5$ y los 15$. En el tratamiento más efectivo, la remuneración de 15$, se observó un aumento de las donaciones de un 50% entre los donantes habituales y de un 200% entre los nuevos donantes. El análisis sugiere que aproximadamente una cuarta parte de este aumento se debe a donaciones que se habrían realizado sino en otros centros de donación, mientras que el resto supondría un aumento neto.

A veces las ONGs se prestan al uso de métodos de evaluación experimentales por exigencia de los donantes. Por ejemplo, en 2009 la Universidad de Chicago convocó un concurso de ideas con el fin de encontrar un programa que ayudase a reducir la violencia juvenil. De entre unas treinta propuestas, se eligió un plan de formación en habilidades no cognitivas presentado conjuntamente por dos ONGs locales. Las ONGs recibieron un millón de dolares para llevar a cabo su proyecto, con la condición de que la implementación fuera aleatorizada y, por lo tanto, evaluable. Los resultados de la evaluación, divulgados hace escasas semanas, muestran que mejoró significativamente el rendimiento escolar de los participantes y se redujo la probabilidad de que participaran en crímenes violentos.

En otras ocasiones las evaluaciones demuestran la falta de efectividad de algunos programas, a menudo por problemas de implementación que no había sido posible anticipar. Pensemos en el caso de las estufas de cocina utilizadas habitualmente en la India descritas por Duflo, Greenstone y Hanna (2008). Estas estufas emiten altos niveles de contaminantes tóxicos y suponen una importante amenaza para la salud. En colaboración con una ONG local, estos autores decidieron proporcionar estufas nuevas no contaminantes a un grupo de familias escogidas al azar. Tras implementar durante cuatro años el proyecto, comprobaron que la salud del grupo de tratamiento no había mejorado en relación al grupo de control. El análisis sugiere que el fracaso del programa se debió al uso inadecuado que se dio a las nuevas estufas (Duflo, Greenstone y Hanna, 2012). Muchas familias no las mantenían adecuadamente y, en cuanto se estropeaban, volvían a usar las estufas antiguas.

La fiebre de las evaluaciones experimentales no ha llegado todavía a las ONGs de nuestro país. Sin embargo, hay casos en los que una evaluación rigurosa podría resultar útil. Un buen ejemplo es la reciente campaña de la Cruz Roja de ayuda a los desempleados. En colaboración con Infojobs, la Cruz Roja ha enseñado a 2,000 desempleados a buscar trabajo online. A priori es difícil saber cual será la efectividad de un programa de este tipo. Quizás algunos de estos desempleados encuentre trabajo gracias a la formación recibida. Pero, por otro lado, también cabe la posibilidad de que haya un efecto desplazamiento. Como en el juego de las sillas musicales, por cada desempleado que encuentra trabajo gracias a la Cruz Roja podría haber otro desempleado que deja de encontrarlo. Desde una perspectiva teórica el efecto neto es ambiguo, su magnitud dependerá de las características del mercado laboral y de cuanto haya mejorado la calidad de los “emparejamientos”. Desde un punto de vista empírico, la mejor evidencia disponible sea quizás la proporcionada por la evaluación experimental que ha realizado el gobierno francés de un programa de ayuda a la búsqueda de empleo (Crepon et al., 2012). La evaluación tuvo lugar en 235 ciudades, donde de forma aleatorizada se facilitó ayuda a distintas proporciones de desempleados (0%, 25%, 50%, 75% o 100%). Los desempleados asignados al programa encontraron trabajo con mayor facilidad pero el programa redujo la empleabilidad de los desempleados que habían sido excluidos, especialmente en las áreas con un alto nivel de desempleo. Dada la dramática situación de nuestro mercado laboral, quizás convendría que la Cruz Roja española tomase nota del ejemplo francés y evaluase su programa para, si fuera el caso, poder cancelarlo a tiempo.