Algunas organizaciones, tanto gubernamentales como no gubernamentales, prefieren no ser evaluadas. Aceptar una evaluación supone implicitamente admitir que existen dudas sobre el éxito de un proyecto. Además, la evaluación puede ser costosa en términos de tiempo y dinero, puede plantear dilemas éticos y, para embarazo de algún que otro gestor, podría revelar que una política no ha sido adecuada. En esta ocasión me gustaría sin embargo destacar las buenas prácticas de las numerosas ONGs internacionales que evalúan sus proyectos de forma rigurosa y transparente. La realización de evaluaciones experimentales les permite mejorar la captación de fondos, aumentar la motivación de los empleados y entender mejor qué proyectos son efectivos y cuáles no.
Por ejemplo, los experimentos de campo realizados por varias ONGs americanas muestran que los particulares están dispuestos a donar más dinero cuando un donante anónimo se compromete a igualar sus aportaciones (Karlan y List, 2007), o cuando saben que parte del coste del proyecto ha sido ya cubierto por otros donantes (List y Lucking-Reiley, 2000). También están dispuestos a pagar a cambio de que les dejen tranquilos: donan más dinero si la ONG promete no volver a pedirles dinero durante cierto tiempo (Kandar, Amee et al., “Once and Done: Leveraging Behavioral Economics to Increase the Bottom Line of Non-Profits”, presentado en la reunión anual de la AEA 2012),
Una evaluación experimental adecuada también puede ayudar a motivar mejor a los colaboradores de una ONG. Un reciente estudio analiza el caso de una ONG africana que combate la transmisión del SIDA distribuyendo preservativos femeninos entre la población (Ashraf, Bandiera y Jack, 2012). Para comprobar cual era el mejor mecanismo de motivación, decidió que un grupo de distribuidores, elegidos al azar, cobrase una importante comisión monetaria por cada venta mientras que a otro grupo se le ofreció un premio simbólico: un poster donde se añade una estrella por cada preservativo vendido. Al comparar las ventas de ambos grupos, se observó que los colaboradores asignados al premio simbólico vendían significativamente más preservativos que los colaboradores que recibían un incentivo monetario.
Naturalmente, esto no quiere decir que los incentivos monetarios no puedan ser útiles en algunas ocasiones. Pensemos en el polémico tema de la donación de sangre. España, a pesar de ser uno de los países del mundo con mayor número de donantes de órganos, no consigue suficientes donaciones de sangre, lo que nos obliga a importar hemoderivados. Más allá de las posibles cuestiones éticas, ¿se resolverían nuestros problemas de escasez de donaciones de sangre si se ofrececiese una pequeña gratificación monetaria? A priori no está claro. Según algunos expertos, se podrían destruir los incentivos intrínsecos y, además de malgastar el dinero público, disminuirían las donaciones (Titmuss, R.M., 1971: The Gift Relationship, London: Allen and Unwin). Para salir de dudas, la Cruz Roja de Ohio encargó a un equipo de economistas el diseño de un experimento de campo (Lacetera, Slonim y Macis, 2012). Se asignó de manera aleatoria a unos 100,000 potenciales donantes a un grupo de control y a varios grupos de tratamiento. En el grupo de control se mantuvo la práctica de no remunerar las donaciones. En los grupos de tratamiento se anunció una determinada gratificación, que variaba entre los 5$ y los 15$. En el tratamiento más efectivo, la remuneración de 15$, se observó un aumento de las donaciones de un 50% entre los donantes habituales y de un 200% entre los nuevos donantes. El análisis sugiere que aproximadamente una cuarta parte de este aumento se debe a donaciones que se habrían realizado sino en otros centros de donación, mientras que el resto supondría un aumento neto.
A veces las ONGs se prestan al uso de métodos de evaluación experimentales por exigencia de los donantes. Por ejemplo, en 2009 la Universidad de Chicago convocó un concurso de ideas con el fin de encontrar un programa que ayudase a reducir la violencia juvenil. De entre unas treinta propuestas, se eligió un plan de formación en habilidades no cognitivas presentado conjuntamente por dos ONGs locales. Las ONGs recibieron un millón de dolares para llevar a cabo su proyecto, con la condición de que la implementación fuera aleatorizada y, por lo tanto, evaluable. Los resultados de la evaluación, divulgados hace escasas semanas, muestran que mejoró significativamente el rendimiento escolar de los participantes y se redujo la probabilidad de que participaran en crímenes violentos.
En otras ocasiones las evaluaciones demuestran la falta de efectividad de algunos programas, a menudo por problemas de implementación que no había sido posible anticipar. Pensemos en el caso de las estufas de cocina utilizadas habitualmente en la India descritas por Duflo, Greenstone y Hanna (2008). Estas estufas emiten altos niveles de contaminantes tóxicos y suponen una importante amenaza para la salud. En colaboración con una ONG local, estos autores decidieron proporcionar estufas nuevas no contaminantes a un grupo de familias escogidas al azar. Tras implementar durante cuatro años el proyecto, comprobaron que la salud del grupo de tratamiento no había mejorado en relación al grupo de control. El análisis sugiere que el fracaso del programa se debió al uso inadecuado que se dio a las nuevas estufas (Duflo, Greenstone y Hanna, 2012). Muchas familias no las mantenían adecuadamente y, en cuanto se estropeaban, volvían a usar las estufas antiguas.
La fiebre de las evaluaciones experimentales no ha llegado todavía a las ONGs de nuestro país. Sin embargo, hay casos en los que una evaluación rigurosa podría resultar útil. Un buen ejemplo es la reciente campaña de la Cruz Roja de ayuda a los desempleados. En colaboración con Infojobs, la Cruz Roja ha enseñado a 2,000 desempleados a buscar trabajo online. A priori es difícil saber cual será la efectividad de un programa de este tipo. Quizás algunos de estos desempleados encuentre trabajo gracias a la formación recibida. Pero, por otro lado, también cabe la posibilidad de que haya un efecto desplazamiento. Como en el juego de las sillas musicales, por cada desempleado que encuentra trabajo gracias a la Cruz Roja podría haber otro desempleado que deja de encontrarlo. Desde una perspectiva teórica el efecto neto es ambiguo, su magnitud dependerá de las características del mercado laboral y de cuanto haya mejorado la calidad de los “emparejamientos”. Desde un punto de vista empírico, la mejor evidencia disponible sea quizás la proporcionada por la evaluación experimental que ha realizado el gobierno francés de un programa de ayuda a la búsqueda de empleo (Crepon et al., 2012). La evaluación tuvo lugar en 235 ciudades, donde de forma aleatorizada se facilitó ayuda a distintas proporciones de desempleados (0%, 25%, 50%, 75% o 100%). Los desempleados asignados al programa encontraron trabajo con mayor facilidad pero el programa redujo la empleabilidad de los desempleados que habían sido excluidos, especialmente en las áreas con un alto nivel de desempleo. Dada la dramática situación de nuestro mercado laboral, quizás convendría que la Cruz Roja española tomase nota del ejemplo francés y evaluase su programa para, si fuera el caso, poder cancelarlo a tiempo.
Hay 7 comentarios
Excelente artículo, yo lo resumiría al estilo de José Mota:
“Las gallinas que entran por las que salen”.
Podría hacer referencia, en España, a dos casos de 'algo parecido'.
Manos Unidas generalmente co-financia proyectos que cuentan con alguna financiación local. Creo que nadie ha evaluado hasta qué punto eso les ayuda a conseguir financiación aquí.
La Fundación Lealtad es la única (en mi conocimiento) que evalúa y hace pública la organización de las ONGs. De nuevo, nadie ha evaluado hasta qué punto esa mayor transparencia les ayuda a conseguir financiación.
Felices vacaciones (los que las tengáis)!
Hola Fernando,
Gracias por las referencias. Las actividades de la Fundación Lealtad son encomiables. De todas formas, sería aún mejor si pudieran adoptar prácticas de evaluación experimental como las descritas en el artículo. Es decir, además de controlar que las ONGs utilizan los fondos de la manera prevista o que cumplen ciertos principios de funcionamiento, sería útil conocer la efectividad de las actividades que realizan las ONGs españolas.
Felices vacaciones!
Manuel,
Todos los días y por siglos las empresas privadas realizan evaluaciones experimentales de sus prácticas, especialmente de las nuevas, porque es esencial a su éxito. En empresas grandes, algunas evaluaciones siguen procesos formales y originan documentos para informar a sus directorios en las decisiones sobre la continuidad de las prácticas y también de proyectos nuevos y no tan nuevos (las empresas pequeñas raramente tienen proyectos).
Más recientemente ese hábito de las empresas privadas se ha ido usando en actividades de organizaciones establecidas bajo un régimen legal que permite alegar “sin fines de lucro“. Empezó en las cooperativas pero su estructura interna siempre hizo difícil la realización de evaluaciones de cualquier tipo y lentamente se ha ido extendiendo a otras organizaciones sin fines de lucro. Las cooperativas no tenían que captar fondos externos pero otras sí. Esa búsqueda de fondos externos se volvió más competitiva y más exigente en cuanto a resultados --la gran mayoría de las organizaciones sin fines de lucro han fracasado porque las buenas intenciones de los fundadores eran una barrera a buenas prácticas administrativas, a la buena economía y a buenos resultados financieros.
La experiencia de las organizaciones sin fines de lucro se parece más a la de gobiernos en estados financiados por impuestos, que siempre han rechazado evaluaciones ex ante y ex post serias de sus actividades. La experiencia de los organismos internacionales de crédito enseña cuán poco se ha avanzado --aun en China donde las experiencias piloto financiadas por esos organismos no han tenido seguimiento.
Quasimontoro,
Afortunadamente hay bastantes casos de buenas prácticas. Quizás el entorno tan competitivo en el que se mueven las ONGs americanas, especialmente para captar fondos, ha facilitado que sean más proclives a realizar evaluaciones experimentales de sus políticas. Y también es probable que haya ayudado la presencia de buenos economistas. A nivel nacional queda mucho por hacer. En general las evaluaciones se limitan a un mero ejercicio contable, sin que se realice una auténtica evaluación experimental o exista algún tipo de grupo de control. Yo creo que es importante que estas evaluaciones experimentales se difundan, sino en muchas ocasiones será difícil que sepamos si una campaña está siendo realmente efectiva, como en el caso de Cruz Roja e Infojobs.
Manuel,
Estoy de acuerdo contigo pero en el contexto de todas las actividades que están o que podrían estar sujetas a evaluaciones ex post. La resistencia a estas evaluaciones se debe en buena medida a las consecuencias que podrían tener para las personas cuyos errores pueden haber perjudicado a otras personas por negligencia o dolo. En organizaciones pequeñas donde puede haber sido más fácil desarrollar relaciones personales basadas en la confianza, probablemente exista una mejor disposición hacia esas evaluaciones, pero en general siempre ha sido una gran pelea.
En todo caso, el debate filosófico y más recientemente científico sobre autoengaño
(ver por ejemplo http://plato.stanford.edu/entries/self-deception/)
no debe ignorarse cuando se planean y ejecutan evaluaciones ex post.
Felicidades por el artículo. Me parece interesante que estos debates se den también en España, en eso coincido con el autor y con la mayoría de los comentarios. Sin embargo, creo que hay vacíos importantes en el planteamiento, probablemente debido a esa misma ausencia de debate, al hecho de que no hay apenas publicación académica al respecto, y que la poca que hay es relegada a círculos minoritarios por poco relevante.
Manuel, abordas el artículo al mismo estilo que abordó la gente de Duflo del MIT la entrada al mundo de la evaluación en la Ayuda al Desarrollo: como elefante en cacharrería, obviando la larga tradición tanto de análisis del fenómeno de la pobreza como de la evaluación de políticas públicas (quizá no en España, como comentaba, pero sí en EEUU por ejemplo). Aunque a algunos economistas os cueste creerlo, hay todo un mundo más allá del positivismo. Y en este caso creo que es más patente, si cabe. De entrada, el uso de diseños experimentales en ciencias sociales no es nada nuevo. Parece que con Duflo y Banerjee, quedan borrados los clásicos Cook, Campbell o más recientemente Shadish (reciente me refiero a 20-30 años).
Los comentarios están cerrados.