Como la mayoría de los seres humanos, los economistas somos – en general – poco proclives a admitir nuestros errores y raramente aceptamos con una sonrisa sincera las críticas a nuestros métodos. Es por ello por lo que comprenderán que cuando leí hace unos meses un artículo de Flyvbjerg y Bester titulado The Cost-Benefit Fallacy: Why Cost-Benefit Analysis is Broten and How to Fix it (una versión actualizada se acaba de publicar como capítulo de libro) estuve algún tiempo reflexionando sobre hasta qué punto somos en nuestra profesión críticos con nuestras herramientas metodológicas y sobre la forma en las que las transmitimos a alumnos y colegas.
La cuestión no es baladí. El profesor Flyvbjerg – geógrafo y planificador urbano danés – es una autoridad muy reconocida en el campo del análisis coste-beneficio (ACB) y la evaluación económica de megaproyectos. En sus publicaciones ha abordado los problemas de racionalidad en la toma de decisiones sobre los mismos (véase por ejemplo, Megaproyectos y Riesgo: Anatomía de la ambición, los principales errores que pueden convertir determinadas inversiones en inútiles elefantes blancos -véase aquí o aquí- o incluso, aunque en una faceta menos conocida, algunas cuestiones metodológicas sobre las ciencias sociales.
La importancia de la evaluación…y sus limitaciones
Al igual que en esos trabajos, en este blog se ha defendido en numerosas ocasiones la necesidad de evaluar las inversiones públicas a través de herramientas que minimicen la subjetividad del decisor (véase aquí o aquí, sin ir más lejos). Sin embargo – y aunque esto no significa que se cuestione esa necesidad – Flyvbjerg siempre ha señalado que nuestras herramientas de evaluación de proyectos no son (ni serán) nunca perfectas. En particular, sus trabajos identifican dos limitaciones importantes: la existencia de una representación defectuosa de la realidad (esto es, que los datos del proyecto a considerar no sean ciertos, muchas veces por motivos estratégicos o para favorecer una evaluación positiva) y la presencia de un sesgo optimista en el evaluador (que tiende en muchas ocasiones a aceptar sobreestimaciones de la demanda o infraestimaciones de los costes sin suficiente validación objetiva).
En The Cost-Benefit Fallacy, Flyvbjerg y Bester insisten en la idea de que la mayoría de los evaluadores asumimos que las estimaciones de costes y beneficios son más o menos precisas e imparciales. ¿Pero cómo afectarían a nuestras decisiones si supiéramos que son inexactas y sesgadas? Entonces el supuesto de que el ACB es una herramienta racional para mejorar la asignación de recursos sería una falacia. Aunque esta no es una idea nueva en economía (recuérdense por ejemplo los animal spirits descritos Akerlof y Shiller en 2009), la novedad más interesante de este trabajo es que se intenta validar esta hipótesis a partir de una de las bases de datos más completas utilizadas hasta ahora, sometiéndola a un exhaustivo control estadístico con resultados altamente significativos.
Los siempre problemáticos datos
La muestra utilizada incluye datos de 2.062 proyectos de inversión en obras públicas desagregados en ocho categorías (ferrocarriles, carreteras, túneles, puentes, transporte urbano, presas, centrales eléctricas y otros edificios públicos). Estas inversiones abarcan 104 países de todo el mundo, tanto desarrollados como en desarrollo, si bien la mayoría de las observaciones procede de Europa y Estados Unidos, desde 1927 hasta 2013. Para cada proyecto, la precisión de las estimaciones de costes se mide por el sobrecoste (esto es, el coste final del proyecto dividido por el coste inicialmente estimado), mientras que la precisión de las estimaciones de beneficios se mide por el infrabeneficio (beneficio real generado dividido entre el beneficio inicialmente estimado).
Como es fácil imaginar la obtención de datos estimados y reales de un número tan elevado de proyectos resultó extremadamente compleja. No existe ningún organismo estadístico ni servicios de datos de los que pueda extraerse información válida y comparable, por lo que los autores tuvieron que acudir en muchos casos a las fuentes originales (expedientes públicos, cuentas anuales, informes sobre costes e ingresos, auditorías, cuestionarios, entrevistas y otros estudios anteriores), analizando caso por caso. Finalmente, solo se incluyeron los datos que podían apoyarse en pruebas documentales fiables, lo que significa que los resultados de los análisis estadísticos realizados son probablemente conservadores, es decir, que los sobrecostes en la población de inversiones son probablemente mayores que en la muestra, y los infrabeneficios menores. Esto se debe a que la disponibilidad de datos suele ser un indicio de una gestión de la inversión mejor que la media, y a que los datos de las inversiones con malos resultados no suelen publicarse y, por tanto, es probable que adolezcan de cierta infrarrepresentación muestral.
También es posible que exista un sesgo de supervivencia o de selección en los datos, ya que estos dependen de qué proyectos se llevan a cabo en la práctica (y, por tanto, quedan registrados). Si solo se ejecutan aquellas actuaciones que – sobre el papel – obtienen evaluaciones favorables, existirá un sesgo de selección hacia los proyectos que sobrestimen los beneficios y subestimen los costes, incluso asumiendo que la evaluación se ha realizado de manera honesta y equilibrada. Este sesgo es difícil, y a veces imposible, de corregir en términos estadísticos porque se fundamenta en elementos contrafactuales; por ejemplo, en un proyecto no ejecutado nunca encontraremos datos a posteriori (sobre sus costes y beneficios reales) y, por tanto, no habrá posibilidad de estimar sobrecostes ni infrabeneficios. Dado que es muy probable que este sesgo de supervivencia esté presente en cualquier base de datos histórica (que solo incluya actuaciones que sí se llevaron a cabo y omita las que se propusieron, pero no se ejecutaron), los resultados deben interpretarse teniendo presente estas distorsiones.
Resultados y conclusiones (por ahora)
Aunque en el artículo de Flyvbjerg y Bester (2021) se presentan numerosos contrastes estadísticos, desagregados por tipos de proyecto, la figura que acompaña a esta entrada resume perfectamente la idea de que las estimaciones de costes y beneficios suelen estar sesgadas. En ella se presentan dos histogramas que muestran la frecuencia relativa de los sobrecostes (aecost) e infrabeneficios (aebenefit), respectivamente. Si las estimaciones de costes y beneficios fueran – mayoritariamente – precisas e imparciales, ambos histogramas se distribuirían más o menos simétricamente alrededor de uno con colas relativamente finas (técnicamente, esperaríamos que el logaritmo de la distribución fuera exactamente simétrico en torno a uno).
Sin embargo, como puede observarse, cada uno de los histogramas es bastante asimétrico, no se distribuye en torno a uno y presenta una concentración de valores extremos relativamente alta (en la cola izquierda para los beneficios, en la derecha para los costes). De hecho, considerando ambas variables conjuntamente, se observa que – por término medio – los sesgos detectados funcionan de tal manera que los excesos de costes no se compensan con los excesos de beneficios, sino todo lo contrario. También vemos que los tipos de inversión con grandes sobrecostes medios tienden a tener grandes déficits de beneficios medios. Estos resultados son importantes porque los errores no solo no se anulan en el caso de los costes y los beneficios por separado, como se ha documentado anteriormente. Además, la inexactitud se ve acelerada por el hecho de que la inversión media se ve obstaculizada por una combinación de sobrecostes e infrabeneficios lo que socava la viabilidad de la inversión en ambos frentes. Además de a simple vista, todos estos resultados son estadísticamente muy significativos en términos de diferentes tests sobre la asimetría y curtosis de la distribución, y totalmente compatibles con la literatura existente con muestras de menor tamaño (por ejemplo, aquí). La influencia del tipo de inversión, la distribución geográfica o temporal sobre las conclusiones también fueron analizadas, obteniéndose que el patrón de subestimación de los costes y sobrestimación de los beneficios es universal en el espacio y el tiempo con un nivel muy alto de significatividad.
A modo de resumen: lo que podemos hacer
Asumiendo los caveats mencionados respecto a los datos, estos resultados sugieren que existe una falacia en el corazón del análisis coste-beneficio tradicional: al evaluar cada proyecto los académicos y los analistas profesionales (y también los responsables políticos, aunque no siempre por las mismas razones) tendemos a asumir que las estimaciones de costes y beneficios del proyecto representan adecuadamente ‘lo que va a suceder’, cuando en realidad son muy inexactas y sesgadas. En muchos proyectos de inversión pública, esta falacia se traduce en una sobreestimación de la ratio promedio de beneficio/coste de entre el 50% y el 200%, dependiendo del tipo de proyecto, aunque las estimaciones individuales para algunos megaproyectos pueden alcanzar valores muy por encima de esta media. Esto no significa que el ACB sea inútil: cualquier mecanismo sometido a reglas revisables es preferible a la adopción de decisiones arbitrarias. Lo que tampoco puede ser es ingenuo: el ACB es una herramienta útil para decidir sobre inversión pública en la medida que asuma la falacia asociada a las estimaciones de costes y beneficios. La relevancia de esta cuestión y cómo abordarla será objeto de otra entrada próximamente en este blog.
