En una entrada anterior en este blog discutíamos – a partir de un artículo de Flyvbjerg y Bester – la llamada falacia del análisis coste-beneficio, definida como aquella situación en la que los analistas de proyectos actuamos como si las estimaciones de costes y beneficios que utilizamos fueran más o menos exactas e imparciales, cuando en realidad (todos sabemos que) son muy inexactas y sesgadas. A raíz de esa publicación, he tenido la oportunidad de debatir con algunos colegas sobre un tema que, en absoluto, es una novedad en la literatura académica pero que, por su importancia para la profesión, considero que debería estar más presente en muchas de nuestras reflexiones metodológicas actuales.
¿Por qué nos equivocamos los economistas?
Personalmente, la principal conclusión a la que he llegado después de este tiempo es que lo relevante no es tanto intentar corregir los errores de estimación como saber por qué los asumimos en nuestro trabajo con tanta facilidad. Y la respuesta es simple: los economistas (aunque a veces no lo parezca) somos humanos y, como bien lo explican la psicología y la economía del comportamiento (véase, Puri y Robinson, 2007; o Kahneman, 2011; o la magnífica charla TED de la neurocientífica Tali Sharot), tendemos a incurrir generalmente en un ‘sesgo optimista’ natural.
Los propios Flyvbjerg y Bester ilustran esta situación con un ejemplo extraído de una entrevista con el CEO de una de las mayores empresas proveedoras de infraestructuras del mundo. En concreto, le preguntaron por qué la previsión de costes de una de sus multimillonarias inversiones – una línea ferroviaria de alta velocidad que estaba incluida en la base de datos de estos autores – había resultado demasiado baja, lo que había provocado un importante sobrecoste ex post. Según el directivo, la subestimación inicial se debía a tres causas. Primero, la construcción había durado más tiempo del previsto debido a retrasos inesperados de suministros y otros ajustes de calendario. En segundo lugar, la inversión, que implicaba una gran excavación de túneles, se había topado con condiciones geológicas inesperadas, difíciles de detectar en los sondeos previos. En tercer lugar, el incremento de los precios, tanto de la mano de obra como de los materiales, fue mayor de lo previsto inicialmente, debido a la mayor duración de los trabajos y a las dificultades encontradas.
Probablemente, muchos economistas e ingenieros que trabajen en obras públicas considerarían plausibles y aceptables estas explicaciones. Los retrasos, la geología y la inflación son causas habituales de sobrecostes en muchos proyectos, al igual que la complejidad, los cambios sobrevenidos, las inclemencias del tiempo, el descubrimiento de restos arqueológicos u otras justificaciones similares. De hecho, analizando con detalle los datos de este caso en particular, Flyvbjerg y Bester concluyeron que, a primera vista, la empresa tenía razón. Pero lo mismo ocurría en otros muchos proyectos similares por lo que – lo que parecía ser un elemento aleatorio – tenía una clara pauta estructural.
Ignorar esta pauta es precisamente la explicación de la falacia del análisis coste-beneficio. A un nivel más profundo, la explicación de los sobrecostes (y, en su caso, de la sobrestimación de la demanda) reside en un sencillo sesgo conductual: el optimismo. La empresa fue optimista en cuanto al calendario de ejecución, al suponer que podría entregar la línea ferroviaria varios meses antes de lo que ocurre habitualmente en este tipo de inversiones, sin tener buenas razones para esta suposición. La empresa también fue optimista sobre las condiciones geológicas, sin haber investigado lo suficiente en los sondeos previos (que, por lo demás, son muy costosos). Y también fue optimista en cuanto a las variaciones de los precios, sin saber o querer anticipar valores más realistas. Esto es optimismo puro y duro, a menos que la empresa tergiversara deliberadamente sus estimaciones por motivos estratégicos (para ganar el contrato), incurriendo en una ‘maldición del ganador’ que ya se ha analizado en otros posts sobre subastas (véase aquí o aquí, por ejemplo) y que no desarrollaremos en esta entrada.
¿Cómo abordar el problema?
Entonces, parece claro que, para entender y resolver esta falacia, la empresa (y los analistas en general) no necesitamos mejores diagramas de Gantt, ni una mejor comprensión de la evolución de los precios del mercado, o un conocimiento más detallado de los aspectos geológicos de cada proyecto. Lo que necesitamos realmente es ser más conscientes de cómo tomamos nuestras propias decisiones, ya que la causa fundamental de las subestimaciones de costes y sobrestimaciones de demanda reside en el hecho – detalladamente documentado en el trabajo citado de Flyvbjerg y Bester y en otras contribuciones similares desde que Kahneman and Tversky (1979) enunciaran su ‘análisis prospectivo’ – de que los agentes decisores seguimos minimizando las lecciones que nos proporcionan los datos sobre la experiencia pasada y abordamos cada nueva decisión como “un nuevo día”, con cierto optimismo innato.
Es cierto que la mayoría de los manuales, libros y artículos sobre análisis coste-beneficio introducen caveats suficientes como para no ser triunfalistas en su uso y moderar de alguna forma este sesgo optimista natural. La mayoría de los usuarios habituales de las técnicas de evaluación socioeconómica admitimos que no se trata de una herramienta perfecta, aunque sí mejor que la alternativa de recurrir a la discrecionalidad a la hora de seleccionar proyectos o políticas económicas. Todos somos conscientes de que deben emplearse con rigor y teniendo en cuenta sus principales limitaciones, algunas de las cuales resume acertadamente Francisco Mejía, economista del BID: se debe definir claramente el contrafactual con respecto al que se realiza la comparación, no se debe incurrir en dobles contabilizaciones ni confundir beneficios (ni costes) con meras transferencias y solo hay que tener en cuenta las externalidades y los efectos indirectos cuando estos existan realmente.
A este listado, Flyvbjerg y Bester proponen añadir cuatro recomendaciones adicionales encaminadas a resolver la falacia del análisis coste beneficio y que deberían incorporarse al decálogo del ‘evaluador consciente de sus limitaciones’. La primera y más importante, es admitir que nuestras estimaciones estarán siempre sesgadas, por lo que – en la medida de lo posible – debemos corregirlas utilizando la información disponible de proyectos anteriores y dando más relevancia a las evaluaciones ex post. En algunos países (véanse por ejemplo las TAG Guidelines utilizadas en el Reino Unido desde 2006) el uso de ‘pronósticos por clase de referencia’ (reference class forecasting) es ya obligatorio en los grandes proyectos de infraestructura.
En segundo lugar, deberían introducirse mejores incentivos para incrementar la precisión de las previsiones de costes y beneficios. Akerlof y Shiller (2009) sugieren “despedir al pronosticador” cuando sus previsiones son erróneas y generan graves consecuencias; el propio Flyvbjerg (2013) habla incluso de “demandar al pronosticador” en los casos de negligencia grave, aunque tal vez seamos capaces de encontrar un mecanismo de incentivos (positivos y negativos) menos estricto. La tercera recomendación es recurrir a auditorías y evaluaciones externas del propio proceso de evaluación, permitiendo un escrutinio – mucho mejor si es público y transparente, con datos abiertos – de todo el proceso. Finalmente, la última recomendación es entender que el análisis coste-beneficio no es una mera herramienta burocrática, un simple trámite que debe ser superado para obtener fondos para un proyecto, sino un verdadero análisis científico cuyo objetivo es identificar, medir y cuantificar el impacto real sobre el bienestar de una sociedad de un proyecto o política económica.