Decisiones Basadas en la Evidencia...!Experimental!

 De Pedro Rey Biel  (@pedroreybiel)

En una de mis primeras entradas en Nada es Gratis, escrita en Octubre de 2014, hablaba sobre cómo algunas empresas americanas se estaban abriendo a la experimentación como forma de tomar sus decisiones y, ésto es clave, de aprender sobre las relaciones causa-efecto entre las medidas que adoptaban. En los últimos meses, y especialmente desde la concesión del Premio Nobel de Economía a Richard Thaler, he podido notar cómo este primer impulso tomaba fuerza, incluso en nuestro país. Son varias las empresas, instituciones públicas, ONGs, y en particular las entidades financieras, las que han comenzado a crear pequeñas unidades internas de Economía del Comportamiento. Además, para nuestra sorpresa, los que nos dedicamos a ésto estamos recibiendo frecuentes llamadas de organizaciones de muy diversos sectores interesadas en introducir un enfoque "behavioral" y/o experimental en su día a día. También los cursos sobre "experimentación en empresas" se multiplican en todo tipo de másters (en los que habitualmente sí hay que presentar un Trabajo de Fin de Master, que suele ser una aplicación experimental). Afortunadamente, ya no somos tanto los investigadores quienes buscamos una colaboración en la "que nos dejen hacer un experimento" sino a quienes nos piden que los hagamos, no ya únicamente con un enfoque académico sino de aplicación real a sus procesos productivos. Por todo ello, creo que es buen momento para reflexionar sobre el potencial, y las dificultades, de utilizar el método experimental para tomar decisiones basadas en la evidencia, y no tanto "en la intuición" o en lo que "ha funcionado para otros".

Un experimento no es más que una prueba a pequeña escala en la que el resultado de una medida única, aplicada a una muestra elegida aleatoriamente, se compara con el resultado de un grupo de control, seleccionado igualmente de forma aleatoria. La clave que permite establecer que la medida tomada es la causa del efecto obtenido, reside en que la medida decidida sea realmente exógena, es decir, que tanto el grupo de tratamiento como el de control sean a priori perfectamente comparables (de ahí la aleatorización) y que, por tanto, no haya ninguna otra razón para observar diferencias entre ambos grupos más que el único aspecto que los diferencia, ess decir, la medida tomada, que es la causa del resultado. Un experimento es por tanto muy similar a un ensayo clínico, en el que a unos pacientes se les da el medicamento y a otros idénticos y sin que lo sepan, se les da un placebo.Sólo que nos experimentamos con pastillas, sino con personas.

Por poner un ejemplo sencillo, imaginen que tienen la intuición de que cierto programa de incentivos puede aumentar la productividad de sus empleados. En lugar de aplicarlo directamente, arriésgándose a posibles pérdidas si su intuición no es correcta, seleccionan un pequeño grupo (pero lo suficientemente grande desde un punto de vista estadístico) de trabajadores, de idénticas características al resto e idealmente aislados de los demás, de forma que no pueda haber interacción que "contamine" los resultados, y les aplican el programa. Si observan que la productividad aumenta respecto a aquellos con los que no se ha hecho nada, su grupo de control, pueden entonces inferir que al aplicar el programa a gran escala, los resultados serán escalables. Experimentos similares se pueden hacer para cambiar precios, introducir promociones, testar el contenido de sus políticas de comunicación, aumentar la recaudación de campañas benéficas, o diseñar la jerarquía interna de su organización.La clave es que tanto el experimentalista como la institución etiendan muy bien el mercado que estudian, y que estén dispuestos a hacer pruebas basadas en su intición informada.

Lo importanye es que antes de tomar una decisión final, disponga de evidencia clara y causal sobre sus efectos, a un coste relativamente pequeño. Para ello, es fundamental la colaboración entre quien diseña el experimento (que puede ser un académico, con o sin la participación, por ejemplo, de una consultora o una agencia de publicidad) y la institución en la que se realiza, que normalmente dispone de infomación interna sobre la organización y el mercado que se estudia, imprescindible para el correcto diseño de la prueba, pero que, en ocasiones, carece de la metodología apropiada para que el test permita extraer conclusiones causales y extrapolables. Como digo en muchas de mis reuniones con entidades abiertas a la experimentación, el economista del comportamiento no sabe la respuesta, sino que "sólo" dispone de 1) intuición informada por la evidencia previa de su disciplina y de 2) la metodología para encontrar la respuesta.

¿Por qué existen reservas en las empresas a adoptar la experimentación? Se mezclan  la incertidumbre de utilizar un método nuevo, la visión cortoplacista de la pérdida de beneficios que se puede tener mientras se experimenta (el coste real no es el del experimento, que siempre es escalable, sino las pérdidas por no estar tomando las medidas óptima), junto con la dificultad interna de que los gestores de una entidad admitan que no saben la respuesta a un problema, y necesiten experimentar para encontrarlo.

En estos artículos (1 y 2), dos de los mayores expertos en experimentación de campo, John List  (coautor de "The Why Axis") y Steve Levitt (coautor de "Freakonomics"), discuten algunos de los elementos prácticos esenciales para la realización de experimentos útiles, tanto desde el punto de visto del conocimiento académico como, y ésto es fundamental, desde el de la aplicación real de los mismos en decisiones diarias. Entre ellos, me parece crucial entender que los objetivos del académico y de la empresa pueden ser compatibles, pero no necesariamente idénticos: no es lo mismo querer comprender exáctamente por qué algo ocurre que aprender qué funciona y qué no para poder tomar un decisión rápida. Los tiempos son distintos, pero la colaboración y el acuerdo entre partes son cruciales. En ese acuerdo, suele ser importante establecer un compromiso de confidencialidad (que establezca que resultados son, si acaso, publicables y bajo qué condiciones, de forma que los competidores no puedan beneficiarse gratuitamente del conocimiento generado) y entender que los incentivos de las partes son múltiples: en ocasiones el economista del comportamiento estará principalmente interesado en una publicación científica, pero a veces también se le puede compensar con el acceso a una fuente de datos novedosa y/o se pueden establcer compensaciones económicas. Por ponerles un ejemplo, considero este artículo en el que estudiamos cómo incentivar a los clientes de una cadena de supermercados a contestar cuestionarios sobre hábitos de consumo como uno de mis trabajos académicos más interesantes, fundamentalmente por el acceso que nos dio para entender un mercado y un tipo dei ncentivos que hasta entonces se desconocían, a pesar de que la propia empresa con la que lo hicimos, que decidió mantenerse anónima, sólo nos permitiera publicar datos agregados, y no los datos, de los que disponemos y ellos continúan usando, sobre características individuales...¿qué incentivo funciona mejor para personas de distintas caracetísticas (edad, genero, raza, nivel socioeconómico....)?

Les animo por tanto a que hagan un ejercicio de modestia y honestidad, y se planteen tomar decisiones basadas en la evidencia proveniente de pruebas experimentales, y no tanto en lo que intuyen que va a funcionar. Aunque sean expertos en un campo y su intuición sea correcta, siguen existiendo grados de libertad (forma de hacerlo, tamaño de la medida, cuantificación del efecto esperado), que hacen interesante la experimentación. Y recuerden que experimentar no es probar muchos cambios a la vez, como se hace por ejemplo en algunos experimentos de marketing (otros son más estructurados), de forma que  si se obtienen resultados no sepan cuál de ellos es la verdadera causa, sino que pueden aprender mucho más si tienen la paciencia de usar el método científico para hacer cambios incrementales que de verdad les permitan entender las razones de un fenómeno.

Si están interesados en estos temas, y estarán por Barcelona tras la Semana Santa, les animo a asistir (disculpándome por el autobombo) al ESADE Research Day el 5 de Abril, donde hablaremos sobre "Experimental Research & Decision Making". Nos vemos allí...!o experimentando!