Experimentos en la Red

Si usted tiene una cuenta en una red social como Facebook o Twitter o usa buscadores de precios como Booking.com o portales de entretenimiento como Netflix, seguramente haya formado parte (consciente o no) de algún experimento masivo, conocidos como Experimentos A/B. La idea detrás es sencilla. Se producen dos versiones de una página web que difieren en una variable que puede modificar el comportamiento del usuario. Los usuarios se dividen en dos grupos, A y B, elegidos aleatoriamente, y se compara su comportamiento para obtener información sobre las dos alternativas. Como trataré de explicar en esta entrada, es precisamente el componente aleatorio (y no el hecho de que las muestras sean gigantescas) lo que nos permite evaluar cada versión.

La mayoría de estos experimentos tienen por objeto examinar las prestaciones del entorno web o del contenido, pero el método se usa también para obtener información acerca de las preferencias de los usuarios. Por ejemplo, Expedia.com necesita obtener información sobre las preferencias de los consumidores respecto a cuáles son los mejores hoteles pero no puede fiarse simplemente de sus elecciones ya que estas están afectadas por el propio ranking (Ursu, 2016). Para evitar este problema de endogeneidad, el portal realiza un experimento en el que algunos usuarios observan un ranking aleatorio (A) mientras que el resto observa el ranking estándar (B). Si la muestra de consumidores es suficientemente grande y representativa, los hoteles con más demanda en el grupo A serán los que tengan mayor atractivo para todos los usuarios. Como subproducto, la compañía obtiene una medida del valor que tiene para las empresas aparecer en las primeras posiciones del ranking, que es justamente el retorno para los hoteles de la comisión que pagan al portal.

El campo donde los experimentos AB son más útiles es, sin duda, el estudio de la rentabilidad de  campañas de marketing. Esto se debe a tres motivos. El primero es que estimar el retorno de la inversión para el anunciante es tremendamente complicado (Lewis y Rao 2015). El segundo es que el diseño del experimento es particularmente sencillo y no tiene costes adicionales para el usuario. Los consumidores del grupo A son elegibles para la campaña y estarán expuestos al anuncio con una cierta probabilidad, mientras que los consumidores del grupo B son inelegibles para la campaña, por lo que estarán expuestos al anuncio que hubiera sido seleccionado por el algoritmo del portal si el experimento no tuviera lugar. En la mayoría de casos, este es el anuncio cuya puja en la subasta para el grupo de la población a la que pertenece este individuo finalizó en segundo lugar.

El tercer motivo tiene que ver con el propio diseño de las campañas publicitarias y es el objeto de un estudio reciente de Gordon, Zettlemayer, Barghava y Chapsky. Naturalmente, el objetivo de la campaña es maximizar el impacto de la publicidad en los consumidores y, por tanto, los consumidores expuestos a los anuncios diferirán sustancialmente de aquellos no expuestos. La solución habitual para evaluar el impacto de la campaña es utilizar técnicas econométricas para estimar las ventas en el mundo contrafactual en el que el grupo de consumidores expuesto no hubiera visto el anuncio.

Aunque las técnicas son diversas, los autores las dividen en dos tipos. Las estrategias de matching o emparejamiento construyen un grupo de control compuesto de individuos no expuestos para cada individuo del grupo expuesto, utilizando aquellas variables observables que determinan conjuntamente la exposición y la respuesta. Por ejemplo, si el anunciante es un fabricante de perfumes las variables relevantes serán el género, la edad, el lugar de residencia, nivel de ingreso, etc. Asumiendo que no hay variables inobservables que afecten significativamente al nivel de exposición y al comportamiento y que tenemos suficientes observaciones, el estimador de emparejamiento se aproximará mucho al que obtendríamos con el experimento A/B.

El segundo tipo de estrategia usa los llamados estimadores de ajuste de regresión (regresión-adjustment), que construyen el contrafactual estimando la relación entre las variables observables y la probabilidad de adquirir el producto entre los consumidores que no están expuestos a la campaña, con la idea de que la relación subyacente en el grupo expuesto será la misma. Por tanto, la diferencia entre la probabilidad de adquisición de producto del grupo tratado y la probabilidad hipotética obtenida mediante el ajuste de regresión debería aproximarse al resultado del experimento.

Hasta aquí la teoría. ¿Qué nos dice la evidencia? Para responder a esta pregunta Zettlemayer y sus coautores estudian 13 experimentos AB en Facebook, donde comparan el resultado de la estimación del tratamiento experimental (entre el grupo tratado y el de control) y los resultados de los distintos tipos de técnicas no experimentales (usando el conjunto de usuarios no expuestos como control).

He tratado de resumir los resultados en la Gráfica 1. Cada punto en el gráfico corresponde al valor estimado del incremento relativo en la probabilidad de adquirir un producto en cada campaña, usando las diversas técnicas descritas anteriormente. Los puntos azules (naranjas) son aquellos en los que (no) se rechaza la hipótesis nula de que el resultado de la técnica experimental es igual al del experimento A/B.

Figure 1: Cada punto corresponde a una estimación en cada uno de los 10 experimentos seleccionados. La magnitud relativa está calculada como el logaritmo del ratio entre el valor estimado por la técnica no experimental y el valor estimado en el experimento. Valores negativos corresponden a observaciones en los que los dos valores difieren de signo.

Los resultados son desalentadores. La mayoría de técnicas no experimentales sobreestiman el efecto de la campaña. La razón fundamental es que el algoritmo de Facebook elige qué usuarios del grupo tratado observan el anuncio con el fin de maximizar la proporción de usuarios que hacen clic en el banner. Aunque los investigadores incluyen como control la mayoría de las variables que utiliza Facebook para asignar anuncios, el algoritmo de Facebook es mucho más sofisticado que el modelo de regresión que usan los investigadores, por lo que el resultado más normal es que se produzca selección positiva en el grupo expuesto, y por tanto, se sobreestime el efecto.

La Tabla 2 muestra la magnitud potencial del problema. En este caso, la selección del algoritmo es tan eficiente que el efecto estimado con las técnicas no experimentales es enorme: la probabilidad de venta de aquellos que ven el anuncio es, al menos, 15 veces mayor que la de aquellos que no lo ven. Lamentablemente para esta empresa, el efecto real es nulo.

Figure 2: Cada observación es un método de estimación del efecto de la campaña en el Experimento 9. Las bandas representan los  intervalos de confianza al 99%. RCT es el estimador experimental, PSM y EM son los estimadores de emparejamiento y IPVRA son los estimadores de ajuste de regresión.

Más allá de este caso concreto, el artículo nos debería hacer reflexionar sobre la importancia de utilizar evidencia experimental (RCTs) para evaluar políticas (públicas o no). Este es un tema que se ha tratado mucho en NadaEsGratis (por ejemplo, aquí aquí, aquí y aquí), pero sobre el que seguramente, y aún a costa de resultar plomizos, debamos seguir insistiendo.