Estos días, como cada Septiembre, me encuentro preparando mis clases del próximo trimestre. Este curso enseñaré, como de costumbre, Estadística para estudiantes de primero de grado, y Econometría de máster. Me gusta impartir estas asignaturas, ya que pienso que ambas proporcionan herramientas que pueden ser de gran utilidad para los estudiantes, sea cual sea su trayectoria profesional futura (ver otras entradas sobre la docencia en Econometría aquí, aquí y aquí).
El curso de Estadística proporciona unas herramientas muy básicas, necesarias para la interpretación de datos al nivel más fundamental: qué es una distribución, media y varianza, correlación, etc. Este curso es simplemente de alfabetización básica. Sin embargo, en el de máster, cada año me replanteo qué material es el que debo ofrecer. Se trata de un máster en Economía de tipo profesional, cuyos estudiantes luego siguen distintas trayectorias, no necesariamente la investigación académica. ¿Qué deberían saber de Econometría?
Efectos causales vs. predicción
La Econometría para mí consiste en un conjunto de técnicas estadísticas que nos pueden ayudar a responder preguntas de contenido económico con la ayuda de datos. ¿Qué tipo de preguntas? Desde mi punto de vista, hay dos grandes tipos de preguntas que nos interesan: 1) Efectos causales, y 2) “Forecasting” o predicción. No incluyo las preguntas meramente descriptivas en mi clasificación (por ejemplo, describir la distribución salarial en España en 2015, o medir la tasa de desempleo por regiones), ya que éstas no suelen tener contenido económico propiamente dicho, y por tanto no requieren análisis econométrico alguno, más allá de técnicas estadísticas básicas.
Por formalizar un poco más mi clasificación, una pregunta de tipo causal se puede expresar como: ¿Cuál es el efecto de x sobre y? O, en términos más matemáticos,
E[y(i)|x=1] - E[y(i)|x=0],
donde la E es la esperanza matemática (y se refiere al efecto medio en una población, aunque también nos pueden interesar otras características de la distribución), la y se refiere a la variable que nos interesa, por ejemplo el salario del trabajador i, o la tasa de paro en la región i, y la x representa a la variable cuyo efecto nos interesa estudiar, por ejemplo, una determinada reforma en la legislación laboral (en este ejemplo, x es binaria: sólo puede tomar dos valores: aplicar la reforma (1), o no (0)). Nos interesa conocer el efecto de la reforma x sobre, digamos, la distribución salarial, es decir, cuál sería dicha distribución si se implementara la reforma, comparado con la situación hipotética de que la reforma no se llevara a cabo.
Para responder a este tipo de preguntas, tenemos a nuestra disposición técnicas econométricas del tipo: variables instrumentales, diferencias en diferencias, regresión en discontinuidad, etc. Usamos datos pasados para estimar cuál fue el efecto de “tratamientos” (por ejemplo, políticas públicas) que efectivamente observamos en el mundo real, y para ello necesitamos tanto observar el tratamiento en la práctica, como estimar “lo que habría ocurrido si ese tratamiento no hubiera tenido lugar”. Responder a este tipo de preguntas de manera creíble no es tarea fácil (ver las entradas de Jesús sobre este tema aquí y aquí).
El segundo tipo de preguntas al que me refería (forecasting o predicción) se puede expresar como: E[y(t+1)]. Es decir, queremos conocer el valor de la variable y (por ejemplo, la tasa de desempleo) en un periodo de tiempo futuro, t+1. Este tipo de preguntas las solemos acometer usando técnicas de series temporales, para lo que usamos valores pasados de la variable y, así como de otras variables que creemos “relacionadas”, para “extrapolar” el valor futuro de y, partiendo de datos pasados. Esto tampoco es tarea fácil, como evidencia el hecho de que las previsiones de variables económicas (tasa de paro, tasa de crecimiento futuro del PIB) pueden quedarse muy lejos de la realidad, como ocurrió por ejemplo en los meses anteriores al comienzo de la recesión de 2008.
Un riesgo importante en el análisis de series temporales es confundir la correlación pasada entre dos variables con una relación subyacente de tipo causal entre las mismas (pero, ¿cómo distinguirlas?), lo que puede dar lugar a errores graves de predicción. Además, el comportamiento futuro de la economía se ve afectado por la política económica, que a su vez puede ir reaccionando a las previsiones, con lo que la propia predicción puede afectar a la política, lo que a su vez afectará a la evolución de la economía (para leer más sobre predicción, recomiendo este libro, ver también esta entrada).
En mi opinión, estas dos “ramas” de la econometría están demasiado desconectadas. En la práctica, normalmente lo que querríamos saber es algo que combina los dos tipos de preguntas:
E[y(i,t+1)|x=1] - E[y(i,t+1)|x=0]
Es decir, querríamos conocer la distribución de y (salarios, tasa de desempleo, etc), en un periodo de tiempo futuro (t+1), si se implementara la reforma x, y compararlo con la distribución de y, en el mismo periodo futuro, en caso de que la reforma NO se llevara a cabo. Este tipo de pregunta combina los dos elementos: el efecto causal de x sobre y, pero también la extrapolación hacia el futuro. Ya no es suficiente estudiar datos pasados sobre reformas que ya han ocurrido, como tampoco es suficiente con extrapolar el valor de y hacia el futuro en base al comportamiento pasado de esta y otras variables, sin entender los mecanismos de causalidad.
Por desgracia, en general estamos lejos de poder realizar este tipo de ejercicios de manera creíble. El análisis de preguntas de tipo causal con técnicas de series temporales ha tenido un éxito limitado hasta el momento, y el análisis de efectos causales con datos pasados procedentes de experimentos controlados o naturales, incluso aunque resulte creíble para el caso concreto estudiado, siempre tiene problemas de “validez externa” (¿cómo sabemos que los efectos serían los mismos en otro periodo de tiempo, en otro país, etc?).
¿Conclusiones?
En la práctica, creo que lo mejor que podemos hacer los profesores de econometría, es intentar que los estudiantes entiendan las limitaciones de las herramientas de que disponemos, así como enseñar a pensar sobre qué pregunta es exactamente la que queremos responder. ¿Es de tipo causal, o descriptivo? ¿Queremos saber cuál fue el efecto de x en el pasado, o entender cuál sería el efecto en un contexto para el que no tenemos datos, y por tanto requiere extrapolar? Y quizá lo más importante: la econometría nunca es “apretar un botón” o correr un comando en el ordenador. Ninguna técnica econométrica puede sustituir al sentido común, y tanto las preguntas causales como las de predicción son fundamentalmente muy difíciles de responder, ya que siempre hay un elemento que no podemos observar desde nuestra perspectiva como analistas de datos: lo que habría ocurrido con y (en el pasado) si x hubiera tomado un valor diferente del que efectivamente tomó, o lo que ocurrirá con y en el futuro, que a su vez depende del valor actual y pasado de un número de variables (desconocido).
Tanto predecir la evolución futura de variables económicas, como estimar efectos causales en economía, es importante pero difícil. Sin embargo, la econometría ha hecho avances importantes, y aunque extrapolar hacia el futuro siempre exige un salto en el vacío, pienso que merece la pena seguir intentándolo, y también que los agentes económicos y políticos deberían tener (o seguir teniendo) un ojo puesto (crítico, eso sí) en el análisis económico. Como economistas, nuestro trabajo consiste en, no sólo realizar, sino también difundir nuestro análisis y resultados, pero de manera honesta, comunicando las dificultades metodológicas y la incertidumbre asociada a nuestras predicciones, de modo que el ciudadano pueda interpretar por sí mismo los resultados. Esto ya nos lo recordaba Luis aquí: “Reconoce la incertidumbre, y no la reemplaces por certezas. Desgraciadamente el mundo es muy complejo, y hay muchas cosas que no sabemos y no entendemos. Lo mejor es reconocerlo.”
Hay 14 comentarios
El riesgo del énfasis en las incertidumbres es que la gente tiende a creer a quienes se muestran muy seguros: "el problema del mundo es que los estúpidos están seguros de todo y los inteligentes llenos de dudas" (Bertrand Russell). El énfasis en las incertidumbres es el argumento estándar del negacionismo científico; al final uno siempre puede decir: estas evidencias no son suficientes.
Esto me recuerda a un muy buen estudiante de grado en Economía, que vino a verme preocupado porque sentía que, cuanto más estudiaba Economía, menos certezas tenía. Me decía: "En mi pueblo me preguntan que cuándo vamos a salir de la crisis, con esto de que estudio Economía en la Pompeu. Yo les digo que no lo sé, pero llega el vecino del cuarto, sin estudios de ningún tipo, y afirma con rotundidad: '¡En dos años ya estamos fuera!'". Y es verdad: es tentador confiar en el que ofrece certezas, aunque sean falsas. Como profesor esto es aún más grave: los estudiantes odian que les respondan "no lo sé" (¡aunque no lo pueda saber nadie!).
Bravo Libertad.
Has descrito muy bien la sensación frustante que yo tengo también como economista, aunque en mi caso más dedicado a temas de empresa y mucho menos a temas macroeconómicos. Parece que opinar sobre como vamos a salir de la crisis sea casi una cuestión de predicción más o menos mágica.
Y en nuestro caso el vecino del cuarto puede ser alguno de estos expertos que son llamados a hacer de oráculo de más de una tertulia o programa televisivo, y que alguno de ellos ya ha conseguido consolidar un "modus vivendi" mediante sus giras televisivas por los numerosos canales disponibles.
Estimada Libertad:
De todas las reflexiones que compartes en esta entrada me quedo con una: "Ninguna técnica econométrica puede sustituir al sentido común".
Mi impresión es que en demasiadas ocasiones centramos el interés en los fines y olvidamos las limitaciones de los medios. Que en lugar de plantear una pregunta y buscar los medios para responderla lo que se plantea es: "si emplear una técnica econométrica sofisticada y puntera me permite publicar mis trabajos, ya buscaré el razonamiento que subyace a los resultados que obtenga".
Agradecería conocer tu opinión al respecto (no sólo como económetra si no también, y fundamentalmente, como economista 🙂
Hola Inés,
Estoy de acuerdo en que hay un conflicto generado por los incentivos a publicar. A los investigadores no nos pagan por encontrar respuestas convincentes a preguntas importantes, sino por publicar bien. Pero (quizá soy demasiado naíf) quiero pensar que, si de verdad haces un buen trabajo, planetas una pregunta importante, y usas el sentido común combinado con un buen uso de la teoría económica y los datos y herramientas econométricas, el trabajo se publicará bien. Los editores y referees no son tontos, y no creo que las mejores revistas acepten trabajos sólo porque usen "técnicas econométricas sofisticadas y punteras". En fin, mi consejo, for what it's worth, es intentar en nuestra investigación usar todos los medios a nuestra disposición, y nuestras respectivas ventajas comparativas, para intentar proporcionar respuestas creíbles a preguntas relevantes.
Cuando vean la economía como el campo de batalla de ricos contra pobres, entenderán claramente sus verdaderas reglas y comportamientos. Los ricos tienen conciencia de ello, los pobres, no!
Hola Libertad,
Que entrada tan interesante! Ojala me equivoque, pero yo pienso que no es posible predecir efectos causales de manera creible y precisa en el contexto que más interesa al policy maker. Me explico, para estimar la distribucion y(t+1)/x=1 necesitamos tener información sobre su comportamiento en el pasado. Es decir, es posible estimar (con mayor o menor precisión) los efectos futuros de una politica que ya se está aplicando (no estaríamos observando y(t+1)/x=0 pero podríamos tener grupos de "control" más o menos comparables).
Esto es obviamente interesante para el policy maker, pero lo más interesante sería estimar los efectos causales futuros cuando no hay información sobre el pasado, cuando la serie temporal empezará en el momento en que apliquemos la política. En este caso se pueden hacer mil supuestos, modelos, teorizar todo lo que se quiera.. Pero al final todas estas cosas nunca terminan de ser creibles al tener un grado muy grande de discrecionalidad y, con frecuencia, un cuestionable nivel de respeto a los datos.
Pero, verdaderamente necesitamos predecir la distribución y(t+1)/x=1 - y(t+1)/x=0 para tomar decisiones de política económica? Soy de la opinión de que el análisis riguroso de experimentos naturales llevará más lejos. Al final está la cuestión, como señalabas, de la validez externa, pero podemos estudiar repetidos experimentos (como hacen los economistas del desarrollo) y ver cuan robusta es la relación que nos están ofreciendo los datos y bajo qué circunstancias está siendo más y menos fuerte.
Es interesantísimo hablar de estas cosas, un abrazo desde tu alma mater
Hola Jose, yo no soy tan pesimista como tú. De acuerdo en que evidentemente es difícil "predecir efectos causales", pero para eso estamos, ¿no? Nadie dijo que fuera fácil, y al menos debemos ser explícitos en el sentido de que muchas de las preguntas que nos interesa responder son de este tipo. Mira este ejemplo en la dirección que tú apuntabas.
Felicidades otra vez mas por un post excelente.
Solo dos breves comentarios. Creo que otra tarea importante de la econometría en nuestro días es el tratamiento de "big data". Seguro que en este sentido, los investigadores en ciencias de la computación deberán llevar el liderazgo en el desarrollo de algoritmos tipo Google que sirvan para conectar y enlazar unas bases de datos con otras. Sin embargo, la econometría puede ayudar en el tratamiento de las mismas: reducción de la dimensionalidad (modelos de factores comunes), detección de patrones en correlaciones conjuntas (copulas), etc., etc.
La segunda cuestión, que seguramente afecta mas a la rama causal que a la rama predictiva, es que rara vez se pone en cuestión la calidad de los datos. Cualquiera que haya contestado a una encuesta (especialmente categórica) sabe que una buena parte de las respuestas contienen un componente aleatorio grande, debido al cansancio, vaguedad de la pregunta, etc. Sin buenas mediciones, por muy cuasi-experimental que sea el contexto en es que sean nuestros métodos, la respuestas pueden dejar mucho que desear.
De hecho, este problema también afecta a los modelos de predicción basados en series temporales, sujetos a revisiones frecuente (PIB, saldos de balanza por c/c, etc.) . Gente como Gabi Pérez-Quirós (Banco de España) están haciendo una tarea ejemplar en el tratamiento de "real time data" pero todavía nos queda mucho por aprender.
Gracias Juanjo. No sé mucho sobre el tema "big data", pero mi opinión es que el "tratamiento de datos" de por sí no debería ser un objetivo (de la econometría). El objetivo debería ser siempre responder a alguna pregunta de interés económico. Si el big data nos puede ayudar a responder mejor a esas preguntas, bienvenido sea.
Respecto a la calidad de los datos, de acuerdo contigo en su importancia, un tema al que no siempre le prestamos la atención que merece. Pero no todos los datos que usamos proceden de encuestas.
Hace muchos años que tomé la decisión de apartarme de la econometría porque me parecía que siempre surgía un problema nuevo detrás de cada modelo y que el camino no era acertado para buscar respuestas generales (sí parciales). Y hay tantas ramas de la economía que, en fin, cambié de rumbo.
Pero sí hay una cosa que la econometría hace bastante bien: descartar chorradas. Y eso no es poco. Aunque creo que no se puede llegar a la verdad económica por el método econométrico sí que creo que puede ayudar mucho a ahorrarse rutas absurdas desde el principio.
Es una herramienta útil para lo que es útil. La pena es que hay tanta materia ahí que los especialistas cada vez están más separados de otras ramas económicas y cada vez es más difícil dialogar entre ellos.
Hola Pablo,
A mi también me resulta frustrante que resulte tan difícil dialogar entre distintos enfoques de la economía.
Pero no estoy de acuerdo en tu visión de la econometría. Si los datos no nos pueden ayudar a "llegar a la verdad económica", entonces, ¿qué? Si lo que quieres decir es que la teoría es importante, desde luego que sí, pero para testear seriamente las predicciones de cualquier modelo, el análisis de datos es fundamental. Y claro que cada método tiene sus problemas, no existe el "santo grial" infalible, pero de ahí a concluir que la econometría no sirve para nada, va un gran trecho.
La economía es un campo de batalla donde siempre habrá perdedores e incluso, como no puedde ser de otro modo, muertos.
Hasta que no pongamos la economía al servicio de la humanidad en vez de continuar en la dirección opuesta, esto irá mal.
Saludos.
????
Los comentarios están cerrados.