Un modelo de inatención para el proceso de publicación en economía, y algunos datos que lo apoyan (I)

Esta entrada es un avance de un libro digital con consejos para académicos jóvenes que está editando Tatyana Deryugina del que ya les hablaré cuando se publique todo el libro, cuyos ingresos irán a una fundación humanitaria de ayuda a Ucrania.

Un soneto me manda hacer Violante,                   
Que en mi vida me vi en tal aprieto                   

 

Comienzo esta nota con los dos primeros versos de un soneto de Lope de Vega sobre la escritura de sonetos. Esto no es para emularlo; no es posible. Pero me sentía como el dramaturgo cuando los amables editores de esta monografía me pidieron que escribiera este breve artículo.

Mi primera reacción fue pensar que yo no sé escribir buenos artículos. Entonces, ¿cómo me puedo atrever a dar consejos sobre eso? Pero me gustaba el proyecto, y decidí abordarlo como cualquier otra idea de investigación. Propongo un modelo (verbal) de cómo funciona el proceso editorial y muestro algunos datos que lo apoyan. La decisión final es suya: acepte o rechace, aquí no hay R&R.

Permítanme motivar el "modelo" con otra cita. Esta vez de un antiguo colega de la Universitat Pompeu Fabra. Era un economista senior, evaluador experimentado y editor. “Antonio, la hipótesis nula de todo editor y evaluador de una buena revista es ‘Tengo que rechazar este artículo’. Tienes que dar muchos datos para que rechace esa hipótesis”. Otro dato importante sobre esa persona es que siempre parecía tener prisa y estar moderadamente estresado.

Esto no debería ser sorprendente. En una revista que conozco bien, el Journal of the European Economic Association (excelente revista, por favor envíen allí sus mejores trabajos), cada editor se encarga de entre 150 y 200 artículos al año. Esto son entre 3 y 4 artículos cada semana del año. Y necesitan leerlos todos de principio a fin. Además, seleccionan evaluadores, muchos de los cuales rechazan sus asignaciones, por lo que es necesario pedirlo varias veces y leer sus comentarios. Y deben hacer esto además de todo su otro trabajo. Son en general individuos muy capaces, pero incluso con ese nivel de habilidad, la carga cognitiva que este trabajo ejerce sobre cualquiera es extrema. Esto me lleva a:

Supuesto 1. Los editores y evaluadores tienen una cantidad finita de recursos cognitivos y muchas tareas que compiten por ellos. Solo se interesará y aceptará el trabajo que exceda un cierto umbral de atención.

El supuesto 1 está respaldada por mi observación sobre la carga de trabajo de los editores en JEEA, que, como dije, no es muy diferente de la de otras revistas importantes.

Supuesto 2. Los editores y evaluadores quieren maximizar el impacto de la revista.

El supuesto 2 es consistente con los resultados de Card y DellaVigna (2020). Ellos encuentran que la opinión del evaluador es un buen predictor de las citas del artículo después de la publicación, y los editores siguen sus recomendaciones. Esto es cierto dentro de cada categoría de autores, lo que permite sesgos entre categorías. Esos sesgos no son siempre algo malo. También encuentran que los editores descuentan el poder predictivo de los evaluadores para autores conocidos (generalmente más veteranos o provenientes de universidades más prestigiosas) al tomar decisiones de revisión y reenvío. Esto significa que los editores entienden que los artículos de académicos jóvenes pueden tener un valor de opción más alto si se revisan en una buena dirección. Por lo tanto, están dispuestos a darles más el beneficio de la duda, en comparación con los académicos de alto nivel, que “deberían saber lo que hacen”.

Por el lado negativo, Card, DellaVigna, Funk e Iriberri (2020) muestran que ocurre lo contrario para las mujeres frente a los hombres. El listón para las mujeres es generalmente más alto. Este efecto viene de los evaluadores, tanto hombres como mujeres. Y, en este caso, los editores no anulan el sesgo.

Implicación de política 1. Haga el mejor trabajo que pueda. Vale la pena. Desafortunadamente, esto es menos útil para una mujer. Pero incluso en ese caso, es una buena idea tener un artículo increíble.

Esto puede sonar obvio, pero el resto de esta nota hablará más sobre la forma que la sustancia, y no quería que se oscureciera el hecho de que la calidad es lo primero. Y esto es algo sobre lo que tiene cierto control el autor. Por supuesto, los artículos de buena calidad pueden tener defectos. Y sus resultados pueden ser falsos, incluso si tienen impacto. Pero hay una presión para mejorar este problema. Christensen y Miguel (2018) documentan problemas de reproducibilidad y, por tanto, de credibilidad en economía. Pero también muestran que las tendencias actuales en el trabajo económico y editorial tienen el potencial de mejorar las cosas. Dan algunos indicios de que puede que ya lo estén haciendo. Por ejemplo, registrar estudios y hacer planes de preanálisis, hacer correcciones de contraste de hipótesis múltiples y otras mejoras metodológicas de ese tipo están marcando ya diferencias.