de Yo soy muy antiguo y no leo ni participo en blogs, lo cual seguramente contribuye a mi brutedad. Oigo, sin embargo, que se ha insistido mucho en este blog en el hecho cierto de que a los economistas nos entusiasman los índices de productividad. Poder medir de una forma clara y objetiva el rendimiento de cada individuo es crucial para nuestros cálculos optimizadores y, en particular, para poder remunerar los factores de producción en función de si producen más o menos.
Un índice que utilizamos precisamente para evaluar nuestra productividad investigadora es el ranking internacional de las revistas en las que publicamos. En particular, es habitual oir a los economistas académicos hablar de cuántos artículos ha publicado alguno de ellos en “alguna top 5”, refiriéndose así a las siguientes revistas: AER, Econometrica, JPE, QJE and REStud (es cierto que estas revistas tienden a aparecen entre las mejores en todos los rankings).
Aunque muchos creemos que utilizar este tipo de índices es útil e informativo sobre la capacidad y actividad investigadora de los académicos, a muchos nos preocupa el que se haya convertido casi en una obsesión, esto es, en el único indicador de nuestra valía académica, y que por tanto, se esté usando con fines perversos que impiden la correcta evaluación de nuestro trabajo y, con ello, el que se desprecie a todo artículo no publicado en estas cinco revistas (¿por qué cinco?) o que se tomen decisiones de contratación o asignación de plazas sólo basadas en esta medida tan cruda. Por ello, he escrito y difundido entre la profesión el artículo que les copio a continuación en el que advierto de una nueva enfermedad, la top5itis para que, siendo conscientes de su existencia, aprendamos a mitigar sus efectos.
Una advertencia antes de que lo lean. La top5itis es una enfermedad propagada por el mundo, pero en países como en España convive con otras enfermedades, como por ejemplo el creer que los rankings de revistas son completamente inútiles y no contienen ninguna información. En ningún caso pretendo que mi artículo sirva de excusa para aquellos que se escudan en la top5itis no ya para no intentar publicar en ellas, sino para no intentar publicar en ninguna revista con un mínimo prestigio internacional y decir que todas las revistas “son iguales”. No, no lo son. La clave de revistas de prestigio es la alta calidad en el proceso editorial de evaluación (por parte de editor y evaluadores), y tales altos estándares son los que llevan a crear prestigio para una revista y los que contribuyen a la creación de conocimiento en el desarrollo de la ciencia económica, que es al final de lo que se trata.
Les dejo con mi articulo. Pueden encontrar la versión original en inglés en este link. Una última advertencia, aunque los temas de los que hablo son serios, creo que añadir una pizca de humor no es nunca una mala idea. Imagino que un artículo como el mío podría aparecer en la "Nueva y Probablemente Correcta Wikipedia."
Definición.
La Top5itis es una enfermedad que actualmente afecta a la disciplina económica. Se refiere a la obsesión de la profesión de los economistas académicos con las llamadas "revistas del top 5". Estas son, por orden alfabético, American Economic Review, Econometrica, Journal of Political Economy, Quarterly Journal of Economics y Review of Economic Studies. En sus formas más extremas, la top5itis reduce la evaluación de un documento a la siguiente prueba: un artículo tiene algún valor si y sólo si fue publicado por una de las revistas en esta lista. Por lo tanto, para evaluar la producción científica de un académico, una persona afectada por top5itis simplemente cuenta los “top 5” de su lista de publicaciones en Google Scholar. Dado que la enfermedad es una simple aplicación de la medida de conteo (típicamente una persona aprende a contar en la escuela primaria), a través de un proceso de contagio, la top5itis se propaga rápidamente para afectar a personas ajenas a la economía, incluida la descendencia de economistas académicos, quien se reúne en el patio a la hora del recreo para hacer comentarios despectivos sobre los padres de los demás. Con patrones similares, la enfermedad también se ha extendido a administradores competentes de universidad y a las instituciones que otorgan fondos a la investigación.
- Historia.
Se cree que la enfermedad apareció primero en Estados Unidos; pero a día de hoy ya se ha extendido a otras regiones del mundo. La fecha de su primera aparición no está clara, aunque diferentes estudios la sitúan alrededor del año 2000. Antes, la gente entendía la noción de una revista de interés general influyente en economía, por ejemplo: Edgeworth editó el prestigioso Economic Journal durante años, Samuelson publicó importantes artículos en la Review of Economics and Statistics, Houthaker en Economica, Coase en el Journal of Law and Economics o Debreu y Scarf en International Economic Review. Hasta hace muy poco la profesión no había oído hablar del término "top 5". Para completar el misterio, tampoco está claro cómo se decidió cuáles serían las 5 revistas principales, por qué otras revistas no son parte de esa lista o quién tomó estas decisiones.
- Síntomas y consecuencias.
Es cierto que estas revistas publican algunos artículos muy buenos, pero también publican artículos que no son tan buenos, y viceversa, algunos trabajos muy buenos se publican en otras revistas. Sin embargo, como es bien sabido, el establecimiento de cualquier oligopolio tiene consecuencias perjudiciales para el bienestar, en este caso, para la producción científica de la disciplina. Los siguientes párrafos describen algunos ejemplos, junto con síntomas de la enfermedad. Algunas de las 5 principales revistas se ven especialmente afectadas por lo que Heckman llama el "factor de incesto" (Heckman et al. (2017)), es decir, publican una gran proporción de artículos escritos por académicos vinculados con un número muy reducido de instituciones. En algunos casos, el incesto también se manifiesta en los editores y evaluadores de esas revistas. Las prácticas incestuosas suelen llevar al empobrecimiento genético. Cuando se trata de producción científica, esto puede manifestarse en la supresión de la originalidad o de la heterogeneidad de ideas o enfoques.
[Ejemplo real No. 1: algunas de las personas infectadas con top5itis no ven esto como un problema; al contrario, un economista que padece la enfermedad confiesa que estaría orgulloso de pertenecer a esos clubes incestuosos.]
Algunos editores y evaluadores convierten la top5itis en un axioma de su comportamiento:
[Ejemplo real No . 2: un editor dictó la siguiente sentencia: "esta contribución no es de interés general, y por lo tanto, no tiene sitio en una top 5".]
Tengamos en cuenta que la primera parte de la sentencia debe ser respetada, ya que es la expresión de una opinión, y por lo general los editores de estas revistas son académicos de reconocido prestigio cuyas opiniones deberían tener mucho peso. El problema es la segunda parte de la sentencia, haciendo una afirmación en la que efectivamente el editor rechaza el documento no solo para su revista, sino también para otras cuatro revistas más. Esto demuestra un grado de seria confusión por parte de ese editor con respecto al alcance de la decisión que está tomando.
De manera similar:
[Ejemplo real No. 3: un evaluador, que sufre de top5itis, escribió un informe de una línea en el que afirmaba que "este documento no es para un top 5" o "este documento no generará un interés futuro suficiente para merecer estar en los top 5."]
Tales declaraciones sobre el posible impacto futuro de cualquier trabajo son a menudo dudosas y deben hacerse con precaución, pero una persona infectada con top5itis cree en ellas de todo corazón, a pie juntillas. Los informes de una línea de este tipo no elevan la calidad promedio de la evaluación de un documento científico, que es otro problema causado por la enfermedad. Por lo general, cuando un editor consulta a un evaluador, el editor ya ha decidido en contra de un rechazo sumario del documento y no debería ser el rol del evaluador rechazarlo sumariamente con esas frases ingeniosas, por lo que parece que la top5itis también hace que las personas a las que afecta confundan sus roles. Algunas de las cinco revistas principales parecen alentar este comportamiento con la buena intención de reducir el tiempo de respuesta en el proceso de revisión, aunque uno podría argumentar que hay otras formas de hacerlo sin comprometer la calidad. El efecto es que tales prácticas tienden a aumentar la subjetividad con la que se evalúa cualquier trabajo. Está claro que un grado de subjetividad siempre está presente en cualquier proceso de evaluación, pero sería deseable aumentar su contenido objetivo también, y los informes de los evaluadores son clave en ello.
Por otro lado, la top5itis también afecta a las recomendaciones positivas para la publicación provenientes tanto de los editores como de los evaluadores. Esta manifestación de la enfermedad se basa en torturar al autor con la solicitud de múltiples revisiones dolorosas que solicitan extensiones infinitas e irrelevantes o controles de robustez, a expensas de la eliminación de secciones que son más creativas o conflictivas, así como las sugerencias intrusivas sobre los cambios en la motivación o explicación de los resultados. Aunque algunos de estos comentarios sin duda son beneficiosos para la calidad del resultado de la investigación, en dosis no controladas, tales intervenciones causan retrasos potencialmente largos.
Además, tales prácticas también van en la dirección de cambiar la naturaleza de la autoría de un documento. Dado que un autor es dueño del documento que escribe, los editores y evaluadores deben aceptar los límites de tales acciones.
[Ejemplo real No. 4: un evaluador afectado con top5itis solicitó una extensión de un resultado. El autor del artículo se negó a agregar esa extensión y sugirió al editor de la revista top 5 que se animara al evaluador a escribir dicho artículo, a que lo enviara a esa revista y a que el editor se lo enviara al autor del primer trabajo para que él/ella pudiera evaluar el nuevo documento.]
[Ejemplo real No. 5 (casi cierto): un economista de 50 años que se doctoró alrededor del año 2000, todavía está revisando el trabajo central de su tesis para una de las 5 revistas más importantes. Ha perdido la cuenta del número de revisiones, pero esto puede ser causado por la pérdida de memoria del autor debido a su avanzada edad. El mismo economista de 50 años confiesa no reconocer ya su trabajo, se ha convertido en un animal completamente diferente; es un monstruo que sigue creciendo fuera de control.]
La top5itis también conduce a hacer declaraciones falsas o al menos no probadas. Por ejemplo, una persona infectada por top5itis realmente cree que los procesos de revisión en estas revistas son siempre de mayor calidad que los que se siguen en otros lugares. Es cuestionable si esto es realmente cierto, aunque algunos argumentan que podría ser cierto en promedio.
[Ejemplo real No. 6: un economista infectado con top5itis le dijo a un colega que iba a rechazar un artículo que estaba evaluando para una top 5. Él/ella explicó que aún no había encontrado la razón, pero que el veredicto de su recomendación sería rechazarlo con toda seguridad.]
La creencia de una persona infectada con top5itis es que la característica “top 5” es una medida objetiva clara que debe tener prioridad sobre cualquier otra cosa.
[Ejemplo real No. 7: un departamento de economía otorgó un puesto relevante en el mismo con una clasificación de candidatos por número de top 5. Las opiniones expertas de los especialistas del claustro en el campo correspondiente fueron descartadas por los profesores infectados por ser "opiniones subjetivas" en lugar de los "hechos objetivos" establecidos cuando uno cuenta los top 5.]
Se han encontrado variantes más extremas de la enfermedad. Por ejemplo, la top2itis se refiere a la enfermedad donde se destaca un par de revistas arbitrarias de la lista de las 5 principales como las únicas revistas en las que se publica una buena investigación.
[Ejemplo real No. 8: un economista infectado con top2itis ha publicado en dos de las cinco principales revistas y no ha publicado en las otras tres. Según este economista, esas dos revistas son las únicas que deberían contar.]
Otras enfermedades relacionadas también pueden ser ilustraciones del uso de la medida de conteo. Un ejemplo destacado es la dependencia obsesiva del número de citas.
[Ejemplo real No. 9: Un economista cerca de la jubilación confesó que lo primero que hacía cada mañana era verificar dos números: el número de sus citas y el valor de su fondo de jubilación. Lo bueno del primero es que nunca cayó.]
[Ejemplo real No. 10: Un economista sugirió que, para aumentar las citas, todos los artículos deberían agregar una nueva sección. Después de la sección "Literatura relacionada", todos los artículos deben cerrar con la sección "Literatura no relacionada".]
- Tratamiento.
El objetivo del economista académico debe ser contribuir al conocimiento de algún aspecto relevante de la realidad económica. La profesión debe reflexionar sobre si las prácticas descritas anteriormente conducen a ese digno objetivo.
Bibliografía
Heckman, J., Akerlof, G., Deaton, A., Fudenberg, D., and Hansen, L. (2017), “Publishing and Promotion in Economics: The Curse of the Top5," discussion session at the American Economic Association annual meetings, https://www.aeaweb.org/webcasts/2017/curse.php