Por Roberto Serrano
Decíamos ayer que la enfermedad de la top5itis en Economía se manifiesta, entre otros síntomas, i) por un abuso de la etiqueta “interés general” cuando se aplica como barrera para publicar en las mejores revistas, ii) por una devaluación de la calidad de los procesos de evaluación bajo la presunción de que ciertos artículos o ciertas revistas no los merecen, o finalmente, iii) por un comportamiento presuntuoso al juzgar el trabajo de los otros, que a veces puede rayar incluso “la adivinación”. ¿Cuánta responsabilidad en esta patología proviene de las oficinas editoriales de las revistas? ¿Cuánto nos parecemos en esta patología a otras ciencias? Hoy vamos con la segunda parte de Serrano (2024) para Nada es Gratis.
Los rechazos desde la oficina del editor. Las decisiones de rechazo son importantes y siempre formarán parte de las tareas de un buen editor. Cualquier editor tiene la prerrogativa de rechazar un artículo. Es decir, de emitir una decisión final de rechazo incluso sin consultar con los evaluadores. Hace unos años, cuando era editor jefe de Economics Letters, tuve que rechazar un buen número de los trabajos presentados a la revista, y recuerdo cada uno de esos rechazos como, probablemente, la tarea más difícil a la que tuve que enfrentarme en mi trabajo de editor. La razón es sencilla: se trata de una decisión importante para el destino del artículo en cuestión, y se toma en última instancia sin contar con la opinión de nadie más. Ni que decir tiene que, antes de rechazar un trabajo, tenía que estar muy seguro de mis razones, que siempre se exponían en mi carta de notificación de la decisión editorial. En dichas cartas, intentaba evitar en la medida de lo posible afirmaciones más o menos huecas sobre el interés general. Por cierto que Economics Letters también es un medio de interés general, aunque no uno de los principales, debido a su naturaleza de vehículo de difusión rápida de artículos breves. Estoy seguro de que tomé algunas decisiones equivocadas en esos seis años de dirección de EL, aunque por supuesto traté de esforzarme por evitarlas.
Hay algunas prácticas en los desk-rejections que deberían evitarse. Por ejemplo, un editor de una revista top5 rechazó de manera directa un artículo porque "aunque no soy un experto en esta área, este resultado debe ser ya conocido", sin ofrecer referencia concreta alguna. En la correspondencia posterior entre los autores y el editor, éste pidió a los autores que sometieran el artículo a un experto y, si éste apoyaba el artículo, que informaran de ello al editor para poder revisar la decisión. La decisión original y la actuación posterior parecen de todo punto torpes y arbitrarias. Y es que un editor debería dar razones mejor fundamentadas para respaldar el rechazo directo de un artículo desde la oficina editorial.
En el caso quizá opuesto, un editor de una Top5 rechazó un artículo porque el resultado principal contradecía la intuición del editor. Obviamente, aunque al principio todos confiamos en nuestra intuición, es claro que el proceso de aprendizaje debería abrirnos la mente lo suficiente como para contrarrestarla cuando hay riesgo de equivocarnos. De hecho, hay muchos resultados importantes que, al principio, parecen totalmente sorprendentes, pero el análisis cuidadoso de la prueba revela el argumento no trivial que conduce al resultado. En mi opinión, si yo estuviera en el lugar del editor, cuando un resultado va en contra de mi intuición, debería alejarme de la tentación del rechazo directo, porque puede ser precisamente el caso en el que una evaluación detallada puede estar más justificada.
Otro editor de una Top5 rechazó un artículo que utilizaba el enfoque axiomático con la siguiente frase: "a nuestra revista no le interesan los axiomas". Cuando el autor me contó esta historia, le dije que, utilizando ese argumento, contribuciones clave para la economía -el teorema de imposibilidad de Arrow, la solución de negociación de Nash, el valor de Shapley, etc.- también habrían sido rechazadas por esa revista, por lo que el autor debería estar orgulloso de estar en tan buena compañía. Pero lo más importante es que el argumento del editor era erróneo, porque decir que "nuestra revista no publicará axiomas" es en sí mismo un axioma, y un mal axioma, en mi opinión. (Recordemos que un axioma es un principio indiscutible que se formula antes de que vayamos a proceder a ningún análisis de sus consecuencias).
Hay, por último, rechazos editoriales que directamente no lo son: algunos editores de revistas top5 han recurrido a editores asociados para "ayudar en su decisión de rechazo editorial". En un par de casos que me contaron, esto no era justo ni para el Editor Asociado, a quien ya se le había indicado la dirección que debía seguir en la evaluación, ni para el autor, a quien no se le dio toda la información relevante. Si se consultó a un Editor Asociado, el informe correspondiente debería haber formado parte de la revisión, lo que por supuesto subrayaría el hecho de que no se trataba de un desk-rejection.
Los informes que se utilizan en una jerarquía vertical de revistas.
Algunas de las 5 principales revistas iniciaron hace unos años la práctica de acompañar algunos de sus rechazos de la sugerencia de una revista específica como siguiente paso, mencionada por su nombre, y en la que a menudo podrían utilizarse los mismos informes de evaluación. En principio, esto podría ser una buena idea porque podría agilizar el proceso de revisión, y en efecto a veces ha funcionado. Pero también he oído múltiples relatos en los que estos procesos acaban en una experiencia muy negativa. Por ejemplo, un editor de la revista X, una de las cinco mejores, rechazó un trabajo y sugirió la revista Y, afirmando en la carta de decisión que todos los evaluadores también apoyaban la idea de publicar en la revista Y. Al autor le gustó el plan y revisó el artículo teniendo en cuenta todos los puntos de los informes de los evaluadores. Cuando el autor envió el artículo a la revista Y, y pidió que se utilizaran los mismos informes de evaluación, el editor de la revista Y aceptó la propuesta. Sin embargo, poco después, el editor rechazó el artículo.
La opinión de los matemáticos y matemáticos aplicados.
He hablado con colegas de otras disciplinas para entender mejor cómo comparan nuestros procesos de revisión y publicación con los suyos. Permítanme resumir en primer lugar las opiniones que he escuchado de algunos matemáticos y matemáticos aplicados. En lugar de unas pocas revistas de primera línea, estas disciplinas tienen un gran grupo de revistas de prestigio, a menudo clasificadas de forma diferente por individuos o escuelas, asociadas a instituciones, como SIAM (Society for Industrial and Applied Mathematics), AMS (American Mathematical Society), Informs, etc. Sin embargo, lo que no ocurre nunca es que la etiqueta de una revista sustituya a la lectura del artículo. Cuando les describí la enfermedad de la top5itis, la reacción que obtuve fue de perplejidad. Se supone que los economistas entienden las ventajas de la competencia y, por lo tanto, parece un poco extraño "dar tanto poder a tan pocas revistas" - este mismo punto fue en realidad planteado por James Heckman en el panel de 2017 (Heckman et al., 2017). Por lo demás, estas disciplinas parecen tener procesos de revisión similares a los de la economía, incluyendo un editor, un editor asociado y dos o tres evaluadores para revisar un artículo.
Opiniones de los Científicos de la Computación.
Mis conversaciones con los científicos de la computación también fueron útiles. La disciplina ha crecido enormemente. Como consecuencia, se presentan muchas más propuestas a los congresos y conferencias, y los revisores de las comunicaciones presentadas no dan abasto. Es por esto que ahora se pide a todos los que envían trabajos que revisen otros. En general, esto ha provocado un deterioro de la calidad de la revisión, pero a la vez se han aplicado algunas posibles soluciones. En primer lugar, la revisión es ahora abierta, de modo que los informes pueden ser vistos por otras personas en el sitio web de revisión al efecto. En segundo lugar, se ha introducido una fase de discusión que resulta muy útil. En ella, los distintos evaluadores se comunican entre sí de forma anónima para tratar de limar diferencias en sus valoraciones.
La mayoría de las publicaciones en esta disciplina científica aparecen en actas de congresos, que suelen ser de un campo determinado (aprendizaje automático, procesamiento del lenguaje natural, etc.). No hay ningún congreso de interés general, salvo que cada cuatro años se reúnen todos los congresos de un área. El Journal of the ACM (Association for Computer Machinery) publica versiones revisadas de artículos que han demostrado ser de "interés general" (versiones anteriores de tales artículos ya aparecieron en alguna conferencia y han influido en muchos trabajos). El gran aumento del número de contribuciones no ha dado lugar a conferencias más largas o de mayor envergadura, ya que éstas están siempre limitadas en el tiempo. Ha habido cierta tendencia a aumentar el número de sesiones paralelas, aunque hay reticencias sobre ello. En general, el efecto global es una tasa de rechazo a los congresos mucho mayor. Por otro lado, hay Conferencias A y Conferencias B, aunque no está claro de dónde vienen las etiquetas. El nivel B tiene algunas ventajas, como que asiste menos gente lo que facilita la profundidad de las discusiones. Un problema relacionado es que el mismo autor envía muchos artículos a la misma conferencia, porque la percepción es que el proceso de selección es bastante arbitrario y actuar de esa manera puede aumentar la posibilidad de colocar con éxito alguno de los intentos. La solución sencilla sería imponer un máximo de artículos enviados por autor, pero aparentemente esta regla no se ha impuesto todavía.
La opinión desde la psicología.
En psicología y ciencias cognitivas hay un gran número de revistas, clasificadas aproximadamente por sus factores de impacto. Es importante destacar que las publicaciones en medios científicos generales, como Nature o Science, están muy bien considerados, ya que se sabe lo difícil que es publicar allí. Cuando los psicólogos con los que hablé se enteraron de la enfermedad de la top5itis en economía, señalaron un problema adicional desde su punto de vista: quizá esto sea un reflejo de la economía como disciplina muy estrecha, verdaderamente egocéntrica, lo que de hecho induce a algunos psicólogos a acusar a algunos economistas de rechazar o dificultar las colaboraciones interdisciplinares. (Aquí comparto opiniones. Aunque mi impresión es que gran parte de la investigación reciente en economía se ha abierto a otros campos, como la psicología, quizá esas opiniones negativas no deban descartarse a la ligera). Revistas como Psychological Review o Psychological Science destacan como de "interés general", pero coexisten con prestigiosas revistas de campo en psicología cognitiva, neuropsicología, etc. Un criterio muy utilizado para medir el "interés general" de un investigador es ver si sus publicaciones se reparten en una muestra de revistas diversas, en lugar de publicar siempre en un número reducido de revistas.
La opinión desde la biología.
Como señaló correctamente Drew Fudenberg en el panel de Heckman et al. (2017), la biología parece tener una enfermedad similar a la top5itis en economía. Los biólogos me dicen además que "los factores de impacto parecen dirigirlo todo". De hecho, la situación en biología parece ser aún más grave. Por ejemplo, algunas universidades han empezado a vincular los salarios del profesorado al factor de impacto, lo que constituye en sí mismo un incentivo muy perverso. Además, la publicación está totalmente en manos de grandes editoriales comerciales, sin el efecto contrapeso de una asociación profesional no comercial o una sociedad académica. Hay muchas revistas, en muchos campos y subcampos, así como revistas más generales, pero la obsesión por los Factores de Impacto parece ser omnipresente. Las grandes editoriales comerciales dirigen las revistas más prestigiosas, y el afán de lucro interfiere a veces con los criterios de calidad científica (a algunos editores les cuesta convencer a las editoriales de que eleven el nivel de exigencia, ya que un mayor índice de rechazo puede hacer que se impriman menos páginas). Hay mucho descontento con el sistema actual, pero la gente no parece saber cómo llegar a un consenso para hacer un cambio real. Algunos sugieren utilizar otros índices, como el factor H o el factor eigen, que empezarían a restar importancia a la dictadura de los factores de impacto.
Una reflexión final.
Aunque basarse en varias estadísticas bien elegidas suele ser esclarecedor, basar la evaluación de un tema complejo en una sola métrica, sea cual sea, es una simplificación excesiva, crea un sistema de incentivos perversos, y es potencialmente responsable de muchas decisiones incorrectas. Un análisis más flexible y multidimensional debería ser el apropiado para evaluar la producción científica en economía.
(*) Traducido y adaptado a NeG por Luis Puch a partir de una primera versión generada automáticamente por DeepL.com
Referencias
- Heckman, J., Akerlof, G., Deaton, A., Fudenberg, D., and Hansen, L. (2017), “Publishing and Promotion in Economics: The Curse of the Top5,” discussion session at the American Economic Association annual meetings, https://www.aeaweb.org/webcasts/2017/curse.php
- Serrano, R. (2024), “Top5itis Revisited: Some Thoughts on the Notion of General Interest in Economics,” Ensayos, Revista de Economía, Vol. 43, no. 1, January 2024
