de Yo soy muy antiguo y no leo ni participo en blogs, lo cual seguramente contribuye a mi brutedad. Oigo, sin embargo, que se ha insistido mucho en este blog en el hecho cierto de que a los economistas nos entusiasman los índices de productividad. Poder medir de una forma clara y objetiva el rendimiento de cada individuo es crucial para nuestros cálculos optimizadores y, en particular, para poder remunerar los factores de producción en función de si producen más o menos.
Un índice que utilizamos precisamente para evaluar nuestra productividad investigadora es el ranking internacional de las revistas en las que publicamos. En particular, es habitual oir a los economistas académicos hablar de cuántos artículos ha publicado alguno de ellos en “alguna top 5”, refiriéndose así a las siguientes revistas: AER, Econometrica, JPE, QJE and REStud (es cierto que estas revistas tienden a aparecen entre las mejores en todos los rankings).
Aunque muchos creemos que utilizar este tipo de índices es útil e informativo sobre la capacidad y actividad investigadora de los académicos, a muchos nos preocupa el que se haya convertido casi en una obsesión, esto es, en el único indicador de nuestra valía académica, y que por tanto, se esté usando con fines perversos que impiden la correcta evaluación de nuestro trabajo y, con ello, el que se desprecie a todo artículo no publicado en estas cinco revistas (¿por qué cinco?) o que se tomen decisiones de contratación o asignación de plazas sólo basadas en esta medida tan cruda. Por ello, he escrito y difundido entre la profesión el artículo que les copio a continuación en el que advierto de una nueva enfermedad, la top5itis para que, siendo conscientes de su existencia, aprendamos a mitigar sus efectos.
Una advertencia antes de que lo lean. La top5itis es una enfermedad propagada por el mundo, pero en países como en España convive con otras enfermedades, como por ejemplo el creer que los rankings de revistas son completamente inútiles y no contienen ninguna información. En ningún caso pretendo que mi artículo sirva de excusa para aquellos que se escudan en la top5itis no ya para no intentar publicar en ellas, sino para no intentar publicar en ninguna revista con un mínimo prestigio internacional y decir que todas las revistas “son iguales”. No, no lo son. La clave de revistas de prestigio es la alta calidad en el proceso editorial de evaluación (por parte de editor y evaluadores), y tales altos estándares son los que llevan a crear prestigio para una revista y los que contribuyen a la creación de conocimiento en el desarrollo de la ciencia económica, que es al final de lo que se trata.
Les dejo con mi articulo. Pueden encontrar la versión original en inglés en este link. Una última advertencia, aunque los temas de los que hablo son serios, creo que añadir una pizca de humor no es nunca una mala idea. Imagino que un artículo como el mío podría aparecer en la "Nueva y Probablemente Correcta Wikipedia."
Definición.
La Top5itis es una enfermedad que actualmente afecta a la disciplina económica. Se refiere a la obsesión de la profesión de los economistas académicos con las llamadas "revistas del top 5". Estas son, por orden alfabético, American Economic Review, Econometrica, Journal of Political Economy, Quarterly Journal of Economics y Review of Economic Studies. En sus formas más extremas, la top5itis reduce la evaluación de un documento a la siguiente prueba: un artículo tiene algún valor si y sólo si fue publicado por una de las revistas en esta lista. Por lo tanto, para evaluar la producción científica de un académico, una persona afectada por top5itis simplemente cuenta los “top 5” de su lista de publicaciones en Google Scholar. Dado que la enfermedad es una simple aplicación de la medida de conteo (típicamente una persona aprende a contar en la escuela primaria), a través de un proceso de contagio, la top5itis se propaga rápidamente para afectar a personas ajenas a la economía, incluida la descendencia de economistas académicos, quien se reúne en el patio a la hora del recreo para hacer comentarios despectivos sobre los padres de los demás. Con patrones similares, la enfermedad también se ha extendido a administradores competentes de universidad y a las instituciones que otorgan fondos a la investigación.
- Historia.
Se cree que la enfermedad apareció primero en Estados Unidos; pero a día de hoy ya se ha extendido a otras regiones del mundo. La fecha de su primera aparición no está clara, aunque diferentes estudios la sitúan alrededor del año 2000. Antes, la gente entendía la noción de una revista de interés general influyente en economía, por ejemplo: Edgeworth editó el prestigioso Economic Journal durante años, Samuelson publicó importantes artículos en la Review of Economics and Statistics, Houthaker en Economica, Coase en el Journal of Law and Economics o Debreu y Scarf en International Economic Review. Hasta hace muy poco la profesión no había oído hablar del término "top 5". Para completar el misterio, tampoco está claro cómo se decidió cuáles serían las 5 revistas principales, por qué otras revistas no son parte de esa lista o quién tomó estas decisiones.
- Síntomas y consecuencias.
Es cierto que estas revistas publican algunos artículos muy buenos, pero también publican artículos que no son tan buenos, y viceversa, algunos trabajos muy buenos se publican en otras revistas. Sin embargo, como es bien sabido, el establecimiento de cualquier oligopolio tiene consecuencias perjudiciales para el bienestar, en este caso, para la producción científica de la disciplina. Los siguientes párrafos describen algunos ejemplos, junto con síntomas de la enfermedad. Algunas de las 5 principales revistas se ven especialmente afectadas por lo que Heckman llama el "factor de incesto" (Heckman et al. (2017)), es decir, publican una gran proporción de artículos escritos por académicos vinculados con un número muy reducido de instituciones. En algunos casos, el incesto también se manifiesta en los editores y evaluadores de esas revistas. Las prácticas incestuosas suelen llevar al empobrecimiento genético. Cuando se trata de producción científica, esto puede manifestarse en la supresión de la originalidad o de la heterogeneidad de ideas o enfoques.
[Ejemplo real No. 1: algunas de las personas infectadas con top5itis no ven esto como un problema; al contrario, un economista que padece la enfermedad confiesa que estaría orgulloso de pertenecer a esos clubes incestuosos.]
Algunos editores y evaluadores convierten la top5itis en un axioma de su comportamiento:
[Ejemplo real No . 2: un editor dictó la siguiente sentencia: "esta contribución no es de interés general, y por lo tanto, no tiene sitio en una top 5".]
Tengamos en cuenta que la primera parte de la sentencia debe ser respetada, ya que es la expresión de una opinión, y por lo general los editores de estas revistas son académicos de reconocido prestigio cuyas opiniones deberían tener mucho peso. El problema es la segunda parte de la sentencia, haciendo una afirmación en la que efectivamente el editor rechaza el documento no solo para su revista, sino también para otras cuatro revistas más. Esto demuestra un grado de seria confusión por parte de ese editor con respecto al alcance de la decisión que está tomando.
De manera similar:
[Ejemplo real No. 3: un evaluador, que sufre de top5itis, escribió un informe de una línea en el que afirmaba que "este documento no es para un top 5" o "este documento no generará un interés futuro suficiente para merecer estar en los top 5."]
Tales declaraciones sobre el posible impacto futuro de cualquier trabajo son a menudo dudosas y deben hacerse con precaución, pero una persona infectada con top5itis cree en ellas de todo corazón, a pie juntillas. Los informes de una línea de este tipo no elevan la calidad promedio de la evaluación de un documento científico, que es otro problema causado por la enfermedad. Por lo general, cuando un editor consulta a un evaluador, el editor ya ha decidido en contra de un rechazo sumario del documento y no debería ser el rol del evaluador rechazarlo sumariamente con esas frases ingeniosas, por lo que parece que la top5itis también hace que las personas a las que afecta confundan sus roles. Algunas de las cinco revistas principales parecen alentar este comportamiento con la buena intención de reducir el tiempo de respuesta en el proceso de revisión, aunque uno podría argumentar que hay otras formas de hacerlo sin comprometer la calidad. El efecto es que tales prácticas tienden a aumentar la subjetividad con la que se evalúa cualquier trabajo. Está claro que un grado de subjetividad siempre está presente en cualquier proceso de evaluación, pero sería deseable aumentar su contenido objetivo también, y los informes de los evaluadores son clave en ello.
Por otro lado, la top5itis también afecta a las recomendaciones positivas para la publicación provenientes tanto de los editores como de los evaluadores. Esta manifestación de la enfermedad se basa en torturar al autor con la solicitud de múltiples revisiones dolorosas que solicitan extensiones infinitas e irrelevantes o controles de robustez, a expensas de la eliminación de secciones que son más creativas o conflictivas, así como las sugerencias intrusivas sobre los cambios en la motivación o explicación de los resultados. Aunque algunos de estos comentarios sin duda son beneficiosos para la calidad del resultado de la investigación, en dosis no controladas, tales intervenciones causan retrasos potencialmente largos.
Además, tales prácticas también van en la dirección de cambiar la naturaleza de la autoría de un documento. Dado que un autor es dueño del documento que escribe, los editores y evaluadores deben aceptar los límites de tales acciones.
[Ejemplo real No. 4: un evaluador afectado con top5itis solicitó una extensión de un resultado. El autor del artículo se negó a agregar esa extensión y sugirió al editor de la revista top 5 que se animara al evaluador a escribir dicho artículo, a que lo enviara a esa revista y a que el editor se lo enviara al autor del primer trabajo para que él/ella pudiera evaluar el nuevo documento.]
[Ejemplo real No. 5 (casi cierto): un economista de 50 años que se doctoró alrededor del año 2000, todavía está revisando el trabajo central de su tesis para una de las 5 revistas más importantes. Ha perdido la cuenta del número de revisiones, pero esto puede ser causado por la pérdida de memoria del autor debido a su avanzada edad. El mismo economista de 50 años confiesa no reconocer ya su trabajo, se ha convertido en un animal completamente diferente; es un monstruo que sigue creciendo fuera de control.]
La top5itis también conduce a hacer declaraciones falsas o al menos no probadas. Por ejemplo, una persona infectada por top5itis realmente cree que los procesos de revisión en estas revistas son siempre de mayor calidad que los que se siguen en otros lugares. Es cuestionable si esto es realmente cierto, aunque algunos argumentan que podría ser cierto en promedio.
[Ejemplo real No. 6: un economista infectado con top5itis le dijo a un colega que iba a rechazar un artículo que estaba evaluando para una top 5. Él/ella explicó que aún no había encontrado la razón, pero que el veredicto de su recomendación sería rechazarlo con toda seguridad.]
La creencia de una persona infectada con top5itis es que la característica “top 5” es una medida objetiva clara que debe tener prioridad sobre cualquier otra cosa.
[Ejemplo real No. 7: un departamento de economía otorgó un puesto relevante en el mismo con una clasificación de candidatos por número de top 5. Las opiniones expertas de los especialistas del claustro en el campo correspondiente fueron descartadas por los profesores infectados por ser "opiniones subjetivas" en lugar de los "hechos objetivos" establecidos cuando uno cuenta los top 5.]
Se han encontrado variantes más extremas de la enfermedad. Por ejemplo, la top2itis se refiere a la enfermedad donde se destaca un par de revistas arbitrarias de la lista de las 5 principales como las únicas revistas en las que se publica una buena investigación.
[Ejemplo real No. 8: un economista infectado con top2itis ha publicado en dos de las cinco principales revistas y no ha publicado en las otras tres. Según este economista, esas dos revistas son las únicas que deberían contar.]
Otras enfermedades relacionadas también pueden ser ilustraciones del uso de la medida de conteo. Un ejemplo destacado es la dependencia obsesiva del número de citas.
[Ejemplo real No. 9: Un economista cerca de la jubilación confesó que lo primero que hacía cada mañana era verificar dos números: el número de sus citas y el valor de su fondo de jubilación. Lo bueno del primero es que nunca cayó.]
[Ejemplo real No. 10: Un economista sugirió que, para aumentar las citas, todos los artículos deberían agregar una nueva sección. Después de la sección "Literatura relacionada", todos los artículos deben cerrar con la sección "Literatura no relacionada".]
- Tratamiento.
El objetivo del economista académico debe ser contribuir al conocimiento de algún aspecto relevante de la realidad económica. La profesión debe reflexionar sobre si las prácticas descritas anteriormente conducen a ese digno objetivo.
Bibliografía
Heckman, J., Akerlof, G., Deaton, A., Fudenberg, D., and Hansen, L. (2017), “Publishing and Promotion in Economics: The Curse of the Top5," discussion session at the American Economic Association annual meetings, https://www.aeaweb.org/webcasts/2017/curse.php
Hay 10 comentarios
Gracias por el post, Roberto. Lamentablemente este es un problema generalizado en la ciencia. Hace casi exactamente cinco años publiqué un post aquí sobre el impacto del papel couché en la ciencia; el papel couché, o sea, Nature, Science, etc., son el equivalente de las top 5 en economía, y tienen el mismo efecto pernicioso, o peor. Desde entonces el problema se ha agravado aunque justo por la misma época se presentó la declaración DORA para dejar de usar el factor de impacto en la evaluación de personas, y muchos la apoyaron... de puertas afuera. Pese a que tienes razón, Roberto, al decir que en general la evaluación es mejor en las mejores revistas, el daño que causan es mucho mayor que esos beneficios, y necesitamos una solución radical que de paso corrija el excesivo número de publicaciones (al menos en las "ciencias duras"), solución que básicamente pasa por eliminar las revistas y publicar en foros abiertos sujetos a comentarios. De paso, dejaríamos de despilfarrar el dinero público pagando a los gigantes de la publicación como Springer, Elsevier, y otros, y además sacaríamos la ciencia de detrás de esos "muros de pago". Lo malo es lo de siempre, es decir, empezar a hacer esto arriesgando no solo el propio currículum sino el de tus estudiantes. Pero de una manera o de otra hay que acabar con esto.
Aquí está la entrada que menciona Anxo: https://nadaesgratis.es/anxo-sanchez/el-impacto-del-papel-couche-en-la-ciencia
Me suena Anxo, que aparte del artículo del papel couche, publicaste hace ya años otro artículo en la línea en el que te quejabas del mismo efecto pero con los Physical Review Letters en física. ¿lo habéis solucionado ya o la enfermedad va para largo?
Por otra parte, y es algo que he hablado bastantes veces con colegas y en mi entorno parece bastante general. En mi caso la revista para la que reviso apenas influye en mis revisiones más allá de si el artículo se ajusta al alcance y los objetivos. Es decir, dado un artículo, hago una revisión muy similar independientemente de la revista, pero por lo que se deduce del artículo, esto no es general. ¿sois más o menos duros en la revisión dependiendo de la revista?
En muchos casos son/somos los mismos editores de revistas de Economía quienes piden al evaluador "que se moje" y haga una recomendación al editor sobre la idoneidad de publicar el artículo en una revista en concreto. Ésto, en algunos casos, puede tener cierto sentido. Por ejemplo, para distinguir si un artículo es de interés general para la profesión o es más adecuada para una revista de un área concreta. En todo caso, creo que en demasiadas ocasiones el editor diluye su responsabilidad en los evaluadores para que le den una razón espúrea para rechazar. Por ello, muchos se escudan en el "no suficientemente interesante para una revista de este nivel" que, como comenta Roberto, en ocasiones excede la evaluación para la propia revista.
Normalmente, Pedro, "no suficientemente interesante para esta revista" es un eufemismo para "este paper no lo van a citar suficientemente y nos va a bajar el factor de impacto". Por eso creo que publicar sin revistas en un único foro y dejar que los "likes" de otros científicos decidan lo interesante o no que es algo es mejor que los criterios espurios utilizados por muchos editores y revistas.
Cierto Josema, llevo mucho tiempo pensando en esto. Ahora además del problema Phys Rev Lett tenemos otras top nuevas, surgidas desde entonces, como Nature Physics. No se ha avanzado mucho, la verdad. En cuanto a si evalúo diferente para unas revistas u otras, la ciencia se evalúa igual, yo al menos, pero luego viene el rollito subjetivo de cada revista: Es el paper de interés general? Es un avance significativo en el campo? Ese tipo de cosas sí son revista dependientes...
Nada extraño. Nadie decidió que una revista era mejor que otra. La extraordinaria masificación de la investigación académica en los últimos 70 años --como ha ocurrido con tantos otros procesos de masificación-- ha ido llevando a que espontáneamente se hicieran distinciones porque está claro en todas las actividades humanos que hay unos mejores que otros --por mucho que algunos lo lamenten y peor intenten eliminar a los buenos para nivelar para abajo. Nuestras diferencias a nivel individual son tan grandes que unos ganan mucho y otros ganan poco no porque los primeros explotaron a los segundos sino porque fueron capaces de aprovechar sus oportunidades, generalmente haciendo sacrificios enormes que los segundos jamás estuvieron dispuestos a hacer.
Y si hay algo que uno debe lamentar en los procesos espontáneos de selección es que algunos se puedan colar vendiendo sus "grandes descubrimientos" y que entre sus colegas haya tantos dispuestos a comprarlos y celebrarlos.
"Otras enfermedades relacionadas también pueden ser ilustraciones del uso de la medida de conteo. Un ejemplo destacado es la dependencia obsesiva del número de citas"
Casi todo el mundo está de acuerdo que los índices de impacto de las revistas son una mala manera de evaluar la ciencia. Pero el número de citas es algo muy distinto. Estaría bien que el autor (o cualquiera que supiera de esto) elaborara esta crítica.
Enhorabuena por el artículo.
Lo de las Top 5 es probablemente una moda adoptada del campo de la Medicina donde "todo el mundo sabe que las mejores revistas son": The New England Journal of Medicine, Lancet, JAMA, BMJ y Annals of Internal Medicine.
Sobre el controvertido dominio de estas 5 revistas y sus consecuencias sugiero un libro de Richard Smith (ex-editor de BMJ):
The Trouble with Medical Journals (https://www.amazon.com/Trouble-Medical-Journals-Richard-Smith/dp/1853156736).
Los factores de impacto de las Top 5 son especialmente elevados. Curiosamente, hace años, hicimos un estudio que ponía de manifiesto que algunas de las Top 5 debían su elevado número de citas (y por tanto, sus factores de impacto) a la publicación de ensayos clínicos. Esta es una práctica muy cuestionada ya que este tipo de artículos atraen una cantidad de citas muy superior a los auténticos artículos de investigación. Está claro que en Economía no hay ensayos clínicos, pero la existencia de un Top 5 en Medicina puede ayudar a entender este fenómeno y, lo que es más importante, a saber cuales pueden ser sus consecuencias futuras.
En febrero 2016 se publicó este libro editado por G. DeMartino y D. McCloskey
https://global.oup.com/academic/product/the-oxford-handbook-of-professional-economic-ethics-9780199766635?cc=cl&lang=en&
criticado en este artículo por A. Krueger
https://pubs.aeaweb.org/doi/pdfplus/10.1257/jel.55.1.209
crítica que los editores responden en
https://econjwatch.org/articles/professional-ethics-101-a-reply-to-anne-krueger-s-review-of-the-oxford-handbook-of-professional-economic-ethics
Se me había escapado el libro y la reseña pero hoy recibí la respuesta y he estado intentando entender el debate. Un punto me ha preocupado: el libro se refiere a economistas profesionales. Habiendo leído el post de Serrano referido sólo a economistas académicos que publican investigaciones en revistas con pretensión “científica", me he estado preguntando si los economistas “científicos” son profesionales o si este término debe reservarse a prestadores de servicios a no-economistas para tomar decisiones, sea asesorándolos sobre alternativas o proponiéndoles soluciones (economistas “médicos”). Hoy muchos economistas académicos —a veces una mayoría absoluta— se dedican al negocio de asesorar y proponer soluciones, lo que dificulta distinguir entre “científicos” y profesionales. El punto no es menor si uno quiere entender cómo han cambiado los departamentos de Economía de las universidades en los últimos 70 años.
Los comentarios están cerrados.