Evaluar menos para progresar más

" title="Evaluar menos para progresar más" alt="Evaluar menos para progresar más" class="img-responsive">

Normalmente escribo sobre el mundo real, pero hoy me voy a permitir un ejercicio de escapismo escribiendo sobre la peor tortura que sufren los investigadores en economía: el proceso editorial (algo muy parecido a este proceso).

Cuando un investigador económico termina un trabajo, tras haberlo presentado en seminarios --es decir, presentaciones del trabajo en departamentos universitarios-- y conferencias --es decir, reuniones científicas de 30-35 personas--, ¿qué hace? Pues crea un fichero pdf y lo carga en la página web de una revista académica para su posible publicación. Algunas procesan el artículo gratis (como SERIEs) pero otras cobran bastante. El Journal of Finance cobra hasta 250 dólares (unos 200 euros) solo por enviar el trabajo para que sea evaluado (que normalmente se pagan con fondos de investigación).

Después viene una espera de meses. En la American Economic Review (AER), una de las cinco mejores revistas, la duración mediana hasta la primera respuesta es de 3 meses (en SERIEs, una de las más rápidas, son 71 días). El trabajo nunca es aceptado en esta ronda (y nunca significa nunca). Lo más frecuente es que sea rechazado. Con suerte, se pide una revisión y reenvío (revise and resubmit), con los informes de los evaluadores anónimos (normalmente dos) y una carta del director (editor) que contiene una larga lista de cambios que hay que hacer en el trabajo para su posible publicación. Algunos comentarios son útiles pero la mayoría obligan a hacer cosas muy laboriosas que uno piensa que son inútiles y que de hecho estropean el artículo.

Tras hacer los cambios pedidos --casi siempre bastantes meses después-- se reenvía el trabajo, con una carta para el director y una para cada evaluador, explicando los cambios introducidos y dando las gracias a cada evaluador por ser tan majo, haber hecho tantos comentarios tan interesantes y haber pedido tantos cambios imposibles. Y otra vez a esperar. La segunda decisión es a veces un rechazo, a veces una petición de revisiones mayores y a veces una petición de revisiones menores. La tasa final de rechazos es muy alta. Por ejemplo, en la AER es del 93% (en SERIEs del 75%).

Cuando se recibe un rechazo, normalmente se compra otro décimo de lotería: se ignoran los comentarios de los evaluadores de la revista anterior --total, los evaluadores de otra revista dirán otras cosas-- y se envía el trabajo tal cual a otra revista. Así se van acumulando rechazos, descendiendo por la cadena trófica editorial, hasta que alguna revista acepta el trabajo o hasta que el autor se rinde.

Entre los investigadores económicos hay un consenso bastante general de que este proceso es muy ineficiente, consume mucho tiempo de mucha gente y no conduce especialmente a mejorar la calidad de los trabajos. El año pasado un artículo de Glenn Ellison se preguntaba si el sistema de evaluación por los pares (colegas) está en declive. Que conste que de lo que me quejo aquí es de tanta tardanza y tanta revision inutil, no de que se envíen los artículos a evaluar ni de que se rechacen si a los evaluadores o al director no les gustan. Este procedimiento es el único que hemos descubierto hasta ahora para poner una marca de calidad que nos permita saber qué hay que leer y qué no, y es igual en todas las ciencias.

Hace tiempo un compañero me pasó un artículo de Matthew Spiegel, que fue durante siete años editor del Journal of Financial Markets y otros seis de la Review of Financial Studies. En el artículo, titulado "Evaluar menos--Progresar más" (Reviewing Less--Progressing More), Spiegel se pregunta qué están intentando lograr los directores y los evaluadores, ¿garantizar que todo resultado publicado sea correcto? En ese caso, pierden el tiempo. Y al perseguir eso nos hacen perder el tiempo a todos. Cree que las peticiones de revisión raramente desvelan errores importantes, e incluso si lo hacen no funcionan, porque los autores tienen fortísimos incentivos para taparlos, dado que ni los directores ni los evaluadores comprueban, por ejemplo, los programas o los filtros aplicados a los datos. Además destaca una serie de tendencias:

(1) Como a los investigadores se les evalúa mediante el recuento de citas, los evaluadores tienden a favorecer, conscientemente o no, a los artículos que citan su propio trabajo y a rechazar los que no lo hacen. Por tanto, los autores tienden a citar todo lo que se pone a tiro. En el Journal of Finance (JF), el número medio de citas por artículo ha subido de 16 en 1980 a 48 en 2010.

(2) Los evaluadores quieren, no solo que sus artículos sean citados, sino también alabados. Como eso no se puede pedir directamente, piden a los autores que "sitúen mejor su trabajo en la literatura". En consecuencia, ahora los artículos tienen una introducción partida en dos, una primera parte llamada así y una segunda llamada "revisión de la literatura". En el JF la longitud media de la introducción ha pasado de 481 a 1.673 palabras.

(3) Antes los autores proponían una hipótesis, ofrecían evidencia en favor o en contra y presentaban sus conclusiones. Quienes dudasen de los resultados probaban su argumentación y publicaban un artículo crítico. Ahora se exige a los autores que descarten ellos mismos cualquier posible alternativa. Pero, según Spiegel, los contrastes de solidez de los resultados  (robustness checks) no llevan a ninguna parte. Lo único que consiguen es alargar los artículos. En el JF, la longitud media ha subido de 11 páginas en 1980 a 34 en 2010. Pero ni el número de artículos que critican a otros artículos se ha reducido, ni más artículos publicados se han vuelto más perdurables e influyentes.

(4) En respuesta a la tortura que supone el proceso y dado que en las decisiones de concesion de una plaza fija (tenure) no se suele dividir el crédito otorgado por cada artículo entre el número de autores, los investigadores han aumentado el número de autores para repartirse la carga. En el JF, el número medio de autores por artículo ha subido de 1.6 en 1980 a 2.4 en 2010.

La conclusión de Spiegel: "A cambio, ¿ha progresado el campo de las finanzas más y más deprisa? Mi respuesta es un inequívoco no. Si acaso, parece que hemos atascado el proceso y el progreso es más lento que nunca." Y también: "¿Qué horrores recaerán sobre nosotros si se publica un artículo con una conclusión errónea? No muchos. La inmensa mayoría de artículos se olvidan rápidamente. (...) ¿Y si un artículo es importante --es decir, si la gente lo lee y lo cita--? En tal caso los académicos diseccionarán todos sus aspectos."

Las propuestas de Spiegel: (1) Desincentivar, si no prohibir, los apartados de revisión de la literatura y limitar las introducciones a un máximo de cuatro páginas. (2) No permitir casi nunca que haya más de dos rondas de evaluación. (3) No enviar casi nunca los artículos revisados a los evaluadores para una segunda evaluación. (4) Intentar aceptar al menos un artículo al año sin ningún cambio.

Su objetivo como director: "Mi único objetivo era publicar artículos que la gente leyese. No perseguía la perfección. Ni quería coger un artículo y hacer que fuera reescrito en la forma en que yo o los evaluadores lo habríamos hecho si hubiéramos sido sus autores. Ni los directores ni los evaluadores son los autores. Los autores de los artículos son sus autores. Debería permitírseles decir lo que quieran, de la forma que quieran (salvo por los insultos, las vulgaridades o las afirmaciones que la mayoría no consideraría razonables)."

¿Qué perjuicios causó Spiegel como editor de la Review of Financial Studies de 2005 a 2011 aplicando sus reglas? No muchos. El número de artículos enviados pasó de 500 a 2.000 al año. El factor de impacto, que mide las citas recibidas por los artículos publicados en las revistas, subió de 2.20 a 3.55, haciéndola pasar del tercer al primer puesto en el área de finanzas. No está nada mal.

No estoy de acuerdo con todo lo que argumenta Spiegel, pero sí en lo esencial. Para ser justo, el proceso editorial en economía, dejando fuera a las finanzas, también ha mejorado algo en los últimos años. Antes, recibir la primera decisión en tres meses era rarísimo y ahora ya no, y también se hacen más rechazos sin enviar los artículos a evaluar (ahorrando así tiempo a los autores cuyos artículos no tienen ninguna opción). Pero aún estamos muy lejos de las ciencias naturales: aparentemente, la revista Nature no suele tardar mucho más de una o dos semanas. Y en esas ciencias no practican las rondas abusivas de revisión que se dan en economía.

El otro día, al enviar un informe de evaluación a la AER apareció una pregunta que nunca había visto antes: "¿Estaría usted dispuesto a evaluar este artículo en segunda ronda?" Sin pensarlo mucho, marqué la casilla del sí, pero me parece que la próxima vez marcaré la del no.

---

P.S. Una desternillante carta que demuestra que los economistas no somos los únicos sufridores.

Hay 29 comentarios
  • Un factor que influye es la degradación del mercado profesional de los académicos en EEUU. Recuerdo haber leído un artículo hace poco que mencionaba que los únicos salarios que han subido durante los últimos 10 años son los de los profesores de las universidades 1-st tier. El resto están prácticamente congelados desde hace tiempo. Un associate professor en muchas universidades americanas gana una porquería que no le permite llevar una vida de clase casi media-alta como sí ocurría hace 20 años. Eso hace que la competición por esos pocos puestos que te garantizan un salario decente sea cada vez más descarnada. Eso contamina el proceso de refereo. La prueba anecdótica de que los estímulos económicos juegan un papel es que en las disciplinas en las que hay más dinero en juego (Biología) el juego es mucho más sucio (un referee puede hasta birlarte un resultado o pasárselo a un amigo) que en otras en las cuales hay menos dinero en la mesa (matemáticas o física teórica).

    Otro problema es el complejo de superioridad académico, a alguna gente (los más flojos de cada institución) se les sube a la cabeza el sitio en el que trabajan, y les parece mal que alguien de una universidad "menor", envíe cosas a la misma revista en la que él publica. Por supuesto solo te lo confiesan después de muchas cervezas. Y ay como se te ocurra enviar un paper desde un país en el que la gente busca comida en la basura como España.

    • Baxajaun, al primer punto, la situación es bastante antigua, se remonta a varias décadas. Al segundo punto, cada vez hay menos problemas para publicar desde universidades que no sean las punteras. Ellison dice esto en el artículo que enlazo:

      Over the past decade, there has been a decline in the fraction of papers in
      top economics journals written by economists from the highest-ranked economics
      departments. This paper documents this fact and uses additional data on publications
      and citations to assess various potential explanations. Several observations are
      consistent with the hypothesis that the Internet improves the ability of high-profile
      authors to disseminate their research without going through the traditional peer-review
      process.

      • Samuel, la situación de atraso económico de los sueldos de los profesores ha empeorado radicalmente (al menos en mi experiencia) desde la época de la burbuja de las dotcom y con el crecimiento desproporcionado de los salarios en las finanzas, que ofrecen empleos mucho más remunerados para gente de alto IQ y motivación. Veo a gente de mi edad que ha estudiado en Harvard o en Princeton y que no saben si podrán pagarle a sus hijos unos estudios similares si siguen en la Academia a menos de que consigan plaza en una universidad del 1st tier. Sé de un premio Nobel recentísimo que hace 10 años rechazó algunas de sus primeras ofertas de tenure track porque las ciudades en las que se las ofrecían eran demasiado caras y no podía comprarse una casa decente en ellas. Eso era absolutamente impensable en la generación anterior. La posición económica *relativa* del profesorado universitario americano se ha deteriorado enormemente en 20 años, más incluso que la de los españoles (y ya es decir).

        Hay menos problemas materiales para publicar desde otras universidades, porque la disponibilidad de medios y acceso a información ha nivelado el campo de juego. Pero al igual que el rechazo a los inmigrantes se produce cuando hay muchos, el rechazo a la gente de instituciones "inferiores" se incrementa cuando te los encuentras demasiado a menudo frecuentando los mismos sitios que tú.

  • Yo creo que gran parte de los problemas vienen del exceso de artículos que se publican. Las revistas de nivel más bajo deberían desaparecer. La gente, en promedio, debería publicar uno o dos artículos cada año como mucho. De esta forma también habría la posibilidad de tomarse más tiempo para las revisiones, que deberían tener probablemente una recompensa mayor.

    Por otra parte, para ahondar un poco en los problemas:
    1) Los revisores no comprueban paso por paso las demostraciones matemáticas. Estoy seguro de que se puede colar en una revista de muy alto nivel un artículo con una proposición falsa, siempre que su falsedad no sea evidente y que la demostración sea suficientemente intrincada. Si los investigadores de más nivel consideran que su tiempo es demasiado valioso, debería considerarse crear alguna figura de “revisor asociado” que lo hiciera, quizá un estudiante de doctorado.

    2) Los revisores y editores te obligan a demostrar que estás absolutamente al día, aunque el artículo no lo requiera realmente (aunque leyendo a Samuel, pienso que esto quizá tenga que ver con su deseo de ser citados).

    Por otra parte, para ofrecer un poco de discrepancia, hay que decir también que los apartados de revisión de la literatura son útiles cuando uno se está introduciendo en un área nueva. También, que de tarde en tarde, hay informes de revisores realmente útiles y que ayudan a mejorar el trabajo sustancialmente.

    • fulano, el número de revistas no tendría que ser un problema. Por una parte, las no rentables deberían quebrar. Por otra, los mejores investigadores no suelen evaluar para las peores revistas, así que hay una especie de emparejamiento por tipos ('assortative matching'). En las mejores revistas los evaluadores sí comprueban las demostraciones y las equivocadas no son tanto un problema: si el artículo es malo no importa (ver texto) y si es bueno lo comprueban otros investigadores (y siempre hay doctorandos que pueden lograr publicar demostrando el error). Ciertamente, a veces el sistema es útil, pero podría serlo mucho más reduciendo la cantidad para elevar la calidad.

  • Está claro que el proceso actual es una pesadilla. Y también que no tiene sentido que nos pasemos el día pidiendo flexibilidad y eficiencia al resto del mundo y luego nos impongamos unas instituciones así a nosotros mismos.

    Una propuesta de cambio radical: que los evaluadores solo puedan aceptar o rechazar (nada de "revise and resubmit"), y que sus comentarios, como mucho un par de páginas, se publiquen -anónimamente- al final del artículo.

    Así el artículo sale rápido, no se genera todo este inútil trabajo extra, y el lector es consciente de los errores menores que pueda tener el artículo (si hay errores mayores, se supone que sería rechazado).

    • Samuel H. Es una propuesta radical, en efecto. Pero con acercarnos al sistema de las ciencias naturales ya mejoraríamos mucho.

  • Efectivamente, coincido en que el problema es muy importante porque consume mucho tiempo sin que la ganancia parezca realmente sustancial. A mi juicio, una parte importante de los problemas del actual sistema de evaluación recae sobre los editores. Éstos son los verdaderos "guardianes" de la línea de la revista, pero en lugar de usar los informes de evaluación para llegar a un juicio, en bastantes ocasiones piden seguir todos los comentarios de los evaluadores cuando muchas (muchísimas) veces los dos o tres evaluadores piden cosas opuestas. Creo que los editores deberían tener un papel más activo, haciendo un verdadero proceso de la información proporcionada por los evaluadores, dando coherencia a esas críticas y proporcionando una verdadera guía al autor de qué comentarios merece la pena seguir y cuáles no. Por supuesto, esto ya sucede en algunas revistas de forma más o menos espontánea, pero sería bueno que se fuera adoptando de forma explícita como línea editorial. Si a esto se añade que la segunda ronda de evaluación la haga solamente el editor, creo que podríamos disminuir mucho los costes generales del sistema de evaluación (¡aunque con más trabajo para el comité editorial!).
    Por otro lado, hay alguna revista de economía que empieza a ofrecer de forma opcional el sistema de evaluación con aceptación directa (incluye cambios muy pequeños) o rechazo; por ejemplo, Economic Inquiry.

    • Miguel Ángel Malo, claro, pero lo difícil es codificar qué tienen que hacer los directores. Creo que, de forma natural, hacen más su papel en las revistas buenas que en las peores (donde en efecto a menudo se limitan a decir 'haz lo que piden los evaluadores', sin ponderar la relevancia de los cambios pedidos).

  • Muy interesante análisis. Precisamente he caído en un blog donde se hace un análisis complementario a la forma de creación-difusión de las nuevas ideas que creo que puede interesar:
    http://noahpinionblog.blogspot.com.es/2012/10/will-econ-blogging-hurt-your-career.html
    Con la velocidad a la que se mueven las cosas, el sistema de evaluación actual puede convertir algo realmente novedoso en un artículo de historia económica (que también está muy bien, pero que pierde parte de la gracia :)).

    • En realidad, toda esa miriada de revistas de grado medio-bajo no son un sistema para hacer progresar la ciencia sino un complicado sistema de exámenes cuyas "notas" (aceptación/rechazo) sirven para la selección de académicos. Habría que pensar si no existen sistemas más baratos y/o eficientes de hacer esa selección. En cualquier caso, lo relevante es saber si ese sistema al menos contribuye a que progrese la "ciencia" que poseen en su cabeza los candidatos o por el contrario contribuye a la atrofia (ese gran peligro que conlleva la excesiva especialización).

      • Jorge Bielsa, el sistema de evaluación por los pares es bastante eficiente, y yo no conozco ninguno mejor. El problema es el equilibrio actual de expectativas: lo que los directores esperan que hagan los evaluadores y el efecto de esto sobre el comportamiento de los segundos. Se podría saltar a un equilibrio distinto si se cambian las expectativas.

    • Qué no se publicaría porque en las revistas de historia económica, los evaluadores exigen estar al día de lo publicado en otro tipo de revistas de economía.

  • Difícil problema Samuel. En las ciencias naturales la vida es distinta, que no mejor. En Nature a mí me han rechazado artículos en 45 minutos de reloj (y conozco casos de 15). Eso quiere decir que el artículo ha llegado a un editor, lo ha mirado por encima y lo ha rechazado sin más. La razón no es científica: es que estiman cuántas citas va a tener el trabajo y si va a hacer subir o bajar su factor de impacto o no, y en función de eso el artículo va a evaluadores o se devuelve sin más. De esta manera, la consecuencia es que básicamente Nature, Science y PNAS están dirigiendo lo que se hace en ciencia por criterios puramente mercantilistas.

    En revistas más especializadas en Física (como Physical Review) los tiempos son mucho más cortos pero el proceso es parecido. Eso sí, no se revisan teoremas ni se reproducen simulaciones en profundidad. En Matemáticas, sin embargo, los tiempos pueden ser peores que los que tú citas, ya que sí se reproducen todas las cuentas de los artículos. En Computer Science es muy muy rápido porque publicar va asociado a congresos y no a revistas, y los evaluadores (hasta cuatro en un congreso bueno) piden muy pocas cosas o si no rechazan.

    Y en las ciencias naturales, sí publicamos mucho. Una limitación de unos pocos artículos, dos, tres, por autor y año podría contribuir a facilitar la vida a todo el mundo.

    • Anxo, gracias por la información sobre otros campos, que nos sirve de referencia. Supongo que todos vemos el césped del vecino más verde que el nuestro, pero creo que si publicáis mucho es una buena señal. En economía los papeles se eternizan, sin que la larguísima duración aporte mucho a la calidad del resultado final.

      • No sé, Samuel, yo me veo incapaz de seguir la literatura incluso en cosas muy específicas directamente relacionadas con lo que yo hago. Y muchas veces leo papers que son pura investigación incremental, que no aportan ningún avance en la comprensión de un problema, sino que deberían estar en repositorios de información como es el caso con muchas medidas que se hacen en experimentos (por ejemplo, la frecuencia de emisión de la transición entre dos ciertos niveles atómicos de un átomo no merece un paper [independientemente de que sea un trabajo muy honrado y seguramente necesario], ya que medirla e interpretarla es estándar; merece simplemente estar disponible en algún sitio para el que necesite el dato).

  • Samuel tienes mucha razón en lo que expones. Además, toda esa maraña se traduce, de facto, en que prácticamente no podamos publicar sobre cuestiones de calado con anticipación, lo que prácticamente nos convierte en una especie de forenses. Por si fuera poco, cuando queremos aproximarnos con la lupa a la realidad y necesitamos de disciplinas o de técnicas que hacen frontera con la economía es muy difícil llegar a conseguir una evaluación positiva; incluso, en las revistas que se autointitulan como interdisciplinares. Todo esto nos lleva a tener que hacer más periodismo y menos debate ciéntifico de altura, en la actualidad.
    Un abrazo

  • Esto me recuerda a una carta de un autor frustrado que leí una vez:
    http://eloquentscience.com/wp-content/uploads/2012/02/Frustrated_author.pdf
    Por otro lado, pienso que el objetivo de las revistas no sólo deber ser el avance de la ciencia sino también la difusión de resultados (con una mínima garantía de seriedad) que aunque no novedosos pueden tener interés, por ejemplo replicar un ejercicio con datos de otro país. Para esto las revistas menos buenas pueden ser útiles.

  • Samuel,

    No has hablado de una cosa que a mi me parece tan importante como lo otro, y es eso del anonimato a la hora de enviar un artículo a un Journal. Eso a día de hoy es una auténtica quimera, cuando mediante internet puedes perfectamente saber lo autores de ese paper, y por tanto, favorecer que aquellos académicos consagrados publiquen más asiduamente que un fulano de una universidad totalmente desconocida (la psicología funciona). Además, eso de publicar en el mismo Journal un paper que critica a otro aparecido en el mismo es un ejercicio casi imposible (te podría dar cientos de ejemplos al respecto). Quizás me exceda con este juicio de valor pero creo que hay mucha "mafia" en torno a lo de publicar. Lo que veo como un paso importante es la aparición de Journals que se centran en la crítica a algunas de las aportaciones en otras publicaciones. El Critical Finance Review (http://www.critical-finance-review.org/journal.aspx?product=CFR) es un ejemplo claro de ello.

    • Pedro, pensar en la anonimidad es una quimera, luego no vale la pena pensar en ello. Por otra parte, como mencioné antes, en el artículo de Ellison se observa menor oligopolización de los mejores departamentos en las mejores revistas, luego la tendencia observada va en contra de la idea de que hay una discriminación de los autores que no están en los departamentos 'top'.

  • Las barreras de entrada a la creación de revistas son muy bajas. De hecho se han creado varias en los últimos años (JEEA, RED, QE, MD, por incluir sólo las que me son cercanas). Si el valor añadido del proceso editorial fuese tan bajo como los comentarios indican, será que hay lugar para alguna revista que prometa calidad, velocidad, y la promesa de pedir pocos cambios. Esperemos que alguno de ustedes se anime y funde una revista con esos criterios. Buena suerte.

    • José Víctor, yo creo que sí hay espacio, y de hecho yo creo que algunas de estas revistas están intentando competir en esos márgenes (SERIEs lo hace, como lo hizo en su día Investigaciones Económicas), pero también hay barreras porque, digamos, Quantitative Economics nace con credibilidad derivada de su matriz (Econometrica) y los American Economic Journals derivan credibilidad de la suya matriz (AER).

  • Sólo un par de comentarios.
    La idea que se ha mencionado sobre que debería haber menos revistas "no-top" es cada vez más demostradamente errónea. El porcentaje de artículos highly cited cada vez es mayor en revistas menos prestigiosas. Muchas prestigiosas son para hacer más de lo mismo.
    Tenemos el problema de quién vigila a los vigilantes, a mí me gustaría evaluar las revisiones que recibo. Hay revisiones que mejoran el artículo sin duda, pero hay revisiones en la que el revisor claramente no tiene ni idea del tema y no debería opinar, y me gustaría poder decirlo sin la asimetría de información entre revisor autor sobre quién es quién.

    • La evaluación de los revisores es trabajo de los editores, y estoy de acuerdo en que es muy importante. Como editor asociado de PLOS ONE, yo califico todos los reviews que recibo de 0 a 100. Con eso me ayudo a mí mismo y a otros editores que pudieran pensar en una persona u otra como revisor de un artículo. En otras revistas para las que trabajo o he trabajado (gratis, as usual, por otra parte) no es así y no hay ese feedback, lo cual va en perjuicio de todos.

      Y otra cosa es que los editores no deben enviar a los autores un mal review. Claro que si se ha tardado un año en conseguirlo, se plantea un conflicto, pero creo que ni así.

      • Anxo, me parece fabulosa esta política. Uno suele hacer una evaluación implícita de los evaluadores, pero cuantificarla y compartirla es una mejora cuántica. 🙂

  • Cierto es que publicar en Neg es bastante facil, aunque a mi mismo, sin incurrir ni convencionalmente ni incondicionalmente en malos modos, creo que se me ha denegado la entrada de un Post alguna vez (quizas es que escribi la firma de cuatro caracteres en el field de Website en vez de en el correcto). Era una entrada que reprobaba la mencion de un participante que relacionaba el lio de españa en europa a la necesidad de ser resultado de "ciclotimicos"; y digo yo que culpa tendran los ciclotimicos por necesidad, bah un prejuicio sin mas; no recuerdo quien era el participante creo que uno de los miembros de NeG).

    Por otro lado, el concurso aquel de los grafiquitos era por definicion aristocratico: x participantes un/a solo/a ganador/a. Yo pense caray: para participar en esto hay que ser un ambicioso con tendencia al suicidio a la menor frustracion o alguien que participa por amor al arte, for the fun of it, sin otro objetivo sine qua non para seguir viviendo.

    Espero que no frustrarais muchas vocaciones, bueno enfin si la gente se apunta es su responsabilidad. En el telediario de Telecinco no dijeron nada, siempre hay algun terremoto en algun lado.

    Lo que tiene que hacer el señor Bentolila es mandar esta entrada a las revistas, se lo mandaran revisar varias veces pero al final con citas de Pareto, Roth y el otro igual le hacen caso.

  • Aunque llevo bastantes años sin estar en el tema de publicaciones académicas me ha parecido una entrada extremadamente interesante.
    Con la coincidencia del Nobel a Shapley y la optimización de mercados two-ways esta entrada me ha hecho pensar si no tendría sentido que alguna de las revistas top marcase explícitamente como política una aun más radical que la de Spiegel y que sus evaluadores solo dijeran si o no sin propuesta de cambios, con un proceso muy rápido (por ejemplo 1 mes)... el porcentaje de rechazos sería altísimo pero dada la velocidad de respuesta gran parte de los autores elegirían esa revista como primera opción, por lo que la calidad de la revista seríamuy alta. Además los artículos que quedaran de media serían mas "innovadores" ya que no tendrían el sesgo de las recomendaciones de los evaluadores.
    Si esta política solo la hace un evaluador a titulo individual este enfoque no sirve para nada (el tiempo sigue siendo largo y el resto de los evaluadores ponen su sesgo)

  • Hay evidencia de que largos delays y las major revision son un lastre en nuestro campo de la economía, donde acreditaciones, sexenios, etc. se miden por papers con impacto cuya aprobación se alarga en el tiempo en el mejor de los casos. Pero creo que ya hemos asumido como algo intrínseco en nuestro trabajo, frente a otras ciencias donde todo funciona más ágilmente. Precisamente hace unos días, tras 13 meses sin respuesta, nos rechazaron un paper en Empirical Economics con informes que proponían major revision pero no pasa nada... Como dice Samuel, ya hemos comprado otro décimo de lotería...
    Dentro de la filosofía de no major revision y evaluación rápida permitidme mencionar un proyecto nuevo, Economics and Business Letters, que si bien comparte rasgos con Economics Letters o Economics Bulletin, entendemos que hay espacio para más revistas con short papers que vayan al grano, sin esas gigantes introducciones, revisiones de literatura de seis páginas, métodos explicados de sobra conocidos, cinco paginas de referencias para citar todo lo que exista, etc. Está comenzando pero ya hemos recibido 75 papers en unos meses.
    En suma, sí a la evaluación por pares pero rápida y sin major revision.

Los comentarios están cerrados.