El mes de julio se me está yendo dedicada casi por completo a revisar un artículo para una revista. Entre el editor y los tres evaluadores anónimos, tenemos 13 páginas que detallan todos los cambios y análisis extra que deberíamos realizar si queremos que el trabajo tenga alguna posibilidad de ser aceptado para publicación. Nos daban un plazo de 9 meses, cuyo fin se acerca peligrosamente. Con suerte, conseguiremos convencerlos de que hemos hecho todo lo que nos piden, y de que nuestros resultados se mantienen tras las múltiples pruebas extra. Si esto fuera así, la revista aceptaría el artículo revisado para su publicación, y podríamos descansar tranquilas: el papel estaría colocado.
Una vez que una revista publica un artículo, el proceso ha terminado, y los resultados se consideran “finales”. Por supuesto, análisis futuros podrían cuestionar la validez de los resultados, pero como veremos las revistas no siempre ponen el esfuerzo necesario en replicar o reanalizar los resultados ya publicados, o en publicitar trabajos críticos con artículos ya aceptados.
Recientemente, algunos economistas de cierta prominencia se han quejado de que trabajos críticos con los resultados de artículos ya publicados sean sometidos a un nivel de exigencia mucho mayor que los estudios originales (o que algunos estudios originales, de autores mejor conectados). En este blog, Per Pettersson-Lidbom de la Universidad de Estocolmo se quejaba hace unos días de que varias revistas (buenas) habían rechazado publicar sus “comentarios” a artículos publicados recientemente en las mismas, en los que revelaba problemas graves en el análisis, que de hecho invalidaban los resultados principales de los trabajos. Aunque lo cierto es que en dos de los tres casos que comenta, sus comentarios sí que fueron publicados en la página web de la revista (la American Economic Journal). Él replica que su trabajo pone en evidencia que algunos de los autores cometieron fraude en el artículo original (al ocultar los resultados que no confirmaban la hipótesis principal), lo que merecería más atención que estos comentarios en la web (que no sé si alguien lee).
Mi sensación es que cada vez más, las revistas (al menos las mejores) sí que intentan facilitar la “replicabilidad” de los resultados publicados, obligando a los autores a proporcionar los datos y los programas utilizados cuando es posible. Sin embargo, también es cierto que las mismas revistas (o algunas de ellas) luego no facilitan la difusión de estudios que encuentran problemas con artículos publicados (por ejemplo, publicando “comentarios” al artículo inicial). El blog citado también sugiere que puede que las revistas sometan a los artículos críticos a un nivel de escrutinio superior al del trabajo original; yo personalmente no tengo experiencia directa ya que nunca he escrito un artículo crítico de este tipo, pero tengo mis dudas: me consta que en las mejores revistas el nivel de exigencia a los autores de trabajos originales no es precisamente bajo.
Aunque es posible que no todos los autores sufran el mismo nivel de exigencia. Otro economista prominente que ha escrito hace pocos días sobre algunos de los problemas con el proceso de revisión por pares en las revistas de economía es George Borjas en esta entrada. Él se centra en los conflictos de interés que pueden afectar a los editores de las revistas, que por ejemplo (y estoy de acuerdo) no deberían aceptar editar trabajos escritos por sus propios estudiantes o coautores (ya que puede haber dudas razonables sobre su imparcialidad). También critica que la cúpula de una de las revistas más importantes no haya reaccionado de manera más drástica ante lo que parece haber sido un caso reciente de (auto)plagio (de plagios ya hemos hablado aquí más de una vez).
¿Soluciones? Hay revistas que sí publican comentarios, y algunas (como el nuevo Journal of the Economic Science Association) que incluso solicitan expresamente trabajos de réplica o extensión de artículos publicados. También hay (algunos) economistas que se toman en serio la labor de replicar e intentar evaluar la robustez de resultados ya publicados (ver aquí y aquí para un ejemplo reciente), y otros que se toman en serio las críticas y responden con “contra-ataques”, trabajos en los que intentan “defender” sus elecciones y sus resultados frente a dichas críticas (por ejemplo aquí). Me parece que esta es la dirección correcta (aunque a veces es difícil verle el final a alguno de estos debates académicos). Además, ahora tenemos a nuestra disposición cada vez más foros de difusión para nuestros resultados: blogs, working papers, congresos y talleres, donde se pueden publicitar este tipo de comentarios o análisis críticos.
Un problema sigue siendo que, a pesar de lo valioso de este tipo de trabajos de “reanálisis”, los incentivos para llevarlos a cabo son muy bajos (como ya comentamos aquí), dado que no existe recompensa de ningún tipo dentro de la profesión (más aún, existe el riesgo de crearte enemigos). Como los autores lo sabemos, podemos suponer sin mucho temor a equivocarnos que nadie “pillará” esa especificación que escondimos porque no nos acababa de gustar el resultado (de la “pesca de resultados” ya hemos hablado antes aquí y aquí).
Yo tengo que decir que personalmente siento la presión cada vez más a la hora de escribir un artículo, ya que con cierta frecuencia (quizá cada tres meses o así) recibo un email de algún estudiante de máster o doctorado que me pide más detalles sobre los datos o especificaciones de alguno de mis trabajos publicados, porque lo está replicando como tarea para algún curso. Esto me parece muy sano (recordemos esto), y seguramente las revistas deberían estar más abiertas a publicar los resultados de este tipo de trabajos.
También es cierto que los economistas a nivel individual, sea como autores o como editores, podríamos ser más rápidos y honestos a la hora de admitir errores de juicio como los relatados en las dos entradas que he enlazado más arriba.
Mientras tanto, la realidad quizá se acerca a lo que dice Andrew Gelman en su blog: una vez que un artículo está aceptado y publicado, las revistas no quieren saber nada más. “Sólo les importa la boda, no el matrimonio” (“it’s all about the wedding, never about the marriage”). Y como dice Borjas, el proceso de revisión por pares es seguramente la peor manera de avanzar el conocimiento científico—excepto todas las demás.*
* “The peer-review process may well be the worst way of advancing scientific knowledge–except for all the others.”
Hay 2 comentarios
Muy interesante el artículo. Tengo la sensación que en Economía no está implantado, con la misma intensidad que en otras disciplinas, la necesidad de asegurar la reproducibilidad de los resultados. ¿Es así? ¿Cuál puede ser el motivo?
Por ejemplo, en el curso de data-science con R de la Johns Hopkins (puntera en Medicina y Biología, por ejemplo), a través de Coursera, dedican un tema completo de un total de 9 bloques a la reproducibilidad.
https://es.coursera.org/specializations/jhu-data-science
Después nos sorprendemos cuando aparecen problemas con la excel a là Reinhart y Rogoff...
Hola Estilpon,
Gracias por el comentario. No sé exactamente cómo se hace en otras disciplinas, pero en general en Economía las revistas sí que creo que exigen que los resultados sean "reproducibles": pidiendo todos los detalles relevantes para poder replicar, así como los datos y los programas. Es verdad que esto es relativamente reciente. Pero te doy la razón en que, hasta donde yo sé, durante nuestra formación como economistas no se pone énfasis en esto, al menos a mi no me hablaron de esto para nada durante mi doctorado, y en mi departamento actual, que yo sepa tampoco se habla de este tema (explíitamente) en ningún curso. Aunque yo sí he puesto como tarea más de una vez replicar papers publicados.
Los comentarios están cerrados.