El impacto del papel couché en la ciencia

El mes pasado, en una entrevista publicada en Materia, decía el químico Avelino Corma: "A los científicos se nos está continuamente evaluando y eso la sociedad no lo sabe. (...) tenemos más exámenes que los políticos." Y me parece perfecto que se nos evalúe, faltaría más, para eso vivimos del erario público (lo que no sé es porque no se evalúa a otros, pero eso es otro asunto). El problema surge cuando la evaluación es capaz de distorsionar la actividad científica, como voy a describir a continuación.

¿Cómo se evalúa el trabajo de un científico? Cuando hablamos de investigación, hay que ir a los resultados de la misma, y eso, típicamente, se traduce en analizar las publicaciones del investigador, si su trabajo tiene un corte más teórico, o sus patentes, si es más aplicado (o ambas, si el evaluado es muy bueno). Cómo yo soy un teórico, y no sé mucho de patentes y no tengo ninguna, voy a hablar de las publicaciones.

¿Cómo funciona esto de las publicaciones? Cuando un científico cree que ha entendido suficientemente bien un problema, escribe un informe explicando sus resultados y aportando evidencia de lo que dice, y lo envía a una revista especializada para darle difusión. Esta revista, a su vez, envía el trabajo a otros científicos que, de manera anónima, informan sobre la calidad del trabajo presentado en el artículo, y recomiendan que se publique, que se modifique, o que se rechace. Si es modificado, vuelve a los mismos revisores que decidirán si la nueva versión es correcta o no, y así (normalmente y depende de los campos entre una y cuatro veces) hasta que se acepte o se rechace definitivamente. Hasta aquí, creo que todo parece bastante sencillo.

El problema viene cuando nos damos cuenta de que el artículo que ha escrito un científico es, casi siempre, un "ladrillo" que entienden él y los pocos o muchos colegas que trabajan en cosas afines. Bueno, eso no está mal; al fin y al cabo no se puede entender de todo, y lo importante es que los del campo entiendan los resultados y sus implicaciones. Pero ahora decidimos que vamos a evaluar al investigador en cuestión. Nos vamos a sus trabajos (que en una vida de, digamos veinte años de esfuerzo, pueden ser entre unas pocas decenas y algunos centenares, en función del campo) y no tenemos tiempo de leerlos ni, de hecho, los entenderíamos si los leyeramos.

¿Y como se resuelve esto? Pues se recurre a indicadores numéricos, que deberían ser ayudas a la evaluación pero que casi siempre resultan determinantes para la misma. Dos son los más típicos: las citas de otros trabajos a los del investigador evaluado, y el parámetro de impacto de las revistas donde publica. Este parámetro se define, aproximadamente y para entendernos, como el número de citas medio de un artículo publicado en una revista dada, y es una indicación del prestigio o de la importancia del medio, de la misma manera que las citas de los artículos reflejan la importancia o relevancia de los resultados obtenidos.

Centrándonos en el parámetro de impacto, la empresa Thomson-Reuters calcula este número para la gran mayoría de revistas científicas (y las que no están ahí, directamente, no cuentan). Con este indicador, las revistas multidisciplinares (es decir, que publican artículos de cualquier disciplina) más prestigiosas son las que salen a menudo en los periódicos: Science, Nature y Proceedings of the National Academy of Sciences of the USA (PNAS). Luego, en cada campo, también hay revistas estrella, como Econometrica en economía, o Physical Review Letters en Física. Con estos datos, muy a menudo las evaluaciones se limitan a decir que cuando un científico publica a menudo en este tipo de revistas, consideramos que es bueno, y si no, menos bueno. ¿Sorprende? Pues es lo que hay y, contra lo que cabría suponer, no funciona tan mal como parecería.

Pero tampoco tan bien como debería: este sistema de evaluación tiene muchos problemas. Así, tan sólo en los últimos días he visto varios posts en blogs científicos tratando este asunto. Así, Francis (th)E mule hablaba de las manipulaciones en el cálculo del parámetro de impacto; J. M. López Nicolás trataba la falta de responsabilidad de las revistas a la hora de publicar trabajos fraudulentos o no difundir los correctos, y el cuaderno Zientziakultura se ocupaba del peregrinar de los artículos rechazados de revista en revista y su relación con la calidad de la investigación. Recomiendo vivamente estos trabajos al lector si quiere entender un poco más en profundidad las dificultades de evaluar la ciencia.

Dentro de este marco, el tema de este post no son esos problemas, sino las consecuencias de este sistema de evaluación, y en concreto, una: el impacto del papel couché, de las llamadas "revistas top" generalistas (como las citadas Science, Nature o PNAS) en qué ciencia hacemos. Dado que publicar en esas revistas mejora considerablemente la valoración del científico, muchos intentamos con mayor o menor insistencia publicar en ellas. Pero claro, estas revistas, para mantener su prestigio, rechazan la mayor parte de los artículos que reciben (típicamente, aceptan menos del 10% de lo que les llega). Como la gran mayoría de esos trabajos son técnicamente correctos, el argumento para rechazarlos es otro: literalmente, "no son suficientemente importantes". De hecho, esos rechazos los hacen unos editores, profesionales de la revista, muchos científicos de origen pero ya desligados de la investigación directa, que juzgan los trabajos no por su validez, sino por lo "sexy" que resultan. Y deciden si podría ser interesante (o sea, si vendería) publicarlo, y sólo entonces lo envían a revisores científicos siguiendo el proceso descrito arriba. Como anécdota, contaré una de mis experiencias personales: una de esas revistas rechazó un trabajo en el que yo era co-autor (que sólo escribir en el formato de comunicación breve que exige la revista nos llevó un mes) en 45 minutos. Sí, como suena: un editor recibió el trabajo, lo miró, decidió que no le interesaba, y lo devolvió con un email de rechazo, en 45 minutos. Sin comentarios.

Esto, para mí, es una situación muy grave: las decisiones de los editores de estas revistas están condicionando en qué se investiga. Y es que el tema es uno de los factores más importantes para esos editores. Hay muchos temas muy importantes tanto de investigación básica como aplicada que jamás se publican en las revistas top. Y otros temas se vuelven importantes a raíz de que aparecen artículos en esas revistas. Pero no hay un criterio científico detrás, sino un criterio comercial. Y como queremos publicar en esas revistas, nos metemos en temas que gustan ahí, condicionando de esa manera las direcciones de avance de la ciencia. Por otra parte, esto que estoy contando ocurre con las grandes publicaciones multidisciplinares, pero en cada campo hay algunas revistas influyentes, las top de ese campo, cuyo efecto es el mismo, además de fijar fronteras arbitrarias que van contra el espíritu interdisciplinar que todos ponderamos tanto (Physical Review Letters rechazó un trabajo en el que yo participaba, de nuevo sin enviarlo a revisores, con el único argumento de que "no es física", por ejemplo).

Para complementar esta reflexión, diré que en un artículo titulado "Deep Impact: Unintended consequences of journal rank", B. Brembs y M. Munafo estudian el efecto del factor de impacto en la ciencia y muestran que la posición de una revista en el ránking predice sólo débil o moderadamente el impacto de lo que publica, y moderada o fuertemente la posibilidad de que lo publicado sea fraudulento o erróneo. Es decir, ese criterio de importancia con el que eligen los editores no selecciona bien, pero además, esas revistas tienen más artículos equivocados o engañosos que otras. En su argumento, el factor de impacto no es el culpable, sino cualquier parámetro que clasifique a las revistas por orden de importancia, porque esa ordenación distorsiona la correcta difusión de la ciencia. Estudian además las consecuencias a largo plazo de la clasificación de las revistas (entre las que incluyen la que yo he discutido aquí, que ellos llaman "presiones sistémicas sobre los autores"), y llegan a decir: "(...) instituciones de todo el mundo han contratado y promocionado a científicos que sobresalen en vender su trabajo en las revistas top, pero que no son necesariamente igual de buenos en investigar." ¿Y qué alternativa proponen? "Abandonar por completo las revistas, en favor de un sistema de comunicación científica basado en bibliotecas (...) equipadas con la moderna tecnología de la información para mejorar enormemente el filtrado, ordenado y la función de descubrimiento del sistema actual". Nada más y nada menos; ahora, a ver quién le pone el cascabel al gato.

Claro que todo esto tiene una desventaja: que al final, si esto es así, tendremos que leernos los trabajos de la gente para evaluarlos, ¡menudo desastre!

Hay 58 comentarios
  • In mi opinión lo más importante de trabajar en este negocio llamado ciencia son los objetivos logrados y no el número de artículos ni el índice de impacto de los mismos. Y comparto totalmente la frase final.

    • Gracias Antonio, ciertamente lo importante son los objetivos. Por eso la política de evaluación que nos ha llevado al "publish or perish" (en papel couché o no) nos está desviando de ese planteamiento (sin que ello quiera decir que el panorama antes de las evaluaciones por artículos fuera mejor ni mucho menos). Hay que evaluar mejor, en definitiva.

  • Anxo,

    Gracias por un tema importante y poco conocido. Para entender este comentario sugiero leer mis comentarios a la última entrada de Samuel sobre la reforma laboral.

    En la producción de conocimiento (investigación), actividad distinta de la educación, se emplean distintos tipos de razonamiento que se manifiestan en “productos“ difíciles de evaluar para quienes ignoran la tecnología de su producción. Ese conocimiento tiene generalmente un valor instrumental en la acción humana, especialmente en sus etapas de deliberación y evaluación ex post. Toda acción humana es evaluada ex post --por la misma persona, otros, o Dios-- porque puede precipitar otras acciones. Los procesos de evaluación difieren según el tipo de acción y los jueces. Siendo la investigación acción humana, también está sujeta a evaluación. Como explicas, el proceso de evaluación de la investigación se ha corrompido, algo denunciado tiempo atrás en EEUU, cuando otros países empezaron a copiarlo indiscriminadamente.

    Otros procesos son peores. Hoy los políticos son evaluados diariamente por la opinión pública, proceso similar a la caza de brujas y el linchamiento controlado por propietarios y editores de medios masivos de comunicación, cómplices de políticos. Este control sí es corrupto en el peor sentido de la palabra --tomó una posición de poder oculto en las democracias constitucionales (¡el cuarto poder!).

    Sabemos de las deficiencias de los procesos de evaluación y por esto sus juicios eluden determinar responsabilidades cuando hay que castigar. Si hasta la judicatura se ha convertido en una farsa gracias a abogados que se suponían eran sus leales servidores.

    • Después de escribir el comentario anterior, leo la columna que hoy publica el Sr. Manuel Conthe

      http://www.expansion.com/blogs/conthe/2013/02/20/transparencia-y-anonimato.html

      directamente relacionada con el proceso de evaluación de los políticos y otros poderosos.

      Muy bien escrita la columna, pero contrariamente a lo que piensa el Sr. Conthe, su contenido muestra la corrupción total de los medios de comunicación. Sí, el anonimato sirve cuando los poderosos cuestionados pueden recurrir impunemente a la violencia para silenciar a los delatores de acciones moralmente reprochables o directamente ilícitas. Pero en democracias constitucionales serias donde ningún poderoso podría recurrir impunemente a la violencia ni abusar impunemente de su poder, el anonimato no debiera ser necesario.

      En todo caso, en España no lo es para privilegiados como el Sr. Conthe que trabaja para el cuarto poder. Hoy se da el lujo de citar a Khruschev cuando dijo “Yo hice lo mismo“, pero sin reconocer que él mismo participa de la caza de brujas y el linchamiento de los políticos que no comulgan con él, algo que dejó bien claro en su columna del domingo pasado

      http://www.expansion.com/blogs/conthe/2013/02/17/noos-y-la-esvastica.html

      • Anxo,

        Disculpa pero no puedo dejar de comentar este artículo de El Mundo

        http://www.elmundo.es/elmundo/2013/02/20/espana/1361317160.html

        donde PJR quiere pasar por el nuevo Khruschev. Pienso que jamás uno debe confiarse de personas que quieren pasar por buenas tiempo después de haber participado --PJR nunca fue espectador u observador y nunca será historiador-- en los hechos que hoy denuncian. Esa conducta --manifestación clara del “too little, too late“-- refleja la hipocresía típica de los privilegiados que se sienten protegidos de la ira de la masa y especialmente de la venganza de sus pares. Ojalá la competencia destruya pronto a los medios masivos de comunicación y que los políticos no se sientan extorsionados por los PJR para tener que subsidiarlos.

    • Recurrir a la expresión "caza de brujas" encierra en sí mismo una trampa:
      Las brujas no existen (o no tienen poderes mágicos ni pactos con el diablo), la corrupción sí.
      Cuando se usa la expresión en el sentido de deplorar una persecución ideológica, o una persecución producto de la paranoia de algún poder, la metáfora está justificada.

      En este contexto, no está justificada y me parece por eso tramposa.

      Está bastante a la vista el hecho de que los principales medios de comunicación tienen intereses propios, no siempre confesados ni legítimos, y que juegan al juego del poder con el poder propiamente dicho.
      Eso significa, no que se extralimiten en sus facultades (u obligaciones, o derechos) informando de la corrupción o de las trapisondas de los poderosos, sino, por el contrario, que no lo hacen: no lo hacen lo suficiente, no lo hacen bien hecho, no lo hacen imparcialmente, no lo hacen desde el momento en que reciben el pago de la extorsión... en resumen, no lo hacen.

      Por el camino, juegan a tomar a la opinión pública como la materia prima con la que fabricarse poder, y eso significa manipularla. Pero la manipulación que tiene más éxito y con más público (y no solo con el público previamente entregado, por la adulación de su partidismo acrítico, que ese no es tanto) es la que utiliza temas que sí son importantes, y que sí que importan, y que sí debieran ser objeto de la información.

      En este caso, lo ético no sería contar menos, sino contar todo.

      • Por favor, actualice su significado de caza de brujas.

        “Las cazas de brujas todavía ocurren en la actualidad y suelen clasificarse dentro del llamado pánico moral. De forma general, el término ha llegado a denotar la persecución de un enemigo percibido (habitualmente un grupo social no conformista) de forma extremadamente sesgada e independiente de la inocencia o culpabilidad real.“

        fuente http://es.wikipedia.org/wiki/Caza_de_brujas

        Usted termina diciendo que hay que decirlo todo. Precisamente los medios son corruptos porque no publican todo --son muy selectivos en lo que publican y en lo que ocultan. El ejemplo más claro es el New York Times que alega publicar todo lo que se puede imprimir --sí, todo menos lo que no sirve a sus dueños y editores. El Mundo y sus medios asociados son ejemplos clarísimos de la podredumbre del periodismo español, no solo en las secciones deportiva, cultura y espectáculos --donde los juicios pasan por información-- pero especialmente en secciones referidas a política y ciencias.

        • Bien, yo creo que estamos de acuerdo:
          En que lo que se les puede reprochar a los medios no es que cuenten ni acusen, sino que no cuentan todo, y no cuentan honradamente.
          Y en que una "caza de brujas" para llamarse así justificadamente requiere que lo que se persigue no sea un mal real, o no sea de entidad adecuadamente proporcional a los titulares. Pero la corrupción es un mal real, de importancia mayor y de trascendencia mayor que los centímetros cuadrados y los minutos que ocupa en los medios.

          En cualquier caso, todas las expresiones valorativas se usan defensiva o abusivamente de vez en cuando. Es inevitable. Pasa lo mismo con cualquiera de las grandes palabras, como "libertad".
          Para cualquiera criticado públicamente (o para sus amigos), decir que es objeto de "linchamiento moral" o de "caza de brujas" es casi un reflejo, sea eso verdad o no. Cada uno tiene que valorar la credibilidad que le merezcan tales manifestaciones en cada caso.

          • Por favor, la caza de brujas y el linchamiento se refiere a personas no a juicios sobre las personas. Su intención es precisamente evitar que se hagan juicios legales y legítimos sobre las personas. Que se las quiera cazar y linchar por sus ideas no pasa de ser una excusa para el objetivo de “eliminarlas“.

            El ejemplo más claro lo puede leer en el blog Hay Derecho donde los editores --todos abogados españoles con amplias conexiones profesionales-- dicen defender el estado de derecho pero no han dudado un segundo en repetir y circular, indignada pero alegremente, las acusaciones de los medios de comunicación, sabiendo bien --supongo que tienen un dedo de frente-- que esas acusaciones están muy lejos de haber sido probadas. Este fenómeno se ha vivido en Argentina por más 60 años y lo puede leer hoy, sábado 23, en cualquier medio argentino, todos plagados de acusaciones no probadas contra políticos y cómplices de la vereda de enfrente. Si hay algo que ha destruido el estado de derecho en Argentina es precisamente que muchos abogados se presten al juego de periodistas cómplices de políticos.

  • Me ha interesado mucho su artículo Señor Sánchez, otra cosa más a introducir en mi mochila del SABER, el mundo de las revistas científicas. Es decir, que en la Vida siempre te dicen de antemano " NO", el famoso "NO", sin mirar adecuadamente un artículo, y lo peor sin observar y medirlo con mentes abiertas en pro del avance científico, " pues sí que tienen calidad científica los editores", como Usted comenta, es normal, desligados ya de la profesión cientifica, no tendrá muchos criterios.

    En la vida solo se obedece al criterio de las envidias, ( pecado que no dejará de existir en la condición humana), es decir, que El Evaluador puede saber menos que el evaluado y de ahí el famoso NO a publicar artículos, aunque puedan ser necesarios para El Conocimiento y la Ciencia, pero claro, no dejan paso a nuevas promesas del mundo cientifico, por recelos a que esas nuevas promesas sepan más.

    Se supone que al igual que la ciencia es abierta, los editores de revistas deberían ser más abiertos y evaluar más adecuadamente los trabajos de los DEMAS, ofrecer una mano a los verdaderos proyectos de calidad, pero para ello, los evaluadores o editores deberían ser personas muy correctas en su labor ( y las envidias de colegas sobresalen, por desgracia).

    En fin, al igual pasa con los políticos, que saben menos que algunos ciudadanos, pero no dejan paso a las personas brillantes, las aplastan. Saludos Señor Quasimontoro.

    • Gracias Teresa. Que conste que no creo que los editores sean incompetentes o ignorantes. Simplemente, responden a otras motivaciones más allá de las científicas, como es conseguir vender más revistas o suscripciones.

  • Gracias, por la aclaración, si sobreentiendo que no son incompetentes, pero si no se sigue practicando se pierde cualidades profesionales, y por tanto las valoraciones no son tan precisas. De todas maneras, creo que el tema es el famoso " NO", el de cerrar puertas en vez de abrir, y eso ocurre en todos las profesiones.

    La no publicación de un trabajo debe desilusionar, pero sabe, lo importante es seguir investigando, pues los premios y las publicaciones no significan EL TODO, NO SIGNIFICAN QUE SEAN LOS MEJORES...aunque debe recompensar profesionalmente y personalmente, eso tambien, no hay que negar lo real.

    Una anecdota: Una vez le pregunté a un cientifico reconocido profesionalmente, pero si le digo, muy modesto y humilde, ¿ Usted recibe envidias de sus colegas, y que hace contra ello?...me contestó lo siguiente: " Claro que recibo envidias, pero yo me alejo de ellas involucrandome en la creatividad de mi trabajo"...me pareció una respuesta muy bonita.

    La respuesta está en la VENTA, en el Comercio...y en definitiva...El Dinero más que la Investigación. Reitero, me ha parecido muy, pero que muy interesante su Artículo, Señor Sánchez, magnífico. Saludos.

  • Y si eso pasa con las “ciencias duras”, imagínate lo que pasa en Economía y otras ciencias sociales, donde la ideología entra con toda su fuerza.

    Y digo” ideología” en sentido amplio, que incluye, además de los supuestos enfoques de “derechas”/”izquierdas” el enfoque metodológico empleado. Las posibilidades de publicar un trabajo de teoría económica que se aparte de los modelos ortodoxos en alguna revista de prestigio-si tal cosa existe en Economía-es nula.

    Otro problema relacionado es el precio de los artículos y de las suscripciones, que, dado que no se suele pagar a los autores ni a los evaluadores-por lo menos en economía- es absolutamente disparatado.

    Por todo ello se deben fomentar iniciativas para boicotear las revistas y publicar de forma libre y gratuita en la red. En economía ya existe la WEA(World Economic Association, con mas de 11.000 socios-la segunda mas numerosa tras la AEA-que publica dos revistas “on line”, la World Economic Review y Economic Thought).
    Ver:
    http://du116w.dub116.mail.live.com/default.aspx?rru=inbox#!/mail/ViewOfficePreview.aspx?messageid=6a04dc17-79fb-11e2-a5c3-00215ad88084&folderid=00000000-0000-0000-0000-000000000001&attindex=0&cp=-1&attdepth=0&n=1019730258

    Saludos.

    • "Las posibilidades de publicar un trabajo de teoría económica que se aparte de los modelos ortodoxos en alguna revista de prestigio-si tal cosa existe en Economía-es nula."

      Falso, de toda falsedad. En las revistas "top" de Economía se publican artículos teóricos y empíricos, basados en modelos "ortodoxos" o en nuevas teorías con comportamientos de los agentes y de los mercados que se desvían de los supuestos tradicionales.
      Y, además, hay 232 revistas de economía catalogadas en Thomson-Rueters (http://science.thomsonreuters.com/cgi-bin/jrnlst/jlresults.cgi?PC=J&SC=GY) de campos muy diferentes y con editores de pelaje muy distinto.

      Lo que sí es más difícil de publicar son trabajos sin ningún valor añadido, repetitivos y/o basados en opiniones bien conocidas de economistas difuntos . Y lo que sí hay son mucha incompetencia y mucha ignorancia disfrazada de victimismo ideológico.

      • En realidad, a lo que se refiere KEyNES es, me parece a mí y mis disculpas si me equivoco, a otra cosa. Lo que no se publica en las autoproclamadas top en Economía (coincido en que en una "ciencia" ideológica como la Economía eso no existe) son artículos de enfoque poskeynesiano, marxista, institucionalista, feminista....Metodologicamente tampoco nada que se salga de la ensoñación cuantitativista (muy útil en Matemáticas o Física, y cada vez más en Biología o Medicina, pero inútil en Economía -como se deduce del papel jugado por la ortodoxia de la Economía antes y durante la crisis). En todo caso el Subject Economics del SSCI tiene tanto que ver con la Economía como los fideos con la Comida (todos los fideos son Comida, pero no toda la Comida son fideos). Ya se sabe y se buscan rutas alternativas: nada nuevo bajo el sol.
        Llamar a las "nuevas teorías con comportamientos de los agentes y de los mercados" o a la economía experimental (por ejemplo) Economía "no ortodoxa" es, al menos, inadecuado (según quien lo juzgue podría ser también cínico, pero insisto: eso ya depende del juez....)

        • Lucia, no entiendo muy bien tu lenguaje, pero mejor no enzarzarnos-- institucionalista, sin mates, Alchien, que ha muerto ayer como nos recordaba Quasimontoro, con el articulo mas citado, sin mates, de la historia de la American Economic Review, o Williamson, sin una misera ecuacion en sus ultimos 30 anhos, con premio nobel. Yo diria que la profesion es positivista. SI tienes una hipotesis, la puedes explicar con precision y claridad, esta tiene consecuencias empiricas, puedes medir estas consecuencias, buscas los datos, y la testeas, y puedes mostrar que no son correlaciones espureas etc. sino que hay razones solidas para pensar que lo que dices es causal, pues el paper se publica. Te reto a encontrar UN solo paper que cumpla estos requisitos (particularmente claridad y precision en la hipotesis, y cuidado con la busqueda de causalidad, con instrumentos o estrategias similares que traten de reproducir el experimento que se busca en casos en que no se peude hacer el experimento) que no este muy, muy bien publicado. Por ejemplo, la hipotesis que tu planteas, que se "discrimina" contra alguien por ser feminista, cuando la profesion entera esta obsesionada con incrementar la proporcion de mujeres en todo, usar lenguaje "gender neutral" (hay que poner "ella" (she) cuando se habla del jefe en un paper ("the principal, she, employs an agent, he") , etc. es perfectametne contrastable, y te animo a que la contrastes con un trabajo empirico y nos enzarcemos con consideraciones subjectivos-- pero te aseguro que hay unan literatur amuy viva en torno a si se discrimina contra las mujeres en el empleo, o eligen ofrecer menos horas, por ejemplo.

        • Lucia,
          No voy a entrar en una discusión metodológica sobre cómo se debe hacer ciencia económica. Lo que sí te puedo decir es que cuando escucho a alguien quejarse de que no publican sus trabajos en Economía porque los editores de las revistas tienen un sesgo ideológico o metodológico contra ellos, suelo tomarme la molesta de leer algunos de sus trabajos con pretensiones "científicas". Y acabo entendiendo por qué no publican: habitualmente son trabajos con incoherencias lógicas, sin conocimiento del tema que pretenden abordar y, en muchos casos, cuando intentan utilizar datos, con errores de cálculo y de interpretación evidentes.
          Como dice Luis Garicano, si conoces algún trabajo "heterodoxo" que no haya sido publicado por otras razones, te agradecería la referencia
          Saludos,

      • EEE,

        El problema no es el número de revistas. De hecho hay muchas más de las 232 que citan T-R, donde, por cierto, no aparece ninguna española o iberoamericana, ni siquiera la “prestigiosa” SERIES. El problema son las (no mas de una docena) que cuentan para el currículo. En esas sí que no publicas un “paper” con una metodología poco convencional.

        Cabe recordar, para los más jóvenes, que esto no ha sido siempre así. En los años 60, 70 e, incluso, 80 del pasado siglo no era raro que las revistas más prestigiosas, incluyendo la AER, el QJE, el JPE y el EJ, eran mucho más plurales y permitían incluso polémicas entre las diversas escuelas de pensamiento en las que participaban las primeras figuras - muchos futuros premios Nobel como Samuelson, Solow, Friedman…etc y otros no laureados, pero igualmente destacados como Kaldor, Hahn o Robinson-.

        Actualmente, el pensamiento único dominante impide no ya polémicas de cierto calado intelectual tipo Keynesianos “vs” monetaristas o sraffianos “vs” marxistas, sino ni si quiera las del tipo: “creo que los coeficientes estimados..o los “p-values” no son…”.

        Saludos.

        • Perdon, pero al mandar mi comentario no había visto los de Lucía, con la que coincido plenamente y el de Luis Garicano a Lucía, que demuestra claramente tanto su bonhomia como su desconocimiento de las corrientes heterodoxas, pues confundir economía feminista con "cuotas" o con usar lenguje no sexista.... en fín. Tampoco hay correlación entre pensamiento heterodoxo y aversión a las mates, sino mas bien lo contrario.
          Por ello, igual hay alguna duplicación.

          Saludos.

        • KEyNES,
          Si de verdad crees que "el pensamiento único dominante impide ... polémicas de cierto calado intelectual", es que no debes ir a muchas conferencias académicas ni asistir a las discusiones en las que participan los economistas que sí publican en las revistas top.
          Por lo demás, te remito a mi respuesta a Lucía y te hago las misma oferta que también ha hecho Luis Garicano. Nos interesaría mucho conocer ejemplos de trabajos que, según tu opinión, deberían publicarse y que no se publican porque los editores tienen el sesgo ideológico y metodológico que tú señalas.
          Saludos,

          • EEE,

            Creo entenderás facilmente la dificultad de enviarte trabajos ...que no han sido publicados.

            Si algún lector de este blog se encuentra en tan desdichada situación que te lo indique

            Hay, sin embargo, ejemplos famosos de artículos numerosas veces rechazados que luego han sido auténticas aportaciones seminales. Creo que uno de ellos es el caso del nóbel Coase. Y estoy seguro que gente mas versada en la materia te podría ilustrar al respecto.

            Saludos.

            • KEyNES,
              En Economía los artículos que se acaban publicando en revistas académicas antes circulan como documentos de trabajo y se presentan en seminarios y conferencias donde todos los interesados pueden comentarlos y discutirlos. Si los trabajos "heterodoxos" que dices que no se publican por sesgos ideológicos, no existen, o no se presentan en los foros habituales, ¿cómo puedes decir que son sistemáticamente discriminados?.

              Por cierto, he publicado lo suficiente, editado varias revistas y enseñado tantos cursos de economía como para saber que los consejos que envías sobre como progresar en la carrera académica son el producto de elucubraciones de gente con pretensiones científicas, pero que no son más que ignorantes frustrados y que, cómo tú, no saben de lo que hablan. Espero que ningún lector de este blog los tome en serio.

              Y puesto que no puedes cumplir el reto de señalar artículos "heterodoxos" discriminados, cambiemos de tercio. Pon algún ejemplo de un artículo que se haya colado en una revista top siguiendo los consejos de los economistas críticos que pretenden conocer los secretos para publicar en dichas revistas.

  • Anxo,
    Yo creo que el sistema esta lejos de ser perfecto, pero es enormemente mejor que la alternativa. A la gente que no trabaja (entre los que no te cuentas!) les encanta pensar que "claro es que el sistema no funciona". Yo creo que el sistema, como todo lo humano, es muy mejorable. Pero comparado con las alternativas (que desgraciadamente, conocemos muy bien en nuestra patria) pues es maravilloso, la verdad. Imaginate la enorme cantidad de profes de instituto buenos que trabajan mucho o de medicos, que no van a ver nunca reconocida su labor, y compara con un profesor que escribe un buen trabajo y lo coloca, ok no en Science, pero si en Phys Rev Lett por ejemplo. Yo creo que el post da la impresion a la gente de que la evaluacion es arbitraria, lo cual, en el margen, puede ser cierto (entre el mega articulo y el mega super articulo) pero no en media, en absoluto.

    • Me parece extraordinaria su mirada Señor Garicano, sí es verdad, que hay muchas personas que trabajan responsablemente y no le son reconocidas sus labores, son los héroes anónimos.Bonita su apreciación.

      Un apunte sobre el blog, me parece muy familiar, hogareño, muy libre y poco etiquetado, donde todas las personas son bien recibidas,Enhorabuena por ello, sin embargo hay otros blogs como más etiquetados.

    • Luis, estoy de acuerdo contigo. De hecho me voy a citar: en 2002 escribí en la Revista Española de Física un artículo sobre CV y Physical Review Letters (PRL) que empezaba así: "(...) en una charla, oí decir a Pedro Echenique que 'publicar en PRL no prueba que se haga investigación de calidad, pero no publicar en PRL tampoco lo prueba' ". Así que coincido con que en general publicar en según qué revistas tiene mérito, y que evaluar con eso no es arbitrario. Mi tesis en el post es que esa manera de evaluar distorsiona tanto la difusión de la ciencia como la propia ciencia, y reconozco que no tengo una buena alternativa (en mi artículo citado decía lo que ahora, "la solución óptima es leer los trabajos de la persona (...) e interactuar con ella durante un tiempo", pero eso es básicamente inviable). Y por supuesto, no abogo por volver al pasado en este campo (bueno, un poco sí, echo de menos cuando Javier Solana era Ministro de Educación y Juan Rojo Secretario de Estado de Investigación).

      Sí creo, sin embargo, que un sistema tipo arXiv, convenientemente complementado con una política de evaluaciones firmadas y públicas, que dieran una especie de reputación a cada artículo individual, y que incluso permitiera irlo corrigiendo sobre la marcha, con un tope de artículos publicables por persona y año (ligado a la evaluación de otros artículos de gente no coautora, el que no evalúa no publica), y algunos ingredientes más, podría constituir un paso para el avance en la difusión correcta de la ciencia y reducir los currícula, al menos su peso, facilitando su evaluación.

    • Todo proceso de evaluación tiene su ciclo de vida --nace fresco y ambicioso, madura luchando por mejorar, y luego se pudre tratando de sobrevivir. A nivel personal también pasamos por esas etapas, pero las generaciones vivas hemos tenido la suerte de que cada una de las etapas se han ido alargando. Por cierto, la tercera etapa es la más difícil, pero es consecuencia de que históricamente ha sido muy corta y entonces el esfuerzo se ha concentrado en conservar el pasado y defender el legado en lugar de plantearnos nuevos desafíos.

      Quizás un análisis de la evolución de los procesos de evaluación de los comités del Premio Nobel en todas sus disciplinas (incluso el extraño Premio de la Paz) pueda ayudar a entender mejor los desafíos de evitar su corrupción. Ayer murió A. Alchian, 98 años, gran economista, y en los obituarios se recordó a R. Coase, 102 años y todavía investigando. Cuando Hayek recibió el premio Nobel (1974) en respuesta a una pregunta contestó que Alchian y Coase también merecían recibirlo pero los criterios no los favorecían. Coase lo recibió cuando los criterios de evaluación cambiaron, como cabía esperar que ocurriera reflejando los cambios en economía como disciplina. Esos cambios postergaron a Leo Hurwicz quién lo recibió ya muy próximo a morir (2007, a los 90 años, siendo la persona de mayor edad que haya recibido un premio Nobel), pero antes habían favorecido a otro amigo y mentor Jim Buchanan (1986, fallecido el mes pasado).

  • Anxo,

    El sistema no es perfecto pero funciona bastante bien (y no lo digo por no haber sufrido con él, por ejemplo esperando 21 meses a que me contestara una revista). Por completar lo que ha apuntado Luis, además hay heterogeneidad en las revistas 'top'. Por ejemplo, el QJE (esto es jerga para iniciados) es muy idiosincrásico a la hora de elegir papeles que les parezcan 'sexy' a los editores de turno, y en alguna medida también el JPE, pero la AER, Econometrica o REStud lo son menos, permitiendo publicar en estas revistas a los que tengan artículos sobresalientes con menos selección por gustos editoriales (pero solo menos, no nada). Por otra parte, utilizar criterios de selección rápidos es inevitable, y deseable para los autores, pues estas 5 revistas (y otras en la cima de las áreas más especializadas) reciben literalmente miles de envíos al año y tienen que filtrar. Al menos el filtrado lo hacen personas que tienen una excelente calidad científica. Y el propio mercado responde: en economía hay ahora muchas nuevas revistas intentando situarse cerca de las 'top'.

    • Completamente de acuerdo, Samuel. Es peor el caso del papel couché de verdad, Nature y compañía, con sus editores profesionales, no directamente involucrados en la investigación, buscando vender más revistas. En las revistas que citas el control lo ejercen editores científicos y eso hace una diferencia. Aún así, sigo creyendo que los rankings de revistas son malos tanto para la difusión como para la evaluación. O, como mínimo, no deberían usarse en exclusiva. Está claro que necesitas criterios de selección rápidos, pero puedes buscar más datos. Usándome yo como ejemplo: he publicado 140 artículos en revistas JCR, artículo arriba o abajo. ¿Alguien se puede leer todo eso para evaluar mi CV? No. No lo leería ni yo. ¡Menudo pestiño! Pero sí me pueden pedir que les diga cuales son los dos o tres artículos más importantes que tengo (independientemente de en qué revistas) y leerlos. Yo no he evaluado CVs de economía y no sé si se hace así, pero en "ciencias duras" sigue contando el peso y el impacto de la revista más que los trabajos en sí. Y eso en cuanto a la evaluación. En cuanto a la propia ciencia, y de nuevo restrigiéndome a las "revistas del corazón", sí tienen una influencia muy grande sobre qué se hace y qué no, y no creo que eso sea bueno. Quizá en economía lo estáis haciendo bien al no tenerlas mucha en cuenta y centraros más en las revistas de vuestro campo...

      • Anxo, por si tienes curiosidad, aquí

        http://www.voxeu.org/article/nine-facts-about-top-journals-economics

        hay una descripción de lo que ha estado pasando en las 5 revistas 'couché' en Economía en las últimas décadas. Entre otras cosas, se ha puesto dificilísimo publicar en ellas, con tasas de aceptación de 3%-5%. Y la más citada, con diferencia (el QJE), es la que ha seguido (a mi juicio) una política más fiel a las preferencias de sus editores y persiguiendo la originalidad de las ideas. Otra cosa es si esto es mejor para la calidad de la ciencia, eso no lo sé.

        • Gracias Samuel, muy interesante el link. Fíjate lo que empieza diciendo: "Publications in the top journals have a powerful influence on the direction of research in economics, on the career paths of young researchers (Conley et al. 2011), and on the pay of academic economists." Salvo lo de la paga, que en España tiene poca aplicación, y en las ciencias duras menos, el resto es lo que yo decía en el post. Y mi opinión es que esas tasas de aceptación son nefastas para la ciencia y para los investigadores. Seguro que se quedan papers excelentes fuera, que peregrinan de revista en revista durante años para padecimiento de sus autores. Y al menos en Economía circulan como working papers, y se pueden conocer, pero en otros campos lo que no se publica tiene poco valor...

          Eso es un poco lo que pasa también con los proyectos europeos. Las tasas de aceptación son de ese orden, 5-10%, y salvo las grants del ERC, el papeleo de la solicitud es bastante pesado. Eso lo único que hace es desanimar a gente muy buena, como sé por muchos colegas, y malgastar energías de los optimistas que lo intentamos. Pero bueno, supongo que en el caso de los proyectos tener muchos donde elegir es interesante...

    • Ups... Se me ha ido el comentario a general. Era una respuesta al ejemplo del arxiv arbitrado...

  • Enhorabuena por el artículo Anxo.
    ¿qué pensáis de la idea esta que últimamente se comenta de cambiar el modelo de la oferta a la demanda, subastar tu artículo y que sean las revistas las que pujen por él?
    http://blogs.bmj.com/bmj/2012/12/03/richard-smith-why-not-auction-your-paper/
    Siempre he pensando que para lo listos que los científicos nos pensamos que somos nos lo hemos montado muy mal. Trabajamos, evaluamos y hasta formateamos por prestigio y luego pedimos a nuestras instituciones que paguen un montón de dinero por tener acceso a nuestro trabajo.

    • Gracias Josema, un placer verte por NeG (aunque sé que eres lector asiduo). Es una idea interesante la que propone este hombre, nunca lo había pensado. Pero fíjate que lo hace con un paper que ha escrito él en solitario. Cuando tienes gente con la que trabajas y que tiene que labrarse un futuro, es muy peliagudo sacar los pies del tiesto. También tienes razón en que no valoramos nuestro trabajo. Deberíamos pedir un pago por revisar artículos, por ejemplo, aunque solo fuera en forma de acceso gratis a la revista. Creo que esto último voy a empezar a hacerlo. Por no decir por el trabajo editorial. En fin, que nos queda mucho que aprender.

  • Gracias por el post Anxo. La publicación es parte esencial del trabajo cientifico y los procesos editoriales parecen ser una suerte de caja negra para muchos investigadores. Incluso para ti.
    “Esto, para mí, es una situación muy grave: las decisiones de los editores de estas revistas están condicionando en qué se investiga.”
    Como editora profesional de una revista, considero tu comentario halagador. Pero no es cierto. Los editores solo podemos elegir entre los trabajos que recibimos y la primera selección la hace el autor, quien decide a donde envíar su trabajo. Ademas, los editores profesionales no tenemos influencia alguna sobre las agencias de funding, cuyos criterios de seleccion son propios y dispares. El editor selecciona para peer review los manuscritos que le parecen robustos metodologicamente y aquellos que considera de mas interés para sus lectores (es este el “criterio comercial” al que te refieres?). Muchas semanas me gustaría seleccionar para peer review la mitad de los papers recibidos, pero la realidad logística es que no disponemos de personal para llevarlo a cabo.
    “ Hay muchos temas muy importantes tanto de investigación básica como aplicada que jamás se publican en las revistas top.”
    No cabe duda. Pero como determinar los “temas my importantes”? Afortunadamente, el mercado de publicación científica es hipercompetitivo, cada campo cuenta con decenas de revistas en las que publicar y, a fin de cuentas, si a los lectores no les gusta una revista, tienen un amplio rango de alternativas, incluso entre las top multidisciplinares.

    • Gracias a ti Elena por leerme y por tus precisiones. ¡A mí sí que me halaga que la Editora de The Lancet Neurology me lea y me conteste! Dicho eso, yo creo que tienes más influencia de la que crees (para bien y para mal, y seguramente no intencionadamente). Yo no leo tu revista, me temo que me pilla un poco lejos, así que mantendré la conversación en abstracto. Hay varios puntos:

      1. Los editores elegís entre los trabajos que recibís: por supuesto. Pero los trabajos que recibís, que como bien dices son decisiones de los autores, están condicionados, a. por lo que habéis venido publicando, y b. por la historia anterior del autor con la revista. Cada decisión que tomas como editora y supongo que con la mejor voluntad afecta a lo que vas a publicar en el futuro.

      2. También estoy de acuerdo en que directamente no influyes sobre las agencias de financiación. Pero igual que en el punto anterior, indirectamente sí. Si yo presento un CV nutrido de trabajos en tu revista y pido un proyecto de ese campo, mis posibilidades de obtenerla, en la agencia que sea, son más altas que si no tengo ningún trabajo en tu revista, ¿no te parece? Tú no eres responsable de eso, responsable es quién evalúa y decide la concesión del proyecto, pero tienes influencia.

      3. En cuanto al criterio comercial, bueno, de nuevo no sé cuál es de tu revista. Siendo de Elsevier imagino que quieren ganar dinero, pero no sé hasta qué extremo afecta eso a la selección. Lo que sí sé es que las top multidisciplinares sí eligen lo que va a vender, es decir, lo que va, por ejemplo, a salir en la prensa. Por no liar a otros voy a seguir usando mi vida como ejemplo. En 1992 se publicó un artículo en Nature que sostenía que cuando la gente jugaba al Dilema del Prisionero en una red la cooperación podía sobrevivir. Era un artículo teórico, donde "la gente" eran sencillos "agentes" en un programa de ordenador. En 2009 en mi grupo hicimos el primer experimento en la historia que podía comprobar la teoría, y salió que no, que no era verdad lo del artículo original. Escrito para Nature, rechazado por los editores, básicamente porque tiraba por tierra el primer artículo y muchos que le sucedieron (se publicó al final en PLOS ONE). No me parece muy científico. Pero además, como es un resultado negativo, no "vende" y no sale en la prensa.

      4. Por último, está claro que hay muchas revistas, pero como le he contestado antes a Josema: a mí me personalmente me da igual publicar en The Lancet Neurology o en el Uganda Journal of Mediocrity (que tendrá más impacto que el Spanish Journal of Mediocrity). Pero a la gente que formo, y que tiene que buscarse las habichuelas, no. No son los lectores lo que me preocupa, sino los autores.

      • En este caso (el artículo rechazado en Nature) creo que topaste con un caso de libro de publication bias: como dices, los artículos con resultado negativo no salen casi nunca publicados, como contribuyen poco al factor de impacto (no son muy citados, ya que se consideran "vías muertas" de investigación) no los quiere nadie. Una gran parte es autocensura: con resultado negativo, no me molesto en escribir el artículo diciendo que no funciona, porque como me lo van a rechazar ...

        O a lo mejor repito el experimento con variaciones e insisto hasta que sale un nivel de significación aceptable, con lo cual ya puedo publicar (lo cual sería una aberración estadística: considerado en el contexto de todos los experimentos fallidos, realmente no es significativo sino un outlier positivo).

        Hay bastante gente por ahí que dice que esto es grave, no sólo porque se repite investigación innecesariamente (si no sé que no funciona, lo intento yo otra vez), sino también por los problemas de validez de la significación estadística de lo que sí se publica (lo que mencionaba arriba). Debería ser uno de los objetivos de esa reforma del sistema de la que hablan todos.

        De hecho, el otro día me topé por casualidad con el Journal of Negative Results en Biomedicine (http://www.jnrbm.com/), que no tenía ni idea de que existiera, y que me pareció una idea original.

    • La intención final de un comunicador es influenciar, ciertamente. Pero el camino desde publicacion a acción - ampliamente estudiado por sociólogos de la ciencia- es tortuoso e incierto. En nuestro caso, el objetivo final es mejorar la practica clínica, sin embargo, pasa mucho tiempo desde que un articulo es publicado hasta que sus resultados influencian la realidad, cuando lo hacen. No parece que el estamento político con capacidad de decisión en nuestro pais lea literatura científica y técnica; tampoco se deja aconsejar por los que la leen –una conclusión repetida mil veces en este blog.

      Me atrevo a decir que posiblemente este esplendido blog tenga mas influencia en el ministerio de sanidad y sobre las agencias ibéricas de financiacion que ninguno de los artículos publicados por neurólogos espagnoles en nuestra revista.

      Elegir en función de lo que pueda importar a la prensa es un criterio pobre y cortoplacista, al menos en especialidades donde se tardan agnos en conseguir resultados. Creo que el fenómeno va en la otra dirección: las revistas como Lancet o Nature tenemos oficinas de prensa bien organizadas y la prensa cubre lo que publicamos porque se les facilita la información y, por tanto, su trabajo. Las revistas mas especializadas no disponen de esta ventaja competitiva.

      Comparto la preocupación sobre los investigadores en formación, ya que nuestro éxito radica en nuestros autores y revisores.

  • Creo que tienes toda la razón Anxo. El sistema actual de evaluación basado en revistas privadas no es ni eficiente ni justo. La sociedad paga miles de euros (entre 15 y 150 de media) para que sus investigadores publiquen sus artículos en revistas y cuando el público quiere acceder a ese conocimiento debe pagar de nuevo.
    Un interasante artículo al respecto http://techcrunch.com/2013/02/03/the-future-of-the-scientific-journal-industry/
    En todo caso es una discusión sin mucho recorrido ya que los cambios tecnológicos han hecho que la evaluación de la actividad científica basada en los criterios de siglos pasados haya quedado completamente obsoleta. En pocos años solo quedarán unas docenas de revistas históricas que seguirán activas por su tradición aunque su utilidad real habrá desaparecido.
    Para los que lo duden: comparad la evolución del valor en bolsa de las viejas editoriales científicas y la de las nuevas start-ups de publicación en abierto.

    • Gracias Fede. El artículo que pones es ciertamente muy interesante y va en la línea de lo que hemos hablado en otros comentarios. ¿Tienes el dato que dices de la bolsa de alguna manera fácil de ver para ignorantes como yo?

      • No, lo siento. Intentaba ser provocador incitando a realizar una posible contrastación empírica a los que lo dudan 🙂 . Sin embargo, hay cierta evidencia indirecta. Importantes inversores están entrando en las nuevas start-ups que están surgiendo en este ámbito, como por ejemplo ResearchGate (http://www.webpronews.com/researchgate-funding-paypal-2012-02 o) o Academia.edu (http://www.crunchbase.com/company/academia-edu).

        PD: Pensándolo bien sería un trabajo complicado ya que muchas de las empresas/instituciones implicadas no cotizan. Habría que utilizar métodos indirectos. Bueno, el tiempo nos dirá quien tenía razón, pero estaría dispuesto a apostar unas cuantas cañas...

        • A título personal, aconsejar Academia.edu para los historiadores. En mi caso ha sido vital para lograr superar los "muros de silencio" con los que tropiezas y difundir mi trabajo en América Latina (y conocer a la gente que trabaja líneas parecidas allí) que, de otro modo, hubiese sido imposible o habría supuesto 3 o 5 años.

  • Totalmente de acuerdo con tus apreciaciones Anxo, me encanta ver que además tienes en cuenta el futuro de la gente que formas. Eso me recuerda la frase de uno que tenía una postura totalmente contraria: "La ambición de un científico se mide por el número de subordinados que es capaz de quemar en el camino", decía. Una carrera profesional brillante en los actuales parámetros implica una cantidad enorme de papers que nunca serán publicados, hay una cantidad excesivamente alta de ciencia en los cajones. En mi experiencia si el científico en cuestión tiene un índice H de 120 no se planteará nunca publicar en una revista no generalista como las mencionadas ya que al final pierde con esa decisión (en prestigio pero también en financiación), un círculo vicioso que se retroalimenta. Yo por ejemplo nunca recomendaría hacer la tesis en un grupo que solo públique en Nature, Science y cia ya que la probabilidad de fracaso es demasiado elevada independientemente de capacidades intelectuales o de trabajo de cada uno.

    Respecto a lo de que te rechacen un paper en Nature a los 45 min miralo por el lado bueno; es casí preferible que el pasarte dos años en revisión para que no lo acepten al final.

  • hola Anxo

    1. Creo que el sistema tiene fallos (sin duda) y que claramente condiciona nuestro trabajo, nuestra agenda de investigación y sobre todo nos hace perder MUCHO TIEMPO en poner el trabajo bonito (bien enmarcado y con una "sexy cover") pero... desde luego es mucho mejor que las alternativas (como dice Luis G ya las conocemos muy bien). Pero esto es lo que tenemos y por tanto hay que ser profesionales en el entorno que jugamos.

    2. Respondiendo en KEyNES y LUCIA solo deciros que no estoy de acuerdo en absoluto. Yo hago experimentos nada mainstream y me busco la vida para publicarlos en las mejores revistas. No puedo decir que haya publicado en Econometrica pero sí he publicado en buenas revistas y muchas de estos trabajos son realmente no-estandard. En suma, no estoy nada de acuerdo. Hay que hacer mejor investigación, pelear más los paperes y dejar de pensar que el mundo está contra nosotros.

    Y no hay otra. Los editores son como son, las revistas tienen sus objetivos y nosotros tenemos un enorme abanico donde elegir... y claro que el índice de impacto nos importa!

    Un abrazo, Pablo

    • Gracias Pablo. Es cierto que si peleas vas sacando cosas en buenas revistas. Lo que no sé es si esa pelea es buena para nosotros, y tampoco para la ciencia. En cuanto a que no hay otra... Por ahora, no hay otra. Pero el movimiento en el mundo de las revistas, en particular en torno al open access, está cambiando el sistema. Lo que no sé es a dónde irá a parar al final.

  • Anxo,

    Gracias por tu post. Estoy fundamentalmente de acuerdo con lo que expones, pero no tengo tan claro si el sistema es bueno o malo en sí. Antes bien creo que es victima de la ilimitada capacidad del ser humano de pervertir todo lo que toca. Me explico; las bases y procedimientos que emplean estas revistas creo que son correctas, lo que ocurre es que hay editores que son buenos profesionales (tardan a veces 15 dias en enviar o no un trabajo a revisión porque mientras tanto lo leen, lo contrastan etc) y otros que no (devuelven un manuscrito en 45 minutos). ¿Porqué ocurre esto?. Pues yo creo que por la misma razón por la que hay buenos y malos periodistas, buenos y malos jueces etc..Hay quien por convicción moral antepone el criterio de calidad en su trabajo y hay quien antepone otros criterios (cantidad, visibilidad etc.). Esto me lleva al fondo de la cuestión, que no es otro que el fortalecer las convicciones éticas y morales de las personas. Una labor dificilísima, porque no se aprende en la escuela, sino que es el ambiente familiar, social y externo el que definitivamente colabora a esculpir esta faceta. En otras palabras, para cambiar a un individuo hay que cambiar al resto, casi nada!.
    Dicho lo anterior y acerca de lo que al final se convierte en moda y sexy-science la responsabilidad termina siendo colectiva. Al final necesitamos más niños que salgan a decir que el emperador está desnudo.....

    • Gracias Jose. Tienes mucha razón en todo, pero como no sé cómo hacer lo de "fortalecer las convicciones éticas y morales de las personas" y menos con los ejemplos éticos y morales que vivimos en el día a día, me voy a quedar con lo de que "necesitamos más niños que salgan a decir que el emperador está desnudo…" Creo que esa es la responsabilidad de los que como yo ya no tenemos mucho que perder o ganar con esas revistas, y un poco por eso escribí este post. Falta que mucha otra gente en mi situación haga lo mismo.

  • Anxo,

    Todos sufrimos arbitrariedades y errores en los procesos editoriales. Y ciertamente los gustos de unas pocas personas pueden acabar teniendo mucho peso y hasta generar incentivos perversos.

    Pero todo lo que argumentas me parecen efectos de segundo orden comparado con lo fundamental: no todos los artículos científicos tienen el mismo valor, y necesitamos un sistema no excesivamente costoso para distinguir y promocionar a los científicos capaces de crear las mejores contribuciones. Los vagos y los mediocres que dominan la Universidad en España rechazan el sistema basado en revistas de impacto con quejas tan peregrinas como el sesgo anglosajón o ideológico en la selección de revistas de calidad. A ellos les interesa el Caleta Economic Review, el Journal of Horta Economics, o el International Arganzuela Letters.

    Te propongo un juego. Imagina que reemplazamos todo el sistema actual de acreditación, contratación, y promoción de profesores universitarios por el siguiente. Escribimos un algoritmo que simplemente sume el índice de impacto de las revistas en que están publicados los artículos de los investigadores. De verdad piensas que la Universidad española no daría un enorme salto de calidad con eso?

    • Hola Josep, gracias por leernos y por tu comentario. En lo que dices hay bastante razón, porque en muchos campos la Universidad española es un yermo, así que sí estoy de acuerdo con el resultado de tu juego. Y, aunque suene pretencioso y prepotente, me temo que es más verdad todavía en las Universidades "de provincias" (como odio este calificativo, pero no se me ocurre otro mejor) que en las de Madrid o Barcelona. Y es más verdad todavía en ciertas disciplinas: lo es más en ingeniería que en física, por ejemplo. Pero esto tiene problemas: en muchas ingenierías incluyendo informática lo que cuentan son los congresos (donde a veces te evalúan hasta cuatro revisores) y las publicaciones, si se llegan a hacer, tardan varios años. Hay que tener cuidado con lo que metes en la evaluación porque en según donde te dará cosas relevantes o no. Por poner otro ejemplo, con un Nature al año durante veinte años no te dan una plaza en un departamento de economía, con impacto o sin él, o mucho me equivoco. Finalmente, te diré que hay que ir con mucho cuidado con los algoritmos. En Cataluña se estuvo usando uno (no sé si sigue todavía) diseñado por el tristemente fallecido físico teórico Pedro Pascual, que en muchos casos daba un resultado peor publicando un nuevo artículo en una revista top de su campo en JCR (por ejemplo, en Physical Review E). Extraño, pero cierto.

      En fin, que esto es muy difícil, y que a la vez que se hace limpia en la Universidad, deberíamos reflexionar sobre el tema para ir mejorando la evaluación de los CVs.

    • "necesitamos un sistema no excesivamente costoso para distinguir y promocionar a los científicos capaces de crear las mejores contribuciones". Creo que el problema es precisamente que tendemos a considerar como objetivos finales lo que es únicamente un medio. El objetivo final debe ser, en mi opinión, facilitar la difusión del conocimiento, no alimentar un sistema endogámico de selección de individuos, por bien intencionado que pueda ser.
      En todo caso creo que el sistema funciona bastante bien y la prueba es el maravilloso progreso de la Ciencia en las últimas décadas. 🙂

  • Anxo,

    Yo no quiero implementar el algoritmo que describo. Solo lo utilizo como ejemplo para enfatizar donde están ahora mismo los problemas de la Universidad en España: obvio que la confianza ciega e inflexible en los ránkings genera distorsiones; pero ignorarlos como se hace en gran parte del sistema universitario de España trae problemas mucho mayores. Yo me preocuparía del fine tunning cuando hayamos resuelto los problemas de primer orden. Y con una ley de Reforma Universitaria tras la esquina, puede ser dramático confundir prioridades. Por ejemplo,

  • Creo que los editores tienen influencia sobre en qué se investiga. La mayor parte de los artículos en mi área aparecen en números especiales, monográficos sobre un tema. Lo que no tenga suerte de caer en uno de los temas que alguna de las revistas decide publicar, es, cuando menos, más difícil de publicar.
    Pero bueno, todo eso (interés comercial, capricho académico, etc.) es algo a lo que uno tiene que acostumbrarse. A lo que no se acostumbra nadie es a ver cómo determinadas revistas "de impacto" publican número tras número artículos de los amigos de los editores de turno.

  • Pingback: Ciencia | Annotary

Los comentarios están cerrados.