SERIEs y la liga de la gente extraordinaria: ¿se puede medir la ciencia?

Hoy es mi cumpleaños (sí, yo nací el 4 de julio, pero Oliver Stone prefirió a Tom Cruise para la peli, por motivos que no entiendo muy bien). Y como regalo de cumpleaños me ha llegado una muy buena noticia. SERIEs, la nueva revista de la Asociación Española de Economía (de la que ya les habló Samuel hace unos meses), se ha clasificado el número 72 sobre 302 revistas académicas de economía por su “immediacy index” del Journal of Citation Reports. Un éxito difícil de igualar para una revista tan joven. Los lectores académicos ya sabrán de lo que estoy hablando, pero voy a aprovechar la efeméride para explicar un poco como se mide la actividad científica.

Los científicos, como los deportistas, los artistas o los políticos, no son todos iguales. Los hay geniales, buenos, tolerables y deplorables. Los resultados de investigación se publican en artículos de revistas científicas evaluadas por otros expertos del mismo campo. Estos expertos, generalmente dos o tres, seleccionados por un editor de la revista por sus conocimientos del área, dan su opinión sobre si la contribución del artículo es de suficiente interés y originalidad como para publicarse en la revista correspondiente y, a la vista de las opiniones, el editor toma la decisión final. Este proceso es lo que se denomina evaluación por pares o “peer review”. La calidad de estos artículos es lo que querríamos medir para saber si nuestros colegas son como Messi, o como su "manta" futbolístico favorito.

Dado que los expertos de las revistas no suelen ser infalibles, en un mundo ideal nos gustaría hacer un referendo sobre la calidad de cada artículo entre todos los expertos relevantes (aunque en ciencia el peso de las opiniones no tiene por qué ser igual entre todos los expertos). Pero un proceso así resultaría demasiado oneroso para ser usado en general (aunque tiene alguna relación con el que se utiliza para determinar quién recibe un premio Nobel). Claramente necesitamos otro tipo de indicador de la importancia de la contribución de un investigador (o un grupo de investigadores). Un indicador imperfecto, pero fácil de coleccionar para una primera evaluación y comparación, es el número de citas de sus artículos en los artículos de otros científicos. Cuando un investigador utiliza un resultado descubierto por otra persona, debe citar el artículo en el que el primero informó sobre aquel descubrimiento. Normalmente cuanto más importante sea un descubrimiento, más gente debería usarlo y por tanto, el artículo recibirá más citas.

Entonces, ¿para qué hacen falta las revistas? Si un artículo es importante, se podría enviar a algún almacén de artículos (un repositorio) de Internet y si el artículo es bueno se irán acumulando citas sin más. La mano invisible hará su trabajo, que para eso la pagamos. El problema es que en un mundo con varios miles de investigadores por disciplina, estar enterados de lo que hace todo el mundo es muy complejo. Ni siquiera los mejores y más rápidos lectores podrían leer una fracción de lo que se produce y al mismo tiempo producir ellos mismos. Las revistas sirven de intermediarios para certificar la calidad e indicarnos qué debemos leer. Una función parecida a la de las agencias de calificación. Como éstas, no siempre aciertan, y a veces fallan clamorosamente, pero existen porque cumplen una misión importante.

Pero revistas hay muchas y, como los propios investigadores, no son todas iguales. Todos queremos publicar en las buenas revistas, porque una “certificación” de éstas nos da prestigio en sí mismo, y porque ayuda a que los demás se fijen en nuestros descubrimientos, lo cual a su vez genera citas. Pero ¿cómo juzgamos las revistas? Pues de la misma manera que a los investigadores, contando citas. Uno de los indicadores de calidad más conocidos es el “factor de impacto” (o “impact factor”). El factor de impacto de una revista (Journal of Nada es Gratis, o JNeG, por decir algo) es el número medio de citas durante un año provenientes de un conjunto de revistas a artículos de JNeG de los dos años anteriores. Es decir, si JNeG recibe 120 citas en 2010 para sus 20 artículos de 2009 y 2008, su índice de impacto en 2010 es 120/20=6. También existe un “factor de impacto quinquenal” (5-year impact factor) que hace lo mismo pero con una ventana de cinco años.

El problema de SERIEs es que nació en 2010, así que no se puede calcular aún su factor de impacto. En parte porque hay muchas revistas que nacen cada año, pero también para ver si los artículos de una revista tienen un “impacto inmediato”, se creó el “immediacy index”. Este índice recoge las citas medias en un año a los artículos de la revista en ese mismo año. Esto es, si JNeG recibe 20 citas en 2010 a los 10 artículos publicados allí en 2010, su “immediacy index” es 20/10=2. La revista SERIEs de la Asociación Española de Economía ha recibido un immediacy index de 0.294 lo cual la coloca en el puesto 72 de 302, un logro realmente destacado para una revista que acaba de nacer, creada por una asociación nacional de un país mediano y ciertamente no líder en la disciplina (aunque los países grandes de Europa, excluyendo el Reino Unido, no lo hacen mejor). Para que se hagan una idea, la mejor revista del área de organización industrial, el prestigioso Rand Journal of Economics tiene el mismo “Immediacy index”.

Pero el negocio de los rankings no se acaba aquí. La preferencia revelada por los más comunes en economía nos dice que la ordenación por factores de impacto, es poco aceptada en la profesión. Tanto en el ranking clásico de Liebowitz y Palmer como las versiones posteriores de Laband y Piette o Kalaitzidakis, Mamuneas y Stengos se utiliza una metodología que pondera las citas por la importancia de la fuente de la que provienen. En otras palabras, una cita proveniente de una revista de prestigio es “mejor” que una proveniente de otra revista menos prestigiosa. Habitualmente, esta ponderación se calcula utilizando un procedimiento iterativo en el que en cada iteración el peso de una cita proveniente de una revista depende del impacto de esa revista en la iteración anterior. El proceso se repite hasta alcanzar la convergencia (esta metodología subyace también a PageRank, el algoritmo de ordenación de páginas web del buscador Google). Hasta hace poco tiempo, esta metodología no permitía una actualización con la frecuencia adecuada como para reflejar los cambios de influencia en nuestra profesión de determinados campos o la introducción de nuevas revistas. Sin embargo, la publicación de los eigenfactors del Journal of Citation Reports (JCR) ha permitido corregir esta limitación.

Como pueden ver hay multitud de métodos para ordenar los resultados de la actividad científica. Las ordenaciones que producen, lo mismo de personas que de revistas o departamentos, no son idénticas, pero afortunadamente se parecen bastante y ayudan a hacernos una idea de quién es quién en nuestra profesión. En ese sentido cumplen un papel similar a rankings como el de los tenistas de la ATP o las clasificaciones de las ligas de fútbol. Nos sirven para pedir cuentas a los jugadores, entrenadores y directivos. Y no todos estaremos de acuerdo en cuál es el mejor equipo de España o de Europa. Pero sabemos que el Barcelona o el Real Madrid están entre los mejores. De momento, claro. Porque el Atlético de Madrid, o el Athletic de Bilbao, siempre pueden darles una sorpresa si no van con cuidado. Y si no, miren al River Plate. Esta es seguramente la lección más importante de los rankings, como de cualquier tipo de competencia, que uno no puede quedarse quieto esperando que el pasado glorioso le vaya a salvar de los competidores. Solamente el trabajo continuado y bien hecho nos permite estar un paso por delante de los demás.

Hay 49 comentarios
  • Felicito al equipo editorial de SERIEs por su gran labor por la ciencia económica y a Antonio por su aclaración de un tema tan complicado. Solo hecho de menos un comentario sobre la falacia de comparar índices de impacto (u otras medidas parecidas de calidad científicas) entre ramas de la ciencia: no significa lo mismo un índice de impacto de 0.294 en economía que en historia, derecho o física. Para este tipo de comparación (casi imposible) habría que utilizar rankings relativos como el que ya menciona el autor: puesto 72 de 302 ... que subraya nuevamente el logro de SERIEs.

  • Sin querer desmerecer a SERIEs, hay que señalar que el "Inmediacy Index" tiene un valor limitado, especialmente en economía.
    Creo que es más relevante el resultado de su "difunto padre" Spanish Economic Review, que ha quedado en una excelente 89ª posición en el ránking de Economía por Impact Factor, y en las 119ª por Article Influence, de entre las 304 revistas, y tras una enorme subida respecto a años anteriores.
    Seguro que SERIEs seguirá esta senda ascendente.

  • Gracias por la aclaración, Jose. De hecho, esto mismo pasa dentro de las ciencias. No recibe el mismo número de citas un artículo teórico que uno aplicado, por ejemplo.

  • Gracias, Alfonso. Efectivamente, tomados en conjunto el resultado de la Spanish Economic Review y SERIEs auguran un buen futuro a las publicaciones de los economistas españoles, que a pesar de la muy mejorable organización de la ciencia en España están haciendo un trabajo notable.

  • Adjunto ciertos consejos para publicar, con éxito en revistas académicas. Lo siento, pero está en inglés:

    Academics wants to write research papers and have them published. University bureaucracies are not only bean counters, they are also paper counters. Promotion depends on the number of papers published. Publishing papers is not the same thing as actually doing research.

    Having read far more economic papers that I care to admit, I have worked out the “secret” formula for achieving a voluminous publication record in the subject. The “recipe” for publication success is as follows.

    Step 1: Cite the work of as many potential referees to your paper as possible, as this will soothe their egos and shows that you are one of them. Make sure that your paper is seen as merely an extension of the work of one of the gurus and you are not going to “rock the boat”, challenging the establishment.

    Step 2: For the bulk of your paper, bamboozle your readers/referees with a complicated model or argument, making any assumptions you need (however unrealistic), because Milton Friedman has already covered you with his essay on “the methodology of positive economics”. If you have enough complexity in mathematics or argument, it is likely that the reader/referee will not bother to follow the heart of your paper in detail.

    Step 3: It is vitally important that in your conclusions that you only make modest claims in supporting the status quo, such as eg the evidence or the model lends support to the efficient market hypothesis or globalization or whatever. Quite often, your conclusions do not have to follow from what you did in Step 2. Any strong conclusions, particularly when challenging the status quo, will lead a much closer scrutiny of your paper by the referee, who is taking a career risk in accepting your paper. As the additional effort is not personally rewarded, the economically rational action for the referee is to simply reject the paper.

    This “recipe” leads to career success for many, as there are thousands of papers published by many economic professors who have made little difference to economics in any way which matters. The “Egg and Krug” paper is good example of the “recipe” in action. Reading between the lines in some of what Krugman wrote, I suggest that he appears to admit to playing such a game.

    • KEyNES. El que ha escrito esto parece el protagonista de la fábula de la zorra y las uvas. Si fuera tan fácil, miles de artículos estarían publicados en las mejores revistas. Y no lo están. Lo siento, pero los perezosos y los tontos no van a conseguir publicar en buenas revistas científicas.

  • KEyNES, si que parecen consejos bastante malos. Yo hice unas prácticas aquí http://www.adeit-uv.es/index.asp?page=calendario&fechaHoy=02/06/2010 y precisamente los consejos que daban los editores iban por otros caminos, quejándose de que muchas veces lo que les mandan son refritos que no aportan nada a lo ya escrito anteriormente. Y como anécdota, también insistieron mucho en el inglés, me dio la sensación que sino tienes un nivel excelente podría salirte rentable contratar a un traductor especializado.

  • KEyNES

    Lo que dices son estupideces. Yo soy editor de la International Economic Review. Acepto menos de 1 de cada 10 papers. Te crees que no los leo con detalle doloroso? Que no le doy mil vueltas a lo que dice cada uno? Que los 9 que rechazo no tienen todos un aparato formal? De verdad, no hay nada peor que el creerse los cuentos de Caperucita.

  • @KEyNES,

    Yo diria que un 8 sobre 10, le falta que el propio articulo debe tener su contra-argumentacion, con el fin de que multiples interpretaciones pueden ser atendidas y asi ningun elemento categorico es deducible. Y finalmente adscribirse a tendencia o grupo con el peso suficiente como elemento salvavidas para pasar cualquier tipo de inconvenientes (basicamente nadar a favor de la corriente).

    Eso estimados editores, no implica que sea siempre asi, afortunadamente rayos de esperanza siempre se cuelan entre las mas negras nubes...

  • Outlander

    Otra estupidez como la copa de un pino. El primer consejo para publicar en una buena revista es ser transparente como el agua. KEyNES, Outlander, habeis publicado alguno en una buena revista internacional? Lo mas probable es que no. Mientras que no lo hagais y demostreis que sabeis jugar el juego, mejor estais calladitos al respecto.

  • Antonio,

    Estoy de acuerdo contigo. Únicamente puse el comentario, QUE NO ES MÍO, porque me pareció gracioso y que fomentaría la discusión.

    Una pregunta ¿Se ha considerado aprovechar las nuevas tecnologías para evaluar “on line” y con mayor acceso y nº de opiniones?.

    Gracias.

    PS

    Dile a tu compañero editor JFV que evite los insultos, pues no añaden nada a las argumentaciones ¿No aplicáis “moderation” a los editores?

  • KEyNES

    A ti te podra parecer gracioso el comentario pero a mi no. Yo me pase el sabado enterito, desde las 9 de la mañana hasta las 9 de la noche con un paper para el Journal of Economic Theory en vez de estar en la piscina o en la playa (y antes de que pregunte nadie: ser referee para JET paga el gran total de 0 euros). Encima que me sacrifico el sabado entero, me va a hacer gracia un comentario que implica que los editores y evaluadores no somos profesionales?

    Y no, no aplicamos moderacion a los editores. Como he dicho muchas veces esta es nuestra casa y publicamos lo que nos parece mejor. Punto.

  • Buenos días:

    Querría dejar unos comentarios sobre esta discusion en torno al tema de quien puede comentar sobre el proceso de aceptación de un artículo por parte de los evaluadores en una revista, que es en lo que parece que se ha convertido las opiniones de la entrada:

    - Parece ser que si no se ha publicado o se ha sido sometido a un proceso de evaluación anonimo de una publicacion no se puede opinar sobre el tema. Entonces, pongamos un ejemplo si no se ha tirado un penalti en el Bernabeo ante 80000 espectadores casi nadie en el mundo (solo los jugadores de futbol profesionales, nunca los aficionados al futbol) podrá quejarse del jugador que lo falla (ya se que es casi trivial comparar la importancia de publicar articulos cientificos con el futbol, pero ha sido el primer ejemplo que se me ha ocurrido).
    - Recuerdo hace tiempo leer en un blog de Econometrica discusiones sobre la necesidad de crear una Econometrica B, y las opiniones de economistas sobre si en ciertos casos no se publicaba por quien se era (o no se era).
    -¿ En un proceso de evaluacion, se dan opiniones del estilo a las criticas del capitulo del libro - articulo de Fernandez- Villaverde y Ohanian hechas por Jaume Ventura en sus comentarios al mismo, en la misma publicación? Lo digo sin ningun tipo de tono peyorativo, solo es que en este caso me parecian unas criticas algo duras.
    Por otra parte, siempre recuerdo las palabras de un profesor en la carrera que comentaba que las ideas podian aceptar todas las criticas por duras que fueran, que no correspondian a criticar a las personas.

  • mitmac

    1) No es una cuestion de si se puede criticar o no sin haber publicado. Es el decir cosas que, patentemente no son ciertas, como lo de "pon mates aunque no vengan a cuento" o "pon cosas para que no se entienda el paper". Que crees que diria un futbolista si le acusan de haber fallado el penalty porque "le venia bien"?

    En todo caso la analogia no es quizas muy ilustrativa: todos, quien mas, quien menos, le hemos dado una patada a una pelota de futbol y nos hacemos mas o menos la idea de lo que es jugar en primera division. Sinceramente, creo que la experiencia de publicar es bastante distinta de lo que ha pasado ninguna persona que no ha participado en ella.

    2) Cuando envias un paper a una revista, esta lo envia a 2-4 evaluadores anonimos (depende de cada caso) que devuelven cada uno lo que se llama un "referee report", algunas veces muy extensos y detallados (yo he llegado a escribir reports de 12 paginas). Y si, la gente no se corta un pelo. Si te enseñase el report que me llego una vez que envie un paper a una revista gorda, te caerias para atras (lo peor, al menos para mi, es que luego me di cuenta que mucho de lo que decia el referee tenia razon 🙁 )

  • Dejadme que os ponga otro ejemplo. Yo solia criticar mucho la arquitectura moderna y me parecia que los arquitectos hacian cosas horribles. Luego mi hermano estudio arquitectura. Es un tipo super-listo y claro, me empezo a explicar cosas. Entonces me di cuenta que mis opiniones originales eran profundamente ingenuas y que mis criticas desde fuera a la arquitectura moderna eran un poco tontas. Por eso los arquitectos se enfadan cuando llega un Carlos de Inglaterra y dice cosas muy bobas que encima convencen a un parte del publico....

    Yo, desde aquel entonces, tengo muchisimo respeto por los expertos en areas que no son las mias. A mi me parece que lo que hacen en literatura comparada no tiene mucho sentido pero son gente lista que han pensado mucho sobre el tema. Por eso, mi presuncion es que el que esta equivocado soy yo, no ellos.

  • Un post muy interesante

    Una pregunta: Alfonso señala que la "Spanish Economic Review, que ha quedado en una excelente 89ª posición en el ránking de Economía por Impact Factor, y en las 119ª por Article Influence, de entre las 304 revistas"

    A bote pronto, estar el 89 de 304 no parece excelente. Si me permitís ser provocativo, parece de equipo "regularcillo" de Segunda B

    ¿Es sencillo hacer un cuadro con la posición en estos rankings de las mejores revistas de los países europeos? ¿Estamos mejor que ellos?

  • @Jesus,

    Despues de leer la respuesta que se hace a KEyNES, no crei posible dejarle solo. Es uno de lo mejorcito por aqui... y si la cuestion es ir perdiendo audiencia asi, pues pronto ya quedaran los palmeros y poco mas. No te has preguntado porque los asamblearios ya no aparecen?
    Cual es el objetivo de esta Web, un punto de referencia, o solo una referencia en vuestro CV?

    Aunque no se digne a responder mis post, que no me importa realmente, usted habra visto que yo aqui vengo por la referencia a Economia que hacen ustedes y he sido muy critico con todo lo politico aparecido, pues no veo el sitio aqui.... pero hombre, una salida asi me parece exagerada (que yo no me he ofendido) pero me saca uno de los "postistas" preferidos y eso si me da...

    Si me da por perdido, o si considera que en la Web sobro.. pues pierda este post y ya esta.

    @KEyNES: no se vaya, esto es un calenton a la latina....

  • Para Antonio Cabrales.
    Te deseo muchos felices cumpleaños y un recorrido feliz. Con "areté" y con la gentileza y el señorío que te acreditan.
    Un saludo cordial

  • Outlander

    Solo una cosa: " solo una referencia en vuestro CV?"

    Este blog no solo no cuenta para nuestro CV sino que la mayoria de la gente de la profesion probablemente lo cuente como negativo pues cada segundo que me dedico a el es un segundo que no escribo papers. Es mas, si pinchas en mi CV veras que ni lo menciono.

  • Estupendo Jesus, asi debe ser.

    Yo, honestamente, creo que Krugman hace mejor de su tiempo escribiendo en el NYT que en algunos infumables papers como el mencionado. Que no alcanzaran a sobrevivir el anyo.. si llega. La real economia se hace aqui, en este blog, defendiendose no con la comunidad academica, sino con la real que te sacaran puntos no vistos. Los que aqui escriben aportan su experiencia personal, que te puedo asegurar hemos sufrido.

    Yo aplaudo los que habeis decidido salir de las trincheras y dar el asalto, pero no por ello sera puente de plata. Te puedo asegurar que si sale bien de nosotros, habra ganado galones.

    Pd: Me guardo como no, mi opinion sobre "Economia es Ciencia" para que? o el valor de los papers.... un saludo.
    Pd: KEyNES, solo nos falta usted para hacer las paces..... que es un provocador... 😉

  • Sr. Outlander,

    La economía al igual que la meteorología son ciencias. Estudian la realidad e intentan describirlas, explicarlas y en la medida de lo posible hacer predicciones.

    El problema puede ser que hay muchos pseudoeconomistas que basan más sus analisis en observaciones parciales y/o basadas en prejuicios que en datos objetivos y en estudios reflexivos. Y claro si metemos a todos en el mismo saco podemos llegar a la conclusión que la economía es más parecida a la chamanería que a una ciencia formal.

    Pero le puedo asegurar que la ECONOMÍA es una ciencia al igual que lo es la meteorología o la astronomía. ¿O Copernico no hizo ciencia cuando dijo que las estrellas eran objeto fijos en su posición y que no rotaban alrededor de la tierra ni del sol?. Aunque la afirmación es falsa, en su modelo con los datos que disponía describió la realidad a la perfección.

  • Outlander, compartiendo el aplauso a que hayan "salido a las trincheras", la ciencia no avanza con discusiones como está, sino que su divulgación aquí la hace más útil. La economía avanzará a base de buenos razonamientos, basados en una fuerte evidencia y aceptados ampliamente por los pares, no tiene porque ser al minuto uno de publicarse pero si algo tiene la ciencia es una capacidad de retractarse y cambiar en pocos años, algo que no tienen las creencias (religiosas o ideológicas) así que si realmente alguien hace un aporte en principo heterodoxo y rechazado pero sólido y lo bastante bueno, no tardará en ser aceptado (habrán excepciones pero pocas).

  • Hola a todos,

    Ante todo, enhorabuena a SERIEs y a sus editores por el magnífico trabajo que realizan, y a Antonio Cabrales por el post. Lo cierto es que yo estuve en el job market de Valencia cuando se presentó SERIEs y tenía buena pinta la revista. Y aunque sea cierto que el “immediacy index” puede no ser el mejor indicador sobre la calidad de una publicación (cuesta a veces ponerse de acuerdo sobre cuál es el mejor indicador) sí que es cierto que el dato es positivo porque habla bien del nivel científico en España.

    Dicho lo cual, quisiera añadir un punto para la discusión. Al decir Antonio que "la mejor revista del área de organización industrial, el prestigioso Rand Journal of Economics tiene el mismo “Immediacy index”." se me ha ocurrido preguntar si realmente los economistas equiparamos y/o consideramos las revistas por su impact factor. Todos sabemos cuáles son las grandes revistas, pero creo que hay otras que están en un top-15 en muchos rankings (ej., Experimental Economics), son menospreciadas por muchas personas de la profesión. Obviamente, yo creo que otras revistas como Games and Economic Behavior o JEBO están por encima en calidad (aunque el impact factor sea menor), pero creo que a veces ni siquiera los economistas valoramos los rankings. Y digo esto porque aunque SERIEs me parece muy seria y buena revista, dudo que muchos la consideren tan buena como el RAND (y no sé si eso es bueno o malo... porque si tiene el mismo impacto, ¿no debería ser igualmente valorada?).

    Sobre la polémica de KEyNES, entiendo a JFV cuando dice que renunció a su sábado de piscina por 0 euros, pero (por mi poca experiencia), puedo decir que algunos referees no se toman su trabajo "demasiado en serio". Creo que todos hemos tenido reports "malos" (por decirlo de algún modo elegante). Creo que KEyNES se refería a eso al mencionar claves (simpáticas) para publicar. En esto, es discutible es si el referee no se toma su trabajo en serio y busca una excusa para rechazar el paper (demostrando que quizás ni siquiera lo ha entendido), o porque realmente el autor no ha explicado bien su conclusión.

  • @ Outlander,

    Gracias por el apoyo.

    Mi continuidad en este foro estará en función de los temas que se traten y de las opiniones vertidas y no de las posibles salidas de tono de algún participante, a quien, tras conocer que se pasó 12 horas de un sábado con un artículo del JET y que no va a cobrar por ello, disculpo encarecidamente…..y mucho mas si lo comparo con lo que yo hice.

    PS.
    ¿Publicar en Investigaciones Económicas, en la época en que la dirigía Julio Segura me cualifica para escribir en este blog? Lo digo porque por entonces el evaluador “anónimo” era el propio Julio, que te hacia las correcciones en vivo y directo tomando un café con el asustado autor, sin referees ni peers ni nada de eso.

    Saludos

  • Estar en el primer cuartil tras un año de vida es un buen lugar para seguir subiendo y son tiempos de oportunidad para los que sepan salirse de caminos trillados sin pisar callos. Todo un arte.

    Recordaréis que la American Economic Review de entre los 20 mejores artículos de su primer siglo ninguno tenía menos de 30 años de antigüedad. Un mensaje importante porque se trata de la época con mayores cambios desde el siglo XVIII.
    Muchos de los trabajos más destacados en filosofía política y moral (la economía es una ciencia moral) a lo largo del siglo XX han resultado ser harto cuestionables para nuestra sociedad que parece asistir, escasa de intelectuales críticos, a una especie de sublimación resignada, a un suicidio colectivo entre light y negligente. Arriesgamos entre poco y nada.

    Desde fuera se ven siempre mejor las fracturas de los paradigmas más solidos como nos recuerda Kuhn. Sucede que Kuhn se educó en otra época y tenía memoria. Una referencia, un ancla. Su mentor, el rector Conant de Harvard, se encargó de acelerar el declive y la erradicación de la enseñanza clásica en el sistema educativo USA.
    Un fenómeno al cual hemos asistido silenciosos a este lado del Atlántico. Muy especialmente en España. Nos hemos ido haciendo una sociedad sin memoria profunda y con dificultades para acceder a ella.

    Una sociedad más maleable, más “putty”, so pretexto de modernidad. "Especialistas" que terminamos sabiendo casi todo de casi nada y que nacemos ya sin memoria.

    Creo que esta carencia está en la base de muchos de nuestros problemas. Especialmente en las notorias ausencias del mundo intelectual para analizar críticamente el hoy y el ahora y hacerlo en su conjunto, de modo holístico, con capacidad de integrar mosaicos despiezados.
    También desde esta perspectiva una enorme orfandad nos acecha. Se nota mucho la soledad necesaria para el silencio de los corderos. En cierto modo es difícil no pensar en un diseñador.
    Pero hasta para quejarse hay que estar entrenado y una revista seria siempre es una llama de esperanza.

    Ánimo y adelante.

  • Al menos en algunos campos, creo que el índice de impacto de 2 años es mucho menos conveniente que el de 5 años. Si a menudo el proceso de revisiones para que un artículo salga es de más de un año y no es demasiado raro que dure un año y medio... Eso quiere decir que los artículos que uno cita de los dos últimos años frecuentemente no son más que la típica referencia en la introducción del estilo de "X ha demostrado recientemente que..." y que se ponen para que el revisor vea que está uno al tanto de las novedades. Sin embargo, las referencias que tienen verdadera relevancia para un artículo (es decir, aquellas que uno tenía en mente al iniciar el trabajo) suelen ser anteriores. Al menos, insisto, en ciertos campos.

  • Ismael. Obviamente las ideas de cada uno sobre cuáles son las mejores revistas no siempre coinciden con los rankings de impacto y similares. De hecho estos rankings se crearon sobre todo para ordenar la discusión con gente de fuera de la profesión que puede no saber cuál es mejor y quizá no se fíe de nuestras indicaciones posiblemente interesadas. A mi me da la sensación de que el ranking de eigenfactors es el mejor correlacionado con nuestras impresiones subjetivas, probablemente derivadas en parte de los rankings clásicos que cito en la entrada, y que usan la metodología recursiva del eigenfactor.

  • Hola a todos:

    Gracias Jesús por tus respuestas, me imagino que en el mundo académico hay que ser un "tipo duro" para aceptar las fuertes críticas que comentas por parte de los evaluadores y tomar lo positivo de ellas, y con el tiempo se ve como algo normal (me imagino para alguien que esta empezando a publicar, que una critica fuerte puede ser muy desalentadora, aunque si tiene razon en verdad es positiva para su carrera académica).

    Me pregunto al hilo de tus comentarios si estableceis los académicos, aunque no como una regla sino como una costumbre, un porcentaje de rechazo según para la revista en la que estes evaluando, y si uno se puede abstraer de la universidad o académico que envia el articulo, e incluso las preferencias investigadoras (supongo que si).
    Y en el caso de estar investigando sobre un mismo tema y el articulo a evaluar contradice el trabajo en curso propio, se "acepta la derrota" facilmente o aumenta las probabilidades del rechazo del artículo (espero que lo primero ;)).

    La semana pasada por casualidad encontré el ranking de eingfactor del que ha hablado Antonio Cabrales a lo largo del post, y me sorprendío que no apareciera SERIES en él, no se si sera por falta de antiguedad o algun otro motivo que pudierais explicar:

    http://www.eigenfactor.org/results.php?pageNum_query=0&fulljournalname1=&year=2006&ordering=perarticle&finecat=%&resultsperpage=100&issnnumber=&grping=%&rosvcat=ECONOMICS&nam=names&pub=%

    Yo a lo largo de la carrera suiempre tuve mucha curiosidad por las revistas economicas, las publicaciones de mis profesores, etc (aunque debí leer mas revistas y menos indices de las mismas), y me sorprende que no aparezca SERIES y si revistas como la revista checa de economia y finanzas o ekonomicky casopis en eigenfactor.

  • Primero me uno a las felicitaciones por la clasificación conseguida.

    En cuanto a la polémica sobre el valor/dificultad del sistema de publicaciones académicas, yo estoy en el camino medio. El método actual podría definirse como "el menos malo de los sistemas", es decir, funciona pero con limitaciones. Me ha tocado sufrirlo/disfrutarlo en las dos trincheras (como escritor y como revisor), y aunque reconozco su valor se basa mucho en la buena fe de los participantes (y la voluntad de los revisores de dedicar sábados a su labor, sábados que son días mayormente perdidos desde el punto de vista práctico). Un editor de journal aún tiene un incentivo, puesto que ser editor cuenta en un CV, pero para los revisores de tropa hay pocas ventajas. Puedes conseguir satisfacción personal de contribuir, o experiencia de estar en el lado del revisor (que ayuda para cuando tu estás en el otro lado, pero tras unas cuantas veces ya no hay mucho más que aprender), o pertenecer a una red académica (yo te ayudo siendo revisor para ti, y ya me ayudarás cuando yo tenga que asignar revisiones). Pero no mucho más.

    El resultado neto es que hay bastante ruido en las revisiones. En mi sector (no es economía, sobre eso no conozco) es habitual reintentar rechazos, cuando se consideran injustificados, en otras revistas/conferencias, y comparando esas revisiones se puede comprobar que hay muchas arbitrariedades (hay por ahí recopilaciones de rechazos famosos).

    Con algo de humor (espero que no provoque iras) esta es una buena exposición del problema en el área de Computer Science:
    http://vonahn.blogspot.com/2009/02/academic-publications-20.html

    De nuevo, no rechazo el sistema porque no conozco ninguno mejor. Pero habría que buscarlo. Hay ya gente haciéndolo, la búsqueda y evaluación de un "peer review mejorado" es un tema activo de investigación.

  • Mitmac

    No, no hay un porcentaje predeterminado: depende un poco de cuantos papers te llegan como porcentaje de los que puedes publicar por motivos de espacio fisico en el volumen. Para el International Economic Review, suelo aceptar entre el 5-10% de los que me llegan (que viene a ser unos 5-8 de cerca de 100 que llevo al año). En otras revistas, como AER el porcentaje de aceptaciones es menor (2-3%) y en otras mayor (JEDC creo que andaban como 25%). En general el problema es que hay muchos papers que estan bien pero no son muy "exciting" y te los tienes que tumbar sin poder explicar en detalle que quiere decir no ser "exciting" porque es una de esas cosas que resulta muy complejo verbalizar.

    De donde viene la persona no deberia importar pero nadie es perfecto y algo te afecta. Si te llega un paper de Bob Lucas lo miras distinto que si es de Pedro Perez por mucho esfuerzo que hagas. La clave, creo, es ser consciente de los sesgos e intentar minimizarlos segun uno pueda.

    Y si te llega algo que se mete contigo? Depende un poco. A fin de cuentas que se metan contigo es mejor que te ignoren asi que en realidad creo que el sesgo es mas al reves: a pretender que hay polemica cuanda muchas veces no la hay.

    Pero como todo en la vida, hay gente para todo. Me decia antes otro comentarista que habia malos referees. Cientos!!!!! A mi cantidad de veces me llegan referees de papers para los que soy editor y me dan ganas de "rechazar" el referee. Pero hay esta la labor del editor, saber que de quien se tiene uno que fiar y de quien no.

    No pretendo decir con todo esto que sea un sistema perfecto, sino uno que funciona "razonablemente" bien.

  • Más transparencia. Como ya se ha dicho aquí, habrá que esperar más a ver si esto del immediacy index es algo significativo. Pero ya que lo pides, las revistas britanicas están a años luz de las que se publican en Europa continental. El Economic Journal de la Royal Society tiene un impacto de 2.271 y un immediacy de 0.282. La Review of Economic Studies, que nació, por cierto, en 1933 porque el Economic Journal estaba algo anticuado y no publicaba a los jóvenes leones, es una de las mejores en economía con un impacto de 3.113 y un immediacy de 0.660. En Europa continental las mejores son el Scandinavian Journal of Economics, con un impacto de 0.919 y un immediacy de 0.083, o el German Economic Review con un impacto de 0.820 y un immediacy de 0.074. Si soy honesto una situación estable como la del Scandinavian Journal of Economics es un objetivo suficiente. Antes de ser el Barça, hay que pasar por el Atleti. Luego seguimos soñando.

  • Fulano. Los índices están todos muy correlacionados. En realidad son una ayuda para usar con cuidado, y para enseñar al rector cuando queremos contratar a un tipo que nosotros decimos que es muy bueno, pero que si el rector resulta ser ingeniero tenemos que demostrárselo de alguna manera. Si dices que ha publicado en las revistas con mayor factor de impacto o eigenfactor o lo que sea, ya se da más cuenta. Alguna vez me ha tocado estar en comités (con colegas de otras áreas) para juzgar a gentes cuya investigación me cuesta entender y los rankings me ayudan mucho a saber donde está el, nunca mejor dicho, fulano.

  • Para pvn (y algún otro que lo menciona). Es posible que muchos hagáis de revisores por "amor al arte". Pero Nada es Gratis. Primero, hoy somos revisores y mañana editores que vamos a necesitar ayuda de los editores de antaño. Si hoy me porto mal, mañana no me ayudarán. Y hoy somos editores que sufrimos un trabajo malo de alguien, y mañana nos piden una carta de referencia para una promoción o un contrato en otro lugar. Y un revisor un día es un autor cuyo trabajo tengo que juzgar como editor o revisor. Vamos, que las posibilidades de interacción repetida son múltiples, y esto disciplina a los malos revisores. De hecho, como editor mi experiencia es que la inmensa mayoría de los revisores hace su trabajo en tiempo y forma, de manera bastante concienzuda (aunque la calidad, como en todo, no es siempre igual ni desde luego perfecta). Y por más que me guste pensar en el comportamiento altruista del ser humano, me temo que la interacción repetida y multiplicada es un potente incentivo al buen comportamiento.

  • Gracias Antonio, por tu detallada respuesta, que valoro especialmente por ser hoy tu cumpleaños (¡Felicidades!)

    Unas dudas: ¿Qué inmediacy tiene SERIEs? ¿Estamos muy lejos del Scandinavian...?
    ¿Estamos por detrás de la German... ? ¿Los economistas españoles no suelen ser mejores que los alemanes?

    Que la mejora de SERIEs continúe

  • Manu. Gracias por la felicitación. Intentamos cuidar la areté. Por otro lado, el conocimiento de la historia y los clásicos me parece importante para entender el mundo, sin duda alguna. Por esto, entre otras muchas cosas, me admira tanto Jesús, que los conoce en gran profundidad.

  • Mitmac. El cálculo del eigenfactor requiere de varios años de citas. Si vas a su página de "methods" verás:
    http://www.eigenfactor.org/methods.htm
    "To compute the 2006 Eigenfactor scores, we proceed as follows. From the Thompson Scientific JCR dataset, we extract a cross-citation matrix, for the 7,611 ISI-linked science and social science journals, where = number of citations from 2006 articles in journal to articles in journal published in 2001-2005."
    De manera que tendremos que esperar.

  • Más transparencia. El immediacy index de SERIEs es 0.294. Mejor que la mayoría de esas revistas que cito. Pero a pesar de la alegría, vuelvo a mi habitual prudencia, esto no sirve más que de alegría provisional hasta que en un par de años tengamos índices de impacto, por ejemplo. Si te interesan los rankings de personas e instituciones, hay una página que permite jugar con muchos tipos de rankings. Yo no perdería mucho el tiempo con esto, pero sirve también para hacerse un poco el mapa mental del continente:
    http://ideas.repec.org/top/

  • Gracias de nuevo, Antonio

    Bueno, con esos números de inmediacy, SERIEs parece de la Champions !! Por cierto, ¿están disponibles esos números en alguna página web? No la localizo

    La página que comentas tiene mucha información. Supongo que los más índices más fiables son los recursivos, ¿no?

    Pongo los vínculos por si hay más gente interesada

    Revistas http://ideas.repec.org/top/top.journals.rdiscount.html
    Países http://ideas.repec.org/top/top.country.awdsccites.html
    Autores http://ideas.repec.org/top/top.person.awdsccites.html

    Sólo para España, no he encontrado índices recursivos, pero estos rankings podrían ser una aproximación

    Autores http://ideas.repec.org/top/top.spain.html#authors
    Instituciones http://ideas.repec.org/top/top.spain.html

  • Cito a JFV

    “De donde viene la persona no deberia importar pero nadie es perfecto y algo te afecta. Si te llega un paper de Bob Lucas lo miras distinto que si es de Pedro Perez por mucho esfuerzo que hagas”

    Pues yo creía que el evaluador no conocía al evaluado. De hecho, en casi todas las revistas te piden que pongas tu nombre y filiación en hoja aparte para garantizar el anonimato.

    @Antonio,

    Creo que otra razón para evaluar de gorra, a parte de que se supone te gusta lo que haces, es para estar al día en tu especialidad, dado que, como alguien ha comentado, los artículos se publican con mas de un año de retraso desde que se reciben en la revista.

    Saludos.

  • @No economista/ Carlos

    Hago una declaracion por cerrar el tema de Economia-Ciencia y explicar mi postura, muchas veces aqui expuesta pero quizas con demasiada ironia.

    Considerar Economia como Ciencia, desde el punto de vista estrictamente academico no me supone ningun problema, el lenguaje, la lengua es un convencionalismo.. y no soy yo propietario de ningun termino, si es aceptado por todos, porque no yo?
    Pero, pero... Economia es mucho mas, porque afecta a la vida de personas... Que el buen hombre de Newton formulo la caida de manzanas (simil cientifico donde lo haya), con una aceleracion de g es poco relevante, pues con el o sin el las manzanas caeran con aceleracion g, el mundo seguira dando vueltas y punto (me gusta esto del punto).
    Pero que en Economia un senyor formule un pensamiento es muy relevante pues detras de todo ordenamiento economico existe, es necesario un ordenamiento del pensamiento y de las estructuras sociales y politicas.
    (off topic, tengan en cuenta que cuando alguien dice que es apolitico, quiere decir que es politicamente independiente, o que es un perezoso social)

    Asi que si nos da por dotar de calidad cientifica al contexto humano desvirtuamos el razonamiento y la forma de aceptacion social, pues no significa que sea requerida una menor rigurosidad de pensamiento en las ciencias sociales... "solo" que su impacto de mucha mayor relevancia lo trasciende a otro plano.

    En otras palabras, es demasiado importante para dejarla en manos de un grupo exclusivo, debe ser dominio de todos cada uno en su grado dentro de un contrato social...

    Y con ello entro en un tema de critica, constructiva, sobre esta web... no por nada, ya lo tenia en mente hace semanas. Creo que sufris de endogamia, ni un solo de los editores esta fuera del ambito academico, y no seria mal incluir varios de otras areas de la vida social (siempre dentro de la discusion economica, off course)... consejo solo, que para mi no tengo... 😉

  • Felicidades Series y Antonio. Yo cada vez me creo mas lo de medir la ciencia, y cada vez me parece mas complicado. El factor de impacto es la referencia en muchos sitios y eso importa. Pero como ne apunto un colega mio, el ranking de JCR 2010 basado en JCR es algo rato raro... Salen un par de revistas que forman parte de un cluster de publicaciones de una universidad de Lituania, que se echan piropos unas a otras a base de citaciones. No digo q no sean excelentes revistas, pero al menos sorprende la cantidad de citaciones que se hacen entre ellas. En fin, creo q el futuro de medir la ciència no està en la formula matemática q usemos para medir el impacto sino en como pre-procesar la información de las citas para compensar este tipo de comportamientos extraños. Desde mi móvil

  • Mas transparencia. Los índices de impacto y demás medidas del Journal of Citation Reports requieren una suscripción. La FECyT ha pagado un acceso para todas las universidades españolas, así que para quienes estén en una universidad es fácil el acceso electrónico. Pero los rankings de REPEc son bastante parecidos

  • Mas transparencia decía que el puesto 89 de 304 revistas no parece "excelente" sino más bien mediocre.

    Para valorarlo correctamente, creo que es conveniente saber de donde venía Spanish Economic Review (que era la mejor de las revistas españolas de economía) :

    - JCR 2008: Impact Factor 0.250, posición 189 de 209 revistas.
    - JCR 2009: Impact Factor 0.667, posición 139 de 247 revistas.
    - JCR 2010: Impact Factor 1.143, posición 89 de 304 revistas.

    Creo que con esto se explica que consideremos el resultado del último JCR como "excelente".

    🙂

  • KEyNES. Las revistas de economía en general identifican al evaluado. Hoy día como todo el mundo tiene sus artículos en la web es muy fácil encontrarlos si se quiere. Incluso la American Economic Review que hasta hace poco era "double blind" desde este mes ha dejado de serlo por esta razón y para disminuir costes administrativos. Y tienes razón hacemos evaluaciones en parte para estar al día, pero esto podríamos hacerlo sin que nos "obligasen" de todas formas y podríamos escoger lo que evaluamos.

  • Hola a todos,
    Respecto a lo que comenta Coralio, un caso muy famoso fue el de Mohamed El Naschie y la revista que editaba "Chaos, Solitons and Fractals", editada por Elsevier y llena de contenidos que "ni siquiera eran erróneos (not even wrong.)"
    Gracias a las autocitas de él y sus acólitos, colocó a esta revista a la cabeza del Ranking de Impacto en el área de matemáticas, lo que finalmente, terminó por condenarlo.
    http://rationalwiki.org/wiki/Mohamed_El_Naschie

  • Gracias Alfonso por la evidencia cuantitativa que aportas. Estoy totalmente de acuerdo en que el progreso en los últimos años ha sido excelente, pero estarás con migo en que ni siquiera alcanzar el primer cuartil de la distribución no parece un steady-state deseable

    La situación es todavía menos favorable si miramos REPEc: el puesto en el ranking es el 205. Es verdad que SERIEs aparece mezclada con SER e Investgaciones Económicas y que, en esta última, una buena parte de los artículos estaban escritos en español

    Creo que es un tema sobre el que habría que reflexionar. Seguramente la valoración que las universidades hacen de la investigación esté muy relacionado con estos resultados

  • Parafraesando el título del post la ciencia no solo se puede medir, también dibujar 🙂
    La cienciometría está avanzando mucho con el análisis de redes.
    La relevancia de un científico o de un artículo tambien deriva de su capacidad para establecer puentes entre campos distintos.
    Os adjunto un paper que analiza los trabajos realizados en el ámbito del entrepreneurship.
    http://www.fep.up.pt/investigacao/workingpapers/11.06.02_wp416.pdf

  • Outlander,

    El día que necesites un trasplante de corazón, volar a otra ciudad, o construir una casa, a quien vas a contratar? A un cirujano, a un piloto profesional y a un arquitecto? O a un bloguero que haga comentarios simpáticos?

    La economía no está en manos de ningun grupo exclusivo, las universidades estan abiertas para quien quiera aprender.

Los comentarios están cerrados.