España suspende en investigación por causa de la política científica

admin 6 comentarios

Alonso Rodriguez Navarro

Recientemente, el Gobierno de España ha iniciado los trámites para la aprobación del proyecto para una nueva Ley de la Ciencia (PLC-2021). Incomprensiblemente, el PLC-2021 ignora la situación de la investigación en España y desperdicia la oportunidad de corregirla.

La base del PLC-2021 es que el “nivel científico no se ve reflejado en la misma medida en la innovación basada en conocimiento” porque los resultados de la investigación se transfieren mal. Esto es la transposición a España de la desafortunada y ya rebatida paradoja europea. Esta falsa paradoja supone que, en comparación con EEUU, Europa es excelente generando conocimientos, pero falla en su transferencia al sector productivo. Esa suposición errónea ha desorientado la política científica de países tan avanzados como Alemania o Francia. Pero su transposición a España va a ser mucho más grave, porque Alemania y Francia estuvieron en la cumbre de los avances científicos y son potencias industriales. En ciencia, España siempre ha estado mal y el gobierno se confunde celebrando éxitos inexistentes.

España contribuye poco al avance del conocimiento. El gobierno no aprecia esto porque se apoya en análisis mal hechos, que no tienen en cuenta la estructura de los avances científicos, en el que muy pocas publicaciones tienen un papel crucial. En estas y no en otras es en las que hay que fijarse para analizar la contribución de un país al avance del conocimiento.

En investigación, las universidades reflejan la situación del país. La Tabla 1 muestra la posición de las universidades españolas en comparación con dos países europeos con sistemas de investigación eficientes: Reino Unido y Países Bajos. También se incluyen regiones y universidades para completar la comparación. Las columnas importantes son la del total de trabajos publicados, que refleja el tamaño del sistema, y la del 0,02% más citado, que refleja los avances del conocimiento. Las columnas con los números de publicaciones en el 0.1%, 1% y 10% más citadas del mundo solo reflejan cómo España va quedando relegada al aumentar la exigencia del indicador. La tabla se completa con el número de galardonados con los premios Nobel en Química, Medicina y Fisiología, y Física, por las razones que explico más adelante.

Atendiendo a la cantidad, el número de publicaciones por millón de habitantes en las universidades españolas es más pequeña que en Reino Unido y Países Bajos: 1.470 frente a 2.350 y 3.450, respectivamente; pero si estas ratios se ponen en el contexto de nuestra menor inversión en investigación, el problema parece menor y probablemente subsanable aumentando la inversión. El problema grave aparece en la columna del 0,02% arriba mencionada. Si los datos del 0,02% los referimos al número de habitantes, Reino Unido y países Bajos tienen ratios de 2,9 y 3,0 publicaciones por millón de habitantes y España 0,25: ¡diez veces menos!

Las diferencias también se ven comparando los datos para las universidades en Madrid y Londres, en la columna del 0,02%: dos publicaciones en Madrid es irrelevancia. Igual ocurre cuando se compara la mejor universidad española, la Universidad de Barcelona, muy por encima de la media nacional, con las universidades europeas en Reino Unido o Países Bajos. Y las diferencias son aún mayores con las dos universidades de EEUU.

Los premios Nobel son hechos de muy baja frecuencia que en la Tabla 1 corroboran las conclusiones obtenidas con las publicaciones en el 0,02% más citado.

En resumen, la Tabla 1 nos dice que en cantidad casi aprobamos, pero en el avance del conocimiento tenemos un suspenso clamoroso. Esto es un fracaso profundamente decepcionante, que no lo ven quienes no quieren mirar.

Por ejemplo: un proyecto bien financiado por la Unión Europea tiene muchas menos probabilidades de éxito si se ejecuta en España que si se ejecuta en Países Bajos. Y este es un hecho medible e incontrovertible. El sistema español de I+D presiona a la ineficiencia y resolver esta ineficiencia debería ser el objeto de una ley de la ciencia. Las causas se conocen: una buena parte de la investigación se orienta para superar evaluaciones absurdas.

Como ya se ha descrito, en 1989, el Gobierno de España creó la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI), dotándola de un marco jurídico que le permitía hacer miles de evaluaciones sin entrar en mucho detalle. Esta medida y otras fueron un éxito para incrementar el número de publicaciones científicas, pero no la participación en el avance del conocimiento. Cuando la cantidad dejó de ser una prioridad, alrededor del año 2000, habría que haber pasado al objetivo de mejorar la eficiencia del sistema.

Pero muy al contrario de lo que hubiera sido lógico hacer en aquellos momentos, las evaluaciones de la CNEAI derivaron en evaluaciones antijurídicas totalmente basadas en los factores de impacto de las revistas. Y peor aún, se crearon agencias, como la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), que adoptaron con entusiasmo las evaluaciones con los factores de impacto. Incluso la Agencia Nacional de Evaluación y Prospectiva (ANEP) y el CSIC incorporaron el método en sus evaluaciones. Actualmente, una proporción alta de investigadores españoles han madurado en este sistema y, como consecuencia, lo apoyan y colaboran felizmente con las instituciones que lo usan. Hasta las sociedades científicas y principalmente la COSCE (Confederación de Sociedades Científicas de España) guardan un silencio incomprensible.

Evaluar por los factores de impacto vulnera las bases de la cienciometría. Las evaluaciones bibliométricas parten de un principio básico: la existencia de una correlación positiva entre el número de citas y la relevancia científica de una publicación (más citas, más relevancia). La Figura 1 demuestra que las evaluaciones basadas en los factores de impacto vulneran ese principio cuando la publicación Pa con 3 citas en la revista A con factor de impacto 4,55 se valora mucho más que la publicación Pb con 33 citas en la revista B con factor de impacto 2,75. Se podría defender que, a corto plazo, antes de que se produzcan las citas Pa y Pb, el uso del factor de impacto es razonable. Pero no lo es, porque en la mayor parte de los casos prácticos, las diferencias entre evaluar por los factores de impacto o tirando una moneda al aire son muy pequeñas.

Figura 1. Representación gráfica del error de evaluar por los factores de impacto de las revistas(aproximadamente, la media anual de citas). La figura presenta la distribución de citas en cuatro años, 2014-2017, de 1.000 trabajos publicados en 2012 en las Revistas A y B con factores de impacto muy diferentes 4,55 y 2,75 (en la figura, media ≈ 4 x IF). El artículo Pa se valora más que Pb, pero la realidad es lo contrario, ya que en el periodo 2014-2017 Pb recibió 33 citas y el trabajo Pa recibió 3 citas. Obsérvese que, a pesar de la gran diferencia en el factor de impacto, las dos revistas son casi iguales en los ar3culos con pocas citas: 857 publicaciones en A y 942 en B tienen menos de 33 citas. La datos de la figura corresponden a series sintéticas, los detalles de este tipo de series están descritos.

La presión de las evaluaciones basadas en los factores de impacto y el número de publicaciones (el ejemplo más notable es la ANECA) empujan al investigador a especializarse en publicar trabajos poco citados en revistas con alto factor de impacto, lo que es relativamente fácil en grupos bien establecidos. Hacer esto conlleva menor riesgo de fracaso que investigar en la frontera del conocimiento. En España pocos pueden permitirse ese riesgo y muchos ni se lo plantean. De ahí los malos resultados de España con los trabajos en el 0,02% más citado (Tabla 1).

Tabla 1. Producción científica de las universidades españolas en comparación con las de países científicamente avanzados: Reino Unido, Países Bajos y EEUUa

a Los datos han sido obtenidos del Leiden Ranking 2020 (conteo fraccionario, periodo 2015-2018, research fields: Biomedical and health sciences,Life and earth sciences y Physical sciences and engineering).
b Las columnas: 10% y, 1%, 0,1% y 0,02% recogen los números de publicaciones que están en estos percentiles de las publicaciones mundiales, ordenadas por el número de citas y empezando por la más citada. Los datos de los percentiles 10 y 1 se han tomado directamente del Leiden Ranking. Los valores para los percentiles 0,1 y 0,02 se han obtenido de los datos del Leiden Ranking por procedimientos ya descritos.
c La columna Tesis recoge el número de galardonados que hicieron la tesis en la universidad referida. La columna Trabajos recoge el número de galardonados que hicieron el trabajo o que recibieron el premio en la universidad referida. En este último caso, si las dos universidades coinciden, se cuentan como una. Los datos corresponden a 155 galardonados entre los años 1994 y 2014.

Para completar el panorama, la FECYT, una oficina administrativa, suministra análisis erróneos que acaban en inaceptable propaganda y confusión para el gobierno.

Conclusión. En España hay poca transferencia de conocimientos porque lo que no se genera (Tabla 1) no se puede transferir. El sistema español de I+D cuenta con investigadores competentes, pero las condiciones del sistema conducen a una investigación ineficiente. Este debería ser el punto de partida de la PLC-2021.

Hay 6 comentarios
  • Hubo una primera transición científica en España que consiguió aumentar el número de publicaciones internacionales, pero necesitamos desde hace tiempo una segunda transición que priorice la calidad de las contribuciones sobre la mera cantidad. Ojalá voces como este post se abran camino en la discusión porque el sistema vive en la autocomplacencia.

    Si se me permite una crítica, el uso del número "bruto" de citas como indicador de calidad de una contribución o promedio de una revista (en este último caso, con el IF) es una medida errónea de su impacto. Es mucho mejor usar otros indicadores, como Eigenfactor o Article Influence Score AIS, que ponderan endógenamente las citas según la importancia de los artículos o revistas de donde provengan. La diferencia es importante porque hay revistas que se citan mucho entre sí pero que la frontera de la ciencia no considera relevantes y casi nunca son citadas en las mejores contribuciones y revistas. Mi conjetura es que un análisis que incluyera esas ponderaciones daría resultados aún más desalentadores que los reflejados en el post. El excesivo valor que se le da en España al IF en comparación a otros países ha hecho que la profesión en España se haya centrado en publicar en revistas con IF alto, pero con impacto real promedio medido con, por ejemplo, AIS mucho menor (la exigencia suele ser menor). Como consecuencia, un número relevante de las contribuciones españolas con alto número de citas lo serían con citas de poco impacto real.

    • Gracias por los comentarios. Recientemente, la mayor capacidad de análisis está promoviendo índices tal vez más ajustados. Lo importante es que se validen. Después tiene que haber instituciones que los apliquen.
      Saludos

  • El problema es que ninguno de estos indicadores bibliometricos ( numero de citas, Eigenfactor,.....) miden calidad, lo que miden es popularidad. Incluyendo revisiones literarias, y trabajando en temas de moda, y manteniendo un circulo estable de coautores con citas cruzadas, las citas suben. Tabajando en temas poco populares, o que no están de moda, o que requieren una alta inversión de estudio, las citas bajan. Todavía pero si se usa la media de una revista, tal y como indica la entrada.

    Al final hay que mirar el artículo para evaluarlo; aunque esto incorpora cierta dosis de subjetividad que no puede evitarse. Y hay que mirar su influencia mas allá de las citas: ¿habla la gente del artículo, se discute sobre el mismo? ¿Genera investigaciones posteriores (esto no debe confundirse con citas--que a menudo se deben a una sección de revisión literaria para meter relleno)? Esto es costoso de medir, y mas subjetivo. Pero es impacto real. Lo demás medir cruce de menciones superfluas.

    • Gracias por el comentario. No son mediciones superfluas, están validadas, siempre que se hagan a niveles de agregación relativamente alto: países o instituciones. Otro asunto es en qué se investiga y su importancia social. Esa es la segunda signatura pendiente ¡Y muy importante!
      Saludos

  • En la argumentación se dice y cito literalmente " Hasta las sociedades científicas y principalmente la COSCE (Confederación de Sociedades Científicas de España) guardan un silencio incomprensible.". Esto no es así, y es importante no afirmar tan gratuitamente. Puede verse la Declaración que se presentó en Málaga el año pasado por parte de la Sociedad Científica Informática de España (SCIE) . Adjunto enlace

    https://declaracionmalaga2020.github.io/

  • Lo lamento, no conocía la declaración. No obstante, yo me refiero al uso de los factores de impacto y la demostración matemática del error de su uso. Denunciar ese error y negarse a evaluar aplicándolo es lo que vale. Esa negativa a aplicar fórmulas injustas y erróneas para evaluar es lo que yo echo en falta.
    Saludos

Los comentarios están cerrados.