de Nicolás Robinson-García y Richard Woolley
Siempre que se habla de financiación y evaluación de la actividad científica, el Reino Unido aparece como el lugar donde mirar y analizar qué funciona y qué no. Lo que sucede en las islas británicas suele ser visto con expectación por la comunidad que trabaja en evaluación de la ciencia, por la gran cantidad de recursos que se destinan a dicha evaluación, cuyos resultados determinan buena parte de la financiación total que las universidades van a recibir. Este complejo sistema de evaluación, que tiene lugar cada siete años y distribuye más de un billón y medio de euros entre las universidades británicas, se conoce por sus siglas en inglés REF (Research Excellence Framework). Visto desde fuera, lo que más interés suscita es el intenso debate que se genera entre investigadores y gestores de investigación cada vez que se comienza con el diseño del siguiente ejercicio de evaluación. Cualquiera que esté interesado en el tema no tiene más que seguir la gran cantidad de entradas que el Impact Blog del London School of Economics publica sobre el tema.
En estos meses, se está diseñando el próximo ejercicio que tendrá lugar en 2021 y son muchas y notables las reflexiones y análisis que se están realizando sobre el anterior ejercicio que tuvo lugar en 2014. Con el objetivo de hacer extensible ese debate a la comunidad española, queremos aprovechar la generosidad de los editores de NEG para describir cómo funciona el sistema de evaluación nacional en el Reino Unido y compartir nuestra perspectiva sobre las implicaciones que los resultados del REF2014 tienen sobre el modo en que actualmente se evalúa la investigación.
Sin ánimo de entrar en excesivos detalles, el proceso de evaluación en el Reino Unido se puede resumir del siguiente modo. Las universidades deben de enviar casos de estudio o unidades de evaluación a los distintos paneles de expertos encargados de asesorar la calidad de los mismos. Dichas unidades deben incluir un número cuatro o cinco publicaciones. Esto significa que 1) no se evalúa la totalidad de la actividad investigadora de la universidad y 2) las universidades deben llevar a cabo una preselección de candidatos a presentar. Ahora bien, la gran novedad del REF2014 radica en:
- La inclusión junto con la selección de publicaciones, de casos de estudio en los que cada unidad de evaluación presentaba la relevancia social que tenía su investigación (no necesariamente ligada con las publicaciones que se presentaban).
- La no utilización oficial de los revisores de indicadores cuantitativos para medir la relevancia social, tal y como determinó un comité de expertos externo. Esto no significa que las universidades no pudieran emplearlos para defender sus propuestas.
- La inclusión en los paneles de revisores de individuos ajenos a la academia, cuestión que a pesar de haberse considerado positiva, ha sido criticada recientemente en Nature por su implementación.
Hablar del impacto social de la ciencia son palabras mayores dentro del mundo de la evaluación de la actividad científica. Tan sólo discernir qué significa tener impacto social (¿salir en los periódicos, descubrir la cura de enfermedades, favorecer el tejido económico?) es motivo de arduos debates. Es precisamente por ello por lo que se tiende a asumir que excelencia científica e impacto social van de la mano. Algo que desde hace tiempo se empieza a cuestionar (ver por ejemplo aquí) y que los resultados del REF2014 también reflejan.
Sin entrar en si la metodología empleada es mejorable o no, recientemente analizamos el porcentaje de casos de estudio de cada unidad de evaluación enviada por las universidades que habían recibido la mayor puntuación en cada categoría (cuatro estrellas). Todos los datos están disponibles aquí. Nuestro objetivo no era comprobar el desajuste entre impacto social y científico, sino reforzar la idea de que hay una gran diversidad de impactos heterogéneos entre sí que pueden o no estar relacionados. En la figura anterior mostramos, a la izquierda, la correlación para cada unidad de evaluación entre impacto social y científica. En el lado derecho, mostramos para cada panel, la relación entre impacto científico (Outputs en el eje de la y) e impacto social (Impact en el eje de la x). Como se puede observar, existe una gran diversidad de combinaciones de impactos. Mayor impacto científico no siempre viene acompañado de mayor impacto social y viceversa. Esta heterogeneidad pone en cuestión los modelos de evaluación que se emplean tradicionalmente para financiar la investigación, puesto que tienden a fomentar y privilegiar la investigación que produce altos niveles de impacto en las dos dimensiones (científica y social), reduciendo así la diversidad de resultados existente y por tanto el abanico de impactos sociales posibles.
Establecer comparativas entre el Reino Unido y España en este contexto es complicado, puesto que aquí nunca se abogó por una financiación y una evaluación institucional, sino por una evaluación a nivel individual, excesivamente burocrática e intrusiva. Sin embargo, la introducción de programas como el Severo Ochoa o María Maeztu, apuntan en cierto modo hacia la introducción de medidas evaluadoras para distribuir financiación a nivel institucional, con criterios que pueden poner en peligro la diversidad de impactos. El uso indiscriminado de indicadores cuantitativos es cada vez más cuestionado. Sin embargo, una evaluación concienzuda y responsable exige una gran inversión acorde con la financiación que se pretende otorgar y que aquí nadie parece dispuesto a asumir. Las innovaciones en materia de evaluación y las discusiones que están teniendo lugar en otros países como el Reino Unido, Noruega o Países Bajos debieran servirnos para dejar de hablar de criterios y empezar a plantearnos las consecuencias que tiene la introducción de sistemas de financiación de la investigación que ignoran la heterogeneidad de impactos que puede producir la actividad investigadora.