de Nicolás Robinson-García y Richard Woolley
Siempre que se habla de financiación y evaluación de la actividad científica, el Reino Unido aparece como el lugar donde mirar y analizar qué funciona y qué no. Lo que sucede en las islas británicas suele ser visto con expectación por la comunidad que trabaja en evaluación de la ciencia, por la gran cantidad de recursos que se destinan a dicha evaluación, cuyos resultados determinan buena parte de la financiación total que las universidades van a recibir. Este complejo sistema de evaluación, que tiene lugar cada siete años y distribuye más de un billón y medio de euros entre las universidades británicas, se conoce por sus siglas en inglés REF (Research Excellence Framework). Visto desde fuera, lo que más interés suscita es el intenso debate que se genera entre investigadores y gestores de investigación cada vez que se comienza con el diseño del siguiente ejercicio de evaluación. Cualquiera que esté interesado en el tema no tiene más que seguir la gran cantidad de entradas que el Impact Blog del London School of Economics publica sobre el tema.
En estos meses, se está diseñando el próximo ejercicio que tendrá lugar en 2021 y son muchas y notables las reflexiones y análisis que se están realizando sobre el anterior ejercicio que tuvo lugar en 2014. Con el objetivo de hacer extensible ese debate a la comunidad española, queremos aprovechar la generosidad de los editores de NEG para describir cómo funciona el sistema de evaluación nacional en el Reino Unido y compartir nuestra perspectiva sobre las implicaciones que los resultados del REF2014 tienen sobre el modo en que actualmente se evalúa la investigación.
Sin ánimo de entrar en excesivos detalles, el proceso de evaluación en el Reino Unido se puede resumir del siguiente modo. Las universidades deben de enviar casos de estudio o unidades de evaluación a los distintos paneles de expertos encargados de asesorar la calidad de los mismos. Dichas unidades deben incluir un número cuatro o cinco publicaciones. Esto significa que 1) no se evalúa la totalidad de la actividad investigadora de la universidad y 2) las universidades deben llevar a cabo una preselección de candidatos a presentar. Ahora bien, la gran novedad del REF2014 radica en:
- La inclusión junto con la selección de publicaciones, de casos de estudio en los que cada unidad de evaluación presentaba la relevancia social que tenía su investigación (no necesariamente ligada con las publicaciones que se presentaban).
- La no utilización oficial de los revisores de indicadores cuantitativos para medir la relevancia social, tal y como determinó un comité de expertos externo. Esto no significa que las universidades no pudieran emplearlos para defender sus propuestas.
- La inclusión en los paneles de revisores de individuos ajenos a la academia, cuestión que a pesar de haberse considerado positiva, ha sido criticada recientemente en Nature por su implementación.
Hablar del impacto social de la ciencia son palabras mayores dentro del mundo de la evaluación de la actividad científica. Tan sólo discernir qué significa tener impacto social (¿salir en los periódicos, descubrir la cura de enfermedades, favorecer el tejido económico?) es motivo de arduos debates. Es precisamente por ello por lo que se tiende a asumir que excelencia científica e impacto social van de la mano. Algo que desde hace tiempo se empieza a cuestionar (ver por ejemplo aquí) y que los resultados del REF2014 también reflejan.
Sin entrar en si la metodología empleada es mejorable o no, recientemente analizamos el porcentaje de casos de estudio de cada unidad de evaluación enviada por las universidades que habían recibido la mayor puntuación en cada categoría (cuatro estrellas). Todos los datos están disponibles aquí. Nuestro objetivo no era comprobar el desajuste entre impacto social y científico, sino reforzar la idea de que hay una gran diversidad de impactos heterogéneos entre sí que pueden o no estar relacionados. En la figura anterior mostramos, a la izquierda, la correlación para cada unidad de evaluación entre impacto social y científica. En el lado derecho, mostramos para cada panel, la relación entre impacto científico (Outputs en el eje de la y) e impacto social (Impact en el eje de la x). Como se puede observar, existe una gran diversidad de combinaciones de impactos. Mayor impacto científico no siempre viene acompañado de mayor impacto social y viceversa. Esta heterogeneidad pone en cuestión los modelos de evaluación que se emplean tradicionalmente para financiar la investigación, puesto que tienden a fomentar y privilegiar la investigación que produce altos niveles de impacto en las dos dimensiones (científica y social), reduciendo así la diversidad de resultados existente y por tanto el abanico de impactos sociales posibles.
Establecer comparativas entre el Reino Unido y España en este contexto es complicado, puesto que aquí nunca se abogó por una financiación y una evaluación institucional, sino por una evaluación a nivel individual, excesivamente burocrática e intrusiva. Sin embargo, la introducción de programas como el Severo Ochoa o María Maeztu, apuntan en cierto modo hacia la introducción de medidas evaluadoras para distribuir financiación a nivel institucional, con criterios que pueden poner en peligro la diversidad de impactos. El uso indiscriminado de indicadores cuantitativos es cada vez más cuestionado. Sin embargo, una evaluación concienzuda y responsable exige una gran inversión acorde con la financiación que se pretende otorgar y que aquí nadie parece dispuesto a asumir. Las innovaciones en materia de evaluación y las discusiones que están teniendo lugar en otros países como el Reino Unido, Noruega o Países Bajos debieran servirnos para dejar de hablar de criterios y empezar a plantearnos las consecuencias que tiene la introducción de sistemas de financiación de la investigación que ignoran la heterogeneidad de impactos que puede producir la actividad investigadora.
Hay 9 comentarios
¿Podéis ofrecer alguna pista sobre las medidas que habéis utilizado para evaluar el impacto social? Si una universidad está formada por investigadores frikis que no salen de sus despachos ni a comprar un bocadillo al bar de la esquina, no se dejan ver en los actos varios de inauguración de pantanos locales, no escriben en prensa local para decir tonterías, no aprueban a estudiantes funcionalmente analfabetos para que puedan exihibir en el mercado de trabajo local un título devaluado, no se dedican a engañar vendiendo como investigación al empresariado local el enésimo refrito de una investigación que tuvo lugar en otra universidad hace veinte años,; pero son capaces de formear unos pocos grandes profesionales que escaparán del entorno local en cuanto tengan oportunidad para a su vez formar magníficos profesionales en otra universidad a 2000 km de distancia, que a su vez serán capaces dentro de diez años de empujar la frontera del conocimiento para que se aproveche de ello toda la humanidad; en esta universidad de frikis “autistas” ¿cuál sería vuestra medida de impacto social?
Hola María,
Gracias por tu comentario. Nosotros no medimos el impacto social ni el científico, sino que hemos recogido los resultados del REF2014 que están publicados en su web (http://www.ref.ac.uk/2014/).
En primer lugar, una aclaración. La formación y la educación es una de las responsabilidades del profesorado, junto con la investigación. Aquí no se evaluaba su calidad como docentes. Esto es algo que de hecho se hace en otro ejercicio de evaluación, el Teaching Excellence Framework o TEF (http://www.hefce.ac.uk/lt/tef/). Cuando hablamos de impacto social es la relevancia que tiene su trabajo en la sociedad como investigadores.
Para medir el impacto social, se le pidió a las universidades que describieran para cada una de las unidades de evaluación, cómo su trabajo repercutía a la sociedad. Para ello, debían redactar y mostrar casos de estudio en los que describían cómo su trabajo había influenciado a la sociedad. Según la rama y el tipo de investigación, como podrás imaginar, las argumentaciones que se daban eran muy distintas. Así por ejemplo en Medicina Clínica hablarían de pacientes mientras en otras ramas hablarían de contratos y beneficios económicos y en otras de cambios en políticas locales. Todos estos casos de estudio están publicados y pueden consultarlos en esta web: http://results.ref.ac.uk/Results/SelectUoa
Saludos
"Para medir el impacto social, se le pidió a las universidades que describieran para cada una de las unidades de evaluación, cómo su trabajo repercutía a la sociedad"
No parece un método muy científico para medir realmente el impacto social de las universidades. Por otra parte, la evidencia que mostráis ¿es algo más que una correlación contemporánea entre el impacto social reportado por las universidades y el impacto científico a partir de artículos publicados, o se me escapa algo? Si es así, eso no dice absolutamente nada sobre el efecto que la calidad científica de las universidades pueda tener sobre las sociedades. Si de verdad queréis identificar ese efecto deberías traspasar con mucho el simple cálculo de una correlación, pues ya se sabe que insinuar causalidad a partir de correlación puede conducir a resultados absolutamente divertidos: http://dailym.ai/1P6XulJ
Efectivamente María, tienes razón en ambas cosas. El cómo mide el REF el impacto social es uno de los aspectos más discutidos en el Reino Unido. En nuestro caso, no entramos a juzgar la metodología que emplearon.
Nuestro punto no ese, sino precisamente lo que apuntas con respecto a las correlaciones. No sólo no implica causalidad, sino que investigación excelente desde el punto de vista científico puede no tener ninguna relevancia social y viceversa. Aunque, cómo señala más abajo Akira, en general y con sonadas excepciones, suelen estar relacionados.
Esto tiene implicaciones muy interesantes de cara a la financiación, puesto que si todos los esfuerzos económicos se ponen en investigación excelente, pueden peligrar iniciativas de gran relevancia social aunque de menor calado científico. De ahí la necesidad de que los ejercicios de evaluación consideren la heterogeneidad de impactos que genera la actividad investigadora.
“si todos los esfuerzos económicos se ponen en investigación excelente, pueden peligrar iniciativas de gran relevancia social aunque de menor calado científico”
Unos impactos sociales que no se sabe muy bien lo que recogen y de unas correlaciones que tampoco se sabe muy bien lo que tratan de identificar no parecen argumentos de mucho peso para convencer a nadie de ésto.
Excelente post. Resaltar que excelencia científica e impacto social de la investigación no siempre van de la mano abre el camino para concebir distintos tipos de universidades, y por tanto rechazar la homogenización asociada a los rankings tipo Shangai. La heterogeneidad de las universidades, por lo demás, es coherente con lo que sabemos de la heterogeneidad de cualquier modo de organización social: no hay un solo tipo de empresa, o de país, o de equipo de fútbol.
Me gustaría además felicitar a los editores de Nada es Gratis por su apuesta por la pluralidad al incluir esta perspectiva. Esta visión es muy distinta de la “opción homogeneizadora ranking-based” de la última entrada en el blog sobre estos asuntos (
https://nadaesgratis.es/admin/cuento-de-navidad) que, en mi opinión, no incluía un análisis basado en la evidencia como el de este post.
Daría,
Gracias por tu elogioso comentario sobre esta entrada. En lugar de a los editores, a quién le tienes que agradecer su publicación es a Javier Ferri, autor de "Cuento de Navidad" que nos llamó la atención sobre este trabajo y formas alternativas de medir la excelencia universitaria y la relevancia social de las universidades. Creo que la visión de Javier sobre esto no es "homogeneizadora ranking-based", sino que se basa en el principio (con el que supongo que estarás de acuerdo) según el cual la investigación no puede tener relevancia social si no es excelente, de la misma manera que no puede ser excelente si no tiene relevancia social.
Saludos,
JFJ
Por supuesto, extiendo mi agradecimiento a Javier Ferri, al que además felicito por esta prueba de "apertura de mente". Pero discrepo totalmente de tu interpretación del post y, sobre todo, de los comentarios de Javier Ferri. En mi opinión, es un caso "de libro" de visión homogeneizadora. Saludos y gracias de nuevo por la entrada.
Estupenda entrada. Espero que se vea en España y meditemos sobre la financiación de nuestras universidades.
Cuantificar aspectos como el impacto social o el científico siempre va a generar problemas dada la naturaleza de estos conceptos. Incluso aunque se midieran con precisión, sería esperable que un elevado impacto científico no implicase necesariamente un elevado impacto social y viceversa. Pero lo que se ve es que, en media sí parece haber una relación positiva entre ambos impactos. De hecho con los datos que proporcionais y el panel C (donde está el área que más me interesa), la relación entre ambas variables es muy significativa.
Los comentarios están cerrados.