La tiranía de la ANECA

Por Francisco Martínez-Sánchez (@paco_fms)

Fuente: https://www.istockphoto.com/es/vector/hombre-de-negocios-y-shadow-como-concepto-de-dictador-de-puppet-control-gm1282590546-380276769

La Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) es el órgano encargado de evaluar, certificar y acreditar el sistema universitario en España. Una de sus funciones es evaluar al profesorado universitario. De modo que quien quiera desarrollar su carrera académica en España, deberá conseguir las acreditaciones a las figuras existentes que concede la ANECA. Las figuras, ordenadas de menor a mayor categoría, son: Ayudante Doctor, Contratado/a Doctor/a, Universidad Privada, Titular de Universidad y Catedrático de Universidad. Cada figura requiere criterios distintos.

En esta entrada valoro algunos criterios de la ANECA para la acreditación a las distintas figuras en el campo de la economía. En concreto, valoro el criterio que establece que artículos son de nivel 1 o 2, la ponderación por el número de autores y los requisitos mínimos de docencia. El objetivo es hacer notar lo que, en mi modesta y argumentada opinión, considero un error que perjudica a la calidad del sistema universitario y genera incentivos perversos en algunos casos.

Heckman y Moktan (2020)

Como habrán apreciado algunos lectores, el título de esta entrada está inspirado en el artículo de James J. Heckman y Sidharth Moktan publicado en el Journal of Economic Literature y que tiene por título: Publishing and Promotion in Economics: The Tyranny of the Top Five. El abstract dice (la traducción es principalmente de Google):

"Este artículo examina la relación entre la ubicación de las publicaciones en las cinco revistas principales (T5) y la permanencia en los departamentos académicos de economía. Al analizar las historias de trabajo de los economistas contratados por los 35 principales departamentos de economía de EE. UU., encontramos que las publicaciones T5 tienen una poderosa influencia en las decisiones de tenure y las tasas de transición a tenure. Una encuesta de las percepciones de los jóvenes economistas apoya el análisis estadístico formal. La búsqueda de publicaciones T5 se ha convertido en la obsesión de la próxima generación de economistas. Sin embargo, el filtro T5 está lejos de ser fiable. Una parte sustancial de las publicaciones influyentes aparecen en medios que no pertenecen a T5. La confianza en el T5 para evaluar el talento incentiva el arribismo sobre la creatividad."

Según Heckman y Moktan, los indicadores del desempeño agregado de una revista, como el factor de impacto, no evalúan la creatividad o el valor de ningún artículo individual, sino que solo evalúan la escala de suscriptores de la publicación en la que aparece un artículo y la compañía que mantiene. Usando las clasificaciones de autores de campos específicos de RePEc para compilar una lista de los 50 autores más influyentes dentro de 14 campos de especialización, los autores encuentran que los mejores autores en cada campo publican el mayor volumen de sus publicaciones específicas de su campo en American Economic Review o en revistas específicas de su campo que no son T5. Obtienen también que la importancia de las revistas de campo que no son T5 se vuelve aún más pronunciada cuando clasifican las revistas por porcentaje de publicación que se ha ajustado por las diferencias entre revistas en el volumen de publicación.

Una de las conclusiones de Heckman y Moktan es que “los comités de tenure abdican de sus responsabilidades si dependen demasiado de las publicaciones T5 para tomar sus decisiones. Delegan efectivamente la tarea de evaluar candidatos a los editores de las T5. Esto conduce a una concentración de poder potencialmente peligrosa en manos de unos pocos editores y deja a la disciplina vulnerable a posibles sesgos y corrupción dentro de los sistemas editoriales de las T5.”

Artículos nivel 1 o 2

Dependiendo de la figura a la que un profesor se vaya a acreditar por la ANECA, el candidato deberá tener un mínimo de publicaciones de nivel 1, nivel 2 o en el primer decil de Journal Citation Report (JCR). Las publicaciones de nivel 1 son aquellas publicadas en revistas situadas en el primer o segundo cuartil de JCR, y las de nivel 2 las publicadas en el tercer o cuarto cuartil de JCR o en el primer cuartil de Scimago Journal Rank (SJR).

Los criterios de la ANECA llevan a que no se consideren de nivel 1 publicaciones en revistas donde publican los economistas más influyentes de cada campo. Por ejemplo, la revista Journal of Industrial Economics es la segunda principal revista en la que publican los principales economistas en el campo de la Economía Industrial, según Heckman y Moktan (2020), pero no es una revista nivel 1 según la ANECA, como podemos ver en la Tabla 1, que contiene el cuartil y posición de las principales revistas en economía industrial y microeconomía según su índice de impacto (IP) y el indicador article influence (AI).

Otro ejemplo es que la ANECA tampoco considera de nivel 1 las publicaciones en Journal of Economic Theory (JET), aunque es la segunda revista donde publican los mejores microeconomistas. Este último ejemplo es llamativo porque el premio fronteras del conocimiento 2021 Matthew Jackson “por su obra pionera que ha arrojado nueva luz sobre el papel de las redes en la vida económica y social”, publicó dicha obra en JET.[i] De modo que en España, esa contribución no sería nivel 1  si se hubiera publicado en los últimos años, aunque JET sigue siendo casi igual de influyente como en 1996. Dado que el IP es un indicador defectuoso de la calidad de una revista, muchos académicos recomiendan utilizar el indicador AI. Como podemos ver en la Tabla 1, muchas revista no son nivel 1 según IP, aunque sí son nivel 1 según AI.

Número de autores

La ANECA pondera por el número de autores cuando dicho número es mayor que 4. Creo que se debería hacer al revés porque no es lo mismo pasar de hacer un artículo solo a coautorizarlo con alguien más (cada uno hace el 50%) que pasar de cuatro autores (cada uno hace el 25%) a 5 (cada uno hace el 20%).

La coautoría tiene sus beneficios y sus costes (ver Jones (2021)). Según Jones (2021), la coautoría divide y oscurece el crédito entre los participantes, lo que puede socavar la progresión profesional individual. Además, los investigadores fraudulentos tienden a trabajar con equipos grandes (Foo y Tan (2014), Horton et al. (2020)). Por lo tanto, la ANECA debería repensar la ponderación por el número de autores para evaluar la capacidad de un candidato.

Requisitos mínimos docentes

La ANECA debería mejorar los criterios de evaluación de la labor docente porque, al final, termina contando horas docentes sin tener en cuenta la materia impartida, aunque tenga en cuenta de algún modo las imperfectas encuestas docentes. Por ejemplo, para la ANECA es suficiente con que el candidato supere el mínimo de 1300 horas impartidas, con  al menos 150 horas de docencia en posgrados oficiales, independientemente de la calidad de las clases. Estos requisitos mínimos incentivan la implantación de másteres de bajo nivel para asegurar un mínimo de alumnos con el objetivo de que los profesores de una facultad se puedan acreditar.

Comentarios finales

Los académicos deben intentar desarrollar investigaciones de calidad e intentar publicar sus resultados en las mejores revistas, que son aquellas en donde publican los académicos más influyentes. Esto hará que los resultados de una investigación lleguen a los académicos más interesados en esa investigación. De lo contrario se publicaran en revistas de dudoso prestigio, que no leen quienes deben leerlas, aunque tengan un alto índice de impacto (aquí, aquí). Al exigir menos esas revistas para publicar los resultados, los académicos se esforzaran menos, centrándose más en la cantidad (aquí) y no en calidad. Hasta el punto de caer en comportamientos delictivos (aquí). Los criterios de la ANECA dificultan el desarrollo de la carrera investigadora al no hacerla equiparable a los países líderes en investigación. Además, al no revisar las acreditaciones con carácter retroactivo, la ANECA fomenta comportamientos al menos cuestionables. De este modo España perderá más peso internacional en investigación, aunque el número de publicaciones sea alto, dado que su contribución al avance científico será escasa.

Puesto que la empresa Clarivate decide qué revistas forman parte de JCR, entre otras cosas, lo que influye en el ranking JCR, la ANECA está delegando su responsabilidad en esta empresa. Por tanto, la tarea de evaluación de candidatos se concentra en sus directivos, cuyo objetivo puede no estar alienado con lo deseable en la sociedad.

(*) Agradezco los comentarios y sugerencias de Juan Luis Jiménez y Alfonso Rosa García a una versión preliminar de esta entrada. Cualquier error es únicamente mío.

(**) Notar que este premio está altamente correlacionado con el premio nobel de economía.