La imprudencia temeraria del Tribunal Supremo

admin 19 comentarios

Nota del Editor: Antonio Villar ha sido, entre muchos otros cargos relacionados con la evaluación de la investigación, experto en el área de Ciencias Sociales y Humanidades de la Comisión de Seguimiento del Plan Nacional de I+D+i en 2005, coordinador del Programa Consolider-Ingenio 2010 del Ministerio de Educación y Ciencia, y presidente de su comité científico (2005-2007).

de Antonio Villar

La sentencia

Recientemente el Tribunal Supremo se ha pronunciado sobre cómo debe ser evaluada la investigación por parte de los expertos que participan en las comisiones de la Comisión Nacional para la Evaluación de la Actividad Investigadora. Lo ha hecho para responder a una demanda de una profesora que vio denegado uno de los sexenios solicitados y que aducía que la comisión no había leído su trabajo sino que se había basado en elementos indirectos como las revistas en que se publicaba la investigación o las citas recibidas.

La sentencia de la Sección Cuarta de la Sala de lo Contencioso Administrativo del Tribunal Supremo del pasado 12 de Junio, el tribunal determina que: “Las investigaciones, las aportaciones presentadas por los interesados, no pueden dejar de examinarse solo por el hecho de que no se publicaran en las revistas o medios incluidos en los índices o listados identificados […]. Ni tampoco están excluidos por esa sola razón de la máxima valoración permitida […]. Dependerá de su contenido la evaluación que merezcan.”

Es decir, el tribunal está diciendo que la evaluación indirecta no es adecuada y que hay que aplicar la evaluación directa. Se trata, en mi opinión, de una sentencia que no sólo carece de fundamento científico –que es de lo que trata este asunto- sino que hace mucho daño al proceso de evaluación sin que mejore ningún aspecto. En lo que sigue trataré de argumentar esta conclusión.

La evaluación de la investigación

La evaluación de la investigación es un campo en el que existe una larga experiencia nacional e internacional y un amplio consenso entre los expertos sobre la forma de llevarla a cabo, a pesar de que es un tema siempre abierto a la discusión. Este consenso parte de un par de presupuestos obvios. Primero, qué tipo de evaluación es más apropiada depende del contexto en que dicha evaluación se produce. Segundo, distintos campos del saber tienen diferentes culturas que hay que tomar en consideración.

Cuando se valora una tesis doctoral se forma (idealmente) una comisión de expertos en el área objeto de investigación quienes leen críticamente el trabajo y valoran su contenido por lo que aporte como novedad al campo en cuestión (evaluación directa). En último término la calidad de las publicaciones que derivan de esa tesis es lo que da la medida de su aportación a la ciencia y esto es lo que los expertos tratan de anticipar a partir de su conocimiento del campo.

Cuando se trata de evaluar unos pocos candidatos para un puesto de investigador en un departamento o centro de investigación, se suele combinar la valoración de sus curricula con la discusión en vivo de sus proyectos de investigación en sesiones de seminario abiertas a los investigadores. La evaluación de los curricula se realiza habitualmente a partir del conocimiento previo de los trabajos ya publicados por parte de los especialistas más próximos y de la relevancia de las revistas en las que la publicación se ha realizado. Se trata pues, por lo general, de un método mixto que combina la discusión detallada de algún trabajo (evaluación directa) con la valoración de las contribuciones realizadas en función de los medios donde han sido publicadas (evaluación indirecta).

Cuando se trata de valorar centros de investigación o un número elevado de investigadores de campos diversos la única vía razonable es la evaluación indirecta. Por dos motivos muy poderosos. El primero, la posibilidad de realizar las evaluaciones en un tiempo razonable, que eviten dilaciones que afectan a los derechos de los sometidos a evaluación. El segundo y principal, que en estos casos las  comisiones nunca pueden contar con especialistas en todos los campos que son objeto de la investigación que debe ser evaluada. Por ello la evaluación indirecta, con criterios claros y conocidos, es un mecanismo que protege frente a la posible arbitrariedad en el juicio subjetivo de alguien que no es un experto en el campo de trabajo específico del candidato sometido a evaluación.

Desde luego la evaluación indirecta está lejos de ser perfecta y puede dar lugar a subestimar ciertas contribuciones o sobrestimar otras. Sin embargo es el método más fiable y seguro para quienes se examinan porque además puede complementarse con una información muy relevante, como es la del número de citas recibidas.

Tres problemas

En mi opinión esta sentencia del Tribunal Supremo presenta tres serios problemas que hacen que debiera ser reconsiderada: problemas de competencia, de factibilidad y de seguridad jurídica.

El primer problema es el de la competencia. De lo que se manifiesta en la sentencia se deduce que quienes la han elaborado no están familiarizados con los procedimientos convencionales de evaluación de la investigación. Por tanto no debieran entrar a juzgar cómo se debe realizar la evaluación que es un tema competencia de los expertos. Al igual no sería razonable que entraran en la discusión sobre la evaluación de la sustancia de una tesis de física de partículas, pongamos por caso. Los expertos no sólo tienen la responsabilidad de aplicar los procedimientos de evaluación sino también de diseñarlos, porque es una parte inseparable de la propia evaluación.

El segundo problema, quizás el más acuciante pero el de menor relevancia, es del la factibilidad. Cada año se reciben unas 10.000 solicitudes para la evaluación de los sexenios que deber ser resueltas en pocos meses. La lectura de los trabajos requeriría que los expertos dejaran su actividad en las universidades y centros de investigación para dedicarse a esta labor durante meses y unas comisiones compuestas por decenas y decenas de investigadores para poder tener opiniones cualificadas sobre todos los campos de investigación específicos. Lo que simplemente no es factible.

El tercer problema, en mi opinión el más grave, es que esta sentencia genera una enorme inseguridad jurídica al proponer sustituir una valoración indirecta pero objetivada, con criterios públicos y transparentes, por una valoración subjetiva que presumiblemente tendrá que ser hecha por investigadores ajenos al campo. Pensemos que, en el mejor de los casos habrá un solo experto en derecho administrativo en el área de Derecho o solo experto de teoría de juegos en el área de Economía. ¿Qué hacen los otros miembros de la comisión que no son de esas subáreas específicas, realizan también valoraciones subjetivas o fían todo al criterio de un único miembro de la comisión? ¿Cómo se podrá argumentar una reclamación frente a una evaluación subjetiva negativa? Obviamente no podrá ser aduciendo la calidad de las revistas o las citas recibidas. Entones ¿cómo? ¿con la valoración subjetiva de otro experto? Y ¿quién decidirá lo correcto, un tercer experto que también hará su propia valoración subjetiva?

En resumen es una sentencia que tiene poco sentido y que puede generar un notable estropicio en uno de los pilares de nuestro sistema de I+D.

Hay 19 comentarios
  • La forma como nuestros altos tribunales se columpian es realmente preocupante. No sería razonable que ante temas que no dominan pidieran la asesoría de expertos? Con la excusa de la “seguridad jurídica “ mal entendida van a conseguir colapsar el sistema de Investigación, bastante dañado ya por exceso de regulación absurda. Tenemos un problema mucho más serio de lo que pueda parecer a primera vista

  • Antes de nada, un disclaimer: tengo 5 sexenios de investigación, todos los posibles con mi juventud (estoy en el primer año del 6º sexenio y ya tengo suficientes méritos para obtenerlo, el último posible), así que a mí los criterios de evaluación me han ido bien y lo que voy a decir a continuación no obedece a razones personales.

    Reconociendo los problemas a los que puede dar lugar la sentencia del Tribunal Supremo, en mi opinión lo único que ha hecho es reconocer algo que muchos llevamos diciendo mucho tiempo: no se puede evaluar el contenido de un artículo por la revista que lo publica, igual que no se puede evaluar un producto por el envoltorio. Como digo, esto no es sólo opinión mía, sino que ha dado lugar a la Declaración de San Francisco (DORA), firmada ya por numerosas instituciones e investigadores individuales. Aparte de que conceptualmente evaluar por la revista y por su factor de impacto carezcan de sentido, eso además ha conducido a una situación en la cual el oligopolio de las editoriales científicas ha alcanzado una posición dominante difícilmente resoluble, como he discutido aquí y directamente a que nos roben (véase aquí). Este expolio ha conducido a que muchas agencias de investigación hayan prohibido publicar en revistas de prestigio que no son de acceso abierto (véase aquí), lo que por otro lado dejaría a los investigadores que reciban dinero de esas agencias en desigualdad de condiciones para ser evaluados con criterios de impacto (no afecta a este caso concreto porque hasta ahora el gobierno español no se ha unido como debería). El Supremo, pues, no hace más que apuntar en la misma dirección: estamos evaluando mal.

    Está claro que uno de los motivos por los que evaluamos mal es por el volumen de evaluaciones que hay que realizar, y en esto coincido con Antonio cuando dice que la sentencia del Supremo nos pone ante un enorme problema práctico. Yo evalúo para muchos organismos nacionales e internacionales y por tanto soy perfectamente consciente de la grave situación en la que nos deja la sentencia. Pero creo también que hay que hacer algo. Hay que empezar a pensar todo el sistema de evaluación desde cero para evaluar lo que realmente hacemos los científicos. Es posible que mientras tanto tengamos que ir poniendo parches y manteniendo algo como lo que hay, tampoco lo discuto. Lo que no podemos hacer es usar la táctica del avestruz y decir que es que no se puede hacer de otra manera. Y, por supuesto, es un problema que va más allá de la mera evaluación: va a como se difunde la ciencia (aquí como ya mencioné entramos en el terreno del Open Science, pero también en el de la proliferación absurda de publicaciones), como se financia... Vamos, que la ciencia afronta un momento de crisis (en sentido griego) y esta sentencia no es más que otro síntoma (u otro empujón para salir, según se mire).

    • Gracias por tu comentario Anxo. Fíjate que yo no digo que no haya que leer los trabajos sino que no me parece procedente que un tribunal dicte a las comisiones de expertos cómo deben hacer su trabajo. Y que en contexto como los de los sexenios no veo otro modo mejor de hacer la evaluación, tanto por el volumen como por la inevitable falta de especialistas en las comisiones en todos los campos de trabajo sometidos a evaluación.

      • Gracias por tu respuesta, Antonio. Creo que lo único que podemos hacer, como se suele decir en inglés, es agree to disagree. Yo sí creo que el Tribunal Supremo puede decir algo de sentido común: no se puede juzgar por la revista. ¿Que a partir de ahí nos crea un problema? Claro que sí, y gordo. Pero el problema es la oportunidad de repensar las cosas. Por ejemplo, los propios sexenios. Creación de J. M. Rojo en el primer gobierno de Felipe González, diseñada para sacar a la comunidad universitaria de su astenia investigadora (causada por el enorme éxodo de científicos durante el franquismo). Nunca se alabará suficientemente a Rojo por su trabajo como Secretario de Estado (no solo por los sexenios), pero ya han pasado 30 años y a lo mejor hay que repensar todo el esquema, porque la cantidad y la calidad de investigación de hoy no son los de entonces. Por eso decía en mi comentario que hay mucho que hacer en la ciencia a todos los niveles, y quedarse en que la sentencia nos crea un problema para evaluar los sexenios, siendo cierto, me parece insuficiente.

        • Anxo, Antonio,
          Creo que los dos tenéis parte de razón.
          Ciencia es lo que los científicos reconocen como ciencia. Por tanto, son los científicos los que deben valorar las contribuciones individuales diseñando un sistema de evaluación eficiente, justo y factible. La evaluación por pares que realizan las revistas y en las que se basan comisiones de evaluación de la investigación científica, es eficiente y factible, pero no siempre justa. La evaluación directa que impone el Tribunal Supremo ni es eficiente, ni factible, ni justa. Parece razonable por tanto empezar desde donde estábamos y tratar de mejorar que no, como dicen los americanos, "tirar el bebé junto con el agua del baño", que es lo que me parece que hace el Tribunal Supremo con esta sentencia.

          • Gracias JuanFran, efectivamente, como dices, tanto uno como otro tenemos un punto de razón. Lo que pasa es que para mí, como decía en los posts que citaba en mi primer comentario y como le casco siempre a cualquiera que me dé una oportunidad, es más que urgente acabar con las revistas científicas, que (de nuevo a mi modo de ver) son una de las cosas más dañinas para la ciencia y responsables en buena parte de la crisis actual que experimenta la investigación. Así que si el Tribunal Supremo me da argumentos para ir a por ellas, los cojo, claro!

      • ¿Acaso no es competencia del Tribunal Supremo dirimir los procedimientos administrativos que rigen la carrera funcionarial? Estoy seguro de que si ANECA hubiera aportado (aportó?) testimonios de asociaciones de expertos, estas habrán sido tenidas en consideración. Pero el Tribunal debe aplicar principios generales del derecho para ello.

        ¿Acaso defendería usted que el Tribunal Supremo se inhibiera de juzgar los regímenes internos de funcionamiento del Ejército? Este no es un caso hipotético, pues han existido numerosas causas al respecto (https://www.eldiario.es/canariasahora/premium_en_abierto/Fuerzas-Armadas-frente-derechos-sociales_0_339116154.html). Los "expertos" creen que deben juzgar ascensos y descensos conforme a los principios "castrenses" mientras que la Justicia disiente.

        • Hasta donde yo entiendo no se trata de regular la carrera profesional ni de dejar de aplicar los principios¡ generales del derecho. La cuestión es si tiene sentido que el tribunal dicte a las comisiones de expertos cuál es la mejor forma de desarrollar dicha evaluación por encima de su criterio. A mí no me lo parece. ¿Deben también decidir los tribunales sobre los papers rechazados en las revistas? Yo creo que no. Son ámbitos que se rigen por una lógica diferente.

        • Lo lógico, cuando juzgan sobre cuestiones de las que no saben, es que se asesoren. Me da la impresión de que en este caso no lo han hecho, o lo han hecho muy mal y han fallado de forma aberrante. No es rarísimo que suceda. Mi pregunta es, ¿no se puede hacer nada contra la sentencia del Supremo?

  • Puedo estar de acuerdo en las consecuencias negativas de esta sentencia, pero no me convencen los tres argumentos expuestos por el autor:

    1. Competencia. Si los jueces no tienen competencia, ¿quien podría tenerla? Si el problema es de formación o de falta de peritaje experto, seguro que eso se puede resolver. Al fin y al cabo los jueces sentencian sobre cuestiones de alta complejidad como la competencia o los mercados financieros.

    Está claro que el poder judicial tiene jurisdicción, y todavía más claro siendo este caso vinculado a la función pública.

    2. Factibilidad. Si es materialmente imposible realizar un proceso de evaluación que cumpla ciertos criterios de calidad, tal vez el sistema de evaluación está mal diseñado. Tal vez el propio sistema de sexenios, o el conjunto de fórmulas para la evaluación y el desarrollo de la carrera investigadora en España es inadecuado. ¿Acaso en todos los países líderes en ciencia hay un sistema similar? ¿Hay sexenios en Estados Unidos o Suiza? ¿Existen o se pueden plantear fórmulas alternativas, sean a nivel institucional o nacional? Por otro lado, si no me equivoco, en Reino UnidoREF o en Italia VQR se realizan evaluaciones masivas que incluyen peer review (no exentas de criticas)

    3. Inseguridad jurídica. Usted mismo cita más arriba prácticas de evaluación en España que contienen amplios espacios para la subjetividad y la evaluación por pares "Cuando se trata de evaluar unos pocos candidatos [...]". ¿Hay ahí inseguridad jurídica?

    • Hola Hander, respondo a tus críticas.
      1.- Competencia. Sin duda los jueces se pueden asesorar en materias específicas pero hasta ahora siempre ha habido una razonable prudencia en atribuir a las comisiones de investigación un mejor conocimiento de la naturaleza de su actividad. Mi argumento es que el diseño del procedimiento de evaluación es parte de ese proceso de evaluación y debe estar en manos de los expertos más que de los jueces, con todas las salvaguardias de transferencia y neutralidad.
      2.- Factibilidad. Si las remuneraciones de los investigadores fueran acordes con su productividad no haría falta el sistema de los sexenios. Pero, hasta la fecha, este procedimiento es el único que ha permitido establecer ciertas diferencias en función del rendimiento, lo que me parece un gran logro. Aunque no sea el sistema que yo hubiera diseñado.
      3.- La evaluación por pares, como se hace en las revistas, es desde mi punto de vista la mejor. Pero eso requiere que cada trabajo lo evalúe un especialista en ese campo. En las comisiones de evaluación típicamente hay cuatro o cinco miembros que cubren áreas diversas (finanza, marketing, organización industrial,...). Lo que me parece que crea inseguridad es que el trabajo de marketing sea evaluado subjetivamente por el especialista en finanzas, o que toda la evaluación dependa del miembro que resulte más próximo, que a veces no es un especialista en el campo específico.

      • Apreciado Antonio,
        tal vez me equivoque y perdona mi arrogancia, pero creo que me das la razón en los tres puntos.

        1. Los jueces son competentes, y en este caso han actuado porque había una demanda bien fundamentada que opina distinto que los expertos. No han actuado motu proprio.

        2. Existen modelos alternativos factibles. Tanto a nivel institucional (como los modelos de tenure track en España, o el funcionamiento general del sistema universitario estadounidense) como a nivel nacional (REF, VQR).

        3. La misma seguridad o inseguridad jurídica ya existe en modelos de evaluación por pares o comisiones actualmente implementados en España. Evidentemente, como mejor sea el panel, más robusta será la evaluación.
        En cuanto a la seguridad jurídica de la situación actual, tampoco es la panacea: se externaliza el análisis de los medios de difusión (revistas, etc.) a terceros, principalmente a empresas privadas que gestionan las principales bases de datos bibliométricas, que pueden tomar decisiones de indexación arbitrarias.

        Hasta aquí la respuesta específica a los argumentos del artículo. En cuanto a las alternativas, Anxo Sánchez está avanzando algunas, pero creo que este blog tiene una larga tradición en este sentido:
        excelencia, autonomía y rendimiento de cuentas.

  • Puedo estar de acuerdo en las consecuencias negativas de esta sentencia, pero no me convencen los tres argumentos expuestos por el autor:

    1. Competencia. Si los jueces no tienen competencia, ¿quien podría tenerla? Si el problema es de formación o de falta de peritaje experto, seguro que eso se puede resolver. Al fin y al cabo los jueces sentencian sobre cuestiones de alta complejidad como la competencia o los mercados financieros.

    Está claro que el poder judicial tiene jurisdicción, y todavía más claro siendo este caso vinculado a la función pública.

    2. Factibilidad. Si es materialmente imposible realizar un proceso de evaluación que cumpla ciertos criterios de calidad, tal vez el sistema de evaluación está mal diseñado. Tal vez el propio sistema de sexenios, o el conjunto de fórmulas para la evaluación y el desarrollo de la carrera investigadora en España es inadecuado. ¿Acaso en todos los países líderes en ciencia hay un sistema similar? ¿Hay sexenios en Estados Unidos o Suiza? ¿Existen o se pueden plantear fórmulas alternativas, sean a nivel institucional o nacional? Por otro lado, si no me equivoco, en Reino UnidoREF o en Italia VQR se realizan evaluaciones masivas que incluyen peer review (no exentas de criticas)

    3. Inseguridad jurídica. Usted mismo cita más arriba prácticas de evaluación en España que contienen amplios espacios para la subjetividad y la evaluación por pares "Cuando se trata de evaluar unos pocos candidatos [...]". ¿Hay ahí inseguridad jurídica?

  • "El Tribunal Supremo obliga a la Liga de Fútbol Profesional a valorar el juego de los equipos en cada partido y no centrarse solo en los goles para decidir el reparto de puntos".

    Cualquier día.

  • En realidad lo que la sentencia fomenta es cierto oscurantismo. El tribunal ahora se verá forzado a usar un criterio subjetivo para valorar los artículos. Si un miembro del panel es una persona competente, pero no experta en el campo, mirará el impacto de la revista, las citas del artículo, y despues de abrir el fichero del artículo (por cumplir el expediente) simplemente escribirá un corto parrafó indicando que tras ver el artículo concluye que su contribución no es suficientemente buena. Si el miembro del tribunal es experto en el campo específico, abrirá este mismo artículo, y tras un rápido vistazo redactará el mismo comentario en un 99% de las veces, pero un curioso 1% es posible que escriba "la contribución del artículo es notable, y resulta sorprendente que está publicado en una revista de tan bajo impacto, lo que explica sus pocas citas" (esas cosas pasan). Si el tribunal no es competente, que dios nos asista!!! les acaban de dar las armas perfectas.

  • Un problema que veo con el sistema de los sexenios español es que tampoco es un sistema puro de evaluación indirecta con criterios claros y conocidos. De la lectura del documento publicado en BOE con los criterios de valoración de cada campo de conocimiento se desprende la indefinición de esos criterios, al utilizar conceptos poco objetivos como "se valorará preferentemente" o "a título orientativo". El campo de Económicas y Empresariales es de los más objetivos, pero otros campos de conocimiento son aún más subjetivos. ¿Por qué no se publica un listado de revistas donde automáticamente los autores que tengan 5 publicaciones reciban el sexenio, y dejar a la subjetividad de los tribunales las aportaciones que no estén en esa lista? Y que se publique 6 años antes, para poder organizarte en esos 6 años. Creo que este es uno de los sistemas que se utilizan en el "tenure", un listado de revistas donde debes publicar. Mi impresión es que el sistema de sexenios es bastante subjetivo, donde a veces se deniegan a quien lo merece (por ejemplo, porque no pertenece a la "escuela" de los que están en el tribunal) y otras muchas se otorgan a quien no tiene méritos suficientes, ¿por qué no se publica la información de todos los solicitantes de sexenios, con sus aportaciones y la puntuación obtenida? Así se podría controlar mejor la labor de estos tribunales. Y que conste que yo he obtenido los 2 sexenios que he solicitado.

  • Una interpretación teleología y sistémica de la sentencia no comporta que la sentencia excluye la validez de la evaluación indirecta sino que establece que su ausencia no debe ser una causa automática de evaluación negativa. Es decir que elimina la evaluación ion directa como único criterio de evaluación y admite la posibilidad de una evaluación directa. El TS lo que hace es eliminar el carácter de exclusividad de la evaluación indirecta con ello las objeciones de factilidad que establece el autor del post queda también eliminadas. En lo que corresponde a la seguridad jurídica de la evaluación indirecta no supone eludir el problema de la potencial subjetividad de los juicios de expertos solo que los desplaza a otros expertos ( los revisores delas revistas); la sentencia por el contrario aumentas la seguridad jurídica al permitir que otros expertos, distintos a los de las revistas de mayor impacto (que son un grupo empresarial privado con sus propios intereses) participen en la evaluación. Nada nuevo, peritaje se llama, desde el punto de vista procesal donde la contradictoriedad (la falsación de Popper) y pluralidad de los juicios de expertos son una garantía de la imparcialidad y objetividad de la evaluación. Por último el problema de la competencia es inexistente por que el TS no entra a evaluar sino el procedimiento desde el punto de vista del control de legalidad , no entra a valorar los artículos de nadie ,es plenamente competente en l

Los comentarios están cerrados.