- Nada es Gratis - http://nadaesgratis.es -

La imprudencia temeraria del Tribunal Supremo

Nota del Editor: Antonio Villar ha sido, entre muchos otros cargos relacionados con la evaluación de la investigación, experto en el área de Ciencias Sociales y Humanidades de la Comisión de Seguimiento del Plan Nacional de I+D+i en 2005, coordinador del Programa Consolider-Ingenio 2010 del Ministerio de Educación y Ciencia, y presidente de su comité científico (2005-2007).

de Antonio Villar

La sentencia

Recientemente el Tribunal Supremo se ha pronunciado sobre cómo debe ser evaluada la investigación por parte de los expertos que participan en las comisiones de la Comisión Nacional para la Evaluación de la Actividad Investigadora. Lo ha hecho para responder a una demanda de una profesora que vio denegado uno de los sexenios solicitados y que aducía que la comisión no había leído su trabajo sino que se había basado en elementos indirectos como las revistas en que se publicaba la investigación o las citas recibidas.

La sentencia de la Sección Cuarta de la Sala de lo Contencioso Administrativo del Tribunal Supremo del pasado 12 de Junio, el tribunal determina que: “Las investigaciones, las aportaciones presentadas por los interesados, no pueden dejar de examinarse solo por el hecho de que no se publicaran en las revistas o medios incluidos en los índices o listados identificados […]. Ni tampoco están excluidos por esa sola razón de la máxima valoración permitida […]. Dependerá de su contenido la evaluación que merezcan.”

Es decir, el tribunal está diciendo que la evaluación indirecta no es adecuada y que hay que aplicar la evaluación directa. Se trata, en mi opinión, de una sentencia que no sólo carece de fundamento científico –que es de lo que trata este asunto- sino que hace mucho daño al proceso de evaluación sin que mejore ningún aspecto. En lo que sigue trataré de argumentar esta conclusión.

La evaluación de la investigación

La evaluación de la investigación es un campo en el que existe una larga experiencia nacional e internacional y un amplio consenso entre los expertos sobre la forma de llevarla a cabo, a pesar de que es un tema siempre abierto a la discusión. Este consenso parte de un par de presupuestos obvios. Primero, qué tipo de evaluación es más apropiada depende del contexto en que dicha evaluación se produce. Segundo, distintos campos del saber tienen diferentes culturas que hay que tomar en consideración.

Cuando se valora una tesis doctoral se forma (idealmente) una comisión de expertos en el área objeto de investigación quienes leen críticamente el trabajo y valoran su contenido por lo que aporte como novedad al campo en cuestión (evaluación directa). En último término la calidad de las publicaciones que derivan de esa tesis es lo que da la medida de su aportación a la ciencia y esto es lo que los expertos tratan de anticipar a partir de su conocimiento del campo.

Cuando se trata de evaluar unos pocos candidatos para un puesto de investigador en un departamento o centro de investigación, se suele combinar la valoración de sus curricula con la discusión en vivo de sus proyectos de investigación en sesiones de seminario abiertas a los investigadores. La evaluación de los curricula se realiza habitualmente a partir del conocimiento previo de los trabajos ya publicados por parte de los especialistas más próximos y de la relevancia de las revistas en las que la publicación se ha realizado. Se trata pues, por lo general, de un método mixto que combina la discusión detallada de algún trabajo (evaluación directa) con la valoración de las contribuciones realizadas en función de los medios donde han sido publicadas (evaluación indirecta).

Cuando se trata de valorar centros de investigación o un número elevado de investigadores de campos diversos la única vía razonable es la evaluación indirecta. Por dos motivos muy poderosos. El primero, la posibilidad de realizar las evaluaciones en un tiempo razonable, que eviten dilaciones que afectan a los derechos de los sometidos a evaluación. El segundo y principal, que en estos casos las  comisiones nunca pueden contar con especialistas en todos los campos que son objeto de la investigación que debe ser evaluada. Por ello la evaluación indirecta, con criterios claros y conocidos, es un mecanismo que protege frente a la posible arbitrariedad en el juicio subjetivo de alguien que no es un experto en el campo de trabajo específico del candidato sometido a evaluación.

Desde luego la evaluación indirecta está lejos de ser perfecta y puede dar lugar a subestimar ciertas contribuciones o sobrestimar otras. Sin embargo es el método más fiable y seguro para quienes se examinan porque además puede complementarse con una información muy relevante, como es la del número de citas recibidas.

Tres problemas

En mi opinión esta sentencia del Tribunal Supremo presenta tres serios problemas que hacen que debiera ser reconsiderada: problemas de competencia, de factibilidad y de seguridad jurídica.

El primer problema es el de la competencia. De lo que se manifiesta en la sentencia se deduce que quienes la han elaborado no están familiarizados con los procedimientos convencionales de evaluación de la investigación. Por tanto no debieran entrar a juzgar cómo se debe realizar la evaluación que es un tema competencia de los expertos. Al igual no sería razonable que entraran en la discusión sobre la evaluación de la sustancia de una tesis de física de partículas, pongamos por caso. Los expertos no sólo tienen la responsabilidad de aplicar los procedimientos de evaluación sino también de diseñarlos, porque es una parte inseparable de la propia evaluación.

El segundo problema, quizás el más acuciante pero el de menor relevancia, es del la factibilidad. Cada año se reciben unas 10.000 solicitudes para la evaluación de los sexenios que deber ser resueltas en pocos meses. La lectura de los trabajos requeriría que los expertos dejaran su actividad en las universidades y centros de investigación para dedicarse a esta labor durante meses y unas comisiones compuestas por decenas y decenas de investigadores para poder tener opiniones cualificadas sobre todos los campos de investigación específicos. Lo que simplemente no es factible.

El tercer problema, en mi opinión el más grave, es que esta sentencia genera una enorme inseguridad jurídica al proponer sustituir una valoración indirecta pero objetivada, con criterios públicos y transparentes, por una valoración subjetiva que presumiblemente tendrá que ser hecha por investigadores ajenos al campo. Pensemos que, en el mejor de los casos habrá un solo experto en derecho administrativo en el área de Derecho o solo experto de teoría de juegos en el área de Economía. ¿Qué hacen los otros miembros de la comisión que no son de esas subáreas específicas, realizan también valoraciones subjetivas o fían todo al criterio de un único miembro de la comisión? ¿Cómo se podrá argumentar una reclamación frente a una evaluación subjetiva negativa? Obviamente no podrá ser aduciendo la calidad de las revistas o las citas recibidas. Entones ¿cómo? ¿con la valoración subjetiva de otro experto? Y ¿quién decidirá lo correcto, un tercer experto que también hará su propia valoración subjetiva?

En resumen es una sentencia que tiene poco sentido y que puede generar un notable estropicio en uno de los pilares de nuestro sistema de I+D.