«Hay que aumentar la contribución de todos los miembros de la comunidad universitaria a la producción y visibilidad del conocimiento»

 

¿Cómo debe evaluarse la producción científica para no interferir en la actividad investigadora? ¿Qué papel deben desempeñar las universidades, centros e institutos de investigación? ¿Y las editoriales científicas? Conversamos con Isidro F. Aguillo, responsable del Laboratorio de Cibermetría del Instituto de Bienes y Políticas Públicas (IPP) del Centro Superior de Investigaciones Científicas (CSIC). Licenciado en Biología, máster en Información y Documentación, diplomado en Estudios Avanzados, doctor honoris causa por la Universidad de Indonesia y por la Universidad Nacional de Investigación Nuclear de Moscú, Aguillo es un reconocido experto en cibermetría, es decir, la medición, el estudio y el análisis de toda clase de información que hay en internet. Este investigador es uno de los impulsores de la revista científica Cybermetrics, la primera revista electrónica con revisión por pares —esto es, aplicando uno de los métodos de validación de contenidos científicos más reconocidos internacionalmente— del CSIC, así como del Ranking Web de Universidades, que mide la presencia en la web y la visibilidad digital de más de 28.000 instituciones académicas de todo el mundo.

 

 

¿Cómo debe evaluarse la producción científica para no interferir en la actividad investigadora? ¿Qué papel deben desempeñar las universidades, centros e institutos de investigación? ¿Y las editoriales científicas? Conversamos con Isidro F. Aguillo, responsable del Laboratorio de Cibermetría del Instituto de Bienes y Políticas Públicas (IPP) del Centro Superior de Investigaciones Científicas (CSIC). Licenciado en Biología, máster en Información y Documentación, diplomado en Estudios Avanzados, doctor honoris causa por la Universidad de Indonesia y por la Universidad Nacional de Investigación Nuclear de Moscú, Aguillo es un reconocido experto en cibermetría, es decir, la medición, el estudio y el análisis de toda clase de información que hay en internet. Este investigador es uno de los impulsores de la revista científica Cybermetrics, la primera revista electrónica con revisión por pares —esto es, aplicando uno de los métodos de validación de contenidos científicos más reconocidos internacionalmente— del CSIC, así como del Ranking Web de Universidades, que mide la presencia en la web y la visibilidad digital de más de 28.000 instituciones académicas de todo el mundo.

 

El laboratorio tiene dos objetivos. Uno puramente científico, que pretende promocionar la aproximación cuantitativa, que creemos más objetiva, menos sesgada, al estudio de los contenidos académicos y los procesos de comunicación científica en la web. Además, pretendemos tener un mayor impacto social, centrándonos en la promoción de la llamada ciencia abierta, la open science, y su contribución a la consecución de los Objetivos de Desarrollo Sostenible de la ONU.

Somos firmes partidarios de las iniciativas de acceso abierto, que han liberado ya una gran cantidad de trabajos científicos a usuarios de todo el mundo. Sin embargo, el modelo de pago por publicar ha derivado, por parte de algunas de las editoriales más importantes, en exigencias desmesuradas de dinero. Se genera un lucro desmedido por la explotación de los autores y revisores de los trabajos que podría estar dictado por normas de mercado ligadas al prestigio de las revistas.

Nuestra labor originalmente fue proponer una mayor diversidad de los indicadores usados en la evaluación, incorporando las métricas web. Ahora que la ciencia abierta ya requiere de nuevas fuentes e indicadores, nuestra preocupación está en el uso racional, informado y responsable de estos. Sobre esos nuevos indicadores, nuestra propuesta es preferir siempre los relativos a los absolutos y exigir la contextualización tanto de las medidas de producción como de las de visibilidad, impacto o uso con condicionantes personales, institucionales, disciplinarios, temporales o económicos, entre otros. Estas ideas están reflejadas en el llamado manifiesto de Leiden.

El análisis de citas debe seguir ocupando una posición central en su evaluación, pero hay que utilizar fuentes más completas y menos sesgadas. Hay que exigir más rigurosidad en el cumplimiento de estándares a sus publicaciones y complementar esa evaluación con la opinión de expertos. Esta aproximación mixta, es decir, cuantitativa y cualitativa, es válida para todas las evaluaciones siempre que se prime la transparencia en los procesos y en la justificación de los resultados.

La acreditación ha sido en general un acierto, aunque desafortunadamente no ha acabado ni con el nepotismo ni con la endogamia de nuestras universidades. Sin embargo, un excesivo automatismo de los procesos, una confianza desmesurada en criterios cuantitativos no contextualizados y la falta de transparencia han limitado su valor en casos en que la flexibilidad debería ser mayor. El margen de maniobra requerido podría solucionarse de manera simple con entrevistas personales con informe público.

Las agencias de evaluación son necesarias, pero se necesitan sistemas nacionales de información científica exhaustivos y rigurosos que proporcionen datos fiables a los comités evaluadores. Esos sistemas deben ser creados y mantenidos por profesionales, tener recursos amplios e independencia, pero sobre todo deben ser públicos, y en ellos debe primar la transparencia y la actualidad de la información que proporcionen. Con dicha información de calidad, los criterios y procedimientos de evaluación podrían modelarse según necesidades y autocorregirse en un escenario abierto e interactivo con los usuarios.

La utilización de métricas de revistas para evaluar individuos ha sido formalmente rechazada por la comunidad internacional en la llamada declaración de San Francisco (DORA). El procedimiento de elaboración de la clasificación ha sido secreto, con una metodología utilizada sin suficiente revisión de expertos.

La declaración obliga a todos los firmantes a abandonar el uso del factor de impacto y de todas las métricas de revistas en la evaluación de individuos, grupos o instituciones. Lamentablemente todo el sistema académico y de investigación español sigue utilizando esos indicadores.

España necesita unas pocas grandes revistas multidisciplinarias, no centenares de revistas con cierta calidad formal y procedimental, de interés muy minoritario.

El Ranking no pretende ni clasificar universidades ni sus sedes web, sino promocionar la publicación en abierto del conocimiento generado por dichas instituciones. El objetivo es aumentar la información de calidad que tan a menudo se echa en falta en la web. Nuestros criterios valoran la cantidad y la calidad de la información académica en la web, el compromiso personal, no solo del profesorado sino de toda la comunidad académica, en hacer accesible dicha información y el impacto de dichos contenidos en la sociedad de todo el mundo.

Nuestra clasificación recompensa a las universidades abiertas, que, con frecuencia, son infravaloradas por otros editores. La clave para mejorar no se logrará solo con iniciativas desde arriba, sino que es imprescindible aumentar la contribución de todos los miembros de la comunidad, abriendo la presencia en la web no solo a profesorado e investigadores, sino también a bibliotecarios, técnicos y administrativos y, por supuesto, a los estudiantes. La riqueza y diversidad de la institución tiene que estar reflejada en la web pública.

Esta es la pregunta más fácil de responder: ¡que aumente sustancialmente la financiación para llegar a los estándares europeos!