Evaluación de la investigación (Plan CoARA)
Lideramos el cambio hacia una nueva cultura de la evaluación científica en la UOC
La reforma de la evaluación de la investigación es una prioridad estratégica de la UOC. Desde 2018, nuestra universidad impulsa acciones firmes para encaminar un movimiento internacional que busca un sistema de evaluación más justo, cualitativo y responsable.
La UOC fue la primera universidad del Estado español en firmar la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA), en 2019, fruto de una profunda reflexión en el marco de la Comisión de Investigación y Transferencia. Este hito marcó el inicio del eje sobre nuevos modelos de evaluación de la investigación de nuestro Plan de acción de conocimiento abierto.
Comprometidos con la transformación del modelo europeo, también firmamos el Acuerdo europeo sobre la reforma de la evaluación de la investigación, y somos miembros fundadores de la Coalición para el Avance de la Evaluación de la Investigación (CoARA) desde 2022. Defendemos un sistema que prioriza la evaluación cualitativa mutua entre expertos y hace un uso responsable de los indicadores cuantitativos.
Como muestra de este compromiso activo, contamos con la hoja de ruta CoARA 2024-2027, un plan de acción que fija un marco claro y una serie de medidas concretas para transformar nuestro entorno científico. La gobernanza de este plan se articula a través de la Comisión CoARA de la UOC, integrada por personal docente, investigador y de gestión, coordinada por Pastora Martínez Samper, comisionada para la acción internacional, y con el apoyo de la Oficina de Ciencia Abierta.
Resultados de la participación comunitaria
El proyecto ECE4CoARA (2025-2026), financiado por el programa CoARA Boost Cascade Funding, ha servido para aterrizar los principios de la reforma en procesos reales de nuestra universidad, de manera participada con la comunidad de la UOC.
A través de la plataforma Decidim CoARA-UOC, la comunidad investigadora ha reflexionado sobre algunos de los procesos de evaluación internos y los ha mejorado, en un proceso participativo ahora concluido:
- 69 participantes de toda la comunidad UOC.
- 50 comentarios y aportaciones cualitativas recogidas.
- 70 propuestas para la mejora de los procesos de evaluación.
- 3 talleres transversales con los líderes estratégicos de la universidad.
La reforma en acceso abierto: pilotos y procesos
Hemos testado la reforma en tres ámbitos clave para asegurar que los nuevos criterios sean justos y aplicables a todas las etapas de la carrera investigadora:
Escuela de doctorado
Hemos evolucionado la evaluación anual del estudiantado de doctorado hacia un modelo de plan de desarrollo profesional (PDP). El objetivo es pasar de un control de rendimiento a un acompañamiento basado en competencias y mentoría. Debate moderado por Iolanda García González y David Massip Rodo. > Consulta el debate en Decidim sobre el Doctorat
Personal académico
Se ha contribuido al diseño de un modelo de promoción basado en trabajos de otros equipos de la UOC para promover la confianza institucional y la trayectoria holística. Se valora la visión de futuro del personal investigador y su impacto más allá del número de publicaciones, integrando docencia, investigación y transferencia. Debate moderado por M. Jesús Martínez-Argüelles y María Teresa Pérez García. > Consulta las propuestas de promoción del PDI
Grupos de investigación
En colaboración con el centro UOC-TRÀNSIC, hemos pilotado un sistema de evaluación colectiva que reconoce la diversidad disciplinaria y la atribución científica en proyectos interdisciplinarios. Debate moderado por Ramon Ribera Fumaz. > Consulta el debat de la unidad de investigación
Proyecto ECE4CoARA (24-CoARA-060), cofundado por la Unión Europea dentro del marco del proyecto CoARA Boost (Grant Agreement No 101131826).
Plan de acción CoARA 2024-2027
Este documento describe el plan de acción que la UOC se compromete a llevar a cabo durante el periodo 2024-2027, aprobado por el Consejo de Dirección en fecha 4 de marzo de 2024, tras un proceso de consulta y participación interna.
-
Declaración de San Francisco sobre la Evaluación de la Investigación (DORA)
-
Coalición Internacional para el Avance de la Evaluación de la Investigación (CoARA)
Proceso de reforma de la evaluación de la investigación
El proceso de investigación e innovación está experimentando grandes evoluciones que no están necesariamente alineadas con las métricas que a menudo dominan la evaluación, como el número de publicaciones o la cantidad de artículos en revistas con un elevado índice de impacto (high journal impact factor, JIF).
La forma como se evalúan los proyectos de investigación, los investigadores, las unidades de investigación y las instituciones de investigación es fundamental para que un sistema de investigación e innovación funcione bien. La elección de los financiadores e instituciones de lo que deben medir para la evaluación influye directamente en la cultura y los comportamientos de la investigación, la calidad del sistema de investigación y la agenda de investigación de las instituciones y naciones. Por ejemplo, las decisiones sobre la asignación de fondos de investigación, el avance de la carrera académica y la contratación de personal pueden perjudicar potencialmente a los campos de investigación con un impacto social alto pero con baja prevalencia en métricas dominantes.
Los indicadores bibliométricos no reflejan todas las contribuciones potenciales ni los méritos, como el desarrollo de la creatividad y la innovación, la contribución al bien común y a la calidad, el valor y el impacto social de la investigación o la promoción de la colaboración entre investigadores, entre otros. Además, no tienen en cuenta las condiciones de desigualdad que, como en otros campos de la acción humana, restringen las posibilidades de publicar del personal investigador.
Por las razones mencionadas anteriormente y por algunas características estructurales de la academia, la reforma de la evaluación de la investigación se considera cada vez más una prioridad para garantizar la calidad, el rendimiento y el impacto de la investigación.
- Acuerdo europeo para la reforma de la evaluación de la investigación
- Propuesta de acción en la UOC
Acuerdo europeo para la reforma de la evaluación de la investigación
De marzo a noviembre de 2021, la Comisión Europea consultó las partes interesadas europeas e internacionales sobre cómo facilitar y acelerar la reforma, de modo que la calidad, el rendimiento y el impacto de la investigación y los investigadores se evalúen sobre la base de criterios y procesos más responsables. En julio de 2022, después de un proceso de cocreación en el que participaron más de 350 organizaciones de más de 40 países, incluida la UOC, se publicó finalmente el Acuerdo europeo sobre la reforma de la evaluación de la investigación.
Basándose en diez compromisos que las organizaciones que se sumen al proceso de reforma deberán cumplir, el acuerdo establece una dirección común para la mejora de la evaluación de la investigación, al mismo tiempo que respeta la autonomía y el punto de partida de estas organizaciones. El acuerdo constituye una dirección compartida para los cambios en las prácticas de evaluación para la investigación, los investigadores y las organizaciones de investigación, con el objetivo general de maximizar la calidad y el impacto de la investigación.
El acuerdo incluye los principios, los compromisos y el calendario para las reformas, y establece los principios para una coalición de organizaciones que quieren trabajar juntas en la aplicación de los cambios.
Todas las organizaciones con competencias en la evaluación de la investigación pueden adherirse al acuerdo y formar parte de la Coalición por la Evaluación de la Investigación Avanzada (CoARA), creada a finales de 2022.
Calidad e impacto
- Centrar los criterios de evaluación de la investigación en la calidad. La calidad implica la originalidad de las ideas, la conducta profesional de investigación, una variedad de misiones de investigación, procesos y metodologías de investigación transparentes, la apertura de la investigación, resultados verificables y reproducibles, el intercambio de datos, y la colaboración abierta.
- Reconocer las contribuciones que avanzan el conocimiento y el impacto (potencial) de los resultados de la investigación, en el ámbito científico, tecnológico, económico o social.
Diversidad, inclusividad y colaboración
- Diversidad de las actividades y prácticas de investigación, con un abanico de salidas, e impulso del intercambio temprano y la colaboración abierta.
- Variedad de las disciplinas científicas, tipos de investigación y etapas de la carrera profesional.
- Diversidad en los roles y carreras de investigación.
- Igualdad de género, igualdad de oportunidades e inclusión.
Compromisos básicos
- Reconocer la diversidad de contribuciones y carreras en la investigación de acuerdo con las necesidades y la naturaleza de la investigación.
- Evaluar la investigación principalmente sobre la evaluación cualitativa. Para ello, la revisión por expertos es central, y debe ir acompañada del uso responsable de indicadores cuantitativos.
- Abandonar los usos inapropiados en la evaluación de la métrica basada en la revista y la publicación, en particular los usos inapropiados del índice de impacto en publicaciones (journal impact factor, JIF) y el índice h (h-index).
- Evitar la utilización de clasificaciones de las organizaciones de investigación en la evaluación de la investigación.
Compromisos adicionales
- Destinar los recursos para la reforma de la evaluación de la investigación según sea necesario para conseguir los cambios organizativos comprometidos.
- Revisar y desarrollar criterios de evaluación de la investigación, herramientas y procesos.
- Aumentar la conciencia de la reforma de la evaluación de la investigación y proporcionar una comunicación transparente, orientación y formación sobre los criterios y procesos de evaluación, así como su uso.
- Favorecer prácticas y experiencias de intercambio para permitir el aprendizaje mutuo dentro y fuera de la coalición.
- Realizar progresos en la comunicación sobre la adhesión a los principios y la implementación de los compromisos.
- Evaluar las prácticas, los criterios y las herramientas basados en pruebas sólidas y el estado de la cuestión en la investigación, y hacer que los datos estén disponibles abiertamente para la recopilación y la investigación de pruebas.
Reforma de la evaluación de la investigación en la UOC
Un espacio internacional de reflexión, aprendizaje y apoyo a la diagnosis y ejecución de las medidas de reforma interna.
Un espacio de trabajo para detectar y superar las diferencias. La creación de grupos de trabajo por disciplinas, instituciones y nacionalidades.
Implicación desde sus inicios en las discusiones y los grupos de trabajo.
Facilidades para participar en convocatorias específicas (propias o de terceros) y proyectos conjuntos.
En 2018 dimos un paso decisivo, con el Plan de acción de conocimiento abierto, para integrar la ciencia abierta como una estrategia transversal en toda nuestra actividad académica. Uno de los ejes clave de este plan se destina a transformar los modelos de evaluación de la investigación, con el firme compromiso de priorizar una valoración cualitativa que reconozca el aprendizaje y la transformación constantes como objetivos esenciales.
Con este espíritu, la UOC fue la primera universidad del Estado español en firmar la declaración DORA, en enero de 2019. Lo hicimos con una convicción clara: el índice de impacto de una revista no puede sustituir nunca la evaluación real de la calidad científica ni el valor de las contribuciones de los investigadores en la contratación y la promoción. Para asegurar este cambio, hemos integrado plenamente los principios de DORA en nuestro Plan estratégico.
El objetivo de la UOC a largo plazo es consolidar un sistema de evaluación de la investigación que, completamente alineado con la reforma europea, cumpla los siguientes requisitos:
- Incentivar una investigación de calidad.
- Tener en cuenta la diversidad de procesos y resultados.
- Facilitar la diversidad de perfiles académicos.
- Evitar las discriminaciones del sistema actual.
- Adaptarse a las particularidades de la UOC.
Con la firma del acuerdo, la UOC se compromete a preparar un plan de acción 2024-2027 en el plazo de un año. Este plan de acción será propio de la institución y tendrá presente nuestro punto de partida y nuestro contexto nacional y regional.
Además, con la firma del acuerdo, la UOC entraría a formar parte de la CoARA y participaría en las discusiones y grupos de trabajo.
#1
Fase informativa a los equipos académicos
#2
Fase deliberativa en el seno de estudios y centros
#3
Toma de decisión en la Comisión Académica (15 de noviembre)