Avaluació de la recerca (Pla CoARA)
Liderem el canvi cap a una nova cultura de l'avaluació científica a la UOC
La reforma de l'avaluació de la recerca és una prioritat estratègica a la UOC. Des del 2018, la Universitat impulsa accions fermes per encaminar un moviment internacional que busca un sistema d'avaluació més just, qualitatiu i responsable.
La UOC va ser la primera universitat de l'Estat espanyol a signar la Declaració de San Francisco sobre l'Avaluació de la Recerca (DORA) el 2019, fruit d'una reflexió profunda en el marc de la Comissió de Recerca i Transferència. Aquesta fita va marcar l'inici de l'eix "nous models d'avaluació de la recerca" del nostre Pla d'acció de coneixement obert.
Compromesos amb la transformació del model europeu, també vam signar l'Acord europeu sobre la reforma de l'avaluació de la recerca i som membres fundadors de la Coalició per a l'Avanç de l'Avaluació de la Recerca (CoARA) des del 2022. Defensem un sistema que prioritza l'avaluació qualitativa mútua entre experts i fa un ús responsable dels indicadors quantitatius.
Com a mostra d'aquest compromís actiu, disposem del full de ruta CoARA 2024-2027, un pla d'acció que fixa un marc clar i mesures concretes per transformar el nostre entorn científic. La governança d'aquest pla s'articula a través de la Comissió CoARA de la UOC integrada per personal docent, investigador i de gestió, coordinada per Pastora Martínez Samper, comissionada per a l'acció internacional, i amb el suport de l'Oficina de Ciència Oberta.
Resultats de la participació comunitària
El projecte ECE4CoARA (2025-2026), finançat pel programa CoARA Boost Cascade Funding, ha servit per aterrar els principis de la reforma en processos reals de la nostra universitat, de manera participada amb la comunitat de la UOC.
A través de la plataforma Decidim CoARA-UOC, la comunitat investigadora ha reflexionat i millorat alguns dels processos d'avaluació interns en un procés participatiu ara conclòs:
- 69 participants de tota la comunitat UOC.
- 50 comentaris i aportacions qualitatives recollides.
- 70 propostes per a la millora dels processos d'avaluació.
- 3 tallers transversals amb els líders estratègics de la Universitat.
La reforma en accés obert: pilots i processos
Hem testejat la reforma en tres àmbits clau per assegurar que els nous criteris siguin justos i aplicables a totes les etapes de la carrera investigadora:
Escola de doctorat
Hem evolucionat l'avaluació anual de l'estudiantat de doctorat cap a un model de pla de desenvolupament professional (PDP). L'objectiu és passar d'un control de rendiment a un acompanyament basat en competències i mentoria. Debat moderat per Iolanda García González i David Massip Rodo. > Consulta el debat a Decidim sobre el Doctorat
Personal acadèmic
S'ha contribuït al disseny d'un model de promoció basat en treballs d'altres equips de la UOC per promoure la confiança institucional. Es valora la visió de futur del personal investigador i el seu impacte més enllà del nombre de publicacions, integrant docència, recerca i transferència. Debat moderat per M. Jesús Martínez-Argüelles i María Teresa Pérez García. > Consulta les propostes de promoció del PDI
Grups de recerca
En col·laboració amb el centre UOC-TRÀNSIC, hem pilotat un sistema d'avaluació col·lectiva que reconeix la diversitat disciplinària i l'atribució científica en projectes interdisciplinaris. Debat moderat per Ramon Ribera Fumaz. > Consulta el debat de la unitat de recerca
Projecte ECE4CoARA (24-CoARA-060, cofundat per la Unió Europea dins el marc del projecte CoARA Boost (Grant Agreement No 101131826).
Pla d'acció CoARA 2024-2027
Aquest document descriu el pla d'acció que la UOC es compromet a dur a terme durant el període 2024-2027, aprovat pel Consell de Direcció en data 4 de març del 2024 després d'un procés de consulta i participació interna.
-
Declaració de San Francisco sobre l'Avaluació de la Recerca (DORA)
-
Coalició Internacional per a l'Avanç de l'Avaluació de la Recerca (CoARA)
Procés de reforma de l'avaluació de la recerca
El procés de recerca i innovació està experimentant grans evolucions que no estan necessàriament alineades amb les mètriques que sovint dominen l'avaluació, com ara el nombre de publicacions o la quantitat d'articles en revistes amb un elevat índex d'impacte (high journal impact factor, JIF).
La manera com s'avaluen els projectes de recerca, els investigadors, les unitats de recerca i les institucions de recerca és fonamental perquè un sistema de recerca i innovació funcioni bé. La tria que fan els finançadors i les institucions del que han de mesurar per a l'avaluació influeix directament en la cultura i els comportaments de la recerca, la qualitat del sistema de recerca i l'agenda de recerca de les institucions i nacions. Per exemple, les decisions sobre l'assignació de fons de recerca, l'avenç de la carrera acadèmica i la contractació de personal poden perjudicar potencialment els camps de recerca amb un impacte social alt però amb una baixa prevalença en mètriques dominants.
Els indicadors bibliomètrics no reflecteixen totes les contribucions potencials ni els mèrits, com ara el desenvolupament de la creativitat i la innovació, la contribució al bé comú i a la qualitat, el valor i l'impacte social de la recerca o la promoció de la col·laboració entre investigadors. A més, no tenen en compte les condicions de desigualtat que, com en altres camps de l'acció humana, restringeixen les possibilitats de publicar del personal investigador.
Per les raons esmentades anteriorment i per algunes característiques estructurals de l'acadèmia, la reforma de l'avaluació de la recerca es considera cada vegada més una prioritat per garantir la qualitat, el rendiment i l'impacte de la recerca.
- Acord europeu per a la reforma de l'avaluació de la recerca
- Proposta d'acció a la UOC
Acord europeu per a la reforma de l'avaluació de la recerca
Del març al novembre de 2021, la Comissió Europea va consultar les parts interessades europees i internacionals sobre com es pot facilitar i accelerar la reforma, de manera que la qualitat, el rendiment i l'impacte de la recerca i els investigadors s'avaluïn sobre la base de criteris i processos més responsables. El juliol de 2022, després d'un procés de cocreació en el qual van participar més de 350 organitzacions de més de 40 països, la UOC inclosa, es va publicar finalment l'Acord europeu sobre la reforma de l'avaluació de la recerca.
Basant-se en deu compromisos que hauran de complir les organitzacions que se sumin al procés de reforma, l'acord estableix una direcció comuna per a la millora de l'avaluació de la recerca, alhora que respecta l'autonomia i el punt de partida d'aquestes organitzacions. L'acord constitueix una direcció compartida per als canvis en les pràctiques d'avaluació per a la recerca, els investigadors i les organitzacions de recerca, amb l'objectiu general de maximitzar la qualitat i l'impacte de la recerca.
L'acord inclou els principis, els compromisos i el calendari per a les reformes, i estableix els principis per a una coalició d'organitzacions que volen treballar juntes en l'aplicació dels canvis.
Totes les organitzacions amb competències en l'avaluació de la recerca es poden adherir a l'acord i formar part de la Coalició per l'Avaluació de la Recerca Avançada (CoARA), creada a finals de 2022.
Qualitat i impacte
- Centrar els criteris d'avaluació de la recerca en la qualitat. La qualitat implica l'originalitat de les idees, la conducta professional de recerca, una varietat de missions de recerca, processos i metodologies de recerca transparents, l'obertura de la recerca, resultats verificables i reproduïbles, l'intercanvi de dades, i la col·laboració oberta.
- Reconèixer les contribucions que avancen el coneixement i l'impacte (potencial) dels resultats de la recerca, en l'àmbit científic, tecnològic, econòmic o social.
Diversitat, inclusivitat i col·laboració
- Diversitat de les activitats i pràctiques de recerca, amb un ventall de sortides, i impuls de l'intercanvi primerenc i la col·laboració oberta.
- Varietat de les disciplines científiques, tipus de recerca i etapes de la carrera professional.
- Diversitat en els rols i carreres de recerca.
- Igualtat de gènere, igualtat d'oportunitats i inclusió.
Compromisos bàsics
- Reconèixer la diversitat de contribucions i carreres en la recerca d'acord amb les necessitats i la naturalesa de la recerca.
- Avaluar la recerca principalment sobre l'avaluació qualitativa. Per fer-ho, la revisió per experts és central, i ha d'anar acompanyada de l'ús responsable d'indicadors quantitatius.
- Abandonar els usos inapropiats en l'avaluació de la mètrica basada en la revista i la publicació, en particular els usos inapropiats de l'índex d'impacte en publicacions (journal impact factor, JIF) i l'índex h (h-index).
- Evitar la utilització de classificacions de les organitzacions de recerca en l'avaluació de la recerca.
Compromisos addicionals
- Destinar els recursos per a la reforma de l'avaluació de la recerca segons sigui necessari per aconseguir els canvis organitzatius compromesos.
- Revisar i desenvolupar criteris d'avaluació de la recerca, eines i processos.
- Augmentar la consciència de la reforma de l'avaluació de la recerca i proporcionar una comunicació transparent, orientació i formació sobre els criteris i processos d'avaluació, així com el seu ús.
- Afavorir pràctiques i experiències d'intercanvi per permetre l'aprenentatge mutu dins i fora de la coalició.
- Fer progressos en la comunicació sobre l'adhesió als principis i la implementació dels compromisos.
- Avaluar les pràctiques, els criteris i les eines basats en proves sòlides i l'estat de la qüestió en la recerca, i fer que les dades estiguin disponibles obertament per a la recopilació i la recerca de proves.
Reforma de l'avaluació de la recerca a la UOC
Un espai internacional de reflexió, aprenentatge i suport a la diagnosi i execució de les mesures de reforma interna.
Un espai de treball per detectar i superar les diferències. La creació de grups de treball per disciplines, institucions i nacionalitats.
Implicació des dels seus inicis en les discussions i els grups de treball.
Facilitats per participar en convocatòries específiques (pròpies o de tercers) i projectes conjunts.
El 2018 vam fer un pas decisiu amb el Pla d'acció de Coneixement Obert per integrar la ciència oberta com una estratègia transversal en tota la nostra activitat acadèmica. Un dels eixos clau d'aquest pla es destina a transformar els models d'avaluació de la recerca, amb el compromís ferm de prioritzar una valoració qualitativa que reconegui l'aprenentatge i la transformació constants com a objectius essencials.
Amb aquest esperit, la UOC va ser la primera universitat de l'Estat espanyol a signar la declaració DORA el gener del 2019. Ho vam fer amb una convicció clara: l'índex d'impacte d'una revista no pot substituir mai l'avaluació real de la qualitat científica ni el valor de les contribucions dels investigadors en la seva contractació i promoció. Per assegurar aquest canvi, hem integrat plenament els principis de DORA en el nostre Pla estratègic.
L’objectiu de la UOC a llarg termini és consolidar un sistema d'avaluació de la recerca que, completament alineat amb la reforma europea, ens permeti:
- Incentivi una recerca de qualitat
- Tingui en compte la diversitat de processos i resultats
- Faciliti la diversitat de perfils acadèmics
- Eviti les discriminacions del sistema actual
- S'adapti a les particularitats de la UOC
Amb la signatura de l'acord, la UOC es compromet a preparar un pla d'acció 2024-2027 en el termini d'un any. Aquest pla d'acció serà propi de la institució i tindrà present el nostre punt de partida i el nostre context nacional i regional.
A més, amb la signatura de l'acord, la UOC entraria a formar part de la CoARA i participaria en les discussions i grups de treball.
#1
Fase informativa als equips acadèmics
#2
Fase deliberativa en el si d'estudis i centres
#3
Presa de decisió a la Comissió Acadèmica (15 de novembre)