«Cal augmentar la contribució de tots els membres de la comunitat universitària a la producció i visibilitat del coneixement»
Isidro Aguillo , expert en avaluació de la ciència
Com s'ha d'avaluar la producció científica per a no interferir en l'activitat investigadora? Quin paper hi han de tenir les universitats, els centres i els instituts de recerca? I les editorials científiques? Conversem amb Isidro F. Aguillo, responsable del Laboratori de Cibermetria de l'Institut de Béns i Polítiques Públiques (IPP) del Centre Superior d'Investigacions Científiques (CSIC). Llicenciat en Biologia, màster en Informació i Documentació, diplomat en Estudis Avançats, doctor honoris causa per la Universitat d'Indonèsia i per la Universitat Nacional de Recerca Nuclear de Moscou, Aguillo és un reconegut expert en cibermetria, és a dir, el mesurament, l'estudi i l'anàlisi de tota classe d'informació que hi ha a internet. Aquest investigador és un dels impulsors de la revista científica Cybermetrics, la primera revista electrònica amb revisió d'experts —és a dir, aplicant un dels mètodes de validació de continguts científics més reconeguts internacionalment— del CSIC, i també del Ranking Web de Universidades, que mesura la presència a internet i la visibilitat digital de més de 28.000 institucions acadèmiques de tot el món.
Com s'ha d'avaluar la producció científica per a no interferir en l'activitat investigadora? Quin paper hi han de tenir les universitats, els centres i els instituts de recerca? I les editorials científiques? Conversem amb Isidro F. Aguillo, responsable del Laboratori de Cibermetria de l'Institut de Béns i Polítiques Públiques (IPP) del Centre Superior d'Investigacions Científiques (CSIC). Llicenciat en Biologia, màster en Informació i Documentació, diplomat en Estudis Avançats, doctor honoris causa per la Universitat d'Indonèsia i per la Universitat Nacional de Recerca Nuclear de Moscou, Aguillo és un reconegut expert en cibermetria, és a dir, el mesurament, l'estudi i l'anàlisi de tota classe d'informació que hi ha a internet. Aquest investigador és un dels impulsors de la revista científica Cybermetrics, la primera revista electrònica amb revisió d'experts —és a dir, aplicant un dels mètodes de validació de continguts científics més reconeguts internacionalment— del CSIC, i també del Ranking Web de Universidades, que mesura la presència a internet i la visibilitat digital de més de 28.000 institucions acadèmiques de tot el món.
En què consisteix la seva activitat al voltant de la cibermetria i quin és l'objectiu del seu laboratori?
El laboratori té dos objectius. Un de purament científic, que pretén promocionar l'aproximació quantitativa, que creiem que és més objectiva, menys esbiaixada, a l'estudi dels continguts acadèmics i els processos de comunicació científica a la internet. A més, pretenem tenir més impacte social, centrant-nos en la promoció de l'anomenada ciència oberta, l'open science, i la seva contribució a la consecució dels Objectius de Desenvolupament Sostenible de l'ONU.
Ha publicat articles en els quals s'ha mostrat crític amb la despesa que fan les universitats i els centres de recerca públics per a la publicació de treballs científics en determinades revistes. Pot explicar els motius d'aquestes crítiques?
Som ferms partidaris de les iniciatives d'accés obert, que ja han alliberat una gran quantitat de treballs científics a usuaris d'arreu del món. Tanmateix, el model de pagament per a publicar ha derivat, per part d'algunes de les editorials més importants, en exigències desmesurades de diners. Es genera un lucre desmesurat per l'explotació dels autors i revisors dels treballs que podria estar dictat per normes de mercat lligades al prestigi de les revistes.
Com a membre de diversos comitès d'experts de la Direcció General de Recerca de la Comissió Europea ha assenyalat deficiències i mancances dels models clàssics d'avaluació de la ciència. Quins són principalment i quines alternatives proposa?
La nostra tasca originalment va ser proposar més diversitat en els indicadors usats en l'avaluació, incorporant les mètriques web. Ara que la ciència oberta ja requereix noves fonts i indicadors, la nostra preocupació és el seu ús racional, informat i responsable. Sobre aquests nous indicadors, la nostra proposta és preferir sempre els relatius als absoluts i exigir la contextualització tant de les mesures de producció com de les de visibilitat, impacte o ús amb condicionants personals, institucionals, disciplinaris, temporals o econòmics, entre altres. Aquestes idees estan reflectides en l'anomenat manifest de Leiden.
Com s'hauria d'avaluar la producció científica en ciències socials i humanitats?
L'anàlisi de citacions ha de continuar ocupant una posició central en la seva avaluació, però cal utilitzar fonts més completes i menys esbiaixades. Cal exigir més rigor en el compliment d'estàndards a les seves publicacions i complementar aquesta avaluació amb l'opinió d'experts. Aquesta aproximació mixta, és a dir, quantitativa i qualitativa, és vàlida per a totes les avaluacions sempre que es prioritzi la transparència en els processos i en la justificació dels resultats.
El professorat universitari ha de fer docència i recerca. Hi ha agències d'acreditació nacionals i internacionals —com l'ANECA, en el cas d'Espanya— per a avaluar la qualitat i el desenvolupament de les carreres científiques. Un currículum investigador brillant és condició suficient per a acreditar-se, és a dir, per a certificar-se oficialment com a professional de la ciència?
L'acreditació ha estat en general un encert, tot i que malauradament no ha posat fi ni al nepotisme ni a l'endogàmia de les nostres universitats. Tanmateix, un excessiu automatisme dels processos, una confiança desmesurada en criteris quantitatius no contextualitzats i la manca de transparència n'han limitat el valor en casos en què la flexibilitat hauria de ser més gran. El marge de maniobra requerit es podria solucionar de manera simple amb entrevistes personals amb informe públic.
Creu que els criteris i els procediments que actualment ANECA aplica a Espanya són millorables? Hi ha d'haver agències d'acreditació per a valorar l'activitat investigadora?
Les agències d'avaluació són necessàries, però calen sistemes nacionals d'informació científica exhaustius i rigorosos que proporcionin dades fiables als comitès avaluadors. Aquests sistemes han de ser creats i mantinguts per professionals, tenir recursos amplis i independència, però sobretot han de ser públics, i s'hi ha de prioritzar la transparència i l'actualitat de la informació que proporcionen. Amb aquesta informació de qualitat, els criteris i procediments d'avaluació es podrien afaiçonar segons necessitats i autocorregir-se en un escenari obert i interactiu amb els usuaris.
S'està produint un debat en la comunitat científica sobre una classificació de revistes que ha publicat la Fundació Espanyola per a la Ciència i la Tecnologia (FECYT), amb l'objectiu de servir a l'ANECA i a altres agències d'avaluació com a eina per a millorar els sistemes d'acreditació de la qualitat dels treballs publicats pels investigadors de les àrees de ciències socials i humanes. Quina és la seva posició quant a aquest aspecte?
La utilització de mètriques de revistes per a avaluar individus ha estat formalment rebutjada per la comunitat internacional en l'anomenada declaració de San Francisco (DORA). El procediment d'elaboració de la classificació ha estat secret, amb una metodologia utilitzada sense prou revisió d'experts.
La UOC és una de les universitats que ha signat la declaració de San Francisco (DORA) per a evolucionar cap a un model d'avaluació de la ciència que tingui més en compte la qualitat. Què opina sobre la DORA i com poden adoptar mesures les universitats per a sumar-se als seus principis?
La declaració obliga tots els signants a abandonar l'ús del factor d'impacte i de totes les mètriques de revistes en l'avaluació d'individus, grups o institucions. Lamentablement, tot el sistema acadèmic i de recerca espanyol continua utilitzant aquests indicadors.
Ha assistit al seminari d'Edició Científica a la UOC. Segons el seu parer, quin és l'estat de salut de les revistes científiques espanyoles?
Espanya necessita unes poques grans revistes multidisciplinàries, no centenars de revistes amb certa qualitat formal i procedimental, d'interès molt minoritari.
Ha impulsat el Ranking Web de Universidades de tot el món: En què consisteix i quins criteris s'hi tenen en compte?
El Ranking no pretén ni classificar universitats ni les seves seus web, sinó promocionar la publicació en obert del coneixement que generen aquestes institucions. L'objectiu és augmentar la informació de qualitat que tan sovint es troba a faltar a internet. Els nostres criteris valoren la quantitat i la qualitat de la informació acadèmica a internet, el compromís personal, no solament del professorat sinó de tota la comunitat acadèmica, a fer accessible aquesta informació i l'impacte d'aquests continguts a la societat de tot el món.
En aquesta classificació, la UOC se situa en el lloc 38 de l'Estat i en el 895 del món. Com valora la nostra posició? Què hauríem de tenir en compte per a millorar-la?
La nostra classificació recompensa les universitats obertes, que, sovint, són infravalorades per altres editors. La clau per a millorar no s'aconseguirà només amb iniciatives des de dalt, sinó que és imprescindible augmentar la contribució de tots els membres de la comunitat, obrint la presència a internet no solament a professorat i investigadors, sinó també a bibliotecaris, tècnics i administratius i, per descomptat, als estudiants. La riquesa i diversitat de la institució ha d'estar reflectida a la xarxa pública.
Se celebraran noves eleccions generals. Què li recomana a qui s'ocupi del Ministeri de Ciència, Innovació i Universitats?
Aquesta és la pregunta més fàcil de respondre: que augmenti substancialment el finançament per a arribar als estàndards europeus!
Contacte de premsa
-
Redacció