La recerca en ciències socials sovint arriba a conclusions diferents utilitzant les mateixes dades

Quan gairebé mig miler d'analistes independents tornen a examinar les dades utilitzades en estudis ja publicats, les conclusions sovint divergeixen. Aquesta és la principal troballa d'una col·laboració internacional a gran escala que ha investigat sobre la robustesa de les ciències socials i del comportament en el marc de la ciència oberta. En el treball, que s'ha concretat en una sèrie d'articles publicats a la revista Nature, hi han participat 457 analistes independents d'arreu del món, entre els quals hi ha Ariadna Angulo Brunet, coordinadora del grup de recerca Measuring and Improving Student Success (MISS) de la Universitat Oberta de Catalunya (UOC). 

En concret, el treball en el que ha col·laborat la professora dels Estudis de Psicologia i Ciències de l'Educació ha tornat a analitzar les dades de 100 investigacions ja publicades per comprovar com les decisions metodològiques dels investigadors afecten els resultats finals. La recerca revela que, encara que rebin el mateix conjunt de dades i la mateixa pregunta de recerca, els equips científics tenen una variabilitat analítica —una gran llibertat a l'hora de netejar dades, definir variables o triar models estadístics— que pot influir clarament en les conclusions finals de la recerca.

Les dades de l'estudi són reveladores: en el 81 % dels casos, els analistes van obtenir resultats estadístics diferents de l'original a causa dels diversos camins metodològics triats. Pel que fa a les conclusions, si s'aplica el nivell màxim d'exigència, només un de cada tres estudis (el 34 %, concretament) es pot considerar plenament robust perquè les cinc persones que el van avaluar van estar d'acord amb les conclusions originals. Tanmateix, si prenem una perspectiva diferent, aquest valor millora i convida més a l'optimisme: de les 504 reanàlisis fetes, un 74 % va arribar a la mateixa conclusió que l'original.

Una paradoxa que reforça la ciència

L'estudi demostra que les diferències no es deuen a la falta d'expertesa ni a biaixos personals, sinó a la llibertat d'elecció entre procediments estadístics igualment vàlids. "Entendre aquesta pluralitat ens ajuda a veure que els mètodes no són l'objectiu final, sinó el camí; són les eines que ens permeten caminar amb seguretat cap a l'autèntic propòsit, que és fer avançar el coneixement", afirma Ariadna Angulo Brunet.

"Aquests resultats paradoxals donen molta esperança perquè indiquen que, quan el mètode és rigorós, l'objectivitat s'imposa per sobre de l'etiqueta professional", explica la professora de la UOC. Per a la investigadora, adscrita al centre UOC-FuturEd, el projecte il·lustra perfectament que no hi ha una única manera correcta d'analitzar la realitat ni de fer ciència: "Fent una analogia amb la cuina, el treball demostra que no hi ha una única recepta per investigar. Malgrat que cada cuiner hi posi el seu toc, si el plat és realment bo i el cuiner no comet errors, la conclusió final hauria de ser sempre un àpat excel·lent. En canvi, si el resultat científic només surt quan un cuiner molt específic fa una combinació estranya d'ingredients, és que el descobriment no era tan sòlid com pensàvem".

Aposta per la metodologia de multivers

Els resultats no busquen qüestionar la validesa de la recerca prèvia, sinó alertar sobre l'excés de confiança que pot generar el fet de presentar una única anàlisi com una veritat absoluta. L'equip de recerca que ha impulsat l'estudi proposa avançar cap a un model de multivers en el qual s'exploren diversos repertoris d'anàlisis possibles per comprovar si les conclusions es mantenen o són fràgils. La idea és o bé que un mateix investigador explori tot el repertori d'anàlisis possibles de les dades que té per treballar o bé que un grup de persones comprovi conjuntament si les conclusions es mantenen o no independentment del camí triat.

En el context actual d'auge de la intel·ligència artificial i la interdisciplinarietat, Angulo Brunet, que ha participat activament en la reanàlisi d'estudis, aposta per una visió pedagògica i no punitiva de la metodologia científica. L'objectiu no és restringir la llibertat del personal investigador, sinó fomentar la transparència total a través de la ciència oberta. "La metodologia no és un accessori, és el cor de la recerca", assenyala.

Cap a una ciència més transparent

La investigadora de la UOC conclou que l'aposta per un increment de la transparència no ha de ser vista com una càrrega burocràtica, sinó com l'única garantia de validesa científica en un sistema que sovint premia la immediatesa per sobre del rigor. Els experts són conscients que la IA es comença a introduir en l'anàlisi de dades, i per això recorden que el criteri humà i la sensibilitat metodològica continuen sent imprescindibles per garantir que els resultats científics siguin sòlids. "La ciència avança quan ens importa tant la manera com arribem a la conclusió com la conclusió mateixa. Hem de ser capaços de reconèixer les limitacions de cada disciplina per crear sinergies", insisteix Angulo Brunet.

Compromís amb la ciència oberta

La UOC ha participat en aquest estudi metacientífic d'ampli abast internacional en consonància amb la seva aposta i el seu compromís amb els principis de la ciència oberta. La iniciativa s'emmarca en el programa Systematizing Confidence in Open Research and Evidence (SCORE), una col·laboració que ha implicat 865 investigadors d'arreu del món i ha publicat una col·lecció d'articles a la revista Nature. El projecte, coordinat pel Center for Open Science, ha analitzat dimensions de la recerca com ara la credibilitat, la reproductibilitat i la robustesa, i ha avaluat fins a quin punt es pot predir si els resultats es replicaran. En conjunt, els investigadors del projecte SCORE han examinat afirmacions extretes de 3.900 articles publicats entre 2009 i 2018 en 62 revistes de múltiples disciplines i han definit de manera estandarditzada els conceptes klau utilitzats per garantir una interpretació coherent dels resultats. 

Aquest estudi sobre el funcionament de la recerca científica té un impacte transversal en totes les missions de recerca de la Universitat Oberta de Catalunya i afavoreix els objectius de desenvolupament sostenible (ODS) de l'ONU, especialment els números 4, educació de qualitat; 9, indústria, innovació i infraestructures; 16, pau, justícia i institucions sòlides, i 17, aliances per assolir els objectius.

Article de referència

Aczel et al. (2026). Investigating the analytic robustness of the social and behavioural sciences. Nature. https://doi.org/10.1038/s41586-025-09844-9

Recerca amb impacte i vocació transformadora

A la UOC entenem la recerca com una eina estratègica per avançar cap a una societat de futur més crítica, responsable i inconformista. Des d'aquesta visió, desenvolupem una recerca aplicada, interdisciplinària i connectada amb els grans reptes socials, tecnològics i educatius. 

Els més de 500 investigadors i investigadores i els més de 50 grups de recerca de la UOC treballen al voltant de cinc unitats de recerca centrades en cinc missions: educació al llarg de la vida, tecnologia ètica i humana, transició digital i sostenibilitat, cultura per a una societat crítica, i salut digital i benestar planetari.

A més, la Universitat impulsa la transferència de coneixement i l'emprenedoria de la comunitat UOC amb la plataforma Hubbik.

Més informació: www.uoc.edu/ca/recerca