La investigación en ciencias sociales suele llegar a conclusiones diferentes utilizando los mismos datos

Cuando casi medio millar de analistas independientes vuelven a examinar los datos utilizados en estudios ya publicados, las conclusiones a menudo divergen. Este es el principal hallazgo de una colaboración internacional a gran escala que ha investigado sobre la robustez de las ciencias sociales y del comportamiento en el marco de la ciencia abierta. En el trabajo, que se ha concretado en una serie de artículos publicados en la revista Nature, han participado 457 analistas independientes de todo el mundo, entre los que están Ariadna Angulo Brunet, coordinadora del grupo de investigación Measuring and Improving Student Success (MISS) de la Universitat Oberta de Catalunya (UOC). 

En concreto, el trabajo en el que ha colaborado la profesora de los Estudios de Psicología y Ciencias de la Educación ha vuelto a analizar los datos de 100 investigaciones ya publicadas para comprobar cómo las decisiones metodológicas de los investigadores afectan a los resultados finales. La investigación revela que, aunque reciban el mismo conjunto de datos y la misma pregunta de investigación, los equipos científicos tienen una variabilidad analítica —una gran libertad a la hora de limpiar datos, definir variables o elegir modelos estadísticos— que puede influir claramente en las conclusiones finales de la investigación.

Los datos del estudio son reveladores: en el 81 % de los casos, los analistas obtuvieron resultados estadísticos diferentes del original a causa de los distintos caminos metodológicos elegidos. En cuanto a las conclusiones, si se aplica el nivel máximo de exigencia, solo uno de cada tres estudios (el 34 %, concretamente) se puede considerar plenamente robusto porque las cinco personas que lo evaluaron estuvieron de acuerdo con las conclusiones originales. Sin embargo, si tomamos una perspectiva diferente, este valor mejora e invita más al optimismo: de los 504 reanálisis hechos, un 74 % llegó a la misma conclusión que el original.

Una paradoja que refuerza la ciencia

El estudio demuestra que las diferencias no se deben a la falta de pericia ni a sesgos personales, sino a la libertad de elección entre procedimientos estadísticos igualmente válidos. "Entender esta pluralidad nos ayuda a ver que los métodos no son el objetivo final, sino el camino; son las herramientas que nos permiten caminar con seguridad hacia el auténtico propósito, que es hacer avanzar el conocimiento", afirma Ariadna Angulo Brunet.

"Estos resultados paradójicos dan mucha esperanza porque indican que, cuando el método es riguroso, la objetividad se impone por encima de la etiqueta profesional", explica la profesora de la UOC. Para la investigadora, adscrita al Centro de Investigación en los Futuros de la Educación en la Era Digital (UOC-FuturEd), el proyecto ilustra perfectamente que no hay una única manera correcta de analizar la realidad ni de hacer ciencia: "Haciendo una analogía con la cocina, el trabajo demuestra que no hay una única receta para investigar. Aunque cada cocinero ponga su toque, si el plato es realmente bueno y el cocinero no comete errores, la conclusión final tendría que ser siempre una comida excelente. En cambio, si el resultado científico solo sale cuando un cocinero muy específico hace una combinación extraña de ingredientes, es que el descubrimiento no era tan sólido como pensábamos".

Apuesta por la metodología de multiverso

Los resultados no buscan cuestionar la validez de la investigación previa, sino alertar sobre el exceso de confianza que puede generar el hecho de presentar un único análisis como una verdad absoluta. El equipo de investigación que ha impulsado el estudio propone avanzar hacia un modelo de multiverso en el que se exploran varios repertorios de análisis posibles para comprobar si las conclusiones se mantienen o son frágiles. La idea es o bien que un mismo investigador explore todo el repertorio de análisis posibles de los datos que tiene para trabajar o bien que un grupo de personas compruebe conjuntamente si las conclusiones se mantienen o no independientemente del camino elegido.

En el contexto actual de auge de la inteligencia artificial y la interdisciplinariedad, Angulo Brunet, que ha participado activamente en el reanálisis de estudios, apuesta por una visión pedagógica y no punitiva de la metodología científica. El objetivo no es restringir la libertad del personal investigador, sino fomentar la transparencia total a través de la ciencia abierta. "La metodología no es un accesorio, es el corazón de la investigación", señala.

Hacia una ciencia más transparente

La investigadora de la UOC concluye que la apuesta por un incremento de la transparencia no tiene que ser vista como una carga burocrática, sino como la única garantía de validez científica en un sistema que a menudo premia la inmediatez por encima del rigor. Los expertos son conscientes de que la IA se empieza a introducir en el análisis de datos, y por eso recuerdan que el criterio humano y la sensibilidad metodológica siguen siendo imprescindibles para garantizar que los resultados científicos sean sólidos. "La ciencia avanza cuando nos importa tanto la manera como llegamos a la conclusión como la misma conclusión. Tenemos que ser capaces de reconocer las limitaciones de cada disciplina para crear sinergias", insiste Angulo Brunet.

Compromiso con la ciencia abierta

La UOC ha participado en este estudio metacientífico de amplio alcance internacional en consonancia con su apuesta y su compromiso con los principios de la ciencia abierta. La iniciativa se enmarca en el programa Systematizing Confidence in Open Research and Evidence (SCORE), una colaboración que ha implicado a 865 investigadores de todo el mundo y ha publicado una colección de artículos en la revista Nature. El proyecto, coordinado por el Center for Open Science, ha analizado dimensiones de la investigación como la credibilidad, la reproductibilidad y la robustez, y ha evaluado hasta qué punto se puede predecir si los resultados se replicarán. En conjunto, los investigadores del proyecto SCORE han examinado afirmaciones extraídas de 3.900 artículos publicados entre 2009 y 2018 en 62 revistas de múltiples disciplinas y han definido de manera estandarizada los conceptos clave utilizados para garantizar una interpretación coherente de los resultados. 

Este estudio sobre el funcionamiento de la investigación científica tiene un impacto transversal en todas las misiones de investigación de la Universitat Oberta de Catalunya y favorece los objetivos de desarrollo sostenible (ODS) de la ONU, especialmente los números 4, educación de calidad; 9, industria, innovación e infraestructuras; 16, paz, justicia e instituciones sólidas, y 17, alianzas para lograr los objetivos.

Artículo de referencia

Aczel et al. (2026). Investigating the analytic robustness of the social and behavioural sciences. Nature. https://doi.org/10.1038/s41586-025-09844-9

Investigación con impacto y vocación transformadora

En la UOC entendemos la investigación como una herramienta estratégica para avanzar hacia una sociedad de futuro más crítica, responsable e inconformista. Desde esta visión, desarrollamos una investigación aplicada, interdisciplinaria y conectada con los grandes retos sociales, tecnológicos y educativos. 

Los más de 500 investigadores e investigadoras y los más de 50 grupos de investigación de la UOC trabajan alrededor de cinco unidades de investigación centradas en cinco misiones: educación a lo largo de la vida, tecnología ética y humana, transición digital y sostenibilidad, cultura para una sociedad crítica, y salud digital y bienestar planetario.

Además, la universidad impulsa la transferencia de conocimiento y el emprendimiento de la comunidad UOC con la plataforma Hubbik.

Más información: https://www.uoc.edu/es/investigacion