Macroestudio revela variabilidad en las conclusiones científicas a partir de los mismos datos
Foto: Archivo – Todos los derechos reservados
Un ambicioso proyecto de investigación, conocido como SCORE, ha puesto de manifiesto que los mismos datos científicos pueden llevar a conclusiones diferentes, incluso entre expertos. El estudio, publicado en la revista *Nature*, analizó la robustez de la investigación en ciencias sociales y del comportamiento, revelando la influencia de la “variabilidad analítica” en los resultados.
El experimento, financiado por la agencia estadounidense DARPA, consistió en proporcionar los mismos conjuntos de datos a 457 analistas independientes, provenientes de diversas instituciones. Se les planteó la misma pregunta de investigación, correspondiente a 100 estudios previamente publicados, y se les dio total libertad para aplicar su propio criterio experto en el procesamiento y análisis de la información.
Los resultados fueron sorprendentes: solo el 34% de los 504 reanálisis realizados lograron obtener el mismo resultado estadístico que el artículo original, dentro de un margen de tolerancia predefinido. En cuanto a las conclusiones generales, el 74% de los investigadores llegó a la misma conclusión que el trabajo original, mientras que el 24% obtuvo resultados no concluyentes y un 2% encontró efectos opuestos.
La influencia de la “variabilidad analítica”
Los investigadores señalan que estas discrepancias no se deben a una falta de habilidad por parte de los científicos. La investigación empírica implica una serie de decisiones que son defendibles, como la limpieza de los datos, la definición de variables y la elección del modelo estadístico. Esta flexibilidad, conocida como “variabilidad analítica”, influye en las conclusiones finales, generando mayor incertidumbre en estudios observacionales complejos.
“Cada análisis implica decisiones metodológicas que pueden influir en los resultados,” afirma Guiomar Niso, investigadora del Centro de Neurociencias Cajal (CNC-CSIC) y participante en el estudio. “Comprender y cuantificar esa variabilidad y garantizar la transparencia en los procesos analíticos nos permite fortalecer la confianza en la investigación científica.”
Balázs Aczél, investigador principal del estudio de robustez, subraya que estos hallazgos no cuestionan la credibilidad de investigaciones anteriores. Más bien, ponen de manifiesto que presentar un único análisis a menudo no refleja el verdadero grado de incertidumbre empírica y que ignorar la variabilidad analítica puede conducir a una confianza excesiva en las conclusiones científicas.
Fragilidad y falta de transparencia en la ciencia
Además de la robustez, el proyecto SCORE evaluó la credibilidad de la ciencia desde otros dos ángulos: la reproducibilidad y la replicabilidad. En cuanto a la reproducibilidad, los investigadores se encontraron con la falta de transparencia: solo el 24% de los artículos evaluados compartía públicamente sus datos originales. Cuando esta información estaba disponible, solo el 74% de los trabajos logró reproducirse de forma aproximada, y solo el 54% alcanzó una reproducción precisa de las cifras.
La replicabilidad, que consiste en someter la misma pregunta de investigación a nuevos conjuntos de datos empíricos, evidenció que los hallazgos iniciales son más frágiles de lo que parecen. Apenas el 49% de los estudios logró replicarse con éxito bajo los criterios estadísticos más comunes. Además, los tamaños de los efectos observados en estos nuevos ensayos replicados fueron, de media, menos de la mitad de la magnitud reportada en las investigaciones originales.
En conjunto, los resultados del proyecto SCORE subrayan que la credibilidad de la ciencia es multidimensional y que no existen atajos ni indicadores mágicos para determinar si un estudio es fiable. “El mensaje principal de SCORE es sencillo: investigar es difícil,” resume Tim Errington, director sénior de investigación del Centro para la Ciencia Abierta (COS) y uno de los líderes del proyecto. “Se necesita un esfuerzo enorme para verificar los nuevos hallazgos y tener la suficiente confianza en ellos como para sentar las bases de futuras investigaciones.”
