La reproducibilidad en la ciencia es un pilar fundamental para validar resultados y garantizar la confiabilidad de los avances científicos. En los últimos años, la comunidad científica a nivel global ha enfrentado una creciente preocupación sobre la llamada crisis de reproducibilidad, especialmente en áreas como la biomedicina. Un reciente proyecto llevado a cabo en Brasil, conocido como la Iniciativa Brasileña de Reproducibilidad, ha aportado evidencias contundentes sobre esta problemática, realizando una evaluación a gran escala de estudios biomédicos publicados por investigadores brasileños. Los resultados obtenidos, aunque preocupantes, ofrecen una oportunidad para replantear y fortalecer la ciencia dentro del país y quizás también a nivel mundial. Desde su lanzamiento en 2019, la Iniciativa Brasileña de Reproducibilidad reunió a más de 200 científicos distribuidos en 56 laboratorios en todo Brasil.
Este proyecto masivo tuvo la particularidad de centrarse en la replicación de experimentos basados en métodos específicos comunes en la investigación biomédica, en lugar de seleccionar estudios según su área temática, impacto o número de citas. Las técnicas elegidas incluían un ensayo de metabolismo celular, un método para amplificar material genético y un test de laberinto aplicado en roedores. Estos enfoques fueron seleccionados porque son ampliamente utilizados y reproducibles en laboratorios de biomedicina en Brasil. Para llevar a cabo su estudio, los investigadores seleccionaron al azar artículos publicados entre 1998 y 2017, en los que al menos la mitad del equipo investigador tenía afiliación brasileña. En total, se seleccionaron 60 trabajos para intentar replicar, con tres laboratorios independientes por cada experimento.
De este modo, se realizaron 97 intentos de replicación válidos de 47 experimentos, valorados posteriormente por un comité independiente. Las conclusiones fueron contundentes. Solo el 21% de los experimentos cumplían al menos la mitad de los criterios de replicabilidad establecidos, que incluían que al menos la mitad de los intentos independientes lograran resultados estadísticamente significativos en la misma dirección que el estudio original. Este bajo porcentaje confirma tendencias similares evidenciadas en otros países, donde intentos grandes y rigurosos de reproducir resultados científicos terminan con menos del 50% de éxito. Además, los investigadores observaron una sobreestimación de los efectos medidos en los artículos originales.
En promedio, el tamaño del efecto reportado por los estudios iniciales fue un 60% mayor que el observado en los intentos de replicación. Esto sugiere que muchos trabajos pueden estar reportando beneficios o impactos exagerados, lo que puede conducir a falsas expectativas en la comunidad científica, financiadores y público general. Este contexto no es exclusivo de Brasil. Durante la última década, varios grandes esfuerzos internacionales han puesto el foco en la reproducibilidad de la investigación. El Estudio de Reproducibilidad de la Ciencia Abierta, publicado en 2015 en la revista Science, por ejemplo, intentó replicar 100 experimentos en psicología y encontró una tasa de éxito menor al 40%.
Otro ejemplo proviene del ámbito de la biomedicina, donde estudios similares han revelado desafíos para replicar resultados fundamentales. Sin embargo, lo que diferencia a la Iniciativa Brasileña es su enfoque metodológico y geográfico. Seleccionar estudios en base a los métodos usados en vez de otras métricas y concentrarse en la producción científica brasileña aporta una visión más clara y representativa del estado de la ciencia en ese país. Esto permite identificar no solo problemas técnicos, sino también estructurales, sociales y culturales que afectan la investigación local. La dificultad para replicar experimentos puede deberse a múltiples factores.
La falta de detalles completos en los protocolos experimentales, diferencias en el equipamiento o reactivos utilizados, sesgos estadísticos, presión por publicar resultados novedosos y la propia variabilidad biológica pueden jugar un papel. En Brasil, estos desafíos también se ven exacerbados por limitaciones logísticas y de financiamiento, cuestiones que se agudizaron durante la pandemia de COVID-19, cuando se llevó a cabo gran parte del trabajo de replicación. El proyecto también reveló desafíos en la gestión de la colaboración científica. Los coordinadores compararon el esfuerzo con intentar formar una orquesta a partir de decenas de bandas independientes con estilos y modos de trabajo distintos. La alineación de protocolos, estándares y criterios fue una tarea ardua, pero necesaria para acercar los esfuerzos hacia un objetivo común.
Los autores del estudio ven en este trabajo no un motivo para el pesimismo, sino una base sólida para impulsar reformas internas. Mariana Boechat de Abreu, coordinadora del proyecto y experta en metaciencia, sostiene que contar con evidencias propias permite diseñar políticas públicas más efectivas y promover prácticas institucionales que mejoren la calidad y transparencia de la investigación. Entre las posibles acciones a considerar, destacan la mejora en la capacitación de investigadores sobre estadística y diseño experimental, el fomento de la cultura de la replicación y la preregistración de protocolos, la implementación de requisitos más estrictos por parte de revistas científicas y el fortalecimiento de la infraestructura de investigación y financiamiento. La apertura y el intercambio de datos entre grupos también son aspectos claves para avanzar en transparencia y control de calidad. Asimismo, este estudio tiene implicancias fuera de Brasil.
Las instituciones científicas globales pueden aprender de esta experiencia para fomentar iniciativas similares en otras regiones, en especial en países en desarrollo donde la ciencia muchas veces enfrenta desafíos similares, pero con menor visibilidad. La colaboración internacional y el apoyo a sistemas de control y evaluación científica más robustos contribuyen a mejorar la confianza pública en la ciencia y a evitar la pérdida de recursos en investigaciones que no pueden ser confirmadas. En resumen, la Iniciativa Brasileña de Reproducibilidad constituye un hito en la investigación científica del país y un espejo para la comunidad biomédica internacional. La baja replicabilidad encontrada es una llamada de atención para la comunidad científica, pero también una oportunidad para hacer ajustes que generen una ciencia más sólida, ética y útil. Las reproducibilidades fallidas no son una derrota sino un paso necesario hacia la mejora continua.
Reconocerlas abiertamente, como lo hicieron los científicos brasileños, fomenta una cultura de honestidad y autocrítica que es esencial para el progreso científico. A medida que las políticas, la formación y las prácticas se adaptan a estos nuevos desafíos, la calidad, confiabilidad e impacto social de la investigación biomédica tendrán el potencial de crecer significativamente.
