La reproducibilidad en la ciencia es un pilar fundamental para validar y consolidar los hallazgos científicos. Sin embargo, un reciente estudio llevado a cabo por un consorcio de más de 50 equipos de investigación en Brasil ha puesto en evidencia un problema grave: menos de la mitad de los experimentos biomédicos seleccionados para replicación pudieron ser validados con éxito. Este proyecto, coordinado por la Iniciativa Brasileña de Reproducibilidad y realizado durante el período de la pandemia de COVID-19, no solo revela las dificultades para duplicar resultados, sino que también plantea una urgente necesidad de reformas dentro de la comunidad científica brasileña y, por extensión, en la comunidad científica global. El esfuerzo fue único en su enfoque: en lugar de centrarse en un área singular de la biomedicina, la iniciativa eligió evaluar la reproducibilidad basándose en los métodos científicos más comunes utilizados en el país. Esta estrategia permitió que los laboratorios participantes, comprendidos 56 en total y que involucraron a 213 científicos, pudieran replicar experimentos con las técnicas que mejor dominaban.
Entre los métodos seleccionados se encuentran un ensayo para el metabolismo celular, una técnica para amplificar material genético y una prueba de laberinto para roedores. A partir de estos, se eligieron artículos biomédicos publicados entre 1998 y 2017, en los que al menos la mitad de los autores tenían afiliación brasileña. El proceso de replicación involucró la selección inicial de 60 estudios, siendo finalmente 47 los que se sometieron a 97 intentos de replicación válidos, con un protocolo en el que tres laboratorios replicaban cada experimento individual y un comité independiente evaluaba la validez de cada replicación. Los resultados fueron reveladores y preocupantes. Solo el 21% de los experimentos estudiados cumplió con al menos la mitad de los criterios de replicabilidad establecidos, un dato que se alinea con observaciones similares en estudios internacionales pero que destaca de forma particular la situación en el contexto brasileño.
La disparidad entre los resultados originales y los hallazgos replicados se evidenció también en la sobrestimación del efecto observado en los artículos iniciales, que en promedio fue un 60% mayor que en la reproducción experimental, sugiriendo que los estudios publicados pueden exagerar el impacto de las intervenciones evaluadas. Esta brecha en la reproducibilidad tiene múltiples repercusiones. Para la comunidad científica, resalta la necesidad de evaluar con rigurosidad los métodos y datos utilizados en las investigaciones, así como de promover una cultura de transparencia y apertura. En el entorno académico y de investigación, la iniciativa impulsó el debate sobre cómo las políticas públicas y las instituciones pueden fomentar prácticas más rigurosas, evitar sesgos y fomentar una ciencia más confiable. Además, el impacto de estos hallazgos trasciende el ámbito académico.
La biomedicina tiene una conexión directa con la salud pública y el desarrollo de tratamientos, medicamentos y tecnologías médicas. Resultados científicos que no puedan ser replicados generan incertidumbre en la comunidad médica, retrasan avances y pueden incluso poner en riesgo la implementación de tratamientos basados en la evidencia. Los retos logísticos y metodológicos de este gran proyecto no fueron menores. La pandemia mundial complicó la coordinación entre laboratorios y planteó dificultades en el acceso y ejecución de ciertos protocolos. Por otro lado, la disparidad en la interpretación y ejecución de procedimientos entre equipos evidenció que, aunque los métodos seleccionados fueran comunes, la uniformidad de su aplicación no siempre fue posible, lo que a su vez afecta la reproducibilidad.
La coordinadora del proyecto, Mariana Boechat de Abreu, señaló que contar con estos datos ofrece una oportunidad invaluable para iniciar reformas desde adentro, ya sea en políticas públicas o en la propia estructura de las universidades y centros de investigación. Por su parte, Olavo Bohrer Amaral, coordinador general, describió el proceso como el intento de convertir a “docenas de bandas de garage” en una “orquesta”, subrayando las dificultades para armonizar esfuerzos científicos diversos. El estudio fue publicado inicialmente como un preprint en bioRxiv, lo que refleja también una tendencia creciente de la comunidad científica a promover la difusión rápida de resultados, aun cuando no hayan sido revisados por pares. Esta dinámica puede fomentar la colaboración y la crítica abierta, esenciales para mejorar la calidad y confiabilidad de la ciencia en el futuro. Los principios que han emergido como prioridad tras esta experiencia incluyen primero, la necesidad de estándares más claros y exigentes para la publicación científica, especialmente en áreas con impacto directo en la salud humana.
Segundo, reforzar la formación y capacitación en buenas prácticas científicas para investigadores en todos los niveles, promoviendo la estandarización y replicación de métodos. Tercero, impulsar políticas públicas que incentiven la investigación reproducible, tales como financiamiento dirigido a estudios de replicación y mecanismos que reconozcan este tipo de trabajo en los procesos de evaluación académica. El caso brasileño no es un fenómeno aislado. En años recientes, varias iniciativas internacionales han revelado tasas similares o incluso más bajas de reproducibilidad en diversas ramas de las ciencias biomédicas y sociales. Esta crisis de la reproducibilidad exige que la comunidad científica mundial reevalúe enfoques, privilegios de publicación y prácticas de laboratorio.
