La crisis de reproducibilidad en la ciencia ha sido un tema de análisis y preocupación creciente en la última década. Estudios que no logran replicarse de forma independiente socavan la confianza en los hallazgos científicos y afectan la base sobre la que se construye el conocimiento y se desarrollan nuevas terapias y tecnologías. Un esfuerzo pionero a nivel mundial recientemente llevó a cabo un proyecto de reproducibilidad en el contexto biomédico de Brasil, cuyos resultados han puesto en evidencia la magnitud del problema y han abierto un debate necesario sobre las reformas urgentes que requiere el sistema científico. Este proyecto, coordinado por la Iniciativa Brasileña de Reproducibilidad y desarrollado por una coalición de más de 50 grupos de investigación y 213 científicos en 56 laboratorios de todo el país, buscó replicar experimentos de estudios biomédicos publicados entre 1998 y 2017. A diferencia de otros trabajos previos que se centraron en áreas específicas o en artículos muy citados, esta iniciativa seleccionó estudios basándose en las técnicas metodológicas empleadas, asegurando que los laboratorios participantes tuvieran la capacidad técnica necesaria para realizar réplicas fidedignas.
El foco recayó en tres métodos comunes en la investigación biomédica: ensayos de metabolismo celular, técnicas de amplificación genética y pruebas de laberinto en roedores. De un grupo inicial, 47 experimentos fueron sometidos a 97 intentos de replicación, cada uno evaluado rigurosamente por un comité independiente que validó la autenticidad y la fidelidad de las réplicas realizadas. Los resultados fueron desalentadores: menos de la mitad de los experimentos pudieron reproducirse con éxito y apenas un 21% cumplió con al menos la mitad de los criterios estadísticos definidos para considerar un experimento replicable. Esta tasa de reproducibilidad está en línea con las observadas en estudios similares internacionales, como la reproducibilidad del área de la psicología, pero es especialmente impactante por el enfoque metodológico y la escala nacional del proyecto brasileño. Otro hallazgo relevante que surgió de este esfuerzo fue la discrepancia notable entre los tamaños del efecto reportados en los estudios originales y los observados en las réplicas.
En promedio, los efectos reportados inicialmente fueron un 60% mayores, lo que indica una tendencia a la sobreestimación en la literatura publicada. Esta situación puede deberse a varios factores, entre ellos el sesgo de publicación, la presión por publicar resultados positivos y el uso de modelos estadísticos que favorecen la significancia sin un análisis riguroso de la verdadera magnitud del efecto. El contexto en el cual se desarrolló este proyecto también merece ser resaltado. Surgió en plena pandemia de COVID-19, una época que presentó desafíos logísticos sin precedentes a nivel global para la investigación científica. Las restricciones sanitarias, dificultades para acceder a insumos y la redistribución de recursos complicaron la coordinación y ejecución simultánea de tantos laboratorios, lo que hace aún más destacable la colaboración y compromiso de los equipos participantes.
Además, el proyecto enfrentó divergencias en cuanto al grado de fidelidad a los protocolos originales que debía aplicarse en las réplicas. Mientras que algunos laboratorios preferían seguir estrictamente los métodos publicados, otros defendían la adaptación a condiciones locales o actualización de técnicas. Estas diferencias reflejan una realidad común en la ciencia experimental y plantean interrogantes sobre cómo definir estándares claros para la reproducibilidad. Las implicaciones de estos resultados son múltiples y tienen impacto en diversas facetas del ecosistema científico. Por un lado, cuestionan la confianza que se puede depositar en ciertos hallazgos biomédicos para orientar decisiones clínicas, políticas públicas o nuevas investigaciones.
Por otro, advierten sobre la necesidad de revisar y mejorar los procesos editoriales, incluyendo mayor transparencia en los datos, protocolos detallados y disponibilidad de materiales experimentales para facilitar las replicaciones. En Brasil, donde la ciencia ha enfrentado en años recientes desafíos en materia de financiamiento y apoyo institucional, este llamado a la reforma adquiere especial relevancia. Como expresó una de las coordinadoras del proyecto, Mariana Boechat de Abreu, ahora se dispone del material necesario para implementar cambios desde dentro del sistema científico, ya sea a través de políticas públicas o acciones en las universidades y centros de investigación. La crisis de reproducibilidad no es exclusiva de un país ni de una disciplina científica, pero la visibilización de su impacto en el ámbito biomédico brasileño puede servir de ejemplo y catalizador para iniciativas similares en otras regiones. La colaboración masiva y multidisciplinaria que constituyó esta iniciativa demuestra que proyectos de esta magnitud son posibles y necesarios para avanzar hacia una ciencia más sólida y confiable.
