La reproducibilidad es la piedra angular de la ciencia confiable y válida. Sin embargo, un ambicioso proyecto coordinado por la Iniciativa Brasileña de Reproducibilidad ha sacado a la luz una preocupante realidad: menos de la mitad de los estudios biomédicos evaluados en Brasil logran ser replicados con éxito. Este hallazgo no solo resuena con iniciativas similares en otras partes del mundo, sino que además revela problemas específicos en la comunidad científica brasileña, colocando en el centro del debate la calidad, la transparencia y la validez de la investigación realizada. Este proyecto, lanzado en 2019 y coordinado desde la Universidad Federal de Río de Janeiro (UFRJ), involucró a más de 50 equipos de investigación y a 213 científicos distribuidos en 56 laboratorios dentro de Brasil. El esfuerzo único se centró en replicar estudios biomédicos que utilizaban tres métodos experimentales comúnmente empleados en la investigación biomédica: ensayos del metabolismo celular, técnicas para amplificar material genético y pruebas de laberinto para roedores.
Esta selección metodológica fue resultado de un análisis que buscaba identificar técnicas ampliamente usadas para garantizar que la reproducción de los experimentos fuera viable para la mayoría de los laboratorios interesados. El periodo de estudios originales abarcó trabajos publicados entre 1998 y 2017, todos realizados por equipos con al menos la mitad de sus autores afiliados a instituciones brasileñas. La elección de los estudios a replicar se realizó de manera aleatoria, pero con criterios adicionales que incluyen la disponibilidad de información estadística relevante que facilitara la evaluación de los resultados. El proyecto se enfrentó a numerosos desafíos logísticos, especialmente por la pandemia de COVID-19, que complicó la coordinación y comunicación entre los distintos equipos participantes. El proceso de reproducción implicó que tres laboratorios diferentes replicaran cada experimento, y un comité independiente evaluó la validez de estas réplicas.
De las 60 obras científicas seleccionadas, se realizaron 97 intentos de replicación válidos centrados en 47 experimentos distintos. Los criterios para evaluar la replicabilidad incluían, entre otros, la obtención de resultados estadísticamente significativos en la misma dirección que en los estudios originales y el tamaño del efecto observado. El resultado fue desalentador: solamente el 21% de los experimentos pudieron considerarse replicables usando al menos la mitad de los criterios evaluados. Además de la baja tasa de replicación, el proyecto evidenció un sesgo considerable en el tamaño de los efectos reportados en los estudios originales, que, en promedio, era un 60% mayor que en las réplicas. Esto sugiere que los resultados publicados en muchas ocasiones exageran la magnitud de los efectos, fenómeno conocido como “sesgo de publicación” o “inflación del efecto”.
Esta situación provoca una mala interpretación de la efectividad o relevancia clínica de ciertas intervenciones o descubrimientos. La crisis de reproducibilidad no es un fenómeno aislado en Brasil, sino que forma parte de un problema global en las ciencias biomédicas y sociales. Diversos estudios internacionales han documentado tasas similares de fracaso al intentar reproducir resultados científicos, lo que impacta negativamente en la confianza pública, la asignación de recursos y la dirección de futuras investigaciones. Sin embargo, la Iniciativa Brasileña de Reproducibilidad cobra importancia al poner el foco en la evaluación metodológica en lugar de centrar la atención en áreas de investigación específicas o en la popularidad de los trabajos. Esta estrategia permitió una visión más profunda y objetiva de la calidad científica del país desde el punto de vista experimental y metodológico.
Los coordinadores del proyecto, como Mariana Boechat de Abreu y Olavo Bohrer Amaral, han señalado que los resultados obtenidos brindan una oportunidad para iniciar reformas internas en la ciencia brasileña. Esto podría incluir cambios en políticas públicas, incentivos para una mayor transparencia, capacitación en diseño experimental y estadísticas, así como en la cultura científica que fomente la reproducibilidad y la colaboración entre investigadores. La reproducibilidad garantiza que los resultados científicos sean confiables y que puedan sentar bases sólidas para avances futuros, tanto en el conocimiento básico como en sus aplicaciones clínicas y tecnológicas. La incapacidad para reproducir estudios reduce la eficiencia de la investigación científica y puede incluso poner en riesgo la salud pública si se basan decisiones médicas en hallazgos poco confiables. Por otro lado, el proyecto también mostró ciertas complejidades en la replicación de experimentos, evidenciando que la variabilidad en la interpretación de protocolos y la ejecución práctica puede llevar a discrepancias en los resultados.
