La inteligencia artificial ha revolucionado numerosas áreas de la vida diaria y profesional durante los últimos años, integrándose en sectores tan diversos como la salud, la educación, la justicia y el bienestar emocional. Entre las innovaciones más prometedoras se encuentra Google Gemini, una familia avanzada de modelos de lenguaje de gran escala que ha sido adoptada por desarrolladores para crear aplicaciones con funciones específicas, incluyendo herramientas destinadas a apoyar a personas que han sufrido traumas, como víctimas de violencia sexual. Sin embargo, una reciente actualización de Gemini ha generado una polémica significativa al limitar severamente la capacidad de estos programas para procesar y tratar contenido sensible, provocando una crisis en aplicaciones críticas para quienes más necesitan ayuda. El problema se detectó tras la llegada de Gemini 2.5 Pro Preview, versión lanzada en mayo de 2025, que aparentemente endureció las restricciones de seguridad y redujo las posibilidades de configurar niveles de filtro de contenidos, priorizando un enfoque prudente que en la práctica invalida el uso en contextos de apoyo a víctimas de traumas.
Jack Darcy, desarrollador de software y experto en seguridad con base en Brisbane, Australia, ha sido una de las voces más destacadas denunciando esta situación. Darcy creó varias aplicaciones bajo el nombre de la familia "*HELIX" —VOXHELIX, AUDIOHELIX y VIDEOHELIX— diseñadas para recibir relatos crudos y sin estructura sobre experiencias traumáticas, tales como informes de agresiones sexuales, y procesarlos mediante Google Gemini para generar reportes estructurados útiles para fuerzas policiales y procedimientos legales. Además, estas plataformas ofrecen una salida terapéutica para que las víctimas puedan externalizar sus vivencias en un entorno facilitado por inteligencia artificial. La actualización implementada por Google ha provocado que estos programas pierdan la capacidad de procesar información delicada, ya que el modelo ha comenzado a categorizar erróneamente estos informes como "contenido peligroso" o "pornografía ilegal", bloqueando automáticamente las solicitudes para evitar discusiones detalladas sobre los hechos. Por ejemplo, VOXHELIX no puede ya generar versiones más explicitas ni siquiera cuando los ajustes de seguridad están configurados para no filtrar nada, pues el modelo responde con mensajes que rechazan cumplir la petición alegando que detallar hechos de violencia sexual contradice sus directrices de seguridad.
Esta situación va mucho más allá de un problema técnico o de puntualidades en el software. Las consecuencias son dramáticas para profesionales de la salud mental, abogados, trabajadores sociales y sobrevivientes que dependen de estas herramientas para realizar procesos de sanación, documentación y denuncia. Algunos terapeutas y agencias gubernamentales australianas que integraban VOXHELIX en sus procedimientos reportan que ahora enfrentan interrupciones con mensajes de error que se presentan durante las sesiones de atención a víctimas, generando frustración, angustia y sentimientos de revictimización. La problemática también se manifiesta en otras aplicaciones como InnerPiece, desarrollada por un programador independiente para ayudar a personas con trastorno de estrés postraumático, depresión o antecedentes de abuso a expresar sus emociones y avanzar en sus procesos de recuperación. Tras la actualización de Gemini, los usuarios de InnerPiece se han encontrado brutalmente con límites que les impiden compartir libremente sus estados y vivencias más delicadas, recibiendo indicaciones de que sus expresiones son demasiado gráficas para ser discutidas.
Esta imposición afecta principalmente a colectivos vulnerables y neurodivergentes que dependen del espacio y empatía que estas tecnologías les brindaban para hablar de sus verdades personales. Más allá del impacto humano, la actualización ha generado una ola de malestar entre desarrolladores de aplicaciones AI que confiaban en la capacidad de ajustar la sensibilidad de Gemini para crear experiencias adecuadas a distintos usos y necesidades. En foros especializados de Google AI, múltiples usuarios han descrito cómo la migración silenciosa del endpoint “gemini-2.5-pro-preview-03-25” a la versión más reciente ha tenido efectos inesperados y regresivos. Los cambios no se limitan a la seguridad del contenido, sino que también abarcan marcadas diferencias en la capacidad para razonar, estilos de diálogo y resultados de prompts, lo que afecta la consistencia y confiabilidad de productos ya consolidados en el mercado.
La situación refleja un problema más amplio en el desarrollo y despliegue de inteligencia artificial: el equilibrio entre seguridad y utilidad. Aunque la moderación y las protecciones contra contenido dañino, ofensivo o ilegal son esenciales, su implementación rígida puede llevar a censuras excesivas que limitan el potencial de la tecnología para apoyar interacciones humanas complejas y emocionalmente delicadas. En el contexto de salud mental, justicia y ayuda a víctimas, la capacidad para abordar temas difíciles con sensibilidad es crucial. La experiencia de Darcy subraya que estas tecnologías no son meramente herramientas técnicas sino apuestas directas por la dignidad y acompañamiento de personas en situaciones críticas. El rechazo a procesar relatos de abuso o trauma, aunque motivado por la intención de evitar generación de material perturbador, puede terminar negando a las víctimas el reconocimiento y el soporte que necesitan.
Google, por su parte, ha reconocido las consultas acerca de esta problemática pero hasta la fecha no ha ofrecido explicaciones claras ni promesas de solución rápida. Esto genera incertidumbre sobre si se trata de un error en la actualización o un cambio deliberado en la filosofía de restricción de contenido de Gemini. Los desarrolladores afectados hacen un llamado urgente para que la multinacional permita restablecer configuraciones que posibiliten un uso consensuado y responsable del modelo con contenido sensible, respetando la necesidad social y legal de acceder a funcionalidades que hoy se ven bloqueadas. Más allá del foco en Google Gemini, esta crisis invita a reflexionar sobre la forma en que las grandes plataformas y proveedores de inteligencia artificial diseña sus sistemas de seguridad y control, y su impacto indirecto en colectivos vulnerables. La transparencia, flexibilidad para distintos escenarios y colaboración cercana con la comunidad de expertos en salud mental y justicia podrían ser claves para evitar que avances tecnológicos tan prometedores terminen aislando o negando apoyo a quienes más lo requieren.
En definitiva, la situación con la actualización de Gemini representa un nodo crítico entre ética, diseño tecnológico y responsabilidad social en la era de la inteligencia artificial. Para que herramientas potentes y sofisticadas puedan generar un verdadero impacto humano positivo, deben ser accesibles, adaptables y comprensibles en contextos donde las palabras, los relatos de dolor y las emociones juegan un papel vital en la sanación y en la búsqueda de justicia. Solo así se podrá garantizar que la innovación sirva para amplificar voces silenciadas en lugar de empeorar su silencio.
