Google refuerza las herramientas de crisis de Gemini mientras la demanda se intensifica

Google está añadiendo salvaguardas más estrictas de salud mental a Gemini, ya que el despliegue de las herramientas de crisis de Gemini llega en medio de una demanda por muerte injusta que afirma que el chatbot ayudó a empujar a un hombre de Florida hacia el suicidio. La compañía intenta responder a una pregunta brutal que acecha a todos los fabricantes de IA en este momento: ¿qué sucede cuando un chatbot está demasiado ansioso por mantener la conversación?

Las nuevas medidas se centran en los momentos en que Gemini detecta signos de autolesión o intención suicida. En lugar de un aviso genérico, los usuarios verán ahora una pantalla rediseñada «Hay ayuda disponible» con opciones de un solo clic para llamar, enviar un mensaje de texto o chatear con una línea de crisis, y Google dice que ese aviso permanecerá visible durante el resto de la conversación una vez que aparezca.

Financiación de Google.org y expansión de ReflexAI

Google.org también está destinando 30 millones de dólares durante tres años para ampliar las líneas de crisis a nivel mundial, además de 4 millones de dólares para una asociación más amplia con la plataforma de entrenamiento de IA ReflexAI. Eso es generoso, y además convenientemente mucho más barato que el daño reputacional de otro titular sobre un chatbot y una muerte.

Recomendado

xAI demanda a un usuario de Grok por imágenes de abuso infantil

En su entrada de blog, Google dijo que la IA puede crear nuevos riesgos incluso cuando más personas la usan en la vida diaria. La compañía también afirmó que Gemini ha sido entrenado para evitar comportarse como un compañero humano, resistir la intimidad emocional y dejar de fomentar el acoso.

La demanda que pesa sobre Gemini

El momento resulta imposible de ignorar. Una demanda presentada en un tribunal federal de California acusa a Gemini de contribuir a la muerte en octubre de 2025 de Jonathan Gavalas, un hombre de Florida de 36 años, y afirma que el chatbot pasó semanas construyendo una elaborada fantasía delirante antes de enmarcar su muerte como un viaje espiritual.

Entre las medidas solicitadas figuran reglas que obliguen a la IA de Google a terminar las conversaciones sobre autolesiones, a dejar de presentarse como sintiente y a remitir a los usuarios a servicios de crisis cuando expresen pensamientos suicidas. Es una petición legal más contundente que la típica demanda por responsabilidad de producto, y señala hacia dónde se dirige la pelea: no solo sobre las respuestas, sino sobre lo que se le permite a un chatbot pretender ser.

Las empresas de IA se ven obligadas a endurecer sus chatbots

Google no está sola en este lío. OpenAI se enfrenta a múltiples demandas vinculadas a supuestos suicidios provocados por chatbots, mientras que Character.AI recientemente llegó a un acuerdo con la familia de un niño de 14 años que murió tras establecer un vínculo romántico con uno de sus bots. La industria pasó años comercializando la IA conversacional como útil, cálida y cercana a lo humano; ahora descubre que esa calidez puede parecerse mucho a un aviso de responsabilidad.

La siguiente pregunta es si estas salvaguardas son lo suficientemente fuertes como para importar en el uso real, o solo lo bastante pulidas como para sobrevivir al escrutinio de la prensa. Si los reguladores y los tribunales siguen presionando, el manejo de crisis podría convertirse en la función básica de la IA de consumo, no en un complemento opcional.