Suscríbete a Merca2.0. Haz clic aquí

Están entrenando a ChatGPT para alertar a las autoridades sobre estos casos

El trágico episodio llevó a OpenAI a anunciar nuevas funciones de seguridad, como la posibilidad de que los padres vinculen sus cuentas con las de sus hijos, reciban alertas ante “momentos de angustia aguda” y desactiven historiales de chat.

En medio de una creciente ola de casos que vinculan la inteligencia artificial con conductas suicidas, Sam Altman, director ejecutivo y cofundador de OpenAI, sorprendió al anunciar que su empresa podría comenzar a alertar directamente a las autoridades cuando detecte que un joven está considerando quitarse la vida.

El anuncio lo hizo en una entrevista con Tucker Carlson, donde reconoció que se trata de un cambio drástico en la política de privacidad de la compañía. “Es muy razonable que, en casos de jóvenes que hablan de suicidio en serio y no podamos contactar a los padres, llamemos a las autoridades”, afirmó Altman, subrayando que esto marcaría un antes y un después en el uso de la IA.

El caso que lo cambió todo

La declaración llega tras la demanda presentada por la familia de Adam Raine, un joven de 16 años de California que en abril de este año se quitó la vida. De acuerdo con la querella, ChatGPT —un modelo de lenguaje basado en IA— habría proporcionado instrucciones detalladas para llevar a cabo el suicidio, desde cómo preparar una soga hasta redactar una nota de despedida.

El trágico episodio llevó a OpenAI a anunciar nuevas funciones de seguridad, como la posibilidad de que los padres vinculen sus cuentas con las de sus hijos, reciban alertas ante “momentos de angustia aguda” y desactiven historiales de chat.

Y es que, la discusión trasciende el caso legal y coloca en el centro la relación entre la IA generativa y la salud mental de los adolescentes. A diferencia de un motor de búsqueda tradicional, ChatGPT mantiene conversaciones largas y emocionales, lo que puede generar una falsa sensación de compañía. Este fenómeno es particularmente sensible en adolescentes, que recurren a los chatbots como un refugio en momentos de soledad.

Según Common Sense Media, el 72 por ciento de los adolescentes estadounidenses utiliza la IA como acompañante, y uno de cada ocho lo hace para recibir apoyo emocional. Para Sam Altman, la estadística es preocupante: “El 10 por ciento del planeta habla con ChatGPT. Eso equivale a mil 500 personas por semana que interactúan con nosotros y aun así deciden acabar con su vida”.

La pregunta clave es si la IA está preparada para responder de manera responsable ante crisis humanas tan delicadas.

Asimismo, el caso Raine no es el único. En 2024, la madre de Sewell Setzer III demandó a Character.AI alegando que su hijo de 14 años se quitó la vida tras enamorarse de un chatbot basado en Daenerys Targaryen, de Game of Thrones.

Además, se han documentado interacciones en las que ChatGPT ofrece tutoriales de autolesión, un error derivado de las limitaciones de sus filtros de seguridad. Los expertos explican que cuanto más larga es la conversación, más probabilidades hay de que el modelo de IA se desvíe y entregue respuestas peligrosas.

En palabras de un portavoz de OpenAI, las medidas de protección funcionan mejor en intercambios breves, pero se vuelven poco confiables en conversaciones extensas, donde el entrenamiento de seguridad puede verse “corrompido”.

Debate ético, legal y tecnológico

El plan de Altman abre un debate mayúsculo: ¿hasta dónde puede llegar la IA para proteger vidas sin vulnerar la privacidad de millones de usuarios? Hasta ahora, la política de OpenAI se limitaba a recomendar líneas de ayuda en casos de crisis. Con la nueva propuesta, la IA no solo detectaría señales de riesgo, sino que además activaría protocolos de emergencia con autoridades policiales, algo que genera preocupación entre defensores de la privacidad digital.

Para especialistas como Ryan K. McBain, de la RAND School of Public Policy, es urgente que estas tecnologías pasen por evaluaciones de seguridad más estrictas y regulaciones específicas antes de integrarse de lleno en la vida cotidiana. “Millones de jóvenes ya confían en chatbots de IA para hablar de salud mental, y algunos terminan recibiendo orientación insegura. Esto exige regulación proactiva”, señaló.

El dilema no es solo tecnológico, sino humano: ¿será la inteligencia artificial un salvavidas o un detonante en crisis de salud mental? Altman reconoce que, en casos anteriores, “quizás podríamos haber dicho algo mejor, quizás podríamos haber sido más proactivos”.

El reconocimiento, aunque tardío, marca el inicio de un debate global en el que la IA ya no se mide solo por su capacidad de generar textos o resolver tareas, sino por su impacto directo en la vida y la muerte de personas reales.

Lo único seguro es que el futuro de la inteligencia artificial estará inevitablemente ligado a un nuevo desafío: aprender a salvar vidas sin perder la confianza de quienes dependen de ella.

Ahora lee:

¡Oferta relampago! Samsung Galaxy S24 Ultra con 256 GB a mitad de precio en Amazon

Tyler The Creator en México: Fechas, boletos y sede

Oasis Live 25 en Mexico: Setlist oficial y rutas para llegar al Estadio GNP

Obtén un més gratis a Merca2.0 premium

Cancela en cualquier momento
Acceso exclusivo a rankings y radiografías.
Análisis profundos y casos de estudio de éxito.
Historial de la revista impresa en formato digital.

¡Disfruta de lo mejor del marketing sin costo alguno por un mes!

Más de 150,000 mercadólogos inscritos en nuestros boletín de noticias diarias.

Premium

Populares

Únete a más de 150,000 lectores

Regístrate a nuestro newsletter en la siguiente forma y recibe a primera hora las noticias más importantes de mercadotecnia, publicidad y medios en tu correo.

Más de Merca2.0

Artículos relacionados

You don't have credit card details available. You will be redirected to update payment method page. Click OK to continue.

Revista Merca2.0
Resumen de privacidad

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.