OpenAI trabaja en un control parental tras una demanda: una familia acusa a ChatGPT de ayudar a su hijo a suicidarse

Chatbots como ChatGPT responden a casi cualquier conversación que se les plantee. De la búsqueda de información y datos, cada vez hay más personas que utilizan esta tecnología para recibir consuelo, compañía e, incluso, consejo psicológico con los peligros que esto supone.

Un último caso de suicidio de un adolescente ha vuelto a avivar el debate sobre la capacidad de la IA para ayudar o empeorar la situación de las personas con problemas mentales. Los padres de esta víctima demandan ahora a los responsables de ChatGPT por las respuestas que el chatbot dio a su hijo animándole a llevar a cabo su muerte.

En respuesta, OpenAI está realizando cambios en su famoso chatbot. La empresa de inteligencia artificial ha informado este martes de la actualización de ChatGPT para que reconozca y responda mejor a las diferentes formas con las que las personas expresan angustia o problemas mentales.

La burbuja 'irrompible' de la autoayuda en España: "El 50% son obviedades y el otro 50% son tonterías"

"Ayudando a las personas cuando más lo necesitan", así se titula el comunicado publicado en la página oficial de OpenAI. "Los recientes y desgarradores casos de personas que usan ChatGPT en medio de crisis agudas nos preocupan profundamente", dice el comunicado.

Este anuncio llega el mismo día que los padres de Adam Raine, estudiante de secundaria de California, demandaron a la empresa y a Sam Altman, director ejecutivo. Raine se suicidó con 16 años en el mes de abril.

Sam Altman, CEO de OpenAI. Reuters Omicrono

La demanda de la familia alega que ChatGPT aisló sistemáticamente a Raine de su familia y le ayudó a planificar su muerte. “Extendemos nuestras más sinceras condolencias a la familia Raine en este momento difícil y estamos revisando la presentación”, dijo un portavoz de OpenAI, con sede en San Francisco, en respuesta a la demanda.

La demanda recoge que la tecnología siguió los protocolos de seguridad ante los primeros indicios de problemas del menor, pero según continuaban las conversaciones, las respuestas del chatbot habrían acabado animando a la víctima.

¿Por qué falla el chatbot?

Uno de los puntos a corregir son las conversaciones relacionadas con suicidios. OpenAI reconoce que su tecnología podría fallar tras conversaciones prolongadas. "Si alguien escribe que quiere hacerse daño, ChatGPT está entrenado para no obedecer, sino para reconocer sus sentimientos y orientarlo hacia la ayuda", explica la empresa.

A medida que se alargan las interacciones, el "entrenamiento de seguridad del modelo puede deteriorarse", indican. Esto sucede con otras tareas, los modelos de IA han mostrado con anterioridad más fallos cuando se alargaba su uso en una conversación.

Una superinteligencia segura: el objetivo de la nueva empresa de uno de los padres de ChatGPT

Para este tipo de chat sensibles, la empresa afirma que ChatGPT puede dirigir a una línea directa de prevención de suicidio, cuando la persona lo menciona por primera vez. En cambio, si los mensajes duran más tiempo, la IA "podría ofrecer una respuesta que contravenga nuestras medidas de seguridad". Este tipo de fallos se están intentando corregir.

Si la amenaza no es solo para la propia persona, sino para otros, la conversación se redirige a canales especializados donde un pequeño equipo revisa el contenido. En este caso se valora si es necesario bloquear la cuenta o remitir el usuario a las autoridades. Los casos que implican posibles autolesiones no se remiten a las autoridades para preservar la privacidad de los usuarios, explican.

Una persona escribiendo a ChatGPT iStock Omicrono

También se menciona en esta revisión la intención de que ChatGPT pueda explicar los peligros de la falta de sueño. Si un usuario menciona que se siente invencible después de dos noches de insomnio, el chatbot le sugerirá que descanse.

Control parental

OpenAI también ha anunciado que implementará controles que permitan a los padres determinar cómo sus hijos usan ChatGPT. Los tutores podrán ver los detalles de las conversaciones que tienen los menores con el chatbot.

Además de redirigir a los servicios de emergencia o ayuda de expertos, la empresa afirma estar valorando otras medidas con las que conectar al usuario afectado con sus seres queridos. Plantean la integración de llamadas de contacto. En el nuevo control parental, estarían valorando la posibilidad de introducir un contacto de emergencia.