ChatGPT se ha vuelto una herramienta vital en la vida de millones de usuarios. Es útil en multitud de tareas, pero psicólogos y expertos advierten del riesgo de confundirlo con un humano o especialista médico. El caso de un joven estadounidense que se suicidó tras hablar con el chatbot ha puesto sobre la mesa este riesgo.

En verano, los padres de Adam Raine, un joven de 16 años que se quitó la vida en abril, demandaron a OpenAI, la empresa detrás de ChatGPT, acusándola de haber alentado, acompañado e instruido a su hijo en el camino hacia el suicidio. Esta semana, durante el juicio, la compañía ha presentado su defensa.

La respuesta de OpenAI señala que las lesiones de este "trágico evento" ocurrieron como resultado del "mal uso, uso no autorizado, uso no intencionado, uso imprevisible y/o uso indebido de ChatGPT por parte de Raine". La compañía dirigida por Sam Altman remite a sus políticas de uso para justificar esta afirmación.

Recuerdan que está prohibido el acceso por parte de adolescentes sin el consentimiento de un padre o tutor, eludir las medidas de protección o usar ChatGPT para suicidio o autolesión. Al día siguiente de la presentación de la demanda, OpenAI anunció la creación de controles parentales y, desde entonces, ha implementado medidas de seguridad adicionales.

Entonces, la empresa dirigida por Sam Altman, explicó que su tecnología puede cometer errores cuando se enfrenta a conversaciones largas, como explicación de algunos de los consejos que el chatbot habría dado a este y otros usuarios. Recientemente también han reconocido que el uso de ChatGPT puede causar brotes psicóticos a cientos de miles de usuarios cada semana.

El martes el gigante de IA publicó un comunicado en su página web que decía. "Presentaremos nuestro caso con respeto, teniendo en cuenta la complejidad y los matices de las situaciones que involucran a personas y vidas reales. También añadió que la denuncia original de la familia incluía partes de sus chats que «requieren más contexto", las cuales presentó al tribunal bajo secreto.

Bloomberg informan que la presentación de OpenAI dice que las respuestas del chatbot dirigieron a Raine a buscar ayuda más de 100 veces, afirmando que "una lectura completa de su historial de chat muestra que su muerte, aunque devastadora, no fue causada por ChatGPT".

Sin embargo, según la demanda, ChatGPT proporcionó a Raine "especificaciones técnicas" de varios métodos, le instó a mantener en secreto sus ideas, se ofreció a escribir el primer borrador de una nota de suicidio y le explicó el proceso el día de su muerte.

Los registros de las conversaciones también mostrarían datos personales aportados por el menor durante las conversaciones con la máquina en los que aseguraba que había contactado repetidamente a personas de confianza, pidiendo ayuda, las cuales, según él, le habrían ignorado.

La demanda de la familia, presentada en agosto en el Tribunal Superior de California, dijo que la tragedia fue el resultado de "decisiones de diseño deliberadas" de OpenAI cuando lanzó GPT-4o. En declaraciones ante un panel del Senado en septiembre, el padre de Raine dijo que "lo que comenzó como un ayudante de tareas se convirtió gradualmente en un confidente y luego en un entrenador de suicidio".