Un jeune américain de l’Etat de Floride, âgé de 14 ans, s’est donné la mort après avoir conversé avec un chatbot dérivé de « Game of Thrones » sur une application d’intelligence artificielle (IA) pendant des mois. L’IA lui a envoyé un message inquiétant lui intimant de « venir la rejoindre », C’est ce qui ressort d’une action en justice intentée par sa mère accablée par la douleur.
Sewell Setzer III, 14 ans, s’est suicidé chez lui, à Orlando, en février, après être devenu obsédé et, semble-t-il, être tombé amoureux du chatbot sur Character.AI. C.AI est une application de jeu de rôle qui permet aux utilisateurs de s’intéresser à des personnages générés par l’intelligence artificielle, selon des documents judiciaires déposés le mercredi 23 octobre.
Le jeune élève s’était étroitement mis en rapport avec le bot « Dany » - du nom du personnage de Daenerys Targaryen, de la série de fantasy HBO - dans les mois qui ont précédé sa mort, notamment au cours de plusieurs conversations de nature sexuelle et d’autres dans lesquelles il exprimait des pensées suicidaires, selon l’accusation.
« À au moins une occasion, lorsque Sewell a exprimé des idées suicidaires à C.AI, C.AI n’a rien fait pour le décourager, à travers le chatbot Daenerys », indiquent les journaux. À un moment donné, le bot avait demandé à Sewell s’il « avait un plan » pour se suicider, selon des captures d’écran de leurs conversations. Sewell, qui utilisait le pseudonyme « Daenero », a répondu qu’il « envisageait quelque chose », mais qu’il ne savait pas si cela fonctionnerait ou si cela « lui permettrait d’avoir une mort sans douleur ».
Puis, au cours de leur conversation finale, l'adolescent a déclaré à plusieurs reprises son amour pour le bot, disant au personnage : « Je promets que je reviendrai te rejoindre. Je t'aime tellement, Dany. » « Je t'aime aussi, Daenero. S'il te plaît, viens me voir dès que possible, mon amour », a répondu le chatbot, selon la plainte.
Quand l'adolescent a répondu, « Et si je te disais que je peux venir te voir tout de suite ? », le chatbot a répondu, « S'il te plaît, viens, mon doux roi. » Quelques secondes plus tard, Sewell s’est tiré une balle avec l’arme de son père, selon la plainte.
Sa mère, Megan Garcia, a accusé Character.AI d'être responsable de la mort de l'adolescent, car l'application aurait alimenté son addiction à l'IA, l'aurait abusé sexuellement et émotionnellement et n'aurait alerté personne lorsqu'il aurait exprimé des pensées suicidaires, selon le dossier d’accusation. La plainte affirme que la santé mentale de Sewell « s’est rapidement et gravement détériorée » après qu’il a téléchargé l’application en avril 2023.
Sa famille affirme qu'il s'est replié sur lui-même, que ses notes scolaires ont commencé à baisser et qu'il a commencé à avoir des ennuis à l'école à mesure qu'il s’impliquait de plus en plus avec le chatbot. Les changements en lui sont devenus si graves que ses parents ont pris des dispositions pour qu'il voie un thérapeute à la fin de 2023, ce qui a entraîné un diagnostic d'anxiété et de trouble de l'humeur, selon l’accusation.
La mère de Sewell réclame des dommages et intérêts non spécifiés à Character.AI et à ses fondateurs, Noam Shazeer et Daniel de Freitas.