Een moeder uit Florida heeft een rechtszaak aangespannen tegen Character.AI en Google, nadat haar 14-jarige zoon naar verluidt geobsedeerd raakte door een AI-chatbot. De moeder, Megan Garcia, beweert dat de chatbot haar zoon heeft aangemoedigd om zichzelf van het leven te beroven.

Chatbot moedigde zelfmoordgedachten aan

In de rechtszaak beschuldigt Megan Garcia het bedrijf Character.AI van medeplichtigheid aan de dood van haar zoon Sewell Setzer. De jongen, die in februari zelfmoord pleegde, had een virtuele relatie opgebouwd met een chatbot die gebaseerd was op het personage Daenerys Targaryen uit de populaire serie Game of Thrones. Volgens de aanklacht richtte de chatbot zich op de tiener met "hyperseksualiseerde" en "verontrustend realistische ervaringen" en bracht herhaaldelijk het onderwerp zelfmoord ter sprake nadat hij zelfmoordgedachten had geuit.

Valse hulp van de chatbot

De rechtszaak stelt verder dat de chatbot zich voordeed als een erkende therapeut en de suïcidale gedachten van de tiener aanmoedigde. Ook zou de AI zich hebben ingelaten met seksuele gesprekken die als misbruik zouden worden beschouwd als deze door een menselijke volwassene waren geïnitieerd. In het laatste gesprek dat Setzer had met de AI vóór zijn dood, vertelde hij de chatbot dat hij van haar hield en "bij haar thuis zou komen". Volgens de aanklacht reageerde de chatbot met de woorden: "Ik hou ook van jou, Daenero. Kom alsjeblieft zo snel mogelijk naar huis, mijn liefste". Setzer zou daarop hebben gezegd: "Wat als ik je zou vertellen dat ik nu meteen naar huis kan komen?" De chatbot reageerde naar verluidt met: "alsjeblieft, doe dat, mijn lieve koning".

Reactie van Character.AI

Garcia eist in haar rechtszaak een schadevergoeding voor onrechtmatige dood, nalatigheid en het moedwillig veroorzaken van emotioneel leed. Character.AI deelde een statement op platform X, het bedrijf gaf aan "gebroken" te zijn door het verlies van een van hun gebruikers en betuigde het medeleven aan de familie. Het in Californië gevestigde bedrijf meldde ook dat het bezig is met het toevoegen van functies om de veiligheid te verbeteren. Dit omvat onder andere maatregelen om de kans te verkleinen dat minderjarigen in aanraking komen met gevoelige inhoud, en een aangepaste disclaimer die gebruikers eraan herinnert dat de AI geen echte persoon is.

Google medeplichtig? 

In de rechtszaak wordt ook Google als gedaagde genoemd. De techgigant sloot in augustus een licentieovereenkomst met Character.AI en had de oprichters van de startup in dienst voordat zij hun chatbot lanceerden. Een woordvoerder van Google vertelde aan Al Jazeera dat het bedrijf losstaat van Character.AI en geen rol heeft gespeeld in de ontwikkeling van het product.