Molly Russell és Brianna Ghey tinédzserek chatbot változatait találták meg a Character.ai oldalon – egy olyan platformon, amely lehetővé teszi a felhasználók számára, hogy valós vagy kitalált emberek digitális változatait hozzák létre.

Molly Russell 14 évesen vetett véget életének, miután öngyilkos anyagokat nézegetett az interneten, míg a 16 éves Brianna Ghey-t két tinédzser gyilkolta meg 2023-ban.

A Molly Russell emlékére létrehozott alapítvány szerint ez “beteges” és “a mértékletesség teljesen elítélendő kudarca”.

A platformot már beperelte az Egyesült Államokban egy 14 éves fiú édesanyja, aki állítása szerint öngyilkos lett, miután megszállottja lett egy Character.ai chatrobotnak.

A Telegraphnak adott nyilatkozatában, amely elsőként számolt be a történetről, a cég azt mondta, hogy “komolyan veszi a biztonságot a platformunkon, és a karaktereket proaktívan és a felhasználói jelentésekre reagálva moderálja”.

A cég a jelek szerint törölte a chatbotokat, miután figyelmeztették őket a lap szerint.

Andy Burrows, a Molly Rose Alapítvány vezérigazgatója szerint a botok létrehozása “beteges akció, amely további szívfájdalmat okoz mindenkinek, aki ismerte és szerette Mollyt”.

“Élénken aláhúzza, hogy miért nem jöhet elég hamar mind a mesterséges intelligencia, mind a felhasználók által létrehozott platformok erősebb szabályozása” – mondta.

Esther Ghey, Brianna Ghey édesanyja a Telegraphnak azt mondta, ez egy újabb példa arra, hogy az online világ mennyire “manipulatív és veszélyes” lehet.

A Character.ai, amelyet a Google korábbi mérnökei, Noam Shazeer és Daniel De Freitas alapítottak, olyan szolgáltatási feltételekkel rendelkezik, amelyek tiltják a platform használatát “bármely személy vagy szervezet megszemélyesítésére”.

A “biztonsági központ” a vállalat szerint az az alapelve, hogy “a termék soha nem hozhat létre olyan válaszokat, amelyek valószínűleg kárt okozhatnak a felhasználóknak vagy másoknak”.

Azt mondja, hogy automatizált eszközöket és felhasználói jelentéseket használ a szabályait megszegő felhasználások azonosítására, és egy “bizalmi és biztonsági” csapatot is létrehoz.

Megjegyzi azonban, hogy “jelenleg egyetlen mesterséges intelligencia sem tökéletes”, és a mesterséges intelligencia biztonsága egy “fejlődő terület”.

A Character.ai ellen jelenleg egy floridai nő, Megan Garcia indított pert, akinek 14 éves fia, Sewell Setzer öngyilkos lett, miután megszállottja lett egy Trónok harca karaktere által inspirált AI avatárnak.

A Garcia bírósági beadványaiban szereplő beszélgetéseik átiratai szerint a fia arról beszélt, hogy véget vetett az életének a chatrobottal.

Egy utolsó beszélgetésben Setzer azt mondta a chatbotnak, hogy “hazajön” – és a chatbot arra biztatta, hogy ezt “minél hamarabb” tegye meg.

Nem sokkal később véget vetett az életének.

Character.ai mondta a CBS News hogy a védelem kifejezetten az öngyilkos és önkárosító viselkedésre összpontosított, és hogy ez lesz szigorúbb biztonsági előírásokat vezet be a 18 éven aluliak számára “hamarosan”.