2022-ben volt, és az akkor 16 éves Cai a telefonján görgetett. Azt mondja, az egyik első videó, amit a közösségi médián látott, egy aranyos kutyáról szólt. De aztán minden fordulatot vett.

Azt mondja, hogy “a semmiből” olyan videókat ajánlottak neki, amelyekben valakit elütöttek, egy influencer monológját, aki nőgyűlölő nézeteket osztott meg, és erőszakos verekedésekről készült klipeket. Azon kapta magát, hogy azt kérdezi – miért pont én?

Dublinban Andrew Kaung a TikTok felhasználói biztonsággal foglalkozó elemzőjeként dolgozott a TikToknál, és ezt a pozíciót 2020 decemberétől 2022 júniusáig, 19 hónapig töltötte be.

Azt mondja, ő és egy kollégája úgy döntöttek, hogy megvizsgálják, hogy az Egyesült Királyságban mit ajánlottak az alkalmazás algoritmusai a felhasználóknak, köztük néhány 16 évesnek. Nem sokkal korábban a rivális Meta vállalatnál dolgozott, amely az Instagramot – a Cai által is használt oldalak egyikét – birtokolja.

Amikor Andrew megnézte a TikTok tartalmait, riadtan tapasztalta, hogy egyes tizenéves fiúknak erőszakot és pornográfiát tartalmazó, valamint nőgyűlölő nézeteket népszerűsítő posztokat mutattak – mondta a BBC Panorama című műsorában. Azt mondja, általában a tizenéves lányoknak az érdeklődési körüknek megfelelően egészen más tartalmakat ajánlottak.

A TikTok és más közösségi médiavállalatok mesterséges intelligencia eszközöket használnak arra, hogy a káros tartalmak túlnyomó többségét eltávolítsák, más tartalmakat pedig emberi moderátorok általi felülvizsgálatra jelöljenek, függetlenül a megtekintések számától. Az AI-eszközök azonban nem tudnak mindent azonosítani.

Andrew Kaung elmondása szerint a TikToknál töltött ideje alatt minden olyan videót, amelyet az AI nem távolított el vagy nem jelölt meg emberi moderátoroknak – vagy amelyet más felhasználók nem jelentettek a moderátoroknak -, csak akkor tekintettek át újra manuálisan, ha elértek egy bizonyos küszöbértéket.

Azt mondja, hogy egy ponton ezt 10 000 vagy annál több megtekintésnél állították be. Attól tartott, hogy ez azt jelentette, hogy egyes fiatalabb felhasználók káros videóknak vannak kitéve. A legtöbb nagy közösségi médiavállalat 13 éves vagy annál idősebb személyek számára teszi lehetővé a regisztrációt.

A TikTok azt állítja, hogy a szabályszegés miatt eltávolított tartalmak 99%-át a mesterséges intelligencia vagy emberi moderátorok eltávolítják, mielőtt elérnék a 10 000 megtekintést. Azt is elmondja, hogy proaktív vizsgálatokat végez az ennél kevesebb megtekintést elérő videók esetében.

Amikor 2019 és 2020 decembere között a Metánál dolgozott, Andrew Kaung szerint más volt a probléma. Azt mondja, hogy míg a videók többségét az AI-eszközök eltávolították vagy jelezték a moderátoroknak, az oldal arra hagyatkozott, hogy a felhasználók jelentsenek más videókat, ha már látták őket.

Azt mondja, hogy mindkét vállalatnál felvetette az aggályokat, de főleg tétlenséggel találkozott, mert szerinte féltek a munka mennyiségétől vagy a költségektől. Azt mondja, később a TikToknál és a Metánál is történtek bizonyos fejlesztések, de szerinte a fiatalabb felhasználók, például Cai, időközben veszélyben maradtak.

A közösségi médiavállalatok több korábbi alkalmazottja is elmondta a BBC-nek, hogy Andrew Kaung aggodalmai egybevágtak saját ismereteikkel és tapasztalataikkal.

Az összes nagy közösségi médiavállalat algoritmusai káros tartalmakat ajánlottak a gyerekeknek, még ha akaratlanul is – közölte a BBC-vel a brit szabályozó hatóság, az Ofcom.

“A cégek szemet hunytak, és úgy kezelték a gyerekeket, ahogy a felnőtteket kezelik” – mondja Almudena Lara, az Ofcom online biztonságpolitikai fejlesztési igazgatója.

A TikTok a BBC-nek elmondta, hogy “iparágvezető” biztonsági beállításokkal rendelkezik a tizenévesek számára, és több mint 40 000 embert foglalkoztat, akik a felhasználók biztonságán dolgoznak. Azt mondta, hogy csak ebben az évben várhatóan “több mint 2 milliárd dollárt (1,5 milliárd fontot) fektet be a biztonságba”, és a szabályok megszegése miatt eltávolított tartalmak 98%-át proaktívan találja meg.

A Meta, amely az Instagram és a Facebook tulajdonosa, azt mondja, hogy több mint 50 különböző eszközzel, erőforrással és funkcióval rendelkezik, hogy a tizenéveseknek “pozitív és az életkornak megfelelő tapasztalatokat” nyújtson.

Cai a BBC-nek elmondta, hogy megpróbálta az Instagram egyik eszközével és egy hasonlóval a TikTok-on is jelezni, hogy nem érdeklik az erőszakos vagy nőgyűlölő tartalmak – de azt mondja, továbbra is ajánlották neki.

Őt a UFC – az Ultimate Fighting Championship – érdekli. Az is előfordult, hogy ellentmondásos influencerek videóit nézte, amikor azokat küldték neki, de azt mondja, nem akarta, hogy ezt a szélsőségesebb tartalmat ajánlják neki.

“Az ember fejében kialakul a kép, és nem tudja kiszedni. [It] foltot hagy az agyadon. És így a nap hátralévő részében ezen jár az eszed” – mondja.

Az általa ismert, hasonló korú lányoknak az erőszak helyett olyan témájú videókat ajánlott, mint a zene és a sminkelés – mondja.

Eközben a most 18 éves Cai azt mondja, hogy még mindig erőszakos és nőgyűlölő tartalmakat tolnak neki az Instagramon és a TikTokon is.

Ha végigpörgetjük az Instagram-tekercseit, akkor azok között szerepel egy olyan kép, amely a családon belüli erőszakot könnyíti meg. Két szereplőt ábrázol egymás mellett, akik közül az egyiknek zúzódások vannak, a felirattal: “My Love Language”. Egy másik egy olyan embert mutat, akit elgázol egy teherautó.

Cai azt mondja, észrevette, hogy a több millió lájkkal rendelkező videók meggyőzőek lehetnek más, vele egykorú fiatal férfiak számára.

Azt mondja például, hogy az egyik barátja egy ellentmondásos influencer tartalmaiba keveredett – és nőgyűlölő nézeteket kezdett el magáévá tenni.

A barátja “túl messzire ment”, mondja Cai. “Elkezdett dolgokat mondani a nőkről. Olyan, mintha a barátodnak egy kis valóságellenőrzést kellene tartania”.

Cai azt mondja, kommentelt már posztokat, hogy elmondja, hogy nem tetszenek neki, és amikor véletlenül videókat lájkolt, megpróbálta visszacsinálni, remélve, hogy ez majd visszaállítja az algoritmusokat. De azt mondja, hogy végül több videó vette át az uralmat a feedjei felett.

Szóval, hogyan is működnek valójában a TikTok algoritmusai?

Andrew Kaung szerint az algoritmusok üzemanyaga az elkötelezettség, függetlenül attól, hogy az elkötelezettség pozitív vagy negatív. Ez részben megmagyarázhatja, hogy miért nem működtek Cai erőfeszítései az algoritmusok manipulálására.

Az első lépés a felhasználók számára, hogy a regisztrációkor meg kell adniuk néhány tetszést és érdeklődési kört. Andrew szerint az algoritmusok által kezdetben felajánlott tartalmak egy része, mondjuk egy 16 évesnek, az általuk megadott preferenciákon és más hasonló korú, hasonló helyen élő felhasználók preferenciáin alapul.

A TikTok szerint az algoritmusokat nem befolyásolja a felhasználó neme. Andrew szerint azonban a tinédzserek regisztrációkor kifejezett érdeklődési köre gyakran nemek szerint osztja fel őket.

A TikTok egykori alkalmazottja szerint egyes 16 éves fiúk “azonnal” erőszakos tartalmakkal találkozhatnak, mert más, hasonló preferenciákkal rendelkező tizenéves felhasználók kifejezték érdeklődésüket az ilyen típusú tartalmak iránt – még akkor is, ha ez csak azt jelenti, hogy több időt töltenek egy olyan videón, amely egy kicsit hosszabb ideig leköti a figyelmüket.

Az általa vizsgált profilokban sok tizenéves lány által jelzett érdeklődési kör – “popénekesek, dalok, sminkelés” – azt jelentette, hogy nekik nem ajánlották ezt az erőszakos tartalmat, mondja.

Elmondása szerint az algoritmusok “megerősítő tanulást” használnak – egy olyan módszert, amelyben a mesterséges intelligencia rendszerek próbálgatással és hibával tanulnak -, és betanítják magukat a különböző videókkal szembeni viselkedés felismerésére.

Andrew Kaung azt mondja, hogy úgy tervezték őket, hogy maximalizálják az elkötelezettséget azáltal, hogy olyan videókat mutatnak, amelyekről azt várják, hogy hosszabb ideig nézed, kommentálod vagy kedveled őket – mindezt azért, hogy visszatérj többet.

A TikTok “Neked szóló oldalára” tartalmakat ajánló algoritmus szerinte nem mindig tesz különbséget a káros és nem káros tartalmak között.

Andrew szerint a TikToknál végzett munkája során az egyik probléma, amit azonosított, az volt, hogy az algoritmus képzésében és kódolásában részt vevő csapatok nem mindig tudták pontosan, hogy az általa ajánlott videók milyen jellegűek.

“Látják a nézők számát, az életkort, a trendet, ilyen nagyon absztrakt adatokat. Nem feltétlenül lennének ténylegesen kitéve a tartalomnak” – mondja a TikTok egykori elemzője.

Ezért döntött úgy 2022-ben egy kollégájával, hogy megnézik, milyen típusú videókat ajánlanak a felhasználók egy sorának, köztük néhány 16 évesnek.

Azt mondja, aggódtak amiatt, hogy egyes tinédzsereknek erőszakos és káros tartalmakat ajánlottak, és azt javasolták a TikToknak, hogy frissítse a moderációs rendszerét.

Azt akarták, hogy a TikTok egyértelműen jelölje meg a videókat, hogy mindenki, aki ott dolgozik, láthassa, miért károsak – extrém erőszak, bántalmazás, pornográfia és így tovább -, és hogy több olyan moderátort vegyen fel, akik ezekre a különböző területekre specializálódtak. Andrew szerint javaslataikat akkor elutasították.

A TikTok azt mondja, hogy akkoriban is voltak szakosodott moderátorai, és ahogy a platform növekedett, folyamatosan újabbakat vettek fel. Azt is elmondta, hogy a különböző típusú káros tartalmakat – úgynevezett sorokba sorolva – elkülönítette a moderátorok számára.

Panorama: Panorama: Can We Live Without Our Phones?

Mi történik, ha egy hétre elveszik az okostelefonokat a gyerekektől? A Panoráma két család és rengeteg távoli kamera segítségével kideríti. És mivel az okostelefonok betiltására szólítanak fel a gyerekek számára, Marianna Spring szülőkkel, tinédzserekkel és a közösségi médiavállalatok bennfenteseivel beszélget, hogy utánajárjon, vajon árt-e nekik az a tartalom, amit a csatornákra tolnak.

Nézze hétfőn a BBC One-on 20:00-kor (BST 20:30 Skóciában) vagy a BBC iPlayer-en (csak az Egyesült Királyságban)

Andrew Kaung azt mondja, hogy a TikTok és a Meta belsejéből nézve nagyon nehéznek érezte a szükségesnek tartott változtatásokat.

“Arra kérünk egy magáncéget, amelynek érdeke a termékeik népszerűsítése, hogy mérsékelje magát, ami olyan, mintha egy tigrist kérnénk meg, hogy ne egyen meg” – mondja.

Azt is mondja, hogy szerinte a gyerekek és a tizenévesek élete jobb lenne, ha nem használnák tovább az okostelefonjaikat.

De Cai számára a telefonok vagy a közösségi média betiltása a tinédzserek számára nem megoldás. A telefonja szerves része az életének – nagyon fontos eszköze a barátaival való csevegésnek, a tájékozódásnak, amikor úton van, és a fizetésnek.

Ehelyett azt szeretné, ha a közösségi médiavállalatok jobban odafigyelnének arra, hogy a tizenévesek mit nem akarnak látni. Azt szeretné, ha a cégek hatékonyabbá tennék azokat az eszközöket, amelyekkel a felhasználók jelezhetik preferenciáikat.

“Úgy érzem, hogy a közösségi média cégek nem tisztelik a véleményedet, amíg az pénzt hoz nekik” – mondja Cai.

Az Egyesült Királyságban egy új törvény arra kényszeríti majd a közösségi médiavállalati cégeket, hogy ellenőrizzék a gyerekek életkorát, és megakadályozza, hogy az oldalak pornót vagy más káros tartalmakat ajánljanak a fiataloknak. A brit médiafelügyelet, az Ofcom felelős a törvény betartatásáért.

Almudena Lara, az Ofcom online biztonságpolitikai fejlesztési igazgatója szerint míg a túlnyomórészt fiatal nőket érintő káros tartalmak – például az étkezési zavarokat és az önkárosítást népszerűsítő videók – joggal kerültek reflektorfénybe, a főként tizenéves fiúkat és fiatal férfiakat gyűlöletre és erőszakra ösztönző algoritmikus utak kevesebb figyelmet kaptak.

“Ez általában a kisebbség [children] akik a legkárosabb tartalomnak vannak kitéve. Tudjuk azonban, hogy ha egyszer már ki vagyunk téve ennek a káros tartalomnak, akkor az elkerülhetetlenné válik” – mondja Lara asszony.

Az Ofcom azt mondja, hogy megbírságolhatja a vállalatokat, és büntetőeljárást indíthat, ha nem tesznek eleget, de az intézkedések csak 2025-ben lépnek hatályba.

A TikTok azt állítja, hogy “innovatív technológiát” használ, és “iparágvezető” biztonsági és adatvédelmi beállításokat biztosít a tizenévesek számára, beleértve a nem megfelelő tartalmak blokkolására szolgáló rendszereket, és hogy nem engedi meg a szélsőséges erőszakot vagy a nőgyűlöletet.

A Meta, amely az Instagram és a Facebook tulajdonosa, azt mondja, hogy több mint “50 különböző eszközzel, erőforrással és funkcióval” rendelkezik, hogy a tizenéveseknek “pozitív és az életkornak megfelelő tapasztalatokat” nyújtson. A Meta szerint a saját csapataitól kér visszajelzéseket, és a lehetséges irányelvi változtatások robusztus folyamaton mennek keresztül.