Az elmúlt hónapokban a BBC egy sötét, rejtett világot fedezett fel – egy olyan világot, ahová a legrosszabb, legborzasztóbb, legelszomorítóbb és sok esetben illegális online tartalmak kerülnek.

Lefejezések, tömeggyilkosságok, gyermekbántalmazások, gyűlöletbeszéd – mindezek a tartalommoderátorok globális seregének postaládájába kerülnek.

Nem gyakran látod vagy hallasz róluk – de ők azok az emberek, akiknek az a feladatuk, hogy átnézzék, majd szükség esetén töröljék azokat a tartalmakat, amelyeket vagy más felhasználók jelentenek, vagy a technikai eszközök automatikusan megjelölik.

Az online biztonság kérdése egyre inkább előtérbe került, a technológiai cégekre egyre nagyobb nyomás nehezedik, hogy gyorsan eltávolítsák a káros anyagokat.

És annak ellenére, hogy rengeteg kutatás és befektetés folyik a technológiai megoldásokba, hogy segítsenek, egyelőre még mindig nagyrészt az emberi moderátoroké a végső szó.

A moderátorokat gyakran harmadik fél vállalatok alkalmazzák, de ők közvetlenül a nagy közösségi hálózatokra, köztük az Instagramra, a TikTokra és a Facebookra feltöltött tartalmakon dolgoznak.

A világ minden táján megtalálhatóak. Az emberek, akikkel a Radio 4 és a BBC Sounds számára készített The Moderators című sorozatunk készítése során beszéltem, nagyrészt Kelet-Afrikában éltek, és azóta mindannyian elhagyták az iparágat.

Történeteik megrázóak voltak. Néhányat túl brutálisnak találtunk ahhoz, hogy adásba kerüljön. Néha a producerem, Tom Woolfenden és én befejeztünk egy felvételt, és csak ültünk csendben.

“Ha fogod a telefonodat, és utána felmész a TikTok-ra, akkor sok tevékenységet, táncot, tudod, boldog dolgokat látsz” – mondja Mojez, egy korábbi nairobi moderátor, aki a TikTok tartalmain dolgozott. “De a háttérben én személy szerint több száz, borzalmas és traumatizáló videót moderáltam.

“Magamra vállaltam. Hagyjam, hogy a mentális egészségem vegye el a balhét, hogy az általános felhasználók továbbra is folytathassák a tevékenységüket a platformon”.”

Jelenleg több olyan jogi igény is folyamatban van, amely szerint a munka tönkretette az ilyen moderátorok mentális egészségét. Néhány volt kelet-afrikai dolgozó összefogott, hogy szakszervezetet alapítson.

“Valójában az egyetlen dolog, ami közte van, hogy bejelentkezem egy közösségi médiaplatformra, és megnézek egy lefejezést, az az, hogy valaki ül valahol egy irodában, és megnézi helyettem ezt a tartalmat, és átnézi, hogy nekem ne kelljen” – mondja Martha Dark, aki a Foxglove nevű, a jogi lépéseket támogató kampánycsoportot vezeti.

2020-ban az akkor még Facebook néven ismert Meta beleegyezett, hogy 52 millió dolláros (40 millió font) kártérítést fizet azoknak a moderátoroknak, akiknek a munkájuk miatt mentális egészségügyi problémáik alakultak ki.

A jogi eljárást egy Selena Scola nevű volt amerikai moderátor kezdeményezte. A moderátorokat a “lelkek őrzőinek” nevezte, mivel rengeteg olyan felvételt látnak, amelyek az emberek életének utolsó pillanatait tartalmazzák.

A volt moderátorok, akikkel beszéltem, mindannyian a “trauma” szót használták a munka rájuk gyakorolt hatásának leírására. Néhányuknak alvási és étkezési nehézségei voltak.

Egyikük leírta, hogy a babasírás hallatán egy kollégája pánikba esett. Egy másik azt mondta, hogy nehezen tudott kapcsolatba lépni a feleségével és a gyermekeivel a gyermekbántalmazás miatt, amelynek tanúja volt.

Arra számítottam, hogy azt fogják mondani, hogy ez a munka érzelmileg és mentálisan annyira megterhelő, hogy egyetlen embernek sem kellene ezt csinálnia – azt hittem, teljes mértékben támogatni fogják, hogy az egész iparág automatizálódjon, és a mesterséges intelligencia eszközei fejlődjenek, hogy fel tudjanak nőni a munkához.

De nem így tettek.

Ami nagyon erőteljesen átjött, az az a hatalmas büszkeség, amellyel a moderátorok a világ online ártalmaktól való megóvásában játszott szerepükre tekintettek.

Úgy tekintettek magukra, mint egy létfontosságú sürgősségi szolgálatra. Egyikük azt mondta, hogy egyenruhát és jelvényt akart, és a mentősökhöz vagy tűzoltókhoz hasonlította magát.

“Egyetlen másodperc sem ment kárba” – mondja valaki, akit Dávidnak hívtunk. Névtelenséget kért, de olyan anyagon dolgozott, amelyet a ChatGPT nevű vírusos AI chatbot betanításához használtak, hogy azt úgy programozták, hogy ne öklendezzen fel borzalmas anyagokat.

“Büszke vagyok azokra az egyénekre, akik ezt a modellt arra képezték, amilyen ma.”

De éppen az az eszköz, amelyet David segített kiképezni, egy nap talán versenyre kelhet vele.

Dave Willner az OpenAI, a ChatGPT megalkotójának, az OpenAI-nak a bizalomért és biztonságért felelős korábbi vezetője. Azt mondja, csapata a chatbot technológiájára alapozva épített egy kezdetleges moderációs eszközt, amely 90% körüli pontossággal azonosította a káros tartalmakat.

“Amikor valahogy teljesen rájöttem, hogy ‘ó, ez működni fog’, őszintén szólva egy kicsit összerezzentem” – mondja. “[AI tools] ne unatkozz! És nem fáradnak el, és nem sokkolódnak…. fáradhatatlanok.”

Nem mindenki bízik azonban abban, hogy a mesterséges intelligencia a csodafegyver a bajba jutott moderációs ágazat számára.

“Szerintem ez problematikus” – mondja Dr. Paul Reilly, a Glasgow-i Egyetem média és demokrácia vezető előadója. “A mesterséges intelligencia nyilvánvalóan eléggé tompa, bináris módja lehet a tartalom moderálásának.

“Ez a szólásszabadsággal kapcsolatos kérdések túlzott blokkolásához vezethet, és természetesen az emberi moderátorok képesek lennének felismerni az árnyalatokat. Az emberi moderálás elengedhetetlen a platformok számára” – teszi hozzá.

“A probléma az, hogy nincs belőlük elég, és a munka hihetetlenül káros azok számára, akik végzik”.

Megkerestük a sorozatban említett technológiai vállalatokat is.

A TikTok szóvivője szerint a cég tudja, hogy a tartalom moderálása nem könnyű feladat, és arra törekszik, hogy gondoskodó munkakörnyezetet teremtsen az alkalmazottak számára. Ez magában foglalja a klinikai támogatás nyújtását, és olyan programok létrehozását, amelyek támogatják a moderátorok jólétét.

Hozzáteszik, hogy a videókat kezdetben automatizált technika vizsgálja át, amely szerintük nagy mennyiségű káros tartalmat távolít el.

Eközben az Open AI – a Chat GPT mögött álló cég – azt mondja, hogy hálás azért a fontos és néha kihívást jelentő munkáért, amelyet az emberi dolgozók végeznek, hogy az AI-t betanítsák az ilyen fotók és videók felismerésére. Egy szóvivő hozzáteszi, hogy partnereivel együtt az Open AI olyan irányelveket érvényesít, amelyek megvédik ezeknek a csapatoknak a jólétét.

A Meta – amely az Instagram és a Facebook tulajdonosa – pedig azt mondja, hogy minden cégtől, amellyel együtt dolgozik, megköveteli, hogy 24 órás helyszíni támogatást biztosítson képzett szakemberekkel. Hozzáteszi, hogy a moderátorok testre szabhatják a felülvizsgálati eszközeiket, hogy elmoshassák a grafikus tartalmakat.

A The Moderators november 11. hétfőtől november 15. péntekig a BBC Radio 4 műsorán 13:45-kor (GMT), illetve a BBC Sounds.