Online diskusie zaplavujú toxické komentáre, ktoré odrádzajú ľudí od čítania a zapájania sa. Výskumy hovoria, že približne štvrtina príspevkov je toxická a až 80 % používateľov priznáva, že ich to odstrašuje. Projekt Elf AI ponúka praktické riešenie: kombinuje umelú inteligenciu a ľudských moderátorov, aby diskusie zostali vecné a slušné.
Prečo je toxický obsah problém
Toxické komentáre nemusia byť nezákonné, no otravujú verejnú debatu: šíria urážky, dezinformácie a nenávisť voči skupinám. V offline prostredí by podobné správanie narazilo na okamžitú reakciu, online však často zostáva bez odozvy a dokonca zbiera interakcie. Výsledkom je odchod slušných diskutérov a zhoršená kvalita dialógu.
Podľa dát je zhruba 25 % komentárov možné označiť za toxické, čo výrazne kazí prostredie na sociálnych sieťach aj pod článkami médií. Až 80 % ľudí priznáva, že ich takýto obsah odrádza od čítania, písania príspevkov či interakcie so značkami. Ide teda nielen o otázku kultúry, ale aj dôvery a reputácie.
Elf AI: kombinácia stroja a človeka
Projekt vznikol krátko po vypuknutí vojny na Ukrajine, keď sa na slovenských stránkach prudko rozšírili toxické a dezinformačné príspevky. Tím vyvinul jazykový model trénovaný na komentároch označkovaných ľudskými moderátormi. Systém priebežne monitoruje diskusie, vyhodnocuje príspevky podľa pravidiel komunity a pri jasnom porušení ich skrýva.
Model je približne 80–85 % spoľahlivý; zvyšné prípady posudzuje tím 16 moderátorov, tzv. elfov, pracujúcich v zmenách. AI má tri možnosti: ponechať komentár, skryť ho pri vysokej istote porušenia alebo ho postúpiť človeku. Rozhodnutia moderátorov slúžia ako spätná väzba, takže model sa neustále zlepšuje; dôležité je, že príspevky sa skrývajú, nie mažu, v súlade s nastaveniami platforiem.
Moderovanie nie je cenzúra, výsledky sú prekvapivé
Projekt zdôrazňuje, že necieli na politické názory vyjadrené slušne. Zásah prichádza vtedy, keď príspevok porušuje pravidlá komunity – napríklad používa vulgarizmy či útočí na menšiny. Okrem filtrovania sa používa aj analýza sentimentu, ktorá pomáha sledovať celkovú náladu v diskusiách.
Tri roky praxe priniesli zaujímavé zistenie: ak sa toxické príspevky skrývajú, počet komentárov sa v diskusii zvyčajne zvýši. Ľudia, ktorí by sa inak báli zapojiť, nadobudnú pocit bezpečia a prídu do rozhovoru; zároveň klesá počet nenávistných výkrikov, lebo trollovia vidia, že priestor je strážený. Doteraz systém prešiel 60 miliónov komentárov, 12 miliónov skryl a identifikoval vyše 5 000 falošných účtov.
