Platforma Discord przyznała się do poważnej awarii systemu moderacji opartego na sztucznej inteligencji, która doprowadziła do niesłusznego zablokowania ponad 8 tysięcy kont w ciągu ostatnich dwóch miesięcy. Problem dotyczył automatycznego wykrywania treści naruszających zasady społeczności, jednak algorytmy błędnie interpretowały całkowicie bezpieczne pliki jako materiały niedozwolone. Wśród zablokowanych grafik znalazły się między innymi arkusze kalkulacyjne, szachownice, tekstury wykorzystywane w grach wideo oraz obrazy z przezroczystym tłem w kolorze białym lub szarym.
Usterka, która rozpoczęła się w maju, została zidentyfikowana dopiero po tym, jak w ostatni weekend zablokowano kolejne 200 kont. Firma potwierdziła, że obecnie trwa proces przywracania dostępu wszystkim niesłusznie poszkodowanym użytkownikom. Incydent ten rzuca światło na rosnące wyzwania związane z automatyzacją moderacji treści. Platformy społecznościowe coraz częściej polegają na algorytmach, aby na dużą skalę wyłapywać nielegalne lub szkodliwe materiały, jednak technologia ta wciąż nie jest pozbawiona błędów, które mogą prowadzić do tzw. fałszywych trafień.
Mechanizm działania systemu Discord opiera się na porównywaniu przesyłanych plików z bazą danych znanych szkodliwych treści. Choć standardowa procedura zakłada, że każdy przypadek oznaczony przez algorytm powinien zostać zweryfikowany przez człowieka z zespołu ds. bezpieczeństwa, błąd w kodzie sprawił, że w tych konkretnych sytuacjach system automatycznie nakładał blokadę, pomijając etap ludzkiej kontroli. Przedstawiciele firmy zapewnili, że pracują nad wdrożeniem lepszych zabezpieczeń, aby podobne sytuacje nie powtórzyły się w przyszłości.
Użytkownicy w mediach społecznościowych, takich jak X czy Reddit, spekulują, że zwiększona wrażliwość algorytmów na wzory przypominające siatkę wynika z faktu, iż takie tekstury bywały w przeszłości wykorzystywane do maskowania niedozwolonych treści przed systemami wykrywania. Dla wielu osób, w tym profesjonalistów wykorzystujących Discorda do pracy, komunikacji wewnątrz zespołów deweloperskich czy utrzymywania relacji, utrata konta była niezwykle dotkliwa. Wskazują oni, że poleganie wyłącznie na automatyzacji w procesach dyscyplinarnych niesie ze sobą ryzyko poważnych konsekwencji dla milionów użytkowników.
Problem Discorda nie jest odosobnionym przypadkiem w branży technologicznej. W ubiegłym roku podobne trudności z masowymi, niewyjaśnionymi zawieszeniami kont zgłaszali użytkownicy Facebooka oraz Instagrama, a także platformy Tumblr. Choć w tamtych przypadkach również podejrzewano błędy sztucznej inteligencji, firmy rzadko oficjalnie potwierdzają przyczyny takich awarii. Obecnie coraz głośniej mówi się o konieczności zwiększenia przejrzystości działań algorytmów moderacyjnych, co jest postulowane m.in. przez Radę Nadzorczą Meta. Warto dodać, że w kontekście nadchodzących wydarzeń branżowych, takich jak TechCrunch Founder Summit, uczestnicy mogą liczyć na zniżki sięgające 190 dolarów, co w przeliczeniu daje około 750 złotych oszczędności, co pokazuje, jak dynamicznie zmienia się otoczenie technologiczne, w którym funkcjonują zarówno użytkownicy, jak i twórcy platform.
