W ostatnim czasie firma Mistral, zajmująca się sztuczną inteligencją, zaprezentowała nową API dedykowaną moderacji treści. To rozwiązanie, które znajduje zastosowanie również w platformie chatbotów Le Chat, ma być elastyczne i dostosowywalne do różnych aplikacji oraz standardów bezpieczeństwa. API korzysta z modelu AI o nazwie Ministral 8B, który został precyzyjnie dostosowany do klasyfikacji tekstu w wielu językach, w tym angielskim, francuskim i niemieckim. Treści są kategoryzowane w dziewięć głównych grup: treści seksualne, nienawiść i dyskryminacja, przemoc i groźby, niebezpieczne i przestępcze treści, samookaleczenia, zdrowie, finanse, prawo oraz dane osobowe.
Nowoczesne narzędzie do moderacji treści
API moderacyjne od Mistral może być używane zarówno do analizy surowych danych tekstowych, jak i rozmów w czasie rzeczywistym. W ostatnich miesiącach branża technologiczna coraz bardziej interesuje się zastosowaniem AI w procesach moderacji treści. Firma zauważyła, że tego typu narzędzia mogą pomóc w skalowalnym i solidnym moderowaniu treści w różnych aplikacjach. Jak podkreśla Mistral w swoim blogu, ich klasyfikator wykorzystuje najbardziej odpowiednie kategorie polityczne, aby stworzyć skuteczne bariery ochronne. Zastosowana tu metoda ma na celu przeciwdziałanie modelom generującym niekorzystne skutki, takie jak błędne porady czy ujawnienie danych osobowych (PII).
Chociaż tego rodzaju systemy oparte na sztucznej inteligencji mają ogromny potencjał, to nie są one pozbawione wad. Modele AI, które mają za zadanie monitorować toksyczność treści, mogą być podatne na te same uprzedzenia, co inne technologie sztucznej inteligencji. Przykładem tego jest sytuacja, w której niektóre modele uznają frazy w AAVE (African American Vernacular English – nieformalna gramatyka używana przez część społeczności afroamerykańskiej) za nadmiernie toksyczne, co może prowadzić do niesprawiedliwego oznaczania tych treści. Badania wykazały również, że posty dotyczące osób z niepełnosprawnościami są częściej oznaczane jako negatywne lub toksyczne przez powszechnie stosowane modele wykrywania sentymentu i toksyczności.
Wyzwania i przyszłość moderacji opartej na AI
Mistral twierdzi, że ich model moderacji jest niezwykle dokładny, ale jednocześnie przyznaje, że prace nad nim wciąż trwają. Firma nie porównała jednak bezpośrednio swojego API do popularnych narzędzi moderacyjnych, takich jak Perspective API od Jigsaw czy API moderacyjnych oferowanych przez OpenAI. Mistral podkreśla, że współpracuje z klientami, aby tworzyć skalowalne, lekkie i dostosowywane narzędzia do moderacji, a dodatkowo angażuje się w badania nad bezpieczeństwem, aby przyczynić się do rozwoju całej branży.
Nowa funkcja batch API
Wraz z ogłoszeniem API do moderacji treści, Mistral zaprezentował także nowe rozwiązanie w postaci batch API. Firma informuje, że dzięki przetwarzaniu dużych ilości zapytań asynchronicznie, koszt operacyjny korzystania z modeli API może zostać obniżony o 25%. Jest to interesująca opcja dla firm, które przetwarzają duże ilości danych. Podobne funkcje oferują również takie giganty jak Anthropic, OpenAI czy Google.
Podsumowanie
Wprowadzenie API moderacyjnego przez Mistral to krok w stronę bardziej zaawansowanej, a zarazem bezpiecznej i dokładnej moderacji treści przy wykorzystaniu sztucznej inteligencji. Chociaż narzędzie to ma wiele obiecujących funkcji, pozostają wyzwania związane z eliminacją uprzedzeń i błędów, które towarzyszą wielu systemom AI. Jednakże współpraca Mistral z branżą badawczą oraz ciągłe udoskonalanie modelu moderacji mogą przyczynić się do dalszego rozwoju tej technologii.
