Badacze z MIT opracowali spersonalizowany proces wprowadzający, który pomaga człowiekowi dowiedzieć się, kiedy rady modelu są godne zaufania. Modele sztucznej inteligencji, które wyłapują wzorce na obrazach, często robią to lepiej niż ludzkie oczy — ale nie zawsze. Jeśli radiolog korzysta z modelu AI, aby pomóc jej określić, czy zdjęcia rentgenowskie pacjenta pokazują oznaki zapalenia płuc, kiedy powinna zaufać radzie modelu, a kiedy ją zignorować?
Spersonalizowany proces wprowadzający może pomóc temu radiologowi odpowiedzieć na to pytanie, według badaczy z MIT i MIT-IBM Watson AI Lab. Opracowali system, który uczy użytkownika, kiedy współpracować z asystentem AI.
W tym przypadku metoda szkoleniowa może znaleźć sytuacje, w których radiolog ufa radzie modelu — chociaż nie powinien, ponieważ model się myli. System automatycznie uczy się reguł, jak powinna współpracować z AI, i opisuje je naturalnym językiem.
Podczas wprowadzania, radiolog ćwiczy współpracę z AI, korzystając z ćwiczeń szkoleniowych opartych na tych zasadach, otrzymując informacje zwrotne na temat swojego wykonania i wykonania AI.
Badacze stwierdzili, że ten proces wprowadzania prowadzi do około 5-procentowej poprawy dokładności, gdy ludzie i AI współpracują w zadaniu przewidywania obrazów. Ich wyniki pokazują również, że samo mówienie użytkownikowi, kiedy ufać AI, bez szkolenia, prowadzi do gorszych wyników.
Co ważne, system badaczy jest w pełni zautomatyzowany, więc uczy się tworzyć proces wprowadzania na podstawie danych z ludzkiego i AI wykonującego konkretny zadanie. Może również dostosować się do różnych zadań, więc może być skalowany i używany w wielu sytuacjach, gdzie ludzie i modele AI pracują razem, takich jak moderacja treści w mediach społecznościowych, pisanie i programowanie.
„Tak często ludzie otrzymują te narzędzia AI do użytku bez żadnego szkolenia, które pomogłoby im zrozumieć, kiedy będą pomocne. Nie robimy tego z prawie żadnym innym narzędziem, którego ludzie używają — zawsze towarzyszy mu jakiś rodzaj samouczka. Ale w przypadku AI to wydaje się być pominięte. Staramy się rozwiązać ten problem z metodologicznego i behawioralnego punktu widzenia,” mówi Hussein Mozannar, doktorant w programie Social and Engineering Systems w Instytucie Danych, Systemów i Społeczeństwa (IDSS) i główny autor pracy na temat tego procesu szkoleniowego.
Badacze przewidują, że takie wprowadzenie będzie kluczową częścią szkolenia dla pracowników medycznych.
„Można sobie wyobrazić, na przykład, że lekarze podejmujący decyzje o leczeniu przy pomocy AI będą musieli najpierw przejść szkolenie podobne do tego, które proponujemy. Możemy potrzebować przemyśleć wszystko, od ciągłej edukacji medycznej po sposób projektowania badań klinicznych,” mówi starszy autor David Sontag, profesor EECS, członek MIT-IBM Watson AI Lab i MIT Jameel Clinic oraz lider Grupy Badań Maszynowych Klinicznych Laboratorium Informatyki i Sztucznej Inteligencji (CSAIL).
Mozannar, który jest również badaczem w Grupie Badań Maszynowych Klinicznych, współpracuje nad artykułem z Jimin J. Lee, studentem inżynierii elektrycznej i informatyki; Dennis Wei, starszym naukowcem w IBM Research; oraz Prasanna Sattigeri i Subhro Das, członkami personelu badawczego w MIT-IBM Watson AI Lab. Praca zostanie zaprezentowana na Konferencji Neural Information Processing Systems.
Szkolenie, które ewoluuje
Istniejące metody wprowadzania do współpracy człowieka z AI często składają się z materiałów szkoleniowych wyprodukowanych przez ekspertów ludzkich na konkretne przypadki użycia, co sprawia, że trudno je skalować. Niektóre pokrewne techniki polegają na wyjaśnieniach, gdzie AI informuje użytkownika o swojej pewności co do każdej decyzji, ale badania pokazują, że wyjaśnienia rzadko są pomocne, mówi Mozannar.
„Możliwości modelu AI są stale ewoluujące, więc przypadki użycia, w których człowiek mógłby potencjalnie odnieść korzyści, rosną z czasem. Jednocześnie postrzeganie modelu przez użytkownika ciągle się zmienia. Dlatego potrzebujemy procedury szkoleniowej, która również ewoluuje z czasem,” dodaje.
