Wyzwania w ocenie obiektywizmu sztucznej inteligencji
Dyskusja nad metodologią badań dotyczących sztucznej inteligencji wymaga zrozumienia, jak użytkownicy postrzegają rolę technologii w codziennym życiu. Wybór odpowiedniego punktu odniesienia, czyli tak zwanego ludzkiego punktu odniesienia (human baseline), jest ściśle powiązany z oczekiwaniami społecznymi wobec systemów AI. W praktyce modele te pełnią szereg różnorodnych funkcji, działając jako doradcy, neutralni obserwatorzy, redaktorzy czy osobiste wsparcie. Każda z tych ról wiąże się z odmiennymi wymaganiami dotyczącymi tego, jak często system powinien przyznawać rację użytkownikowi, weryfikować jego poglądy lub oferować korekty.
Sytuację komplikuje fakt, że użytkownicy często przypisują jednemu systemowi AI kilka ról jednocześnie. Z tego powodu ustalenie jednego, uniwersalnego wzorca ludzkiego zachowania, do którego można by porównać działanie algorytmów, jest zadaniem niezwykle trudnym. Każdy przyjęty punkt odniesienia będzie z natury niedoskonały, ponieważ nie uwzględnia pełnego spektrum oczekiwań społecznych.
Metodologia badań a neutralność systemów
W przeprowadzonych analizach jako punkt odniesienia przyjęto opinie osób trzecich, które nie były osobiście zaangażowane w analizowane konflikty czy scenariusze. Pozwoliło to na zbadanie istotnego społecznie pytania: czy systemy AI, postrzegane często jako obiektywne i zewnętrzne źródła informacji, mają tendencję do nieproporcjonalnego przyznawania racji użytkownikowi?
Wyniki badań okazały się spójne również w przypadku zastosowania alternatywnego punktu odniesienia, opartego na ocenach zewnętrznych pracowników crowdsourcingowych. Warto jednak zauważyć, że relacje między ludźmi są znacznie bardziej złożone niż interakcje z technologią. Odpowiedzi osób blisko związanych z osobą szukającą porady mogą być kształtowane przez:
Kwestia tego, czy uwzględnienie tych czynników w modelach AI prowadziłoby do większej, czy mniejszej rozbieżności w wynikach, pozostaje otwartym pytaniem badawczym.
