Naukowcy z Uniwersytetu Stanforda przeprowadzili interesujące badania, które pokazują, że odpowiedzi generowane przez sztuczną inteligencję (AI) na wiadomości pacjentów są oceniane jako bardziej satysfakcjonujące niż te, które pochodzą od lekarzy. Wyniki te nie oznaczają jednak, że jakość informacji czy empatia w odpowiedziach klinicystów jest gorsza – szczególnie w specjalizacjach takich jak endokrynologia.
Tło badania
Przeprowadzone badanie zostało opublikowane na łamach czasopisma JAMA Network Open. Jego celem było zbadanie, jak ludzie oceniają odpowiedzi generowane przez AI w porównaniu do tych, które piszą lekarze. W kontekście rosnącego zastosowania generatywnych modeli AI, możliwe jest, że sztuczna inteligencja będzie w stanie skutecznie wspierać lekarzy w odpowiadaniu na wiadomości pacjentów. Jednakże, perspektywa pacjentów na ten temat nie była do tej pory szczegółowo zbadana.
Przebieg badania i kluczowe odkrycia
W ramach badania naukowcy przeanalizowali ponad 3,7 miliona zapytań o porady medyczne zarejestrowanych w systemach zdrowotnych. Do końcowej analizy wybrano 59 pytań klinicznych, na które odpowiedzi były generowane przez dwa modele AI: Stanford Generative Pretrained Transformer (GPT) oraz ChatGPT-4. Odpowiedzi były tworzone zarówno z wykorzystaniem tzw. inżynierii poleceń (prompt engineering), jak i bez niej. Do finalnej analizy wybrano odpowiedzi wygenerowane z zastosowaniem inżynierii poleceń, aby zapewnić wyższą jakość informacji i empatii.
Oryginalne odpowiedzi klinicystów oraz te generowane przez AI zostały ocenione przez sześciu licencjonowanych lekarzy, którzy korzystali z pięciopunktowej skali Likerta, gdzie 5 oznaczało najwyższą możliwą ocenę, a 1 najniższą. Dodatkowo 30 uczestników badania, zrekrutowanych za pośrednictwem Stanford Research Registry, oceniało odpowiedzi pod kątem satysfakcji. Każdą odpowiedź oceniały trzy osoby, a oceny były następnie analizowane przy użyciu zaawansowanych modeli statystycznych, aby wyeliminować potencjalne błędy i zmienność wyników.
Jednym z najważniejszych odkryć było to, że odpowiedzi generowane przez AI uzyskały wyższe średnie oceny satysfakcji (3,96) w porównaniu do odpowiedzi lekarzy (3,05). Najwyższe oceny przyznano odpowiedziom AI na pytania związane z kardiologią, natomiast w przypadku endokrynologii AI osiągnęło najwyższe wyniki w kategoriach empatii i jakości informacji.
Co ciekawe, odpowiedzi lekarzy były znacznie krótsze – średnio liczyły 254 znaki, podczas gdy odpowiedzi AI miały średnio 1,471 znaków. Warto zauważyć, że długość odpowiedzi lekarzy miała wpływ na ocenę satysfakcji, szczególnie przy pytaniach z zakresu kardiologii. W przypadku odpowiedzi AI, długość nie miała jednak wpływu na satysfakcję.
Wnioski z badania
Badanie wyraźnie pokazało, że pacjenci oceniają odpowiedzi generowane przez AI wyżej pod kątem satysfakcji niż odpowiedzi udzielane przez lekarzy. Jednakże, nie zawsze wysoka satysfakcja była zgodna z jakością informacji czy poziomem empatii. Przykładem są tu pytania z zakresu kardiologii, które uzyskały najwyższe oceny satysfakcji, podczas gdy pytania z endokrynologii zostały najwyżej ocenione pod względem empatii i jakości informacji.
Interesującym odkryciem jest także związek między długością odpowiedzi lekarzy a ocenami satysfakcji. Krótsze odpowiedzi udzielane przez lekarzy były często oceniane niżej, co może sugerować, że zwięzłość w komunikacji lekarz-pacjent nie zawsze przekłada się na wyższą satysfakcję.
Jednak badanie ma swoje ograniczenia. Satysfakcja była mierzona na podstawie opinii uczestników badania, a nie samych pacjentów, którzy zgłosili pytania. Oznacza to, że rzeczywiste odczucia pacjentów mogłyby się nieco różnić.
Kierunki na przyszłość
Badanie podkreśla, jak ważne jest uwzględnianie opinii pacjentów przy opracowywaniu i wdrażaniu rozwiązań opartych na sztucznej inteligencji w komunikacji między lekarzami a pacjentami. W przyszłości potrzebne są dalsze badania, które uwzględnią różnorodne konteksty – różne centra medyczne, regiony, populacje pacjentów i specjalizacje medyczne. Tego typu analiza pomoże lepiej zrozumieć, jak AI może być optymalnie zintegrowane z praktyką kliniczną, aby zapewnić pacjentom jak najlepszą opiekę.
To istotny krok w kierunku przyszłości, w której sztuczna inteligencja może stanowić realne wsparcie dla lekarzy, poprawiając jednocześnie jakość komunikacji z pacjentami, a co za tym idzie – poziom zadowolenia z opieki medycznej.
