Sztuczna inteligencja rozwija się w oszałamiającym tempie i już teraz zmienia nasze życie na wielu płaszczyznach. Jednym z kierunków, w jakim zmierza jest Reinforcement Learning (RL), czyli uczenie przez wzmacnianie, które może okazać się przełomowe w opiece zdrowotnej. Podejście to może przyczynić się do projektowania sekwencyjnych strategii leczenia, co poprawiłoby efekty terapeutyczne dla pacjentów. Jednakże, jak wynika z najnowszych badań przeprowadzonych przez naukowców z Weill Cornell Medicine oraz Rockefeller University, RL wymaga jeszcze wielu ulepszeń, zanim znajdzie szerokie zastosowanie w medycynie klinicznej.
Co to jest Reinforcement Learning?
Reinforcement Learning to klasa algorytmów uczenia maszynowego, które potrafią podejmować sekwencję decyzji w czasie rzeczywistym, opierając się na otrzymywanych wcześniej informacjach zwrotnych. RL zasłynęło, osiągając nadludzkie wyniki w grach takich jak szachy czy Go, ale jego potencjał wykracza daleko poza świat rozrywki.
Technologia ta mogłaby wykorzystać zmieniające się warunki pacjenta, wyniki badań czy reakcje na wcześniejsze terapie, by sugerować najlepszy kolejny krok w personalizowanej opiece zdrowotnej. Szczególnie dużą szansą jest jej potencjał w zarządzaniu chorobami przewlekłymi oraz psychiatrycznymi, gdzie decyzje terapeutyczne muszą być dynamiczne i dostosowywane do stanu pacjenta.
Nowy punkt odniesienia dla RL w medycynie
Badania przedstawione podczas konferencji NeurIPS w grudniu wprowadziły „Episodes of Care” (EpiCare) – pierwsze narzędzie benchmarkowe RL przeznaczone dla opieki zdrowotnej. Dzięki temu rozwiązaniu możliwe jest efektywniejsze ocenianie skuteczności algorytmów RL w symulowanych scenariuszach medycznych.
„Benchmarki odegrały ogromną rolę w rozwoju zastosowań machine learning w takich dziedzinach jak wizja komputerowa, przetwarzanie języka naturalnego, rozpoznawanie mowy czy autonomiczne pojazdy. Teraz mamy nadzieję, że przyspieszą one postęp w zastosowaniach RL w medycynie” – stwierdził dr Logan Grosenick, adiunkt neuronauki i psychiatrii, który kierował badaniami.
Naukowcy przetestowali pięć najnowszych modeli RL na platformie EpiCare, odnosząc obiecujące wyniki. Wszystkie modele przewyższyły standardowe podejście stosowane w leczeniu. Jednakże, by osiągnąć te wyniki, każdy z modeli wymagał tysięcy realistycznych symulowanych epizodów leczenia do nauki. Trudność polega na tym, że metody RL nie mogą być szkolone bezpośrednio na pacjentach, co prowadzi do konieczności stosowania danych historycznych, takich jak te z badań klinicznych. Niestety, według badań, istniejące metody oceny off-policy (OPE), mające pozwolić na taki sposób nauki, nie są wystarczająco wiarygodne.
Konieczność dalszych udoskonaleń
„Nasze badania wskazują, że obecne metody OPE nie są godne zaufania, jeśli chodzi o przewidywanie skuteczności RL w scenariuszach medycznych” – zauważa dr Mason Hargrave, badacz z Rockefeller University. Ten problem podkreśla potrzebę dalszego rozwijania narzędzi benchmarkowych, takich jak EpiCare, które mogą lepiej audytować istniejące podejścia RL. Pozwoli to dokładniej mierzyć postęp i poprawiać metody stosowania AI w medycynie.
„Mamy nadzieję, że nasze prace przyczynią się do bardziej niezawodnej oceny RL w opiece zdrowotnej i przyspieszą opracowywanie lepszych algorytmów i protokołów, które znajdą zastosowanie w medycynie” – dodał dr Grosenick.
Nowe podejście do analizowania danych w formie grafów
W trakcie tego samego wydarzenia, dr Grosenick zaprezentował także inny przełom w wykorzystaniu AI – rozszerzenie sieci konwolucyjnych (CNN) na dane w strukturze grafów. Sieci CNN zasłynęły jako narzędzie rozpoznawania obrazów i znalazły zastosowanie w takich dziedzinach, jak rozpoznawanie twarzy, autonomiczne pojazdy czy analiza medycznych obrazów.
Jednak, jak wskazuje dr Grosenick, wiele danych, takich jak te z neuroobrazowania, nie ma struktury typowego obrazu, a raczej grafu składającego się z wierzchołków (np. obszarów mózgu lub sieci genowych) i krawędzi (wskazujących siłę połączeń). Analiza takich danych wymaga nowego podejścia, które pozwoli lepiej zrozumieć zależności zarówno na poziomie lokalnym, jak i w bardziej odległych częściach grafu.
Quantized Graph Convolutional Networks – krok ku nowej erze
W tym celu zespół opracował framework Quantized Graph Convolutional Networks (QuantNets), który przenosi możliwości CNN na dane w strukturze grafów. Dr Grosenick wyjaśnia, że narzędzie to może być wykorzystywane do analizy aktywności mózgu mierzonych za pomocą EEG, co pomoże lepiej zrozumieć, jak zmienia się funkcjonalna łączność mózgowa podczas leczenia zaburzeń, takich jak depresja czy OCD (zaburzenie obsesyjno-kompulsywne).
Potencjał QuantNets nie ogranicza się jednak do medycyny. Naukowcy przewidują zastosowanie tego narzędzia w analizie behawioralnej, termodynamice związków chemicznych, a także w innych dziedzinach nauki, gdzie dane mają strukturę grafową.
Przyszłość AI w medycynie
Pomimo wielu wyzwań, które stoją na drodze do pełnego wykorzystania AI w opiece zdrowotnej, każde kolejne odkrycie zbliża nas do spersonalizowanych strategii leczenia, które mogą zrewolucjonizować terapie medyczne. Zarówno poprawa jakości benchmarków, jak i rozwijanie specjalistycznych algorytmów, takich jak QuantNets, to znaczące kroki w kierunku przyszłości, w której sztuczna inteligencja odegra kluczową rolę w poprawie zdrowia i jakości życia pacjentów.