Firma SentinelOne opracowała pierwszy w branży benchmark typu „long-horizon”, służący do oceny zdolności zaawansowanych modeli sztucznej inteligencji w zakresie inżynierii wstecznej. Jako materiał testowy posłużyło złośliwe oprogramowanie Fast16, odkryte przez badaczy z SentinelLabs w kwietniu 2026 roku. Fast16 to szkodliwy kod z 2005 roku, zaprojektowany do ingerencji w oprogramowanie inżynieryjne LS-DYNA, które było wykorzystywane przez Iran w programie rozwoju broni jądrowej. Eksperci sugerują, że Fast16 – podobnie jak słynny Stuxnet – mógł być narzędziem sabotażu stworzonym przez Stany Zjednoczone.
Testowanie zdolności analitycznych AI
W ramach benchmarku sprawdzono, które z czołowych modeli AI potrafią przeprowadzić rzetelne i spójne śledztwo dotyczące złośliwego oprogramowania. Zamiast oceniać modele na podstawie pojedynczych, izolowanych zadań, badacze monitorowali, czy sztuczna inteligencja jest w stanie utrzymać logiczną ciągłość analizy przez osiem etapów o rosnącym stopniu trudności. W trakcie testów systematycznie wprowadzano nowe dowody, które podważały wcześniejsze wnioski wyciągnięte przez modele.
W testach wzięły udział następujące rozwiązania:
Jedynym modelem, który pomyślnie ukończył wszystkie osiem etapów śledztwa, był GPT-5.6 Sol. Pozostałe modele, mimo poprawnej analizy lokalnej, utknęły na różnych etapach procesu. GPT-5.5 nie zdołał wyjść poza fazę początkową, natomiast modele z serii Opus miały tendencję do przedwczesnego kończenia pracy, zanim wszystkie błędy zostały wyeliminowane.
Kluczowe wyzwanie: odzyskiwanie projektu
Badacze z SentinelLabs wskazują, że różnica w wynikach nie wynika z braku wiedzy technicznej, lecz z umiejętności określanej jako „odzyskiwanie projektu” (project-scale recovery). Jest to zdolność modelu do wycofania się z błędnego wniosku, prześledzenia wszystkich zależności, które na nim bazowały, naprawienia przyczyny źródłowej i uwzględnienia tej korekty w dalszej części dochodzenia. Modele, które nie przeszły testu, ograniczały się jedynie do doraźnego łatania błędów, co uniemożliwiało im utrzymanie spójności analizy.
Rola człowieka w procesie analizy
Mimo sukcesu modelu GPT-5.6 Sol, badacze podkreślają, że nadzór ludzki pozostaje niezbędny. Nawet najbardziej zaawansowane systemy popełniały istotne błędy techniczne, akceptowały słabej jakości kontrolę i przedwcześnie ogłaszały gotowość raportów.
Seniorzy zajmujący się inżynierią wsteczną pozostają niezbędni. Nawet najlepsze przebiegi testów zawierały błędy semantyczne, akceptowały słabe mechanizmy kontroli jakości i przedwcześnie deklarowały zakończenie prac. Obecnie oceniamy, że najlepszym zastosowaniem AI jest rola nadzorowanego agenta śledczego, gdzie analityk-człowiek definiuje cele, wskazuje luki w rozumowaniu i zachowuje ostateczną władzę nad publikacją wyników.
Warto zauważyć, że w kontekście bezpieczeństwa IT, koszty incydentów związanych z naruszeniami danych mogą być ogromne. Przykładowo, niedawne straty wynikające z oszukańczych kontraktów po wycieku danych w Upbound Group wyniosły 13 milionów dolarów, co w przeliczeniu daje około 50 milionów złotych. Tak wysokie stawki sprawiają, że rola człowieka w weryfikacji działań AI pozostaje kluczowym elementem strategii obronnych.
