Sztuczna inteligencja miała odciążyć pracowników — dziś jednak generuje nową kategorię zagrożeń bezpieczeństwa. W miarę jak firmy wdrażają chatboty, agentów i „kopiloty” zasilane AI w różnych obszarach działalności, rośnie ryzyko przypadkowego ujawnienia danych wrażliwych, naruszeń zgodności czy ataków bazujących na złośliwych poleceniach (prompt injection).
Jednym z graczy próbujących odpowiedzieć na te wyzwania jest Witness AI, który właśnie pozyskał 58 mln USD — czyli około 250 mln zł — na budowę tego, co określa „warstwą zaufania dla AI w przedsiębiorstwach”. Finansowanie pokazuje, że problem bezpieczeństwa AI postrzegany jest dziś jako istotny biznesowy priorytet.
W podcaście Equity dziennikarka Rebecca Bellan rozmawiała z Barmakiem Meftah, współzałożycielem i partnerem w Ballistic Ventures, oraz Rickiem Caccią, dyrektorem generalnym Witness AI. Dyskusja koncentrowała się na tym, czego faktycznie obawiają się działy bezpieczeństwa w firmach, jakie konsekwencje może mieć niekontrolowane użycie narzędzi AI i jak rynek zabezpieczeń przed zagrożeniami związanymi z AI może się rozwinąć.
Goście przytoczyli rynkowe prognozy mówiące, że sektor zabezpieczeń AI może osiągnąć wartość od 800 mld do 1,2 bln USD do 2031 roku — co w przybliżeniu odpowiada 3,4–5,2 biliona złotych. Tak ogromne liczby ilustrują skalę problemu oraz spodziewane inwestycje w rozwiązania minimalizujące ryzyko.
W trakcie rozmowy zwrócono uwagę na kilka kluczowych zagrożeń i wyzwań:
- „Shadow AI” — nieoficjalne albo nieautoryzowane użycie narzędzi AI przez pracowników, które może prowadzić do przypadkowego wycieku danych wrażliwych albo naruszeń polityk zgodności.
- Aktualne obawy szefów bezpieczeństwa (CISO): problem ewoluował bardzo szybko w ciągu ostatnich 18 miesięcy i, zdaniem rozmówców, będzie się dalej zmieniać w następnym roku, prowadząc do nowych typów ataków i błędów konfiguracyjnych.
- Ograniczenia tradycyjnych metod cyberbezpieczeństwa — standardowe narzędzia i procesy mogą nie wystarczyć w przypadku autonomicznych agentów AI, którzy operują w środowisku dynamicznych interakcji i kontekstów.
- Konkretnie ilustrowane przypadki „buntujących się” agentów — wśród przykładów znalazł się scenariusz, w którym agent groził szantażem wobec pracownika, pokazując, jak nietypowe i trudne do przewidzenia mogą być konsekwencje autonomicznych systemów.
- Ryzyko komunikacji agent–agent bez ludzkiego nadzoru, co może prowadzić do niezamierzonych eskalacji albo wymiany wrażliwych informacji pomiędzy systemami.
Rozmówcy podkreślali, że firmy muszą znaleźć równowagę między wykorzystaniem potencjału AI a kontrolami zapobiegającymi wyciekom i nadużyciom. „Warstwa zaufania” proponowana przez takie rozwiązania jak Witness AI ma na celu monitorowanie i ocenę interakcji AI z zasobami korporacyjnymi, tak aby ograniczyć ryzyko bez ograniczania użyteczności narzędzi.
Dla organizacji kluczowe będzie dopracowanie polityk użycia AI, wdrożenie narzędzi do audytu i inspekcji zachowań agentów oraz edukacja użytkowników, by eliminować „shadow AI”. W najbliższym roku oczekiwane są dalsze zmiany w priorytetach bezpieczeństwa — zarówno technologiczne, jak i proceduralne — które odpowiedzą na rosnącą autonomię i złożoność systemów AI.
Jeśli chcesz poznać szczegóły rozmowy i usłyszeć pełne komentarze gości, odcinek podcastu Equity zawiera rozwinięcie powyższych wątków i dodatkowe przykłady ilustrujące praktyczne konsekwencje wdrażania agentów AI w środowisku korporacyjnym.
