Najbardziej zaawansowany model sztucznej inteligencji od Anthropic, Claude 3.7 Sonnet, został wytrenowany za kwotę wynoszącą „kilkadziesiąt milionów dolarów” przy wykorzystaniu mocy obliczeniowej mniejszej niż 1026 FLOPs. Informację tę ujawnił profesor Wharton, Ethan Mollick, który otrzymał oficjalne wyjaśnienie od działu PR Anthropic. W swoim wpisie na platformie X zaznaczył, że firma przekazała mu, iż model Sonnet 3.7 nie spełnia kryteriów modelu 1026 FLOP, a jego koszt szkolenia pozostaje relatywnie niski, zwłaszcza w porównaniu do budżetów konkurencyjnych systemów sztucznej inteligencji. Co więcej, przyszłe modele mają być jeszcze bardziej zaawansowane i kosztowne.
Nowe informacje pokazują, że tworzenie najnowszych systemów sztucznej inteligencji staje się coraz tańsze. Model Claude 3.7 Sonnet, podobnie jak jego poprzednik Claude 3.5, którego premiera miała miejsce jesienią 2024 roku, kosztował „kilkadziesiąt milionów dolarów” w kwestii budżetu przeznaczonego na naukę maszynową. Warto zauważyć, że choć suma ta wydaje się spora, nadal jest znacznie niższa od kosztów szkolenia modeli konkurencji, co wskazuje na postępującą optymalizację procesów związanych z trenowaniem SI.
Dla porównania, OpenAI przeznaczyło na szkolenie GPT-4 ponad 100 milionów dolarów, jak ujawnił CEO firmy, Sam Altman. Jeszcze większe wydatki poniosło Google, inwestując niemal 200 milionów dolarów w stworzenie modelu Gemini Ultra. Dane te pokazują, jak dynamicznie branża SI rozwija się pod względem finansowym i technologicznym, a jednocześnie sugerują, że koszty nieustannie się zmieniają w zależności od skali projektu i zastosowanych metod optymalizacyjnych.
Mimo stosunkowo niskich wydatków na Claude 3.7 Sonnet, CEO Anthropic, Dario Amodei, przewiduje, że w przyszłości koszty trenowania najbardziej zaawansowanych modeli mogą wzrosnąć do miliardów dolarów. Wynika to nie tylko z samego procesu szkolenia, ale również z dodatkowych działań, takich jak badania nad bezpieczeństwem AI, długoterminowy rozwój systemów oraz ciągła optymalizacja infrastruktury obliczeniowej. Co więcej, branża sztucznej inteligencji coraz częściej skłania się ku modelom „wnioskowania”, które wymagają znacznie większej mocy obliczeniowej do rozwiązywania złożonych problemów w dłuższych okresach czasu.
Rosnące wymagania względem przetwarzania danych oraz potrzeba lepszego kontekstowego rozumienia sprawiają, że przyszłe wersje modeli SI mogą stać się jeszcze bardziej kosztowne, a jednocześnie bardziej efektywne. Kluczowym wyzwaniem dla gigantów technologicznych będzie nie tylko optymalizacja kosztów, ale także zapewnienie bezpieczeństwa funkcjonowania nowych systemów oraz ich etycznego wykorzystania. Jak pokazują dotychczasowe osiągnięcia, rozwój sztucznej inteligencji to już nie tylko kwestia techniki, ale również finansów, regulacji oraz globalnej strategii wdrażania nowych technologii.
