Niemieckie konsorcjum badawcze zaprezentowało Soofi S, nowy model językowy typu open-source, który wyznacza nowe standardy wydajności w przetwarzaniu języka niemieckiego oraz angielskiego. Projekt, koordynowany przez KI Bundesverband, został w całości wytrenowany na infrastrukturze chmurowej Deutsche Telekom w Monachium, co stanowi istotny krok w stronę budowy europejskiej suwerenności technologicznej w obszarze sztucznej inteligencji.
Innowacyjna architektura hybrydowa
Soofi S wyróżnia się na tle konkurencji dzięki zastosowaniu architektury typu Mixture-of-Experts (MoE). Choć model posiada łącznie 31,6 miliarda parametrów, podczas generowania każdego tokena aktywuje jedynie około 3,2 miliarda z nich. Takie podejście sprawia, że koszty obliczeniowe są znacznie niższe niż w przypadku tradycyjnych modeli o podobnej skali, co pozwala na uzyskanie szybkości działania zbliżonej do znacznie mniejszych jednostek.
Konstrukcja modelu opiera się na hybrydowym połączeniu warstw Mamba-2 oraz standardowych mechanizmów uwagi (attention layers). Dzięki temu rozwiązaniu, Soofi S wykazuje wyjątkową stabilność przepustowości nawet przy bardzo długich tekstach wejściowych. W przeciwieństwie do klasycznych modeli, w których pamięć podręczna (KV cache) rośnie liniowo wraz z długością kontekstu, w Soofi S tylko 6 z 52 warstw odpowiada za jej utrzymywanie. W praktyce oznacza to, że przy długości kontekstu wynoszącej 40 000 tokenów, model generuje dane około ośmiokrotnie szybciej niż standardowe modele o podobnej wielkości.
Proces szkolenia i nacisk na język niemiecki
Proces uczenia modelu obejmował przetworzenie łącznie 27 bilionów tokenów w trzech etapach. Kluczowym założeniem twórców było nadanie priorytetu wysokiej jakości danym w języku niemieckim. Podczas gdy w standardowych modelach języki inne niż angielski stanowią zazwyczaj niewielki ułamek danych treningowych, w Soofi S udział niemieckiego wzrósł z 7,2% w pierwszej fazie do 15,3% w drugiej.
Wśród źródeł danych znalazły się zarówno otwarte zasoby, jak i licencjonowane materiały, w tym baza Genios zawierająca 193 miliony artykułów prasowych z 916 niemieckich publikacji. Takie podejście pozwoliło modelowi osiągnąć wyniki przewyższające inne otwarte rozwiązania, takie jak OLMo 3 32B czy Apertus 70B, w testach sprawdzających biegłość językową oraz umiejętności programistyczne.
Wydajność w testach porównawczych
Soofi S zajmuje czołowe miejsca w większości kategorii testowych, wyprzedzając nawet znacznie większe modele. Poniżej przedstawiono wybrane wyniki w kluczowych benchmarkach:
Mimo sukcesów, model wykazuje pewne ograniczenia. W testach matematycznych oraz w zadaniach wymagających wyszukiwania faktów (NaturalQuestions) ustępuje większym modelom, co wynika z mniejszej liczby aktywnie wykorzystywanych parametrów. Ponadto, w testach długiego kontekstu (RULER) model radzi sobie słabiej w zadaniach ekstrakcji słów z bardzo długich dokumentów, co twórcy przypisują specyfice danych treningowych.
Kontrowersje wokół skali treningu
Po premierze modelu pojawiły się głosy krytyki dotyczące tzw. przetrenowania (overtraining) w odniesieniu do klasycznych praw skalowania Chinchilla. Krytycy wskazują, że przy 27 bilionach tokenów na 30 miliardów parametrów, Soofi S znacznie przekracza zalecane proporcje. Michael Fromm, jeden z liderów technicznych projektu, odpiera te zarzuty:
Nowe badania wskazują, że stare prawa skalowania dla modeli gęstych nie mają już zastosowania do architektur typu Mixture-of-Experts. Poszczególni eksperci w modelu korzystają na wielokrotnym przetwarzaniu tych samych dokumentów, więc powtarzalność danych w wysokiej jakości zbiorze nie stanowi problemu.
Infrastruktura i dostępność
Szkolenie modelu, które odbyło się między marcem a majem 2026 roku, pochłonęło około 253 000 godzin pracy procesorów graficznych Nvidia B200. Cały proces przeprowadzono w sposób zrównoważony – centrum danych w Monachium korzysta w pełni z energii odnawialnej, a ciepło odpadowe jest wykorzystywane do ogrzewania sąsiedniej dzielnicy Tucherpark.
Projekt jest finansowany przez niemieckie Federalne Ministerstwo Gospodarki i Ochrony Klimatu w ramach programu IPCEI-CIS. Twórcy udostępniają wagi modelu, kod treningowy oraz szczegółowy wykaz danych, dążąc do pełnej transparentności. Choć ze względu na komercyjne licencje części danych (ok. 1%) model nie spełnia w 100% najbardziej rygorystycznych definicji otwartych danych, około 99% zbioru treningowego może zostać niezależnie odtworzone.
