Technologia i wydajność modelu
Inkling opiera się na architekturze typu mixture-of-experts. Choć całkowita liczba parametrów modelu wynosi 975 miliardów, w trakcie wykonywania konkretnego zadania aktywowany jest tylko ułamek tej wartości – około 41 miliardów. Jest to powszechnie stosowane rozwiązanie, które pozwala zachować wysoką szybkość działania przy zachowaniu dużej skali modelu. Inkling został wytrenowany na 45 bilionach tokenów obejmujących tekst, obrazy, dźwięk oraz wideo, co pozwala mu na natywne rozumowanie w tych czterech domenach, choć obecnie jego wyjściowe możliwości ograniczają się do tekstu, kodu oraz ustrukturyzowanych danych.
Startup pozycjonuje Inkling jako narzędzie oferujące wyważone odpowiedzi, które potrafi sygnalizować niepewność zamiast zgadywać. Użytkownicy mają możliwość regulacji tzw. wysiłku myślowego modelu, co pozwala na balansowanie między precyzją a szybkością odpowiedzi. Według danych firmy, w testach wydajności kodowania Inkling osiąga te same wyniki co model Nemotron 3 Ultra od Nvidii, zużywając przy tym trzykrotnie mniej tokenów.
Nowe podejście do wdrożeń AI
Thinking Machines Lab stawia na tezę, że modele AI, które organizacje mogą samodzielnie dostosowywać, przewyższają uniwersalne rozwiązania oferowane przez największe laboratoria. Firma nie twierdzi, że Inkling jest najpotężniejszym modelem na rynku, lecz kładzie nacisk na jego wszechstronność i możliwość personalizacji poprzez platformę Tinker. W tym modelu biznesowym to klient, a nie dostawca technologii, odpowiada za bezpieczeństwo wdrożonych modyfikacji.
Podejście to wpisuje się w szerszy trend rynkowy. Satya Nadella, dyrektor generalny Microsoftu, niedawno ostrzegał, że firmy korzystające z zamkniętych modeli płacą podwójnie: nie tylko w kosztach subskrypcji, ale także poprzez przekazywanie swojej wiedzy biznesowej, która może zostać wykorzystana do trenowania przyszłych wersji modeli. Podobne zdanie wyraził Clem Delangue, dyrektor generalny Hugging Face, przewidując, że modele typu frontier będą służyć głównie do eksperymentów, podczas gdy praca produkcyjna przeniesie się na alternatywy prywatne lub otwartoźródłowe.
Praktyczne zastosowania i koszty
Potencjał tego podejścia potwierdza współpraca z Bridgewater Associates, największym funduszem hedgingowym na świecie. Badacze wykorzystali istniejący model typu open-source, douczając go na własnych danych finansowych. Wynik był imponujący: model osiągnął 84,7% skuteczności w testach rozumowania finansowego, przewyższając wiodące modele własnościowe przy kosztach operacyjnych niższych o około 93% (czternastokrotnie taniej).
Warto zauważyć, że Thinking Machines Lab w procesie wczesnego trenowania korzystało z innych modeli o otwartych wagach, takich jak Kimi K2.5 od Moonshot AI. Firma zapewnia jednak, że kolejne generacje będą w pełni samodzielne pod względem procesu post-treningu. Choć startup nawiązał strategiczne partnerstwo z Nvidią, zapewniając sobie dostęp do ogromnych mocy obliczeniowych, kwestia finansowania pozostaje niejasna. Firma nie ujawnia szczegółów dotyczących przychodów, koncentrując się na budowaniu ekosystemu wokół platformy Tinker, która ma być głównym źródłem monetyzacji poprzez usługi dostrajania i hostingu.
Obecnie w Thinking Machines Lab pracuje około 200 osób. Mimo że firma wywodzi się z kręgów związanych z głośnymi nazwiskami branży AI, jej kultura organizacyjna stawia na ciągłość działań i unikanie polegania na jednostkach, co ma chronić projekt przed skutkami rotacji kadrowej.
