Bonsai 27B to pierwszy model tej klasy działający na smartfonach

Przełom w wydajności i rozmiarze

Do tej pory modele o parametrach rzędu 27 miliardów (27B) były praktycznie niedostępne dla urządzeń mobilnych. W standardowej precyzji 16-bitowej zajmują one około 54 GB pamięci, a nawet w popularnym formacie 4-bitowym wymagają 18 GB, co przekracza możliwości większości laptopów i smartfonów. Bonsai 27B rozwiązuje ten problem, oferując dwa warianty zoptymalizowane pod kątem różnych zastosowań:

Ternary Bonsai 27B: Wykorzystuje wagi trójstanowe (-1, 0, +1) z grupowym skalowaniem FP16, co daje efektywne 1,71 bita na wagę. Model zajmuje 5,9 GB i jest przeznaczony do pracy na standardowych laptopach, oferując pełną wydajność w zadaniach agentowych i rozumowaniu.

1-bit Bonsai 27B: Wykorzystuje wagi binarne (-1, +1), co przekłada się na 1,125 bita na wagę. Przy rozmiarze zaledwie 3,9 GB, jest to pierwszy model tej klasy, który mieści się w budżecie pamięciowym urządzeń takich jak iPhone 17 Pro.

Oba warianty obsługują kontekst o długości 262 tysięcy tokenów oraz funkcję dekodowania spekulatywnego, co znacząco przyspiesza generowanie odpowiedzi. Modele są w pełni multimodalne – posiadają kompaktowy moduł wizualny (4-bit), który pozwala na analizę zrzutów ekranu, dokumentów oraz obrazu z kamery.

Wyniki w testach porównawczych

Bonsai 27B wykazuje niezwykłą skuteczność w zachowaniu inteligencji mimo drastycznej kompresji. W zestawieniu 15 benchmarków obejmujących matematykę, kodowanie, logikę oraz analizę wizualną, wariant Ternary zachowuje 95% możliwości modelu bazowego, a wariant 1-bitowy – 90%.

Kategoria Qwen 3.6 27B (Baseline) Ternary Bonsai 27B 1-bit Bonsai 27B Matematyka 95,3 93,4 91,7 Kodowanie 88,7 86,0 81,9 Agentowość i narzędzia 80,0 74,0 66,0 Instrukcje 78,4 71,8 65,8 Wiedza / STEM 83,1 77,0 73,4 Wizja 72,6 65,2 59,6 Ogółem 85,0 80,5 76,1

Znaczenie dla systemów agentowych

Przejście na lokalne uruchamianie modeli zmienia sposób projektowania nowoczesnych aplikacji AI. W przypadku systemów agentowych, które wykonują setki kroków w ramach jednego zadania, korzystanie z chmury wiąże się z wysokimi kosztami i ryzykiem prywatności. Bonsai 27B pozwala na tworzenie asystentów, którzy działają w trybie offline, przetwarzając dane użytkownika bezpośrednio na jego urządzeniu.

Wydajność modelu na nowoczesnym sprzęcie jest imponująca. Na karcie graficznej NVIDIA GeForce RTX 5090 model osiąga prędkość do 163 tokenów na sekundę w wersji 1-bitowej oraz 134 tokeny na sekundę w wersji Ternary. Na procesorach Apple M5 Max wartości te wynoszą odpowiednio 87 i 58 tokenów na sekundę.

Dostępność

Model jest udostępniony na licencji Apache 2.0. Użytkownicy mogą korzystać z niego natywnie na urządzeniach Apple (poprzez MLX) oraz na kartach NVIDIA (poprzez CUDA). Twórcy udostępnili również ograniczony czasowo, darmowy podgląd API dla programistów, a pełne szczegóły techniczne dotyczące procesu kompresji i benchmarków znajdują się w opublikowanej przez PrismML dokumentacji.