Wprowadzamy DiffusionGemma, eksperymentalny model typu open source, który zmienia podejście do generowania tekstu. Zamiast tradycyjnego, sekwencyjnego tworzenia treści token po tokenie, model ten wykorzystuje technikę dyfuzji, co pozwala na generowanie całych bloków tekstu jednocześnie. Dzięki temu rozwiązaniu, udostępnionemu na licencji Apache 2.0, użytkownicy mogą uzyskać nawet czterokrotnie szybszą pracę modelu na dedykowanych układach GPU.
Przełom w szybkości generowania
Tradycyjne duże modele językowe (LLM) działają jak maszyna do pisania, generując słowa jedno po drugim. W chmurze, gdzie serwery obsługują tysiące zapytań jednocześnie, jest to wydajne. Jednak w zastosowaniach lokalnych, gdzie z modelu korzysta jeden użytkownik, proces ten często marnuje potencjał obliczeniowy karty graficznej. DiffusionGemma zmienia ten paradygmat, działając bardziej jak prasa drukarska, która tworzy cały akapit w jednym przebiegu.
Model jest 26-miliardową (26B) architekturą typu Mixture of Experts (MoE), która podczas wnioskowania aktywuje jedynie 3,8 miliarda parametrów. Dzięki temu, po kwantyzacji, mieści się w 18 GB pamięci VRAM, co czyni go dostępnym dla posiadaczy wydajnych kart graficznych klasy konsumenckiej.
Wydajność w liczbach
Zastosowanie technologii dyfuzji przekłada się na imponujące wyniki w szybkości generowania tokenów:
Warto zaznaczyć, że choć DiffusionGemma oferuje bezkonkurencyjną szybkość w zadaniach lokalnych, w środowiskach chmurowych o bardzo dużym natężeniu ruchu standardowe modele z rodziny Gemma 4 mogą być bardziej efektywne kosztowo. DiffusionGemma jest dedykowana przede wszystkim badaczom i programistom pracującym nad interaktywnymi narzędziami, takimi jak edycja tekstu w czasie rzeczywistym, uzupełnianie kodu czy generowanie struktur matematycznych.
Jak działa dyfuzja w tekście?
Proces generowania tekstu w tym modelu przypomina działanie generatorów obrazów AI. Zamiast zaczynać od pustej strony, model startuje z „płótna” wypełnionego losowymi tokenami zastępczymi. Następnie, w drodze iteracyjnego dopracowywania, model wielokrotnie analizuje całość tekstu, utrwalając poprawne fragmenty i wykorzystując je jako kontekst do poprawy pozostałych elementów. Dzięki dwukierunkowej uwadze (bi-directional attention), każdy token „widzi” pozostałe, co pozwala na lepszą korektę błędów i zachowanie spójności w nieliniowych strukturach.
Zastosowania i dostępność
Ze względu na priorytet szybkości, jakość wyjściowa DiffusionGemma może być niższa niż w przypadku standardowych modeli Gemma 4. Jest to jednak narzędzie o ogromnym potencjale w zadaniach wymagających nieliniowego myślenia, takich jak rozwiązywanie łamigłówek typu Sudoku, gdzie każdy element zależy od pozostałych. Model można dostrajać (fine-tuning) przy użyciu narzędzi takich jak Unsloth, NVIDIA NeMo czy modułowy zestaw narzędzi JAX – Hackable Diffusion.
Model jest już dostępny na platformie Hugging Face. Zapewniono wsparcie dla popularnych środowisk programistycznych, w tym MLX oraz vLLM, a wkrótce pojawi się natywna obsługa llama.cpp. Optymalizacja obejmuje również wsparcie dla formatu NVFP4 (4-bit floating-point), co pozwala na zwiększenie przepustowości obliczeniowej przy zachowaniu niemal bezstratnej dokładności na nowoczesnych układach NVIDIA, od kart konsumenckich po rozwiązania klasy enterprise, takie jak DGX Station.
