DeepSeek wkracza na komputery: Nowa era wykorzystania AI
DeepSeek, innowacyjna technologia sztucznej inteligencji, która już zdominowała mobilny świat, rozszerza swoje działania na system Windows, co dodatkowo wspiera Microsoft. Gigant technologiczny wprowadził model DeepSeek R1 do platformy Azure AI Foundry, umożliwiając deweloperom testowanie i budowanie aplikacji oraz usług opartych na chmurze. Najnowszym krokiem Microsoftu jest udostępnienie „destylowanych” wersji tego modelu na komputerach z serii Copilot+.
Pierwszymi urządzeniami, które zyskają wsparcie dla nowych modeli AI, będą komputery wyposażone w procesory Snapdragon X, Intel Core Ultra 200V oraz AMD Ryzen AI 9. Dzięki temu szeroki wachlarz użytkowników będzie miał możliwość przetestowania w praktyce możliwości destylowanego modelu DeepSeek-R1-Distill-Qwen-1.5B. Wersja ta zawiera 1,5 miliarda parametrów, a w przyszłości do pobrania będą także bardziej zaawansowane modele obejmujące 7 i 14 miliardów parametrów. Wszystkie te wersje będą dostępne w narzędziu Microsoft AI Toolkit.
Technologia została zoptymalizowana z myślą o urządzeniach posiadających moduły obliczeniowe NPU (Neural Processing Unit). To rozwiązanie pozwala na znacznie wydajniejsze rozkładanie obciążenia obliczeniowego: operacje wymagające dostępu do pamięci realizowane są przez CPU, podczas gdy intensywnie obliczeniowe bloki transformera działają na NPU. Dzięki takim usprawnieniom osiągnięto imponujące wyniki: czas generacji pierwszego tokena wynosi jedynie 130 ms, a szybkość przetwarzania tekstu wynosi 16 tokenów na sekundę dla krótkich zapytań (poniżej 64 tokenów). Warto zaznaczyć, że „token” w kontekście AI odnosi się do jednostek tekstu, które mogą reprezentować więcej niż jedną literę.
Microsoft, mimo swoich znaczących inwestycji w OpenAI, nie ogranicza się do promowania jednej firmy czy technologii. Platforma Azure Playground zawiera modele GPT firmy OpenAI, Llama od Meta, Mistral oraz teraz także wspomniane DeepSeek. Takie podejście otwiera szerokie możliwości dla deweloperów, którzy mogą dostosować konkretne modele AI do własnych potrzeb.
Osoby preferujące lokalne rozwiązania AI mają do dyspozycji możliwość pobrania narzędzia AI Toolkit dla Visual Studio Code. Dzięki temu można bezpośrednio zainstalować modeli, takich jak „deepseekr11_5″, i sprawdzić jego możliwości lokalnie na własnym urządzeniu. Proces instalacji jest intuicyjny — wystarczy pobrać model i uruchomić go w trybie Playground, aby przetestować, jak wydajna może być destylowana wersja DeepSeek.
Sam proces „destylacji” modeli AI, znany również jako „destylacja wiedzy”, polega na przenoszeniu wiedzy z dużych modeli, takich jak pełny DeepSeek R1 zawierający aż 671 miliardów parametrów, do znacznie mniejszych modeli. Mimo że mniejsze modele mają ograniczone możliwości w porównaniu z oryginałem, ich kompaktowy rozmiar pozwala na uruchamianie ich bezpośrednio na urządzeniach konsumenckich, takich jak laptopy czy komputery stacjonarne, co omija konieczność korzystania z kosztownego, dedykowanego sprzętu AI.
Rozwój DeepSeek i jego coraz większa dostępność to kolejny krok w kierunku demokratyzacji sztucznej inteligencji. Dzięki takim inicjatywom zaawansowane technologie stają się dostępne nie tylko dla korporacji i instytucji badawczych, ale także dla zwykłych użytkowników i mniejszych deweloperów. Branża AI stoi obecnie na progu rewolucji, która może na nowo zdefiniować sposób, w jaki korzystamy z oprogramowania i technologii w codziennym życiu.
