Nowy, kompaktowy model AI dla twórców aplikacji na iOS
Sztuczna inteligencja jest coraz bardziej obecna w urządzeniach mobilnych i aplikacjach, a teraz programiści zyskali nową możliwość eksperymentowania z nią bezpośrednio na urządzeniach Apple. Firma Ai2 we współpracy z Contextual AI stworzyła model językowy oraz aplikację, które pozwalają programistom na rozwój i testowanie rozwiązań AI na urządzeniach z iOS. Nowe narzędzie daje nie tylko możliwość testowania modeli lokalnie, ale także sprawia, że interakcje użytkowników pozostają prywatne, ponieważ nie wychodzą poza ich urządzenie.
Nowe możliwości dla programistów
Model, nazwany OLMoE, działa na iPhone’ach 15 Pro oraz nowszych modelach, a także na urządzeniach z serii iPad i Mac wyposażonych w układy M. Ai2 zapowiada również, że w najbliższych tygodniach pojawią się wersje przeznaczone dla starszych modeli iPhone’ów. Kluczowym elementem tego rozwiązania jest otwarty kod aplikacji oraz modelu, co oznacza, że deweloperzy mogą je modyfikować i integrować z własnymi projektami.
W skład narzędzia wchodzą dwie kluczowe części: aplikacja open source dostępna w App Store oraz model językowy OLMoE. Aplikacja, udostępniona na licencji Apache 2.0, została opracowana we współpracy z firmą GenUI, a jej działanie polega na demonstrowaniu możliwości modelu oraz umożliwieniu programistom jego dalszego rozwijania.
Jedną z zalet modelu OLMoE jest możliwość jego pełnego działania lokalnie, co oznacza, że użytkownicy nie muszą przesyłać swoich danych do chmury. To ogromna przewaga dla tych, którzy obawiają się o swoją prywatność lub chcą testować modele AI bez konieczności połączenia z internetem.
Prywatna sztuczna inteligencja
OLMoE to tak zwany model MoE (Mixture of Experts), czyli mechanizm uczenia maszynowego, który wykorzystuje kilka wyspecjalizowanych submodeli – „ekspertów” – do przetwarzania i analizy danych. Dzięki temu jego działanie jest bardziej efektywne, a wyniki dokładniejsze.
Jednym z głównych celów Ai2 było zapewnienie prywatności użytkownikom. Każda interakcja z modelem odbywa się na poziomie urządzenia użytkownika i nie jest nigdzie przechowywana po zakończeniu sesji. Model nie śledzi aktywności użytkownika ani nie przesyła jego danych do chmury, chyba że użytkownik świadomie wyrazi na to zgodę, na przykład w celach badawczych.
Jak podkreśla Luca Soldaini, naukowiec z Ai2, „wiele aplikacji wymaga dostępu do danych przechowywanych lokalnie, takich jak zdjęcia użytkownika, wiadomości czy inne pliki. Możliwość uruchamiania modeli bez potrzeby przesyłania danych do chmury zwiększa ich bezpieczeństwo i ochronę prywatności.”
Mały model, duże możliwości
OLMoE może przetwarzać tekst z prędkością do 40 tokenów na sekundę. Jest to model z 7 miliardami parametrów, ale używa jedynie 1 miliarda parametrów na token wejściowy, co czyni go znacznie bardziej efektywnym niż tradycyjne modele AI. Został wytrenowany na gigantycznym zbiorze 5 bilionów tokenów i dodatkowo dostosowany, aby sprostać wymaganiom użytkowników iOS.
Dzięki zastosowaniu techniki kwantyzacji, czyli zmniejszenia precyzji przechowywanych danych, udało się optymalizować model tak, aby działał sprawnie na urządzeniach mobilnych. Przy 4-bitowej kwantyzacji model zostaje znacznie zmniejszony pod względem zajmowanej pamięci i zapotrzebowania na moc obliczeniową, co jest kluczowe dla urządzeń takich jak iPhone.
AI dostosowane do kontekstu urządzenia
Programiści często projektują aplikacje, które wymagają dostępu do danych przechowywanych bezpośrednio na urządzeniu, np. zdjęć czy dokumentów tekstowych. Dzięki OLMoE można wdrożyć sztuczną inteligencję bez konieczności wysyłania dużych ilości informacji do chmury, co ogranicza opóźnienia i zwiększa bezpieczeństwo użytkownika.
Poza prywatnością kluczowa jest także wydajność. Wprowadzenie AI działającej lokalnie oznacza brak opóźnień związanych z komunikacją sieciową oraz możliwość korzystania z inteligentnych funkcji nawet w trybie offline. To duże udogodnienie w porównaniu do tradycyjnych systemów AI, które wymagają stałego połączenia z internetem.
Deweloperzy mogą również zdecydować się na integrację modelu OLMoE ze swoimi własnymi aplikacjami albo używać go do tworzenia ulepszonych lokalnych modeli sztucznej inteligencji. W ten sposób nowe rozwiązanie może przyczynić się do dalszego rozwoju AI na urządzeniach mobilnych, umożliwiając użytkownikom większą kontrolę nad ich danymi i zapewniając większą wydajność w zadaniach wymagających przetwarzania języka naturalnego.
Przyszłość AI na urządzeniach Apple
Nowa technologia rozwija potencjał wykorzystania sztucznej inteligencji na iPhone’ach i iPadach, otwierając drogę do powstawania jeszcze bardziej inteligentnych aplikacji bezpośrednio na urządzeniach mobilnych. Możliwość działania całkowicie offline, szybka analiza danych oraz bezpieczeństwo użytkowników sprawiają, że OLMoE wyróżnia się na tle innych rozwiązań dostępnych na rynku.
Programiści już teraz mogą pobrać aplikację i testować jej możliwości, a także dostosowywać model AI do własnych projektów. Dzięki otwartemu kodowi źródłowemu i ogromnemu potencjałowi obliczeniowemu urządzeń Apple, sztuczna inteligencja staje się dostępna dla każdego, kto chce eksplorować jej możliwości bez konieczności korzystania z rozwiązań chmurowych.
Czy lokalne modele AI to przyszłość inteligentnych urządzeń? W świetle rosnących obaw o prywatność użytkowników oraz chęci szybszego działania aplikacji bez opóźnień związanych z przesyłem danych, wszystko wskazuje na to, że tak!
