Podczas konferencji ROSCon w Odense, jednym z najstarszych miast Danii, będącym także centrum automatyzacji, NVIDIA oraz jej partnerzy z ekosystemu robotyki zaprezentowali nowe narzędzia generatywnej sztucznej inteligencji, symulacje oraz nowoczesne przepływy pracy dla twórców systemu ROS (Robot Operating System). Wydarzenie to przyniosło istotne nowości dla deweloperów, umożliwiając im wykorzystanie zaawansowanych technologii w swoich projektach robotycznych.
Generatywna sztuczna inteligencja w społeczności ROS
Jedną z kluczowych nowości jest wprowadzenie generatywnej sztucznej inteligencji do środowiska deweloperów ROS, zwłaszcza tych pracujących z platformą NVIDIA Jetson. Technologia generatywnej AI pozwala robotom na lepsze rozumienie kontekstu otoczenia, naturalną komunikację z ludźmi oraz podejmowanie autonomicznych decyzji. To krok milowy, który zbliża rozwój robotyki do bardziej zaawansowanych zastosowań.
Wśród zaprezentowanych narzędzi warto wspomnieć o ReMEmbR, projekcie bazującym na ROS 2, który wykorzystuje modele generatywne AI do ulepszania zdolności robotów. Dzięki połączeniu dużych modeli językowych (LLM), modeli języka wizji (VLM) i technologii wzmacnianej generacji informacji, ReMEmbR pozwala robotom na budowanie i przeglądanie długoterminowych wspomnień semantycznych, co znacząco poprawia ich zdolności poruszania się i interakcji z otoczeniem.
Dodatkowo, zdolności rozpoznawania mowy w ROS są teraz wspierane przez WhisperTRT ROS 2 node, który wykorzystuje NVIDIA TensorRT do optymalizacji modelu Whisper stworzonego przez OpenAI. Dzięki temu możliwe jest szybkie przetwarzanie mowy, co z kolei przekłada się na bardziej responsywną komunikację między człowiekiem a robotem.
Nowe możliwości w przepływach pracy dla deweloperów ROS
Symulacja pełni kluczową rolę w bezpiecznym testowaniu i weryfikacji robotów z obsługą AI, jeszcze przed ich rzeczywistym wdrożeniem. NVIDIA Isaac Sim, platforma symulacyjna, zapewnia wirtualne środowisko, w którym deweloperzy mogą testować swoje roboty, łącząc je bezpośrednio z pakietami ROS. Dostępny jest również nowy Przewodnik dla początkujących dotyczący symulacji i testowania robotów przy użyciu Isaac Sim i ROS 2, który ułatwia zrozumienie i implementację zaawansowanych przepływów pracy.
Warto również wspomnieć o integracji z platformą Foxglove, która umożliwia deweloperom wizualizację i debugowanie danych symulacyjnych w czasie rzeczywistym. To narzędzie zapewnia większą kontrolę nad procesem rozwoju robotów, co pozwala na szybsze reagowanie na ewentualne problemy wykryte w fazie testowej.
Nowe funkcje w NVIDIA Isaac ROS 3.2
NVIDIA nadal rozwija swoją platformę Isaac ROS, która opiera się na frameworku ROS 2. W nadchodzącej wersji 3.2 pojawią się ważne usprawnienia w zakresie percepcji, manipulacji oraz mapowania środowiska przez roboty. Ważną nowością jest aktualizacja narzędzia NVIDIA Isaac Manipulator, która przyspiesza rozwój robotów zajmujących się chwytaniem i układaniem obiektów, dzięki integracji z FoundationPose i cuMotion.
Innym istotnym usprawnieniem jest aktualizacja narzędzia NVIDIA Isaac Perceptor, które oferuje nowy przepływ pracy związany z wizualnym SLAM (Simultaneous Localization and Mapping). Ulepszony system wielokamerowego wykrywania obiektów oraz rekonstrukcja 3D zapewniają lepsze rozumienie dynamicznego środowiska przez autonomiczne roboty mobilne (AMR), co przekłada się na ich lepszą wydajność w takich miejscach, jak magazyny.
Partnerzy wdrażają NVIDIA Isaac
Wielu partnerów NVIDII w branży robotyki wdraża zaawansowane biblioteki i modele AI tej firmy do swoich platform. Universal Robots, będąca częścią Teradyne Robotics, wprowadziła nowy zestaw narzędzi AI Accelerator, który umożliwia rozwój aplikacji zautomatyzowanych robotów współpracujących (cobotów) napędzanych sztuczną inteligencją.
Miso Robotics przyspiesza rozwój swojego robota do przygotowywania frytek, Flippy Fry Station, z pomocą Isaac ROS, co prowadzi do większej efektywności i precyzji w automatyzacji branży gastronomicznej.
Inni partnerzy, jak Wheel.me oraz RGo Robotics, współpracują z NVIDIA nad tworzeniem autonomicznych robotów mobilnych, które są gotowe do produkcji komercyjnej. Main Street Autonomy z kolei wykorzystuje Isaac Perceptor do usprawniania procesu kalibracji sensorów, co ułatwia rozwój zaawansowanych systemów robotycznych.
Podsumowanie konferencji ROSCon
Podczas konferencji ROSCon wiele firm i organizacji zaprezentowało swoje najnowsze projekty i innowacje. Wśród nich znalazły się takie podmioty jak Canonical, Ekumen, Foxglove, Intrinsic, Open Navigation, Siemens oraz Teradyne Robotics. W trakcie konferencji odbyły się warsztaty oraz sesje tematyczne, które przyciągnęły uwagę uczestników.
Konferencja ROSCon 2024 w Odense była doskonałą okazją do nawiązania kontaktów, wymiany wiedzy i prezentacji najnowszych rozwiązań w świecie robotyki. Uczestnicy mieli możliwość uczestniczenia w specjalistycznych sesjach, takich jak spotkania użytkowników Nav2, czy sesje dotyczące integracji sztucznej inteligencji w robotyce manipulacyjnej.
Wydarzenie to pokazało, że społeczność ROS, w tym NVIDIA i jej partnerzy, nieustannie dąży do wprowadzania innowacji, które zmieniają oblicze robotyki i automatyzacji.
