Nowa era strumieniowania dzięki technologii QUEEN
Strumieniowanie treści i interakcja z multimediami wkraczają na nowy, trójwymiarowy poziom dzięki QUEEN – innowacyjnemu modelowi sztucznej inteligencji opracowanemu przez NVIDIA Research we współpracy z Uniwersytetem Maryland. QUEEN umożliwia transmisję wideo z tzw. wolnego punktu widzenia (free-viewpoint video), co pozwala użytkownikom doświadczać trójwymiarowych scen z dowolnego kąta. To przełomowa technologia, która ma potencjał do zmienienia sposobu, w jaki konsumujemy multimedia i współpracujemy z wirtualnymi przestrzeniami.
Zastosowania QUEEN są niemal nieograniczone. Mogą obejmować zarówno edukację, jak naukę gotowania poprzez interaktywne kursy, jak również umożliwienie fanom sportu oglądania ulubionych rozgrywek z dowolnej perspektywy – na przykład z samego środka boiska. Technologia ta może również znaleźć zastosowanie w pracy zdalnej, dodając głębię wideokonferencjom, czy w przemyśle, gdzie pomoże operować robotami w magazynach lub zakładach produkcyjnych.
Nowy standard jakości i wydajności w strumieniowaniu
Jak podkreśla Shalini De Mello, dyrektor ds. badań w NVIDIA, by transmitować wideo w technologii wolnego punktu widzenia w czasie zbliżonym do rzeczywistego, konieczne jest jednoczesne odtwarzanie i kompresowanie trójwymiarowych scen. QUEEN osiąga to, balansując między szybkością kompresji, jakością wizualną, czasem kodowania a czasem renderowania, tworząc zoptymalizowany proces, który ustanawia nowy standard w tej dziedzinie.
Dzięki QUEEN możliwe jest dostarczanie wysokiej jakości wizualizacji, nawet dla dynamicznych scen zawierających iskry, płomienie czy ruchliwych zwierząt. Co ważne, model ten pozwala na szybkie przesyłanie takich materiałów z serwera do urządzenia końcowego użytkownika, co jest kluczowe dla transmisji na żywo. Wszystko to odbywa się przy zachowaniu wysokiej wydajności i płynności.
Jednym z kluczowych elementów wydajności QUEEN jest zdolność do „recyklingu” statycznych elementów sceny. W rzeczywistych środowiskach wiele obiektów pozostaje niezmiennych w czasie – model QUEEN identyfikuje takie obszary i unika ich ponownego renderowania, skupiając się tylko na dynamicznych zmianach. To podejście znacząco oszczędza czas i zasoby obliczeniowe.
Szybkość, precyzja i szeroki zakres zastosowań
Przy użyciu kart graficznych NVIDIA Tensor Core, QUEEN został przetestowany na wielu różnych scenariuszach i udowodnił swoją wyższość nad dotychczasowymi metodami generowania wideo z wolnego punktu widzenia. Wystarczy zaledwie pięć sekund treningu, by wygenerować wideo w tempie około 350 klatek na sekundę. Taka szybkość i jakość obrazu mogą być wykorzystane w transmisjach medialnych, takich jak koncerty, mecze sportowe czy wirtualne rzeczywistości, umożliwiając na przykład natychmiastowe powtórki kluczowych momentów.
Zastosowanie QUEEN wykracza jednak poza sferę rozrywki. W magazynach technologia ta mogłaby wspomagać operatorów robotów, umożliwiając precyzyjne manipulowanie obiektami w trójwymiarowych przestrzeniach. Z kolei w aplikacjach wideokonferencyjnych, jak te zaprezentowane na konferencji SIGGRAPH, QUEEN pozwala na bardziej interaktywne prezentacje, umożliwiając wybór dowolnego kąta widzenia podczas nauki lub demonstracji – na przykład w trakcie warsztatów kulinarnych czy zajęć z origami.
Przyszłość otwartego dostępu i badań nad AI
Kod źródłowy QUEEN ma zostać wkrótce udostępniony jako projekt open source, co umożliwi innym badaczom i deweloperom korzystanie z tej technologii i jej dalsze rozwijanie. QUEEN to tylko jedno z ponad 50 osiągnięć NVIDIA, które zostaną zaprezentowane na konferencji NeurIPS 2024. Innowacje te obejmują dziedziny takie jak symulacja, robotyka czy opieka zdrowotna.
Warto wspomnieć, że również technologia GAN (Generative Adversarial Networks), zaprezentowana przez NVIDIA na poprzednich konferencjach, została nagrodzona prestiżową nagrodą „Test of Time Award” i jest cytowana ponad 85 tysięcy razy. To tylko dowód na to, jak wielki wpływ ma NVIDIA na rozwój sztucznej inteligencji.
Otwarcie drzwi do nowych możliwości
Rozwój technologii takich jak QUEEN oznacza otwarcie nowych możliwości w wielu dziedzinach życia. Niezależnie od tego, czy chodzi o rozrywkę, edukację, przemysł czy współpracę zdalną – nasze doświadczenie w wirtualnym świecie staje się coraz bardziej realistyczne i interaktywne. Dzięki technologii oferowanej przez QUEEN przyszłość wydaje się jeszcze bardziej ekscytująca, a granice między rzeczywistością a wirtualnym doświadczeniem mogą ulec dalszemu zatarciu.
