Rask AI, narzędzie do lokalizacji wideo i audio oparte na AI, ogłosiło wprowadzenie nowej funkcji synchronizacji ust z wieloma mówcami. Dzięki tej technologii opartej na AI, 750 000 użytkowników może tłumaczyć swoje treści na ponad 130 języków, brzmiąc tak płynnie jak rodzimy mówca. Od dawna brakowało synchronizacji między ruchem ust a głosem w dubbingowanych treściach. Eksperci uważają, że jest to jeden z powodów, dla których dubbing nie jest zbyt popularny w krajach anglojęzycznych. W rzeczywistości ruchy ust sprawiają, że zlokalizowane treści wydają się bardziej realistyczne i tym samym bardziej atrakcyjne dla widzów.
Istnieje badanie autorstwa Yukari Hirata, profesora znanej z pracy w dziedzinie lingwistyki, które mówi, że obserwacja ruchu ust (a nie gestów) pomaga postrzegać trudne kontrasty fonemiczne w drugim języku. Odczytywanie z ruchu ust to także jeden ze sposobów, w jaki uczymy się mówić.
Dziś, dzięki nowej funkcji Rask, możliwe jest podniesienie zlokalizowanych treści na nowy poziom, czyniąc dubbingowane filmy bardziej naturalnymi.
AI automatycznie przekształca dolną część twarzy, opierając się na referencjach. Bierze pod uwagę wygląd mówcy i to, co mówi, aby wynik końcowy był bardziej realistyczny.
Jak to działa:
- Wgraj wideo z jedną lub więcej osobami w kadrze.
- Przetłumacz wideo na inny język.
- Kliknij przycisk „Sprawdź synchronizację ust” a algorytm oceni wideo pod kątem kompatybilności z synchronizacją ust.
- Jeśli wideo przeszło sprawdzian, naciśnij „Synchronizuj usta” i poczekaj na wynik.
- Pobierz wideo. Według Marii Chmir, założycielki i dyrektorki generalnej Rask AI, nowa funkcja pomoże twórcom treści poszerzyć swoją publiczność. AI wizualnie dostosowuje ruchy ust, aby postać wydawała się mówić językiem tak płynnie, jak rodzimy mówca.
Technologia opiera się na uczeniu się sieci generatywno-adwersyjnej (GAN), która składa się z generatora i dyskryminatora. Zarówno generator, jak i dyskryminator konkurują ze sobą, aby być o krok przed drugim. Generator tworzy treści (ruchy ust), podczas gdy dyskryminator odpowiada za kontrolę jakości.
Beta wersja jest dostępna dla wszystkich abonentów Rask.
