Nowy model OpenAI może nie przynieść tak dużego postępu, jak jego poprzednicy
Według najnowszych doniesień, nadchodzący model OpenAI, o roboczej nazwie „Orion”, może nie reprezentować tak dużego skoku technologicznego, jak wcześniej oczekiwano. Informacje pochodzą od pracowników, którzy testowali nowy system, wskazując na pewne ograniczenia i mniejszy wzrost jakości w porównaniu do przeskoku z GPT-3 na GPT-4. Choć „Orion” osiąga lepsze wyniki niż obecne modele, różnica nie jest aż tak wyraźna, jakiej wielu się spodziewało.
Zmniejszający się postęp w rozwoju modeli
W praktyce oznacza to, że tempo postępu w rozwijaniu modeli sztucznej inteligencji może spadać. W niektórych obszarach, takich jak programowanie, wydajność „Oriona” może nie być znacząco lepsza od poprzednich wersji. To zjawisko może być związane z malejącą ilością dostępnych danych treningowych, co stanowi wyzwanie w dalszym rozwijaniu zaawansowanych AI.
OpenAI, aby przeciwdziałać temu spowolnieniu, zainicjowało utworzenie specjalnego zespołu zajmującego się fundamentami dalszego rozwoju modeli. Jego głównym zadaniem jest opracowanie nowych metod treningu, które pozwolą na dalsze doskonalenie modeli pomimo ograniczeń związanych z dostępnością nowych danych. Jedną z rozważanych strategii jest trening na syntetycznych danych generowanych przez inne modele sztucznej inteligencji, a także udoskonalanie modeli w procesie post-treningowym.
Nowe podejście do treningu i rozwój modeli
Obecna strategia OpenAI zakłada zatem zmniejszenie zależności od tradycyjnych źródeł danych, poprzez wprowadzenie innowacyjnych technik treningowych. Trening na syntetycznych danych, generowanych przez inne modele AI, może pomóc w utrzymaniu tempa rozwoju. Jednocześnie firma planuje skupić się na optymalizacji modeli już po zakończeniu ich głównego treningu, co może prowadzić do lepszych wyników, nawet jeśli podstawowe dane nie są już tak obfite jak wcześniej.
OpenAI w przeszłości niejednokrotnie podkreślało, jak istotny jest dostęp do dużych zbiorów danych w procesie rozwijania zaawansowanych systemów AI. Jednak w obliczu ograniczeń, jakie niesie za sobą brak nowych źródeł danych, firma musi szukać kreatywnych rozwiązań, aby utrzymać swoją przewagę technologiczną.
Reakcja OpenAI na wcześniejsze doniesienia
Warto również zaznaczyć, że OpenAI oficjalnie nie potwierdziło planów na natychmiastową premierę modelu o nazwie „Orion”. W odpowiedzi na wcześniejsze spekulacje, firma oświadczyła, że nie planuje wypuszczenia takiego modelu w bieżącym roku, co może wskazywać na to, że prace nad nim wciąż trwają.
Nie ulega wątpliwości, że OpenAI nadal pozostaje jednym z liderów w dziedzinie sztucznej inteligencji. Jednak wyzwania związane z dalszym rozwojem wyraźnie pokazują, że nawet najwięksi gracze na rynku muszą stawić czoła trudnościom w utrzymaniu stałego tempa innowacji.
