Testowanie wydajności modeli AI w zadaniach optymalizacyjnych
W świecie zaawansowanych modeli językowych coraz częściej pojawia się pytanie o ich rzeczywistą skuteczność w rozwiązywaniu złożonych problemów obliczeniowych. Aby sprawdzić możliwości najnowszych rozwiązań, przeprowadzono test porównawczy modeli Claude Fable 5 oraz GPT-5.6 Sol. Wykorzystano w tym celu niepublikowany wcześniej problem optymalizacyjny typu NP-trudnego, związany z projektowaniem sieci światłowodowych.
Problem, znany jako KIRO, polega na połączeniu punktów dystrybucyjnych i terminali w miastach takich jak Grenoble, Nicea i Paryż przy zachowaniu minimalnej długości kabli. Zadanie wymaga uwzględnienia rygorystycznych ograniczeń strukturalnych, takich jak tworzenie redundantnych pętli oraz krótkich odgałęzień. Przestrzeń poszukiwań w tym przypadku jest ogromna – dla samego Paryża, przy 532 terminalach i 11 hubach dystrybucyjnych, liczba możliwych kombinacji przekracza 10 do potęgi 1223.
Metodologia badania
W teście sprawdzono działanie modeli w dwóch trybach: standardowym oraz z wykorzystaniem natywnej funkcji /goal. Każdy model dysponował 30-minutowym limitem czasu na rozwiązanie zadania. W ramach eksperymentu wykonano trzy pełne serie testowe dla obu modeli, aby uzyskać wiarygodne dane porównawcze.
Kluczowe parametry testu:
Wyniki: Fable 5 jako lider wydajności
Model Fable 5 wykazał się wyjątkową inteligencją i stabilnością, osiągając najlepsze wyniki w całym zestawieniu. Jego przewaga nad GPT-5.6 Sol była wyraźna zarówno w trybie standardowym, jak i z użyciem funkcji /goal.
Warto zauważyć, że choć funkcja /goal wygrywała w większości pojedynczych prób, jej wpływ na średnią wydajność był negatywny. W przypadku Fable 5, tryb standardowy okazał się bezpieczniejszą i bardziej przewidywalną konfiguracją, wykazując znacznie mniejszą zmienność wyników niż w przypadku konkurenta.
Analiza funkcji /goal
Choć funkcja /goal jest promowana jako narzędzie zwiększające skuteczność, w praktyce działa ona inaczej w zależności od implementacji. W Claude Code funkcja ta opiera się na zewnętrznym modelu oceniającym (Haiku), który analizuje zapis konwersacji i decyduje, czy cel został osiągnięty. Z kolei w Codex CLI funkcja ta jest zintegrowana z cyklem życia wątku, pozwalając modelowi na samodzielne zarządzanie stanem i narzędziami.
Główny wniosek z badania jest zaskakujący: w zadaniach optymalizacyjnych dodatkowy czas pracy nie zawsze przekłada się na lepszy wynik. Jeśli model podejmie błędną decyzję na wczesnym etapie, funkcja /goal może jedynie wydłużyć czas trwania nieefektywnego procesu, zamiast go naprawić.
Podsumowując, Fable 5 potwierdził swoją dominację w zadaniach wymagających czystej mocy obliczeniowej i logicznej. Eksperyment pokazuje, że w przypadku złożonych problemów NP-trudnych, jakość strategii przyjętej przez model jest znacznie ważniejsza niż mechanizmy wymuszające dłuższą pracę nad rozwiązaniem.
