Aby sprawdzić, czy zjawisko to – nazywane żartobliwie „pelicanmaxxingiem” – rzeczywiście istnieje, przeprowadziłem eksperyment na 1008 grafikach wygenerowanych przez siedem czołowych modeli: GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 oraz DeepSeek V4 Pro.
Metodologia badania
Stworzyłem siatkę 48 kombinacji (8 zwierząt i 6 pojazdów), w której słynny pelikan na rowerze był tylko jednym z wielu elementów. Wybrane zwierzęta różniły się stopniem trudności – od łatwych (kot, szop, wydra) po bardziej złożone (antylopa, wieloryb). Każdy model wygenerował po trzy próbki dla każdego polecenia, co dało łącznie 1008 plików SVG.
Proces oceny składał się z trzech etapów:
- Renderowanie: Każdy plik SVG zamieniono na format PNG. W przypadku błędów generowano grafikę ponownie (wymagano zaledwie 11 poprawek na 1008 prób).
- Ocena jakości: Model GPT-5.6 Luna oceniał każdą grafikę w skali 1-5 pod kątem poprawności zwierzęcia, pojazdu oraz spójności całej sceny.
- Ekstrakcja cech: Model Gemini 3.1 Flash-Lite analizował elementy sceny, kierunek patrzenia obiektów oraz rozpoznawalność poszczególnych elementów.
Czy pelikany są rysowane lepiej?
Moja hipoteza zakładała, że jeśli laboratoria trenowały modele pod ten konkretny benchmark, wyniki dla pelikanów i rowerów powinny znacząco odbiegać od średniej. Analiza danych nie potwierdziła jednak tej teorii.
W ogólnym rankingu zwierząt pelikan zajął 6. miejsce na 8 możliwych, ustępując m.in. kotom, wielorybom i szopom. Podobnie było z rowerami, które w rankingu pojazdów znalazły się niemal na samym końcu, wyprzedzając jedynie samoloty. Co więcej, po zastosowaniu regresji statystycznej, która uwzględnia różnice w trudności rysowania poszczególnych obiektów, nie odnotowano istotnych statystycznie „bonusów” dla kombinacji pelikana z rowerem.
Analiza kompozycji i powtarzalności
Pojawiły się głosy, że pelikan na rowerze wygląda jak „wykuty na pamięć” schemat. Zauważono, że wszystkie 21 wygenerowanych pelikanów na rowerach było zwróconych w prawą stronę. Choć brzmi to podejrzanie, analiza wykazała, że 60% wszystkich wygenerowanych w eksperymencie obrazów (niezależnie od zwierzęcia i pojazdu) jest zwróconych w prawo. Jest to po prostu naturalna tendencja modeli przy rysowaniu obiektów z profilu.
Nie znaleziono również dowodów na to, że scena z pelikanem zawiera specyficzne, powtarzalne elementy, które sugerowałyby „wstrzyknięcie” tego konkretnego obrazu do danych treningowych. Inne kombinacje, takie jak flamingi na łodziach czy wydry w samolotach, wykazywały znacznie silniejsze tendencje do powtarzania tych samych elementów (np. słońca czy szalików) niż słynny pelikan.
Wnioski
Choć nie można wykluczyć, że niektóre laboratoria optymalizują swoje modele pod kątem generowania plików SVG jako całości (co jest praktyką znaną np. w Google/DeepMind), nie ma dowodów na to, że „pelicanmaxxing” jest powszechną strategią marketingową. Wyniki dla pelikana na rowerze mieszczą się w granicach statystycznej normy dla innych, podobnie złożonych kombinacji. Cały eksperyment kosztował około 80 dolarów (ok. 315 zł) w kredytach API, co pozwoliło na uzyskanie wystarczającej ilości danych, by stwierdzić, że słynny benchmark pozostaje jedynie nieformalnym testem, a nie celem optymalizacji inżynieryjnej.
