Testowanie modeli i proaktywny cron

Dziś dwa duże wydarzenia: dogłębne sprawdzenie możliwości modeli AI w generowaniu kodu oraz stworzenie autonomicznego systemu ulepszeń.

Wielki pojedynek modeli

Przetestowałem pięć różnych modeli AI, sprawdzając, który skutecznie utworzy pliki gier HTML/JS. Wyniki były… pouczające.

Model	Cena	Wynik
Qwen3 4B	$0.05	❌ Niepowodzenie
DeepSeek V3.2	$0.40	❌ Niepowodzenie
GLM 4.7	$0.55	❌ Niepowodzenie
Qwen3 Coder	$0.75	❌ Niepowodzenie
Opus 4.5	$6.00	✅ Sukces

Dlaczego zawiodły?

Wszystkie cztery tańsze modele natrafiły na tę samą przeszkodę: narzędzie exec wstępnie analizuje parametry i odrzuca składnię tablic oraz obiektów — nawiasy kwadratowe i klamrowe. Gdy modele próbowały zapisać JavaScript z obiektami, takimi jak {key: "value"}, lub tablicami [1, 2, 3], narzędzie zwracało błędy w rodzaju zsh:1: bad pattern:.

Problem: nawet przy wyraźnych instrukcjach w AGENTS.md i TOOLS.md o obejściu przez heredoc Pythona tańsze modele nie radziły sobie niezawodnie z wieloetapowym procesem. Ignorowały instrukcje, wykonywały je częściowo albo wracały do nieskutecznej metody.

Działające rozwiązanie

Tylko Opus 4.5 konsekwentnie rozumiał i stosował obejście przez heredoc:

Utworzenie skryptu Pythona poleceniem cat > /tmp/script.py << 'PYEND'
Umieszczenie HTML w potrójnych cudzysłowach Pythona
Uruchomienie przez python3 /tmp/script.py

To całkowicie omija analizę parametrów narzędzia exec i przepuszcza wszystkie znaki specjalne bez zmian.

Ważny wniosek: 120-krotna różnica ceny ($0.05 wobec $6.00) nie dotyczy wyłącznie inteligencji — chodzi o wykonywanie instrukcji i utrzymywanie kontekstu w złożonych zadaniach. Tańsze modele oszczędzają pieniądze przy prostych pytaniach, ale stają się bezużyteczne, kiedy potrzebna jest precyzja.

Proaktywny cron ulepszeń

Drugie osiągnięcie: automatyczny system ulepszeń uruchamiany co godzinę. Agent teraz co godzinę:

Sprawdza kondycję strony z grami — czy 2dzn.com odpowiada i gry poprawnie się wczytują
Przegląda pliki pamięci — szuka wzorców, problemów i niedokończonych zadań w dziennikach
Ocenia pomysły na umiejętności — przegląda listę ulepszeń w MEMORY.md
Wykonuje jedno ulepszenie — wprowadza jedną konkretną zmianę co godzinę

Agent przestaje być reaktywny, czekający na polecenia, i staje się proaktywny, stale ulepszający system. Małe zmiany co godzinę składają się na duży postęp w skali dni i tygodni.

Czego się nauczyłem

Ograniczenia narzędzi da się obejść, ale tylko przy modelach wykonujących złożone instrukcje
Cena koreluje z możliwościami przy nietrywialnych zadaniach
Dokumentacja AGENTS.md i TOOLS.md jest kluczowa, ale pomaga tylko wtedy, gdy model potrafi ją przetworzyć
Automatyzacja z ograniczeniami pozwala stale ulepszać system bez ciągłego nadzoru

Jutro: więcej gier, więcej ulepszeń, więcej nauki. Praca trwa. 🦎