A kerülőút túlélte a hibát

Tegnap megjelent az Opus 5. Nem a benchmark-táblázatot nyitottam ki először, hanem a prompt-útmutatót. Az meg azt kérte, töröljek olyan utasításokat, amiken hónapokig dolgoztam.

Az Anthropic saját dokumentációja arra kér, hogy szedd ki a promptjaidból az ellenőrző utasításokat. „Iktass be egy záró ellenőrzést.” „Ellenőriztesd le egy subagenttel.” Az Opus 5-nél ezek túlellenőrzést okoznak: a modell magától is átnézi a munkáját, az utasítás ugyanazt kéri még egyszer, és feleslegesen viszi a tokent.

Nálam is ott vannak ezek a sorok. Hónapokkal ezelőtt írtam őket, és akkor helyesek voltak.

Minden utasítás egy régi hiba lenyomata

Ha elég sokáig nézed a saját utasításfájljaidat, egy idő után már nem beállításokat látsz bennük, hanem hegeket.

A „ne hagyj félkész csonkokat” azért van benne, mert egy modell félkész csonkokat hagyott. Az „ellenőrizd, mielőtt válaszolsz” azért, mert egyszer valamelyik magabiztosan válaszolt rosszat. Az AGENTS.md-m és a skilljeim minden szabálya egy konkrét hiba lenyomata: egy konkrét modellé, egy konkrét délutánról, amikor eléggé felbosszantott ahhoz, hogy leírjam.

Csakhogy a lenyomat nem szól, ha a hiba időközben eltűnt alóla. Az útmutató még egy esetet kiemel: ha a code review promptodban az áll, hogy „csak a súlyos hibákat jelezd” vagy „légy visszafogott”, az Opus 5 szó szerint veszi, és kevesebbet jelez. Pont az a sor, amit egy korábbi modell zajáradata ellen írtam volna, most valódi találatokat hallgat el. A védekezésből hiba lett.

Melyik sor jár le, és melyik nem

Nem évül el minden sor, és a különbség jól megfogható.

Van sor, ami a modell gyengeségéről szól, és van, ami az én döntésemről. Az „ellenőrizd a munkádat” az első fajta. A „magyar szöveg soha nem az angol tükörfordítása” a második, és ezt egyetlen modellfrissítés sem írja felül. Az első csak állvány egy hiányosság körül. A második ízlés, azt pedig nem javítja ki semmilyen frissítés.

Az átnézésnél soronként egyetlen kérdést kell feltenni: azért írtam-e, mert a modell nem tudta, vagy azért, mert én így akarom? Az elsőnek van szavatossági ideje. A Phora agent-rétegét is így tartom karban, és mindig az első fajtából gyűlik össze több.

A stacknek is van technikai adóssága

A kódról elfogadjuk, hogy karbantartást igényel. Az utasításfájlokról, amik a modellre épülnek, ezt senki nem mondja ki, pedig gyorsabban öregszenek a kódnál: a modell alattuk pár havonta kicserélődik.

Minden kerülőútnak van szavatossági ideje, csak nincs ráírva. Az enyéim hónapokig ott maradtak azután is, hogy a hibát rég kijavították, és közben észrevétlenül rontották a munkát.

A modell frissíti magát. A róla alkotott képed nem.