NOT.02 · Notatki · 20 października 2026
Kiedy zgodność modeli jest tylko echem promptu
Dlaczego wysoka zgodność między przebiegami modeli albo raportami badawczymi nie dowodzi poprawności klasyfikacji — i jak zaprojektować test, który wykrywa wspólny błąd.
W projektach klasyfikacyjnych wspomaganych przez modele językowe łatwo pomylić powtarzalność z trafnością. Gdy trzy niezależne przebiegi albo dwie rodziny modeli przypisują obiekt do tej samej kategorii, naturalny odruch podpowiada: decyzja jest pewna. W praktyce wysoka zgodność bywa czasem najgroźniejszym rodzajem błędu — błędem systematycznym zaszytym w samym pytaniu albo w regule granicznej.
W ostatnich projektach zderzyłem się z tym zjawiskiem w dwóch różnych postaciach: przy budowie grafu pojęć ze źródeł wtórnych oraz podczas ślepego testu reguł taksonomii.
Pułapka pierwsza: konsensus zasiany w zapytaniu
Podczas pracy nad grafem pojęć skills intelligence osiem niezależnych raportów deep research wygenerowanych w dwóch różnych systemach zgodnie opisało tę samą pięciostopniową drabinę dojrzałości organizacji. Na pierwszy rzut oka wyglądało to na żelazny konsensus literatury.
Dopiero audyt proweniencji pokazał przyczynę: ta sama drabina została wklejona jako przykładowa rama w prompcie, którym zamówiono raporty. Modele nie potwierdziły istnienia pojęcia w dziedzinie — potwierdziły, że przeczytały polecenie i posłusznie zorganizowały wokół niego materiał.
Zgodność dziesięciu źródeł, które dostały to samo sugerujące pytanie, ma zerową wagę dowodową. Mierzy posłuszeństwo wobec pytania, nie stan rzeczywistości.
Od tego momentu każdy wyekstrahowany termin w grafie przechodzi przez filtr proweniencji: pojęcia obecne w zapytaniu trafiają do osobnego rejestru prompt-seeded i nie mogą awansować do statusu poświadczonego bez zewnętrznego źródła pierwotnego, które powstało niezależnie od naszego badania.
Pułapka druga: stabilny wybór złego liścia
Drugi wariant tego samego złudzenia ujawnił się w ślepym teście taksonomii gier i zjawisk psychologicznych (25 pozycji, ukryte nazwy własne, usunięta tabela przykładów, po 3 niezależne przebiegi w dwóch rodzinach modeli).
Dla większości pozycji modele były stabilne i trafne. Ale przy jednym z przypadków granicznych obie rodziny modeli — w sześciu przebiegach na sześć — zgodnie, bez cienia wahania wybrały ten sam liść. I w każdym z tych sześciu przebiegów był to liść błędny względem zamierzonej architektury podziału.
Gdyby miarą jakości była wyłącznie zgodność między klasyfikatorami (inter-annotator agreement), ten przypadek dostałby ocenę stuprocentową i przeszedł bez rewizji. Błąd stał się widoczny tylko dlatego, że przed uruchomieniem testu dla każdej pozycji spisano zamierzone rozstrzygnięcie (ground truth) wraz z uzasadnieniem.
Co się stało? Jedna z wcześniejszych bramek kaskady używała zbyt szerokiego sformułowania o „asymetrii informacji”. Reguła była napisana tak jednoznacznie, że każdy uważny czytelnik — człowiek czy model — musiał skręcić w złym miejscu. Wysoka stabilność nie dowodziła poprawności klasyfikacji; dowodziła, że defekt siedział w regule, a nie w losowym szumie modelu.
Trzy warunki uczciwego testu taksonomii
Żeby test powtarzalności badał jakość samej struktury, a nie pamięć lub posłuszeństwo modelu, musi spełniać trzy warunki:
- Zapisana z góry intencja na próbce kontrolnej. Zgodność przebiegów między sobą (
stabilność) i zgodność z zamierzonym miejscem w strukturze (trafność) to dwie osobne miary. Stabilny rozjazd z intencją wskazuje na błąd w definicji granicznej. - Usunięcie tabeli przykładów na czas testu. Jeśli reguła działa tylko wtedy, gdy towarzyszy jej lista nazwanych przykładów, to znaczy, że klasyfikator dopasowuje przez analogię do przykładu, a sama reguła jest niekompletna.
- Maskowanie nazw własnych. Jeśli testowany obiekt nazywa się „dylemat więźnia” albo „efekt potwierdzenia”, model rozpozna go z pamięci treningowej niezależnie od tego, co napiszesz w definicji kategorii. Dopiero opisanie obiektu bez nazwy sprawdza, czy Twoje kryteria podziału naprawdę prowadzą do właściwego liścia.