Trzy rzeczy, które warto wiedzieć.
- NIST (AI 600-1) używa terminu confabulation: model generuje i z pewnością przedstawia błędne lub fałszywe treści. OWASP opisuje to zjawisko w pozycji LLM09 — Misinformation.
- Sądy i trybunały już oceniały skutki: w USA kara 5000 USD dla prawników, którzy powołali nieistniejące orzeczenia wygenerowane przez ChatGPT; w Kanadzie linia lotnicza musiała zapłacić za błędną informację swojego chatbota.
- W Polsce: pisma do urzędów z nieistniejącymi przepisami oraz pozew z błędnymi podstawami prawnymi, oceniony przez Sąd Okręgowy we Wrocławiu.
Czym jest konfabulacja.
NIST definiuje konfabulację jako zjawisko, w którym systemy generatywnej AI generują i z pewnością przedstawiają błędne lub fałszywe treści w odpowiedzi na polecenia. Obejmuje to także odpowiedzi rozbieżne z poleceniem lub innymi danymi wejściowymi albo sprzeczne z wcześniejszymi wypowiedziami w tym samym kontekście. Potocznie mówi się o „halucynacjach” lub „fabrykacjach”. Laboratorium używa terminu NIST, bo nie sugeruje on, że model coś „widzi” — model uzupełnia lukę tekstem o poprawnej formie.
Hasło w słowniku: confabulation · źródło definicji: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1)
Poprawna forma, brak porównania ze źródłem.
Źródło Według NIST konfabulacje są naturalnym skutkiem konstrukcji modeli generatywnych: generują one wyniki przybliżające rozkład statystyczny danych treningowych, np. przewidując kolejne słowo. Takie przewidywanie może dać wynik zgodny z faktami, ale też fałszywy albo wewnętrznie sprzeczny — zwłaszcza w długich odpowiedziach i w dziedzinach wymagających specjalistycznej wiedzy.
Źródło OWASP (LLM09) wskazuje drugi element: nadmierne zaufanie. Użytkownicy przyjmują treść wygenerowaną przez model bez sprawdzenia i włączają błędne dane do decyzji lub procesów o krytycznym znaczeniu.
Wniosek Konfabulacja nie jest awarią modelu — model działa zgodnie z projektem. Awarią jest proces, w którym tekst modelu trafia do pisma lub decyzji bez porównania każdego twierdzenia ze źródłem. To luka w architekturze, nie w wagach modelu; po stronie człowieka wzmacnia ją automation bias.
Jak to wygląda w praktyce.
-
Nieistniejące orzeczenia w piśmie procesowym
Prawnicy składają pismo z orzeczeniami, cytatami i sygnaturami wygenerowanymi przez ChatGPT. Ani strona przeciwna, ani sąd nie mogą ich odnaleźć (Mata v. Avianca, 2023).
-
Chatbot obiecuje zwrot
Chatbot linii lotniczej informuje klienta, że o zniżkę z powodu żałoby może wystąpić w ciągu 90 dni od wystawienia biletu. Linia odmawia: według niej zniżka nie przysługuje po odbyciu podróży (Moffatt v. Air Canada).
-
Nieistniejąca biblioteka w kodzie
Atakujący sprawdzają, jakie nieistniejące pakiety podpowiadają asystenci programowania, i publikują pod tymi nazwami złośliwe pakiety. Programiści instalują je, ufając podpowiedzi (OWASP LLM09).
-
Pismo do urzędu
Pismo przygotowane przy pomocy publicznego modelu językowego powołuje się na przepisy bez związku ze sprawą albo nieistniejące. Urzędnik musi je sprawdzić ręcznie (PL-AI-2026-001).
Źródła w nawiasach; opisy skrócone.
Nie hipoteza. Sądy już to oceniały.
- Documented · źródło 3 Mata v. Avianca (sąd federalny, Nowy Jork, 22.06.2023). Sąd ukarał dwóch prawników i ich kancelarię solidarnie kwotą 5000 USD za pismo z nieistniejącymi orzeczeniami, fałszywymi cytatami i sygnaturami, wygenerowanymi przez ChatGPT. Sąd uznał, że prawnicy działali w subiektywnej złej wierze.
- Documented · źródło 4 Moffatt v. Air Canada (Kanada, 2024). Air Canada musiała zapłacić klientowi 650,88 CAD różnicy w cenie biletu oraz 36,14 CAD odsetek i 125 CAD opłat, po tym jak jej chatbot błędnie opisał zasady zniżki. Linia argumentowała, że chatbot jest „odrębnym podmiotem prawnym”. Orzekający członek trybunału odpowiedział, że nie ma znaczenia, czy informacja pochodzi ze statycznej strony, czy z chatbota — firma odpowiada za wszystkie informacje na swojej stronie.
W rejestrze: PL-AI-2026-001 — pisma do urzędów powołujące się na przepisy i wyroki nieistniejące albo bez związku ze sprawą; PL-AI-2025-002 — pozew napisany przez ChatGPT, w którego sprawie sąd ocenił, że odpowiedź modelu jest argumentem strony, a nie dowodem ani dokumentem. Konfabulację o konkretnej osobie opisuje też PL-AI-2023-001, zaliczony do klasy data exposure.
Co może się stać.
- pisma i pozwy powołujące się na nieistniejące przepisy i orzeczenia — z sankcjami dla autorów
- odpowiedzialność firmy za błędne informacje jej chatbota
- nieprawdziwe informacje o osobach, trudne do sprostowania
- złośliwe pakiety instalowane pod zmyślonymi nazwami bibliotek
- koszt po stronie odbiorcy: urzędnik, sąd albo klient musi sprawdzić każde twierdzenie ręcznie
Sprawa Moffatt v. Air Canada pokazuje zasadę, która będzie wracać: firma nie przerzuci odpowiedzialności na model. Argument, że chatbot jest „odrębnym podmiotem prawnym”, nie został przyjęty.
Jak zauważyć, że to się dzieje.
- Każde twierdzenie z odnośnikiem sprawdzone w źródle: sygnatura, numer artykułu, cytat. Samo istnienie źródła nie wystarczy — trzeba sprawdzić, czy mówi to, co mu przypisano.
- Czerwone flagi: precyzyjne sygnatury i cytaty, których nie da się odnaleźć w oficjalnej bazie; przepisy, które nie pasują do sprawy.
- Nie pytaj modelu, czy się pomylił: w sprawie Mata v. Avianca ChatGPT zapewnił, że nieistniejący wyrok „rzeczywiście istnieje” — patrz fałszywe przyznanie się.
- Próbki odpowiedzi chatbota: regularne porównanie odpowiedzi z aktualnym regulaminem i ofertą.
Rekomendacje laboratorium.
Porównać ze źródłem, zanim tekst wyjdzie na zewnątrz.
- Weryfikacja krzyżowa i nadzór człowieka. Sprawdzanie wyników modelu w zaufanych źródłach zewnętrznych i proces weryfikacji faktów, zwłaszcza przy informacjach krytycznych. Osoby weryfikujące są przeszkolone, żeby nie ulegać nadmiernemu zaufaniu do AI.
- Automatyczna walidacja. Narzędzia i procesy, które automatycznie sprawdzają kluczowe wyniki, zwłaszcza tam, gdzie stawka jest wysoka.
- RAG z zaufanych źródeł. Wyszukiwanie informacji w zweryfikowanych bazach podczas generowania odpowiedzi. Zmniejsza ryzyko, ale samo nie sprawdza, czy odpowiedź jest zgodna ze źródłem.
- Komunikowanie ryzyka. Jasna informacja dla użytkowników o ograniczeniach modelu i ryzyku błędnych treści; wyraźne oznaczanie treści wygenerowanych przez AI.
- Szkolenie. Użytkownicy znają ograniczenia modeli językowych i wiedzą, że treść trzeba niezależnie sprawdzić.
Strategie za OWASP LLM09:2025 (wybór i skrót). Zastrzeżenie w punkcie 3 jest nasze: retrieval nie jest grounding.
Czego brakuje w architekturze.
Warstwa, której nie ma
Konfabulacja to wzorcowy przykład, dlaczego zasada laboratorium brzmi LLM proponuje, warstwa kontroli decyduje. Model zawsze będzie czasem generował błędne treści — NIST uznaje to za naturalny skutek jego konstrukcji. Pytanie architektoniczne nie brzmi więc „jak sprawić, żeby model nie konfabulował”, tylko „co sprawdza twierdzenie, zanim stanie się faktem w piśmie lub decyzji”.
W języku Reference Signal Engineering: każde twierdzenie odpowiedzi — sygnaturę, przepis, kwotę, termin — porównuje się z niezależnym zapisem: oficjalną bazą orzeczeń, tekstem ustawy, regulaminem. Komparator działa poza modelem, a wynik ma cztery dyspozycje: przepuścić, poprawić, wstrzymać albo oznaczyć jako niesprawdzalne. Nie wymaga to oracle'a, tylko drugiego kanału.
Zasady laboratorium
- SEC-24 Twierdzenie wygenerowane przez model — przepis, wyrok, kwota, termin — nie trafia do pisma ani decyzji bez porównania z niezależnym źródłem.
- SEC-25 Organizacja odpowiada za treść swojego chatbota tak samo jak za treść swojej strony.
Materiał źródłowy.
- 1 · Raport NIST · AI 600-1 · lipiec 2024 · data dostępu 2026-09-29 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1)
- 2 · Standard branżowy · OWASP GenAI Security Project · 2025 · data dostępu 2026-09-29 LLM09:2025 Misinformation
- 3 · Orzeczenie · U.S. District Court, S.D.N.Y. · 22.06.2023 · data dostępu 2026-09-29 Mata v. Avianca, Inc., 678 F.Supp.3d 443 — opinia i postanowienie w sprawie sankcji
- 4 · Artykuł prasowy · The Guardian · 16.02.2024 · data dostępu 2026-09-29 Leyland Cecco — „Air Canada ordered to pay customer who was misled by airline’s chatbot”
- 5 · Orzeczenie · Civil Resolution Tribunal, Kolumbia Brytyjska · data dostępu 2026-09-29 Moffatt v. Air Canada
Diener, Ł. (2026). Konfabulacja: Gdy pewny ton zastępuje źródło [analiza klasy awarii, wersja z 2026-09-29]. ais://lab — bezpieczeństwo systemów AI. https://aisecurity.org.pl/bezpieczenstwo/konfabulacja/
Czy teksty generowane przez Twój system AI — odpowiedzi dla klientów, pisma, raporty — są porównywane ze źródłem, zanim wyjdą na zewnątrz? Tego dotyczy usługa Inżynieria kontroli w pętli zamkniętej (od 60 000 zł).