// co zawodzi
Cztery źródła awarii.
W rejestrze incydentów i w literaturze widać, że awarie systemów AI nie mają jednego sprawcy. To ma znaczenie praktyczne: przed każdą kategorią broni się inaczej. Poniżej cztery kategorie, każda z innym punktem wyjścia dla remediacji.
Model
Model generuje treść, która nie odpowiada rzeczywistości — konfabulacja, halucynacja, przytakiwanie użytkownikowi (sycophancy). Remediacja: warstwa kontroli w czasie działania. Modelu nie da się „naprawić” w trakcie działania. Trzeba go otoczyć pętlą.
Integracja
Model jest poprawny, ale to, co go otacza — retrieval, narzędzia, adaptery, logi — dostarcza mu zły kontekst albo odbiera dobry. Remediacja: mapa przepływu danych i granic zaufania. Tym zajmuje się audyt architektury.
Konfiguracja
Uprawnienia szersze niż wymaga zadanie, brak bram zatwierdzeń, brak rozdzielenia ról. Remediacja: least privilege, zasada minimalnych uprawnień, rozdzielenie kontekstu. Poziom aplikacji i uprawnień — tanie, skuteczne, mierzalne.
Człowiek i organizacja
Shadow AI, brak polityki, brak procesu zgłaszania, brak świadomości, że model w ogóle działa w procesie decyzyjnym. Remediacja: warstwa instytucjonalna. Najtrudniejsza do wdrożenia, bo dotyczy ludzi, nie kodu.