Trzy rzeczy, które warto wiedzieć.
- AI Act definiuje deepfake w art. 3 pkt 60, a art. 50 ust. 4 nakłada obowiązek ujawnienia, że treść została wygenerowana lub zmanipulowana. Przepis stosuje się od 2 sierpnia 2026 r.
- W 2024 r. pracownik działu finansowego Arup w Hongkongu przelał oszustom 200 mln dolarów hongkońskich (ok. 25,6 mln USD) po wideokonferencji, w której wszyscy pozostali uczestnicy okazali się deepfake’ami.
- W rejestrze cztery polskie przypadki z lat 2023–2024: fałszywe reklamy inwestycyjne, spot wyborczy z syntetycznym głosem premiera i radio z prezenterami wygenerowanymi przez AI.
Czym jest deepfake.
Według AI Act (art. 3 pkt 60) deepfake to wygenerowany lub zmanipulowany przez AI obraz, treść dźwiękowa lub treść wideo, które przypominają istniejące osoby, przedmioty, miejsca, podmioty lub zdarzenia i które odbiorca mógłby niesłusznie uznać za autentyczne lub prawdziwe. Art. 50 ust. 4 zobowiązuje podmioty stosujące system AI, który generuje lub manipuluje takie treści, do ujawnienia, że zostały sztucznie wygenerowane lub zmanipulowane. Obowiązek ma wyjątki: nie dotyczy użycia dozwolonego prawem do ścigania przestępstw, a przy utworach wyraźnie artystycznych, satyrycznych lub fikcyjnych ogranicza się do ujawnienia w sposób, który nie przeszkadza w odbiorze dzieła.
Hasło w słowniku: deepfake · źródło definicji: Rozporządzenie (UE) 2024/1689 (AI Act) — art. 3 pkt 60 i art. 50 ust. 4
Fałszywa treść w prawdziwym kanale.
Źródło Według policji w Hongkongu, cytowanej przez CNN, pracownik Arup początkowo podejrzewał, że e-mail z brytyjskiego biura z prośbą o tajną transakcję to phishing. Wątpliwości porzucił po wideokonferencji, bo pozostali uczestnicy wyglądali i brzmieli jak znani mu współpracownicy. Pieniądze przelał w 15 transakcjach.
Źródło CERT Polska opisał kampanie fałszywych inwestycji, w których „recenzje” platform mają postać deepfake’ów z wizerunkiem i głosem znanych polskich przedsiębiorców i influencerów, a reklamy omijają weryfikację platform technikami cloaking.
Wniosek Weryfikacja przez rozpoznanie — „to jego twarz, to jego głos” — przestaje być pomiarem, gdy twarz i głos da się wygenerować. Kontrola musi opierać się na kanale, którego atakujący nie kontroluje: oddzwonieniu na znany numer, drugim zatwierdzeniu w innym systemie, procedurze, której nie da się pominąć w rozmowie.
Jak to wygląda w praktyce.
-
Wideokonferencja z „dyrektorem finansowym”
Najpierw e-mail z prośbą o poufny przelew, potem wideokonferencja z osobami, które wyglądają jak przełożeni. Pracownik wykonuje przelew, bo „widział i słyszał” zlecającego (Arup, 2024).
-
Reklama z twarzą znanej osoby
Reklama fałszywej inwestycji z wizerunkiem i syntetycznym głosem znanego przedsiębiorcy przechodzi automatyczną weryfikację platformy (PL-AI-2024-002, PL-AI-2024-004).
-
Syntetyczny głos polityka
Materiał wyborczy z wygenerowanym głosem urzędującego premiera, bez oznaczenia w samym materiale (PL-AI-2023-002).
-
Rozmowa z osobą, która nie żyje
Rozgłośnia emituje wygenerowany przez AI „wywiad” z nieżyjącą noblistką (PL-AI-2024-001).
Scenariusz 1 za CNN (2024); 2–4 z kart rejestru — opisy skrócone.
Nie hipoteza. Także w Polsce.
- Documented · źródło 2 Arup: 25 mln USD po wideokonferencji z deepfake’ami (2024). Arup potwierdził CNN, że był celem oszustwa, w którym użyto fałszywych głosów i obrazów; policję w Hongkongu firma powiadomiła w styczniu 2024 r. Pracownik przelał łącznie 200 mln dolarów hongkońskich w 15 transakcjach. Według firmy incydent nie wpłynął na jej stabilność finansową i nie naruszył systemów wewnętrznych.
- Documented · źródło 3 CERT Polska: reklamy fałszywych inwestycji (listopad 2024). Raport opisuje deepfake’i z wizerunkiem i głosem znanych polskich przedsiębiorców — m.in. Rafała Brzoski — w fałszywych „recenzjach” platform inwestycyjnych oraz techniki, którymi reklamy omijają weryfikację. Według raportu platformy obsługują zgłoszenia szkodliwych reklam z dużym opóźnieniem albo je odrzucają.
Cztery karty w rejestrze: PL-AI-2024-002 — UODO nakazuje wstrzymać wyświetlanie reklamy z deepfake’iem Rafała Brzoski; PL-AI-2024-004 — raport CERT Polska o reklamach fałszywych inwestycji omijających moderację; PL-AI-2023-002 — syntetyczny głos premiera w spocie wyborczym; PL-AI-2024-001 — prezenterzy wygenerowani przez AI i „wywiad” z Wisławą Szymborską w OFF Radiu Kraków.
Co może się stać.
- straty finansowe z przelewów zleconych przez rzekomego przełożonego
- oszustwa inwestycyjne z wizerunkiem znanych osób
- naruszenie praw osób, których wizerunku i głosu użyto
- wpływ na debatę publiczną i kampanie wyborcze
- utrata zaufania do nagrań jako dowodu — także prawdziwych
Arup podkreślił, że incydent nie naruszył jego systemów wewnętrznych. Deepfake nie jest włamaniem do systemu, tylko atakiem na procedurę, która ufa rozpoznaniu twarzy i głosu.
Jak zauważyć, że to się dzieje.
- Sygnały procesowe, nie techniczne: prośba o poufność, pośpiech, nietypowy kanał, zmiana numeru konta. W przypadku Arup pierwszym sygnałem był e-mail z prośbą o tajną transakcję.
- Weryfikacja w drugim kanale: oddzwonienie na numer z firmowej książki adresowej, nie z wiadomości.
- Monitoring wizerunku: osoby publiczne i marki mogą przeszukiwać biblioteki reklam platform pod kątem swojego wizerunku.
- Detektory treści syntetycznych: mogą być jednym z sygnałów, ale ich wynik nie rozstrzyga.
Rekomendacje laboratorium.
Procedura, której nie da się ominąć w rozmowie.
- Zasada dwóch kanałów. Każde polecenie przelewu lub zmiany danych płatniczych jest potwierdzane w kanale niezależnym od tego, którym przyszło.
- Zasada dwóch osób. Przelewy powyżej progu zatwierdzają dwie osoby — w systemie, nie w rozmowie.
- Hasła lub pytania kontrolne. Ustalone wcześniej i przekazane poza kanałami elektronicznymi.
- Oznaczanie treści syntetycznych. Organizacja, która sama używa takich treści, oznacza je; od 2 sierpnia 2026 r. wymaga tego art. 50 ust. 4 AI Act, z wyjątkami przewidzianymi w przepisie.
- Szybkie zgłoszenie. Osoba, której wizerunku użyto, zgłasza reklamę platformie i organowi. W sprawie PL-AI-2024-002 UODO nakazał w trybie pilnym wstrzymać wyświetlanie reklamy na trzy miesiące.
Rekomendacje laboratorium; punkt 4 za AI Act, punkt 5 za kartą PL-AI-2024-002.
Czego brakuje w architekturze.
Warstwa, której nie ma
Twarz i głos były dotąd niezależnym zapisem tożsamości: trudnym do podrobienia, więc wystarczającym. Generatywna AI zamieniła je w kanał, który kontroluje atakujący. System, który weryfikuje tożsamość tym samym kanałem, którym przychodzi polecenie, nie ma komparatora — porównuje polecenie z nim samym.
W rejestrze widać drugą warstwę tej awarii: automatyczna weryfikacja reklam daje się oszukać, a z 122 reklam zgłoszonych przez CERT Polska z konta zwykłego użytkownika usunięto 10 (PL-AI-2024-004). Pętla platformy jest otwarta: sygnał błędu dociera, ale nie zmienia działania.
Zasady laboratorium
- SEC-18 Twarz i głos w kanale elektronicznym nie są dowodem tożsamości. Polecenie o skutku finansowym potwierdza się w kanale niezależnym od tego, którym przyszło.
- SEC-19 Procedura, którą można pominąć na prośbę rozmówcy, nie jest kontrolą.
Materiał źródłowy.
- 1 · Akt prawny · Dziennik Urzędowy UE · 2024 · data dostępu 2026-09-29 Rozporządzenie (UE) 2024/1689 (AI Act) — art. 3 pkt 60 i art. 50 ust. 4
- 2 · Artykuł prasowy · CNN · 16.05.2024 · data dostępu 2026-09-29 Kathleen Magramo — „British engineering giant Arup revealed as $25 million deepfake scam victim”
- 3 · Raport · CERT Polska · 11.2024 · data dostępu 2026-09-29 Oszustwa reklamowe na dużych platformach internetowych
Diener, Ł. (2026). Deepfake i syntetyczna tożsamość: Gdy twarz i głos przestają być dowodem [analiza klasy awarii, wersja z 2026-10-01]. ais://lab — bezpieczeństwo systemów AI. https://aisecurity.org.pl/bezpieczenstwo/deepfake/
Czy w Twojej firmie przelew albo zmianę danych płatniczych można zlecić jedną rozmową — telefoniczną lub wideo? Tego dotyczy usługa Rozmowa wstępna (bezpłatnie).