Deepfakes audio – jak działa i dlaczego jest niebezpieczny?

Bitdefender Labs na bieżąco śledzi najnowsze sposoby działania cyberprzestępców, którzy dostosowują nowe technologie w celu wysysania pieniędzy od konsumentów. Sztuczna inteligencja to tylko jedno z wielu narzędzi pomagających w tworzeniu i skutecznym rozpowszechnianiu internetowych schematów mających na celu wyłudzanie pieniędzy i wrażliwych informacji. Dlatego w tym artykule skupiliśmy się na schematach klonowania głosu (deepfakes audio) i sposobach ich rozprzestrzeniania za pośrednictwem mediów społecznościowych w celu oszukania niczego niepodejrzewających ofiar.

Zanim zagłębimy się w główny temat naszych badań, musimy przedstawić pewien wgląd w sposób klonowania głosu i niektóre z jego bardziej niekonwencjonalnych zastosowań.

Co to jest klonowanie głosu?

Klonowanie głosu to proces wykorzystujący narzędzia AI do tworzenia syntetycznych kopii głosu innej osoby. Ta zaawansowana technologia wykorzystuje techniki głębokiego uczenia się do odtworzenia mowy danej osoby i stworzenia wysoce realistycznego oraz przekonującego dźwięku ludzkiego głosu. W porównaniu do głosów syntetycznych generowanych w całości przez komputer przy użyciu przestarzałych systemów zamiany tekstu na mowę, klonowanie głosu wykorzystuje rzeczywisty głos innej osoby w celu uzyskania realistycznej wersji oryginału.

Klonowanie głosu w skrócie:

1. Pobieranie próbek — pierwszym krokiem w budowaniu syntetycznego głosu jest pobranie próbek głosu od danej osoby. Im więcej zebranych danych głosowych, tym dokładniejszy będzie sklonowany głos. Wystarczy kilka sekund dźwięku z dowolnego filmu w mediach społecznościowych lub fizycznego nagrania rozmowy.

2. Analiza — po zebraniu danych głosowych oprogramowanie do klonowania głosu analizuje je w celu zidentyfikowania unikalnych cech konkretnego głosu, w tym wysokości, tonu, tempa, głośności i innych cech głosu.

3. Uczenie modelu — dane głosowe służą do uczenia modelu uczenia maszynowego. Ten złożony proces polega na wprowadzeniu danych głosowych do algorytmu, który uczy się naśladować oryginalny głos.

4. Synteza – po zakończeniu szkolenia oprogramowanie może generować mowę sklonowanym głosem. Ten proces przekształca wprowadzony tekst w mowę, która brzmi jak oryginalny głos.

5. Udoskonalanie – poszczególne osoby mogą stale podnosić poziom jakości zsyntetyzowanego sklonowanego głosu, uzupełniając więcej danych do modelu uczenia maszynowego i dostrajając parametry algorytmu klonowania głosu.

Klonowanie głosu ma wiele legalnych zastosowań w edukacji, opiece zdrowotnej i rozrywce, w tym:

• Tworzenie lektorów i spersonalizowanych asystentów głosowych.
• Służy do tworzenia dubbingów dla aktorów w filmach.
• Pomoc osobom z wadami wymowy.
• Produkcja audiobooków.
• Tworzenie postów w mediach społecznościowych.

Pomimo wielu zgodnych z prawem zastosowań technologia klonowania głosu jest często wykorzystywana do nielegalnych działań. Oszustwa polegające na klonowaniu głosu wykorzystują sztuczną inteligencję do powielania głosów zaufanych osób w celu manipulowania, oszukiwania oraz wyrządzania innym krzywdy finansowej i fizycznej.

Potencjalne zagrożenia związane z deepfake audio

• Cyberprzestępcy wykorzystają deepfake do podszywania się pod krewnego lub ukochaną osobę swojego celu, aby skraść jej pieniądze.
• Schematy wirtualnych porwań – cyberprzestępcy wyłudzają pieniądze od rodzin, udając, że porwali ich bliskich.
• Cyberprzemoc i szantaż
• Różne schematy inżynierii społecznej wykorzystujące głosy stworzone przez sztuczną inteligencję (podszywającą się pod znane osoby), aby manipulować użytkownikami w celu uzyskania dostępu do systemu ofiary lub kradzieży jej pieniędzy.

Platformy mediów społecznościowych – idealna baza do tworzenia oszustw polegających na klonowaniu głosu

Miliony osób codziennie korzystają z mediów społecznościowych, nic więc dziwnego, że platformy te stały się wysypiskiem wielu pojawiających się oszustw wykorzystujących technologię sztucznej inteligencji i klonowania głosu. Już same te dwa udoskonalenia stanowią przełom dla oszustów, którzy szybko je wykorzystują w celu tworzenia deepfake audio i zwiększenia zasięgu swoich cyberataków.

Tym, co daje oszustom w mediach społecznościowych przewagę, nie jest tylko sama liczba potencjalnych ofiar, lecz także to, że użytkownicy sami często dzielą się próbkami swojego głosu. Oszuści nauczyli się dostosowywać swoje podejście, korzystając z narzędzi i reklam reklamodawców, aby potencjalnie dotrzeć do miliardów użytkowników z całego świata.

W zeszłym roku wśród konsumentów w USA pojawiły się znaczne obawy dotyczące narażenia na deepfakes i klonowanie głosu. Do tego stopnia, że według niedawnej ankiety przeprowadzonej przez Voicebot i Pindrop ponad 57% respondentów wyraziło bardzo duże zaniepokojenie tym cyberzagrożeniem.

Laboratoria Bitdefender uważnie monitorowały zjawisko oszustw związanych z klonowaniem głosu w ostatnich tygodniach, szczególnie na platformach mediów społecznościowych, takich jak Facebook.

Badacze Bitdefender szybko odkryli oszustwa polegające na klonowaniu głosu na popularnej platformie społecznościowej Meta.

Oto niektóre z kluczowych ustaleń sporządzonych przez zespół Bitdefender:

1. Większość wykrytych oszukańczych treści wykorzystywała generatory głosu AI do klonowania głosów znanych osobistości, w tym Elona Muska, Jennifer Aniston, Oprah, Mr. Beast, Tigera Woodsa, Kylie Jenner, Hulka Hogana i Vin Diesel.

2. Sfałszowane reklamy przeznaczone dla celów w Rumunii wykorzystywały skradzione filmy z syntetycznie generowanymi głosami słynnej prezenterki wiadomości Andreei Esca, tenisistki Simony Halep, prezydenta Klausa Iohannisa, premiera Marcela Ciolacu, prezesa Narodowego Banku Rumunii Mugura Isarescu i biznesmena Gigi Becali.

3. Oszuści wykorzystywali wizerunek tych osób publicznych do promowania różnych rozdań drogich towarów, takich jak najnowszy model iPhone’a, MacBooki, foteliki samochodowe Chicco, zestawy narzędzi DeWalt, Dyson Vacuum oraz torby Michael Kors lub Coach za jedyne 2–15 USD.

4. Inne popularne tematy oszustw związanych z klonowaniem głosu, które wykryto, to inwestycje i hazard.

5. W fałszywych filmach zastosowano ten sam MO, odnosząc się do ograniczonej dostępności dla pierwszych 100/1000/10 000 szczęśliwych użytkowników, którzy muszą działać szybko, aby otrzymać nagrodę lub pięciokrotny zwrot z inwestycji.

6. Oszustwa polegające na klonowaniu głosu docierają do konsumentów za pośrednictwem fałszywych reklam na Facebooku, które przekierowują ich do fałszywych witryn promujących prezenty lub możliwości inwestycyjne.

7. W przypadku niektórych osób kliknięcie reklamy przekierowuje do domeny, która wyświetla różne strony w oparciu o wykorzystanie parametrów zapytania. Jeśli parametry zapytania ustawione przez Facebooka podczas przekierowania nie są obecne, użytkownicy zostaną przekierowani na nieszkodliwą stronę. Takie zachowanie można wykorzystać, aby uniemożliwić analizę domeny w sandboxie. Jeśli jednak parametry zapytania są obecne, użytkownikom wyświetlana jest strona z oszustwem.

8. Większość analizowanych przez Bitdefender deepfake’ów audio i filmów jest słabo wykonana, z pewnymi bardzo widocznymi artefaktami i nieprawidłowościami wizualnymi, których nie ma w prawdziwych filmach, w tym zniekształconymi obrazami i niedopasowanymi ruchami warg.

9. Aby zwiększyć wiarygodność swoich schematów, oszuści stworzyli także podobne strony internetowe popularnych serwisów informacyjnych. W szczególności reklamy stworzone dla rumuńskich konsumentów były powiązane ze sklonowanymi wersjami Digi24, Libertatea i Adevarul, podczas gdy inne reklamy o zasięgu międzynarodowym kierowały użytkowników do fałszywej wersji witryny New York Times.

10. Analiza zasięgu reklam przeprowadzona przez zespół Bitdefender (oparta wyłącznie na niewielkiej grupie fałszywych reklam) szacuje, że celem oszustw polegających na klonowaniu głosu było co najmniej 1 milion użytkowników w USA i Europie, w tym w Rumunii, Francji, Austrii, Belgii, Portugalii, Hiszpanii, Polsce i Szwecji, Danii, Cypru i Holandii. Jedna z reklam dotarła do 100 000 użytkowników i była aktywna przez kilka dni. Jednak oszustwa polegające na klonowaniu głosu nie ograniczają się do wspomnianych powyżej stref geograficznych. Zjawisko to najprawdopodobniej ma charakter globalny i jest dostosowane do trendów konsumenckich.

11. Sfałszowane reklamy znajdują się na następujących platformach Meta: Facebook, Instagram, Audience Network i Messenger.

12. Najbardziej dotknięte grupy demograficzne to użytkownicy w wieku od 18 do 65 lat.

Jak oszustwa związane z klonowaniem głosu celebrytów działają na Facebooku?

W ciągu ostatnich trzech tygodni platformy społecznościowe Meta były bombardowane fałszywymi postami przedstawiającymi prezenty promowane przez celebrytów, którzy rzekomo obiecują dostęp do ekskluzywnych produktów i usług. Te oszustwa, które są coraz powszechniejsze, wykorzystują naturalne zaufanie użytkowników i ich pociąg do życia bogatych i sławnych celebrytów.

Wszyscy wiemy, że gwiazdy są bardzo skuteczna w sprzedawaniu rzeczy publiczności. Zatem narażenie na reklamy wyraźnie promowane przez celebrytów w mediach społecznościowych ma większe szanse powodzenia w oszukaniu nieostrożnych użytkowników Internetu.

Konsumenci w USA i Europie byli narażeni na różne, głęboko sfałszowane reklamy z wykorzystaniem deepfake audio znanych osobistości, w tym Jennifer Aniston, Oprah i Mr. Beast, które rzekomo obiecywały „bezpłatne” prezenty dla szczęśliwej grupy widzów.

Wszystkie przeanalizowane przez Bitdefender filmy zawierające deepfake opowiadają tę samą fałszywą historię: każdy, kto je ogląda, należy do „ekskluzywnej grupy 10 000 osób”, które mogą nabyć ekskluzywne produkty za niewielką opłatą, zaczynającą się od 2 dolarów (w zależności od reklamy/produktu). Na poniższym zrzucie ekranu oszuści sklonowali głos YouTubera Mr. Beast, którego dobroczynność zapewniła mu międzynarodową sławę. Dokonali także dobrej synchronizacji podczas poprawiania wideo, co jest jednym z bardziej fascynujących i dobrze zaaranżowanych deepfake’ów audio, jakie widzieli członkowie zespołu Bitdefender w dotychczasowej kampanii.

Filmy reklamowe trwają krócej niż 30 sekund i zachęcają widzów do szybkiego działania i kliknięcia linku, aby natychmiast skorzystać z „niesamowitej możliwości”.

Więc jaki jest haczyk? Cóż, szczęściarze płacą za wysyłkę tylko w ramach „największego na świecie rozdania iPhone’a 15”. Brzmi naciągane? To dlatego, że tak jest.

Po kliknięciu fałszywego linku użytkownicy są przenoszeni na fałszywą witrynę promującą rozdanie, zawierającą listę pozostałych urządzeń/produktów.

Następnie muszą wypełnić fałszywą ankietę.

Na ostatniej stronie użytkownik musi podać szczegóły i zapłacić za wysyłkę. Płatność jest wyższa niż kwota podana w filmie. Oczywiście przed przystąpieniem do realizacji transakcji użytkownik musi podać różne dane osobowe, w tym imię i nazwisko, kraj, adres i dane kontaktowe (e-mail i numer telefonu).

Podczas realizacji transakcji użytkownicy muszą podać numery swoich kart kredytowych, aby zapłacić za wysyłkę.

Inne zrzuty ekranu z fałszywych reklam typu deepfake można zobaczyć poniżej:

Oszustwa związane z klonowaniem głosu coraz bliżej

Rumuni byli celem cyberprzestępców, którzy przeprowadzali specjalne oszustwa inwestycyjne, które wykorzystywały również klonowanie głosu w celu podszywania się pod różne osoby publiczne i polityków.

Od zawodowej tenisistki Simony Halep po prezydenta Klausa Iohannisa – oszuści zalewają Facebooka fałszywymi reklamami promującymi platformę inwestycyjną wspieraną przez rząd, która może przynieść użytkownikom wiele korzyści.

W filmach znajduje się również informacja, że wszelkie zarobki na platformie są klasyfikowane jako niepodlegające opodatkowaniu i gwarantowane przez rząd rumuński i Narodowy Bank Rumunii. Niektóre z oszukańczych możliwości inwestycyjnych były powiązane z dużymi nazwami firm, takimi jak Rompetrol i Hidroelectrica.

Minimalna inwestycja w przypadku fałszywej platformy zaczyna się od 700 RON (około 150 dolarów), a potencjalny zarobek wynosi 2750 RON (540 dolarów) w zaledwie dwa dni.

Aby zarejestrować się na tak zwanych platformach inwestycyjnych wspieranych przez rząd, rumuńscy użytkownicy muszą podać swoje imię i nazwisko, adres e-mail oraz numer telefonu.

Na fałszywych stronach internetowych nie ma żądań podania numerów kart kredytowych ani żadnych innych płatności, a oszuści najprawdopodobniej kontaktują się z ofiarami za pośrednictwem WhatsApp i poczty elektronicznej, aby wyłudzić więcej danych osobowych i ukraść ich pieniądze.

Jak chronić się przed fałszywymi oszustwami związanymi z dźwiękiem?

Wykrywanie klonowania głosu może być bardzo trudne, zwłaszcza że postęp w technologii sztucznej inteligencji i głębokiego uczenia się znacznie poprawił jakość syntetycznie tworzonych głosów.

Istnieje jednak kilka wskazówek, które możesz zastosować, aby wykryć klonowanie głosu i zabezpieczyć się przed nim:

1. Sprawdź jakość i spójność głosu. Zwróć uwagę na jakość głosu. Niektóre sklonowane głosy mogą mieć nietypowe tony, być statyczne lub wykazywać niespójności we wzorcach mowy.

2. Szum tła i artefakty. Chociaż wysokiej jakości klonowanie głosu minimalizuje szumy tła, mogą one nadal występować w syntetycznym klipie audio/wideo. Uważnie słuchaj, czy nie występują nietypowe dźwięki tła lub artefakty cyfrowe.

3. Uważaj na nietypowe prośby i oferty zbyt piękne, aby były prawdziwe. Zachowaj ostrożność, jeśli rozmówca nalega na podanie danych osobowych lub pieniędzy albo składa nietypowe prośby. Oszustwa polegające na klonowaniu głosu służą do kradzieży pieniędzy. Zawsze powinieneś uważnie przyglądać się reklamom i filmom obiecującym ogromne zyski z inwestycji, nawet jeśli wydają się popierane przez gwiazdę, osobę wpływową w mediach społecznościowych lub polityka.

4. Zweryfikuj ofertę. Jeśli coś podejrzewasz, rozłącz się i skontaktuj się z daną osobą lub organizacją za pośrednictwem oficjalnych kanałów. Nie wykorzystuj żadnych danych kontaktowych podanych podczas rozmowy.

5. Zachowaj ostrożność podczas udostępniania danych osobowych. Zachowaj ostrożność w zakresie udostępniania danych osobowych w Internecie i unikaj udostępniania próbek głosu nieznajomym, których poznałeś w Internecie. Oszuści mogą wykorzystywać wszelkie szczegóły z mediów społecznościowych, aby ich podszywanie się brzmiało bardziej przekonująco.

6. Używaj oprogramowania antywirusowego na swoim urządzeniu. Stosuj kompleksowe rozwiązania zabezpieczające, takie jak Bitdefender Total Security, które oferuje różne funkcje chroniące przed phishingiem i oszustwami. Chociaż funkcja wykrywania klonowania głosu może nie być dostępna, nasze rozwiązania chronią Twoje pieniądze i dane przed oszukańczymi próbami rozpowszechnianymi za pośrednictwem oszustw polegających na klonowaniu głosu.

7. Używaj dedykowanych narzędzi do sprawdzania oszustw. Możesz przechytrzyć oszustów, korzystając z Bitdefender Scamio, naszego bezpłatnego chatbota i detektora oszustw nowej generacji, aby dowiedzieć się, czy treści online, które przeglądasz, lub otrzymywane wiadomości są próbą oszukania Cię.

8. Bądź na bieżąco. Bądź na bieżąco z najnowszymi zagrożeniami bezpieczeństwa i ich działaniem. Nasze blogi i biuletyny pomagają Ci być na bieżąco z nowymi i istniejącymi oszustwami internetowymi oraz dają wgląd w to, w jaki sposób Ty i Twoja rodzina możecie zapewnić sobie bezpieczeństwo.

9. Zgłaszanie. Zawsze zgłaszaj oszustwa związane z klonowaniem głosu, na które natrafisz na platformach mediów społecznościowych, a także powiadamiaj policję i inne odpowiednie organy o wszelkich podejrzanych zachowaniach i próbach phishingowych.