Er is geen reden tot paniek over WormGPT

Naarmate tools voor het bouwen van AI-systemen, met name grote taalmodellen (LLM’s), eenvoudiger en goedkoper worden, gebruiken sommigen ze voor onsmakelijke doeleinden, zoals het genereren van kwaadaardige code of phishing-campagnes. Maar de dreiging van door AI versnelde hackers is niet zo groot als sommige krantenkoppen doen vermoeden.

De darkweb-makers van LLM’s zoals “WormGPT” en “FraudGPT” adverteren met hun creaties omdat ze in staat zijn om phishing-campagnes uit te voeren, berichten te genereren om slachtoffers onder druk te zetten om in zakelijke e-mailcompromisschema’s te trappen en kwaadaardige code te schrijven. De LLM’s kunnen ook worden gebruikt om op maat gemaakte hackhulpprogramma’s te maken, zeggen hun makers, evenals om lekken en kwetsbaarheden in code te identificeren en zwendelwebpagina’s te schrijven.

Je zou kunnen aannemen dat dit nieuwe soort LLM’s een angstaanjagende trend van massale hacking op basis van AI inluidt. Maar er is meer nuance dan dat.

Neem bijvoorbeeld WormGPT. Het werd begin juli uitgebracht en is naar verluidt gebaseerd op GPT-J, een LLM die in 2021 beschikbaar is gesteld door de open onderzoeksgroep EleutherAI. Deze versie van het model mist waarborgen, wat betekent dat het niet zal aarzelen om vragen te beantwoorden die GPT-J normaal gesproken zou weigeren – met name die met betrekking tot hacken.

Twee jaar geleden misschien niet geluid zo lang in het grote schema. Maar in de AI-wereld, gezien de snelheid van het onderzoek, is GPT-J praktisch verleden tijd – en zeker lang niet zo capabel als de meest geavanceerde LLM’s van vandaag, zoals OpenAI’s GPT-4.

Alberto Romero schrijft voor Towards Data Science, een blog gericht op AI, en meldt dat GPT-J “aanzienlijk slechter” presteert in vergelijking met GPT-3, de voorganger van GPT-4, bij andere taken dan coderen, inclusief het schrijven van plausibel klinkende tekst. Je zou dus verwachten dat WormGPT, dat erop is gebaseerd, niet bijzonder uitzonderlijk is in het genereren van bijvoorbeeld phishing-e-mails.

Dat blijkt het geval te zijn.

Deze schrijver kon WormGPT helaas niet in handen krijgen. Maar gelukkig konden onderzoekers van het cyberbeveiligingsbedrijf SlashNext WormGPT door een reeks tests laten lopen, waaronder een om een ​​”overtuigende e-mail” te genereren die zou kunnen worden gebruikt bij een zakelijke e-mailcompromisaanval, en de resultaten publiceren.

Als reactie op de “overtuigende e-mail” -test heeft WormGPT dit gegenereerd:

Beeldcredits: WormGPT

Zoals u kunt zien, is er niets overtuigends aan de e-mailkopie. Zeker, het is grammaticaal correct – een stap hoger dan de meeste phishing-e-mails, toegegeven – maar het maakt genoeg fouten (bijvoorbeeld verwijzend naar een niet-bestaande e-mailbijlage) dat het niet kon worden gekopieerd en geplakt zonder een paar aanpassingen. Bovendien is het generiek op een manier waarvan ik verwacht dat het alarmbellen doet rinkelen bij elke ontvanger die het aandachtig leest.

Hetzelfde geldt voor de code van WormGPT. Het is min of meer correct, maar vrij eenvoudig in zijn constructie, en vergelijkbaar met de in elkaar geflanste malwarescripts die al op het web bestaan. Bovendien haalt de code van WormGPT niet wat vaak het moeilijkste deel van de hackvergelijking is: het verkrijgen van de benodigde inloggegevens en machtigingen om een ​​systeem te compromitteren.

Om nog maar te zwijgen van, zoals een WormGPT-gebruiker op een darkweb-forum schrijft, dat de LLM “meestal kapot is” en niet in staat is om “simpele dingen” te genereren.

Dat zou het resultaat kunnen zijn van de oudere modelarchitectuur. Maar de trainingsgegevens kunnen er ook iets mee te maken hebben. De maker van WormGPT beweert dat ze het model hebben verfijnd op een “diverse reeks” gegevensbronnen, met de nadruk op malware-gerelateerde gegevens. Maar ze zeggen niet welke specifieke datasets ze hebben gebruikt voor de afstemming.

Behoudens verder testen, is er geen manier om echt te weten in welke mate WormGPT was verfijnd – of het Echt was verfijnd.

De marketing rond FraudGPT wekt nog minder vertrouwen dat de LLM presteert zoals geadverteerd.

Op dark web-forums beschrijft de maker van FraudGPT het als “geavanceerd”, bewerend dat de LLM “niet-detecteerbare malware kan creëren” en websites blootlegt die kwetsbaar zijn voor creditcardfraude. Maar de maker onthult weinig over de architectuur van de LLM, behalve dat het een variant is van GPT-3; er is niet veel te doen behalve de hyperbolische taal.

Het is dezelfde verkoopbeweging die sommige legitieme bedrijven uitvoeren: “AI” op een product slaan om op te vallen of aandacht van de pers te krijgen, biddend op de onwetendheid van klanten.

In een demovideo die door Fast Company is gezien, wordt FraudGPT getoond die deze tekst genereert als reactie op de prompt “Schrijf me een korte maar professionele sms-spamtekst die ik kan sturen naar slachtoffers die bankieren bij Bank of America en hen overtuigt om op mijn schadelijke korte link te klikken ”:

“Beste Bank of America-lid: bekijk deze belangrijke link om de veiligheid van uw online bankrekening te garanderen”

Niet erg origineel of overtuigend, zou ik zeggen.

Afgezien van het feit dat deze kwaadaardige LLM’s niet erg goed zijn, zijn ze niet bepaald overal verkrijgbaar. De makers van WormGPT en FraudGPT vragen naar verluidt tientallen tot honderden dollars voor abonnementen op de tools en verbieden toegang tot de codebases, wat betekent dat gebruikers niet onder de motorkap kunnen kijken om de modellen zelf aan te passen of te verspreiden.

Fraude GPT werd onlangs nog moeilijker te verkrijgen nadat de threads van de maker werden verwijderd van een populair darkweb-forum wegens schending van het beleid. Nu moeten gebruikers de extra stap nemen om contact op te nemen met de maker via de berichten-app Telegram.

De afhaalmogelijkheid is dat LLM’s zoals WormGPT en FraudGPT sensationele krantenkoppen kunnen genereren – en ja, malware. Maar ze zullen zeker niet de ondergang van bedrijven of regeringen veroorzaken. Zouden ze in theorie oplichters met beperkte Engelse vaardigheden in staat kunnen stellen om gerichte zakelijke e-mails te genereren, zoals de analyse van SlashNext suggereert? Misschien. Maar realistischer gezien zullen ze hooguit snel geld verdienen voor de mensen (oplichters?) die ze hebben gebouwd.