Google’s Threat Intelligence Group (GTIG) has identified a major change this year, with adversaries leveraging artificial intelligence to deploy new malware families that integrate large language models (LLMs) at runtime.
This new approach allows for dynamic mid-execution modification, which reaches new levels of operational versatility that are practically impossible to achieve with traditional malware.
Google calls this technique self-modification « just in time » and highlights the experimental malware dropper PromptFlux and the data miner PromptSteal (aka LameHug) deployed in Ukraine, as examples of dynamic script generation, code obfuscation and creation of functions on demand.
PromptFlux is an experimental VBScript dropper that exploits Google’s Gemini LLM in its latest version to generate obfuscated VBScript variants.
It attempts persistence via boot folder entries and propagates laterally across removable drives and mapped network shares.
« The most innovative component of PROMPTFLUX is its ‘Thinking Robot’ module, designed to periodically query Gemini in order to obtain a new code to evade antivirus software, » explains Google.
The prompt is very specific and machine-analyzable, according to the researchers, who see indications that the creators of the malware aim to create a constantly evolving « metamorphic script ». »
Google n’a pas pu attribuer PromptFlux à un acteur de menace spécifique, mais a noté que les tactiques, techniques et procédures indiquent qu’il est utilisé par un groupe motivé financièrement.
Bien que PromptFlux en soit à un stade précoce de développement, incapable d’infliger de réels dommages aux cibles, Google a pris des mesures pour désactiver son accès à l’API Gemini et supprimer tous les actifs qui lui sont associés.
Un autre malware alimenté par l’IA que Google a découvert cette année, qui est utilisé dans les opérations, est FruitShell, un shell inversé PowerShell qui établit un accès de commande et de contrôle à distance (C2) et exécute des commandes arbitraires sur des hôtes compromis.
Le logiciel malveillant est accessible au public et les chercheurs affirment qu’il inclut des invites codées en dur destinées à contourner l’analyse de sécurité alimentée par LLM.
Google met également en évidence QuietVault, un voleur d’informations d’identification JavaScript qui cible les jetons GitHub / NPM, exfiltrant les informations d’identification capturées sur des référentiels GitHub publics créés dynamiquement.
QuietVault exploite les outils AI CLI sur l’hôte et invite à rechercher des secrets supplémentaires et à les exfiltrer également.
Sur la même liste de logiciels malveillants compatibles avec l’IA figure également PromptLock, un ransomware expérimental qui s’appuie sur des scripts Lua pour voler et crypter des données sur des machines Windows, macOS et Linux.
Cas d’abus de Gémeaux
Outre les logiciels malveillants alimentés par l’IA, le rapport de Google documente également plusieurs cas où des acteurs de la menace ont abusé de Gemini tout au long du cycle de vie de l’attaque.
Un acteur de China-nexus s’est fait passer pour un participant à la capture du drapeau (CTF) pour contourner les filtres de sécurité de Gemini et obtenir des détails sur les exploits, en utilisant le modèle pour trouver des vulnérabilités, fabriquer des leurres de phishing et créer des outils d’exfiltration.
Les pirates iraniens MuddyCoast (UNC3313) ont prétendu être un étudiant pour utiliser Gemini pour le développement et le débogage de logiciels malveillants, exposant accidentellement des domaines et des clés C2.
Le groupe iranien APT42 a abusé de Gemini pour le phishing et l’analyse de données, créant des leurres, traduisant du contenu et développant un » agent de traitement de données » qui convertissait le langage naturel en SQL pour l’exploration de données personnelles.
L’APT41 chinois a tiré parti de Gemini pour l’assistance au code, améliorant son framework OSSTUN C2 et utilisant des bibliothèques d’obscurcissement pour augmenter la sophistication des logiciels malveillants.
Enfin, le groupe de menaces nord-coréen Masan (UNC1069) a utilisé Gemini pour le vol de crypto, le phishing multilingue et la création de leurres deepfake, tandis que Pukchong (UNC4899) l’a utilisé pour développer du code ciblant les périphériques périphériques et les navigateurs.
Dans tous les cas identifiés par Google, il a désactivé les comptes associés et renforcé les garanties du modèle en fonction des tactiques observées, pour rendre leur contournement pour abus plus difficile.
Des outils de cybercriminalité alimentés par l’IA sur des forums clandestins
Les chercheurs de Google ont découvert que sur les places de marché clandestines, anglophones et russophones, l’intérêt pour les outils et services malveillants basés sur l’IA augmente, car ils abaissent la barre technique pour déployer des attaques plus complexes.
« De nombreuses publicités sur les forums clandestins reflétaient un langage comparable au marketing traditionnel de modèles d’IA légitimes, citant la nécessité d’améliorer l’efficacité des flux de travail et des efforts tout en offrant simultanément des conseils aux clients potentiels intéressés par leurs offres », indique Google dans un rapport publié aujourd’hui.
Les offres vont des utilitaires qui génèrent des deepfakes et des images au développement de logiciels malveillants, au phishing, à la recherche et à la reconnaissance, et à l’exploitation des vulnérabilités.
Alors que le marché de la cybercriminalité pour les outils alimentés par l’IA devient de plus en plus mature, la tendance indique un remplacement des outils conventionnels utilisés dans les opérations malveillantes.
Le Groupe de renseignement sur les menaces de Google (GTIG) a identifié de multiples acteurs faisant la publicité d’outils multifonctionnels pouvant couvrir les étapes d’une attaque.
La poussée vers les services basés sur l’IA semble agressive, car de nombreux développeurs font la promotion des nouvelles fonctionnalités de la version gratuite de leurs offres, qui incluent souvent un accès API et Discord à des prix plus élevés.
Google souligne que l’approche de l’IA de tout développeur « doit être à la fois audacieuse et responsable » et que les systèmes d’IA doivent être conçus avec des « garde-fous de sécurité solides » pour prévenir les abus, décourager et perturber toute utilisation abusive et opérations adverses.
La société affirme qu’elle enquête sur tout signe d’abus de ses services et produits, qui incluent des activités liées à des acteurs de la menace soutenus par le gouvernement. Outre la collaboration avec les forces de l’ordre, le cas échéant, l’entreprise utilise également l’expérience de la lutte contre les adversaires « pour améliorer la sûreté et la sécurité de nos modèles d’IA. »