Plusieurs groupes parrainés par l’État expérimentent l’assistant Gemini alimenté par l’IA de Google pour augmenter la productivité et mener des recherches sur les infrastructures potentielles d’attaques ou de reconnaissance sur des cibles.
Le Threat Intelligence Group (GTIG) de Google a détecté des groupes de menaces persistantes avancées (APT) liés au gouvernement utilisant Gemini principalement pour des gains de productivité plutôt que pour développer ou mener de nouvelles cyberattaques basées sur l’IA qui peuvent contourner les défenses traditionnelles.
Les acteurs de la menace ont essayé d’exploiter les outils d’IA à des fins d’attaque avec plus ou moins de succès, car ces utilitaires peuvent au moins raccourcir la période de préparation.
Google a identifié l’activité Gemini associée à des groupes APT de plus de 20 pays, mais les plus importants venaient d’Iran et de Chine.
Parmi les cas les plus courants figuraient l’assistance aux tâches de codage pour le développement d’outils et de scripts, la recherche sur les vulnérabilités divulguées publiquement, la vérification des technologies (explications, traduction), la recherche de détails sur les organisations cibles et la recherche de méthodes pour échapper à la détection, augmenter les privilèges ou exécuter une reconnaissance interne dans un réseau compromis.
APT utilisant Gemini
Google affirme que les APT d’Iran, de Chine, de Corée du Nord et de Russie ont tous expérimenté Gemini, explorant le potentiel de l’outil pour les aider à découvrir des failles de sécurité, à échapper à la détection et à planifier leurs activités post-compromission. Celles-ci sont résumées comme suit:
- Les acteurs iraniens de la menace étaient les plus gros utilisateurs de Gemini, l’exploitant pour un large éventail d’activités, y compris la reconnaissance des organisations de défense et des experts internationaux, la recherche sur les vulnérabilités connues du public, le développement de campagnes de phishing et la création de contenu pour les opérations d’influence. Ils ont également utilisé Gemini pour la traduction et les explications techniques liées à la cybersécurité et aux technologies militaires, y compris les véhicules aériens sans pilote (UAV) et les systèmes de défense antimissile.
- Les acteurs de la menace soutenus par la Chine ont principalement utilisé Gemini pour la reconnaissance des organisations militaires et gouvernementales américaines, la recherche sur les vulnérabilités, la création de scripts pour les mouvements latéraux et l’escalade des privilèges, et les activités post-compromission telles que l’évasion de la détection et le maintien de la persistance dans les réseaux. Ils ont également exploré des moyens d’accéder à Microsoft Exchange à l’aide de hachages de mots de passe et d’outils de sécurité d’ingénierie inverse tels que Carbon Black EDR.
- Les APT nord-coréens ont utilisé Gemini pour prendre en charge plusieurs phases du cycle de vie de l’attaque, notamment la recherche de fournisseurs d’hébergement gratuits, la reconnaissance des organisations cibles et l’assistance au développement de logiciels malveillants et aux techniques d’évasion. Une partie importante de leur activité s’est concentrée sur le programme clandestin de travailleurs informatiques de la Corée du Nord, utilisant Gemini pour rédiger des demandes d’emploi, des lettres de motivation et des propositions pour obtenir un emploi dans des entreprises occidentales sous de fausses identités.
- Les acteurs de la menace russes avaient un engagement minimal avec Gemini, la plupart des utilisations étant axées sur l’assistance aux scripts, la traduction et la création de charges utiles. Leur activité comprenait la réécriture de logiciels malveillants accessibles au public dans différents langages de programmation, l’ajout de fonctionnalités de cryptage au code malveillant et la compréhension du fonctionnement de certains éléments spécifiques des logiciels malveillants publics. L’utilisation limitée peut indiquer que les acteurs russes préfèrent les modèles d’IA développés en Russie ou évitent les plateformes d’IA occidentales pour des raisons de sécurité opérationnelle.
Google mentionne également avoir observé des cas où les acteurs de la menace ont tenté d’utiliser des jailbreaks publics contre Gemini ou de reformuler leurs invites pour contourner les mesures de sécurité de la plateforme. Ces tentatives auraient échoué.
OpenAI, le créateur du populaire chatbot d’IA ChatGPT, a fait une divulgation similaire en octobre 2024, de sorte que le dernier rapport de Google vient confirmer l’utilisation abusive à grande échelle des outils d’IA générative par les acteurs de la menace de tous niveaux.
Alors que les jailbreaks et les contournements de sécurité sont une préoccupation dans les produits d’IA grand public, le marché de l’IA se remplit progressivement de modèles d’IA qui ne disposent pas des protections appropriées pour prévenir les abus. Malheureusement, certains d’entre eux avec des restrictions qui sont triviales à contourner jouissent également d’une popularité croissante.
La société de renseignement sur la cybersécurité KELA a récemment publié les détails sur les mesures de sécurité laxistes pour DeepSeek R1 et Qwen 2.5 d’Alibaba, qui sont vulnérables aux attaques par injection rapide qui pourraient rationaliser l’utilisation malveillante.
Les chercheurs de l’unité 42 ont également démontré des techniques de jailbreak efficaces contre DeepSeek R1 et V3, montrant que les modèles sont faciles à abuser à des fins néfastes.