Source et contexte: Google Threat Intelligence Group (GTIG) publie une mise à jour (T4 2025) sur la mauvaise utilisation des IA par des acteurs malveillants. Le rapport observe une hausse des attaques d’extraction de modèles (distillation/model stealing) visant la logique propriétaire, une intégration accrue des LLMs dans la reconnaissance et le phishing, et des expérimentations de malwares intégrant l’IA. Google indique avoir détecté, perturbé et atténué ces activités, sans constater de percée « rupture » par des APT sur des modèles de pointe.

Risques directs pour les modèles: Les attaques d’extraction/distillation exploitent des accès API légitimes pour cloner des capacités de modèles, ciblant notamment le raisonnement (ex. tentatives de coercition des « traces de pensée »). Une campagne (>100 000 prompts, multilingue) a visé la restitution de raisonnements détaillés; Google a détecté en temps réel et dégradé la performance des modèles élèves. L’impact touche surtout les fournisseurs de modèles (propriété intellectuelle), moins les utilisateurs finaux.

Opérations augmentées par l’IA: Des acteurs soutenus par des États ont utilisé des LLMs pour reconnaissance OSINT, ciblage, phishing personnalisé et développement/assistance au code. Études de cas citées: • UNC6418 (ciblage Ukraine/défense, collecte d’emails/identifiants avant phishing) • Temp.HEX (PRC) recherches détaillées sur individus/organisations • APT42 (Iran) pour recon sociale ciblée, personas crédibles, traduction/localisation • UNC2970 (RPDC) profilage d’entreprises cybersécurité/défense et rôles techniques • APT31 (PRC) scénarios d’« expert sécurité » pour analyser vulnérabilités (RCE, WAF bypass, SQLi) • UNC795 et APT41 (PRC) assistance au code, audit outillé et accélération d’outillage offensif. Des tentatives d’IA agentique sont évoquées, sans preuve d’usage effectif en conditions réelles. Google a désactivé des actifs associés et renforcé les garde-fous de Gemini.

Malwares et kits de phishing intégrant l’IA: • HONESTCUE: framework downloader/launcher qui externalise la génération de fonctionnalités via l’API Gemini (génération de code C# pour une phase 2), avec exécution en mémoire via .NET CSharpCodeProvider (fileless) et hébergement de charges utiles sur Discord CDN. Les échantillons suggèrent un acteur unique/small team en preuve de concept, avec prompts codés en dur (ex. génération de programme C#, téléchargeur/lançeur, chargement d’assembly en mémoire). • COINBAIT: phishing kit probablement accéléré par des outils d’IA (Lovable AI), mimant un grand exchange crypto pour vol d’identifiants; SPA React complexe, Supabase en back-end, logs verbeux préfixés « ? Analytics: » comme empreinte, proxy Cloudflare et hotlink d’assets Lovable AI.

Écosystème souterrain et abus d’API/partage public: • ClickFix: détournement de la fonction de partage public de chats IA (Gemini, ChatGPT, Copilot, DeepSeek, Grok) pour héberger des instructions plausibles incitant les victimes à copier-coller des commandes infectieuses (variants d’ATOMIC sur macOS), parfois amplifiées via publicités malveillantes. • « Xanthorox »: service se présentant comme IA offensive autonome mais adossé à des APIs commerciales (dont Gemini) et outils open source via MCP, avec abus/vol de clés API (ex. plateformes One API/New API vulnérables). Google/Trust & Safety a désactivé les comptes/projets identifiés et renforcé les protections. Le rapport conclut sur une analyse de menace et l’effort continu de durcissement des modèles/classifieurs.

TTPs clés observés: • Extraction de modèle / distillation via requêtes API • Coercition des traces de raisonnement • Reconnaissance OSINT et phishing hyper-personnalisé (multilingue, maintien de conversation) • Assistance au développement d’outils (troubleshooting, traduction, synthèse de README) et intérêt pour IA agentique • Malware fileless (compilation en mémoire, CSharpCodeProvider), JIT code via LLM, hébergement sur CDN légitimes (Discord) • Kits de phishing sur frameworks modernes (SPA React, Supabase), proxy Cloudflare, journaux verbeux comme artefacts • ClickFix (ingénierie sociale par commande copiée-collée) • Abus/vol de clés API via services/instances vulnérables et chaînage MCP. IOCs: annoncés comme disponibles dans une collection GTI pour utilisateurs enregistrés.

🧠 TTPs et IOCs détectés

TTP

[‘Extraction de modèle / distillation via requêtes API’, ‘Coercition des traces de raisonnement’, ‘Reconnaissance OSINT’, ‘Phishing hyper-personnalisé (multilingue, maintien de conversation)’, ‘Assistance au développement d’outils (troubleshooting, traduction, synthèse de README)’, ‘Intérêt pour IA agentique’, ‘Malware fileless (compilation en mémoire, CSharpCodeProvider)’, ‘JIT code via LLM’, ‘Hébergement sur CDN légitimes (Discord)’, ‘Kits de phishing sur frameworks modernes (SPA React, Supabase)’, ‘Proxy Cloudflare’, ‘Journaux verbeux comme artefacts’, ‘ClickFix (ingénierie sociale par commande copiée-collée)’, ‘Abus/vol de clés API via services/instances vulnérables’, ‘Chaînage MCP’]

IOC

Annoncés comme disponibles dans une collection GTI pour utilisateurs enregistrés

🔗 Source originale : https://cloud.google.com/blog/topics/threat-intelligence/distillation-experimentation-integration-ai-adversarial-use?hl=en