LLM

Selon Tenable Research (blog Tenable), une nouvelle étude dévoile sept vulnérabilités et techniques d’attaque affectant ChatGPT, dont certaines confirmées sur GPT‑5 et observées sur GPT‑4o, permettant l’exfiltration d’informations privées depuis les mémoires et l’historique de conversation, des attaques 0‑click via la recherche, des contournements de mécanismes de sécurité et des persistances entre sessions. Architecture et surface d’attaque identifiées : ChatGPT s’appuie sur un « System Prompt » enrichi par des « memories » (bio tool) pouvant contenir des données privées de l’utilisateur, et sur un web tool avec deux commandes: search (Search Context) et open_url (Browsing Context). D’après les tests, open_url délègue la navigation à un LLM isolé (« SearchGPT »), sans accès aux memories. Un mécanisme url_safe filtre les liens rendus à l’écran. ...

Selon Horizon3.ai, des frameworks de pentest IA open source (notamment Cyber-AutoAgent et Villager) créent des risques de conformité majeurs en transmettant des données sensibles de tests d’intrusion vers des fournisseurs LLM externes (ex. OpenAI, Anthropic). Le problème principal n’est pas l’entraînement des modèles, mais l’exfiltration immédiate et non autorisée de données vers des tiers non approuvés, contournant DLP et SIEM, et violant des exigences PCI, HIPAA, CJIS et FedRAMP. Côté technique, ces outils enchaînent reconnaissance et exploitation en envoyant la sortie des commandes aux endpoints LLM via des appels API, générant une fuite silencieuse au travers d’un trafic HTTPS légitime. Ils utilisent souvent des clés API publiques, ne disposent pas de contrôles de configuration pour restreindre les flux, embarquent des bibliothèques de télémétrie tierces et n’offrent pas de pistes d’audit. ...

L’editeur d’intelligence artificielle Anthropic (red.anthropic.com) estime que l’IA atteint un point d’inflexion en cybersécurité et dévoile Claude Sonnet 4.5, une version renforcée pour la découverte et la remédiation de vulnérabilités, évaluée sur des benchmarks externes et testée avec des partenaires. 🛡️ Contexte et positionnement L’IA devient « utile en pratique » pour les tâches cyber, avec des progrès rapides observés sur la dernière année (ex. reproduction simulée de l’attaque Equifax 2017, performances en compétitions CTF, contributions à la découverte de vulnérabilités en interne, usages lors du DARPA AI Cyber Challenge). Anthropic affirme vouloir accélérer l’usage défensif de l’IA afin de ne pas laisser l’avantage aux attaquants, en investissant dans des compétences comme la découverte de vulnérabilités et le patching. 🚀 Produit et orientation cyber ...

Selon un billet publié le 24 août 2025, un chercheur décrit une attaque « SpAIware » contre Windsurf Cascade exploitant la prompt injection et la persistance en mémoire pour exfiltrer des données de façon continue. Windsurf Cascade est une fonctionnalité intégrée à l’éditeur de code Windsurf (basé sur Visual Studio Code) qui s’appuie sur l’intelligence artificielle pour assister les développeurs. L’article explique que Windsurf Cascade dispose d’un outil interne « create_memory » qui est invqué automatiquement sans approbation humaine. Cette conception permet à un attaquant, via une prompt injection indirecte (par exemple dans un commentaire de code C, un ticket GitHub ou une page web), de persister des instructions malveillantes dans la mémoire à long terme de l’agent. L’impact revendiqué couvre la confidentialité, l’intégrité et la disponibilité des futures conversations. ...

Source: Bishop Fox — Dans un billet de recherche, Bishop Fox présente une méthodologie exploitant des modèles de langage pour accélérer et fiabiliser le « patch diffing » afin d’orienter la découverte de vulnérabilités à partir de correctifs. 🧪 Méthodologie: Les chercheurs combinent Binary Ninja (décompilation), BinDiff (analyse différentielle) et un prompting itératif avec LLM pour classer les fonctions par pertinence vis-à-vis de la vulnérabilité. L’approche vise à prioriser rapidement les zones de code à auditer après l’application d’un patch. ...

Source: College of Engineering at Carnegie Mellon University (engineering.cmu.edu). Contexte: une équipe de CMU a étudié la capacité des modèles de langage à planifier et mener des attaques réseau complexes de manière autonome dans des environnements d’entreprise réalistes. 🔬 Les chercheurs montrent que des LLM, lorsqu’ils sont dotés d’une abstraction de « modèle mental » du red teaming et intégrés à un système hiérarchique d’agents, peuvent passer de simples outils passifs à de véritables agents de red team autonomes, capables de coordonner des cyberattaques multi‑étapes sans instructions humaines détaillées. ...

Selon GuidePoint Security (blog), la prompt injection reste le risque de sécurité n°1 pour les modèles de langage (LLM), car ceux-ci ne distinguent pas de façon fiable les instructions système des entrées utilisateur dans une même fenêtre de contexte. Sur le plan technique, les attaques tirent parti du traitement token-based dans un contexte unifié où instructions système et requêtes utilisateur sont traitées de manière équivalente. Cette faiblesse structurelle permet de détourner le comportement de l’IA. ...

Selon Picus Security, s’appuyant sur une découverte du CERT ukrainien, un nouveau malware baptisé LameHug et attribué à APT28 (Fancy Bear) constitue le premier cas documenté publiquement d’un logiciel malveillant intégrant opérationnellement un LLM pour générer des commandes en temps réel. LameHug est un infostealer Python déployé via des campagnes de spear-phishing ciblant des agences gouvernementales ukrainiennes. Il utilise le modèle Qwen 2.5-Coder-32B-Instruct d’Alibaba Cloud via l’API Hugging Face pour produire à la volée des chaînes de commandes Windows, permettant des attaques adaptatives sans mise à jour binaire et en évitant les signatures traditionnelles. 🤖 ...

L’article publié par la société Cloudflare explique que les robots du service d’intelligence artificielle Perplexity utilisent des méthodes pour cacher qu’elle parcourent les sites web pour récupérer des informations. En changeant souvent leur « user agent » (l’identifiant qui indique normalement quel navigateur ou robot visite un site) et en utilisant différentes adresses IP et réseaux internet, Perplexity essaie d’éviter les blocages mis en place par les sites web qui ne veulent pas être visités par leurs robots. ...

L’article, publié sur SecurityBoulevard.com par Golan Yosef, décrit une démonstration de faille de sécurité exploitant Claude Desktop à travers une composition de risques. Golan Yosef, co-fondateur de Pynt, explique comment il a utilisé un message Gmail pour provoquer une exécution de code via Claude Desktop, en s’appuyant sur les capacités combinées et la confiance entre les hôtes MCP, les agents et les sources de données. La démonstration a commencé par l’envoi d’un email conçu pour déclencher une exécution de code. Claude Desktop a initialement détecté l’attaque comme une tentative de phishing, mais après plusieurs itérations et en exploitant la capacité de Claude à réinitialiser le contexte entre les sessions, l’attaque a réussi. ...