Source: College of Engineering at Carnegie Mellon University (engineering.cmu.edu). Contexte: une équipe de CMU a étudié la capacité des modèles de langage à planifier et mener des attaques réseau complexes de manière autonome dans des environnements d’entreprise réalistes.
🔬 Les chercheurs montrent que des LLM, lorsqu’ils sont dotés d’une abstraction de « modèle mental » du red teaming et intégrés à un système hiérarchique d’agents, peuvent passer de simples outils passifs à de véritables agents de red team autonomes, capables de coordonner des cyberattaques multi‑étapes sans instructions humaines détaillées.
🧩 Au-delà des CTF: contrairement aux travaux antérieurs centrés sur des défis CTF simplifiés, l’étude évalue des plans d’attaque multi‑stades dans des réseaux d’entreprise réalistes. Les LLM de pointe équipés de connaissances usuelles en outils de sécurité échouaient initialement, mais l’ajout d’une abstraction d’orchestration d’attaque a entraîné une amélioration spectaculaire des performances.
⚙️ Architecture: plutôt que d’exécuter des commandes shell brutes, le système confie aux LLM la décision de haut niveau, tandis que des agents LLM et non‑LLM exécutent les tâches de bas niveau. Cette approche a été testée dans une réplique de l’environnement du piratage Equifax 2017, reconstruite selon les vulnérabilités et la topologie documentées par le Congrès. Le LLM a planifié et exécuté la séquence d’attaque, incluant exploitation de vulnérabilités, installation de malware et exfiltration de données.
🏁 Implications: les résultats mettent en évidence des risques de mésusage, mais aussi des applications constructives pour le test continu de la sécurité des organisations, potentiellement accessible aux plus petites structures. Le projet est dirigé par Brian Singer, avec Keane Lucas (Anthropic), Lakshmi Adiga, Meghna Jain, Lujo Bauer et Vyas Sekar, soutenus par la CyLab Future Enterprise Security Initiative.
TTPs observés:
- Planification hiérarchique et coordination multi‑agents
- Modèle mental des comportements de red teaming et des actions disponibles
- Découplage décision de haut niveau / exécution de bas niveau
- Exploitation de vulnérabilités, installation de malware, exfiltration de données
- Réplication d’un incident réel (Equifax 2017) dans un environnement recréé
IOCs: aucun indicateur technique spécifique rapporté.
Conclusion: publication de recherche visant à démontrer des capacités d’attaque autonomes par LLM et à éclairer leurs implications pour le test de sécurité et la défense.
🔗 Source originale : https://engineering.cmu.edu/news-events/news/2025/07/24-when-llms-autonomously-attack.html