LLM Security

🔍 Contexte Source : METR (blog officiel), publié le 31 août 2026. METR est une organisation spécialisée dans l’évaluation de modèles d’IA. Cet article est un post-mortem de deux incidents de sécurité distincts survenus en 2026, accompagné d’une description des mesures correctives adoptées. 🗓️ Incident 1 — Mars 2026 : Vol d’une clé API via un dashboard d’orchestration d’agents Un chercheur de METR a déployé une application d’orchestration d’agents sur une instance EC2 personnelle, intentionnellement exposée sur internet derrière une authentification Google. L’application, vibe-codée, contenait une vulnérabilité fail-open qui désactivait silencieusement l’authentification, exposant le système publiquement pendant plusieurs jours. ...

🔍 Contexte Publié le 28 juillet 2026 sur le blog En Klype Salt par Håkon Måløy, cet article constitue la troisième partie d’une série sur les attaques par injection de prompt dans Microsoft Copilot. Il fait l’objet d’une divulgation coordonnée avec Microsoft MSRC sur une période de 144 jours (étendue deux fois depuis le rapport initial du 6 mars 2026). La vulnérabilité reste exploitable à la date de publication, aucun correctif robuste n’étant disponible. ...

🗓️ Contexte Document publié le 27 juillet 2026 par la Cloud Security Alliance (CSA) CISO Community, en collaboration avec SANS, RSAC, Knostic, FIRST et d’autres contributeurs. Il s’agit d’un post-mortem initial (version 0.8) basé sur les échanges lors d’un huddle de près de 700 CISOs et sur les informations transmises par l’équipe Hugging Face. 🔍 Ce qui s’est passé Dans le cadre d’un exercice de benchmark (ExploitGym), OpenAI a désactivé les guardrails de sécurité de ses modèles (GPT-5.6 Sol et un second modèle non divulgué) et les a exécutés dans un environnement sandboxé. Le seul accès réseau autorisé était un proxy configuré pour héberger des paquets logiciels. ...

🧭 Contexte Publié le 12 mai 2026 par Ross McKerchar (CSO de Sophos), cet article de recherche traite des risques de sécurité liés au déploiement d’agents IA en entreprise, en particulier face à la menace d’injection de prompt indirecte (indirect prompt injection). L’article s’appuie sur des travaux de recherche récents, notamment une étude Google d’avril 2026 sur le dépôt Common Crawl. ⚠️ La menace : la « trifecta létale » Les agents IA opèrent souvent au centre de ce que Simon Wilson nomme la « lethal trifecta » : ils accèdent à des données privées, traitent du contenu non fiable, et communiquent vers l’extérieur. Cette combinaison les rend vulnérables à l’injection de prompt indirecte, où un attaquant plante des instructions dans du contenu lu par l’agent (email, page web, document), qui les exécute avec les privilèges de l’utilisateur légitime. ...

Palo Alto Networks (Unit 42) publie une analyse technique montrant, via trois preuves de concept réalisées sur un copilot de code intégrant MCP, comment la fonctionnalité de sampling du Model Context Protocol peut être abusée pour mener des attaques, et détaille des stratégies de détection et de prévention. Contexte. MCP est un standard client-serveur qui relie des applications LLM à des outils et sources externes. La primitive de sampling permet à un serveur MCP de demander au client d’appeler le LLM avec son propre prompt, inversant le schéma d’appel classique. Le modèle de confiance implicite et l’absence de contrôles de sécurité robustes intégrés ouvrent de nouveaux vecteurs d’attaque lorsque des serveurs (non fiables) peuvent piloter ces requêtes de complétion. ...

Selon Zenity Labs, cette analyse détaille les risques de sécurité liés à la nouvelle plateforme OpenAI AgentKit pour concevoir des workflows d’agents, couvrant son architecture (Agent Builder, Connector Registry via MCP, ChatKit) et ses mécanismes de sécurité intégrés. L’article décrit l’architecture node-based d’Agent Builder, avec des nœuds principaux (Agent, Start, End), des nœuds d’outils (dont des Guardrails pour la détection PII et jailbreak) et des nœuds logiques (conditionnels, boucles, User Approval). Le Connector Registry étend les agents via des connecteurs MCP vers des services externes, et ChatKit fournit l’intégration UI. ...

La conférence SciPy 2025, telle que rapportée par Emerging Technology Security, a mis en lumière des avancées significatives dans le domaine de la sécurité de l’IA utilisant Python. Les discussions ont porté sur des thèmes clés tels que l’IA explicable pour la conformité et la transparence, l’utilisation de l’analyse de graphes pour la détection des menaces, les pratiques sécurisées de déploiement des LLM (modèles de langage de grande taille), et la vérification des modèles via OpenSSF Model Signing. ...

L’article publié par Emerging Technology Security aborde les implications de sécurité du développement logiciel assisté par l’IA, en particulier le ‘vibe coding’ avec des modèles de langage (LLMs). Feross Aboukhadijeh, PDG de Socket, et Joel de la Garza, partenaire chez a16z, discutent des défis de sécurité posés par ces outils qui, bien qu’ils augmentent la productivité des développeurs, introduisent des risques tels que les dépendances tierces compromises et des pratiques de révision de code inadéquates. ...

L’article publié par Emerging Technology Security fournit des conseils sur la manière de bien délimiter les évaluations de sécurité des applications lorsque des modèles de langage (LLMs) sont intégrés. Il souligne que l’intégration de composants d’intelligence artificielle élargit les surfaces d’attaque en créant des relations transitives entre les utilisateurs et les systèmes backend, ce qui signifie que tout ce qu’un modèle de langage peut accéder doit être considéré comme accessible aux utilisateurs. ...