LLM Security

Palo Alto Networks (Unit 42) publie une analyse technique montrant, via trois preuves de concept réalisées sur un copilot de code intégrant MCP, comment la fonctionnalité de sampling du Model Context Protocol peut être abusée pour mener des attaques, et détaille des stratégies de détection et de prévention. Contexte. MCP est un standard client-serveur qui relie des applications LLM à des outils et sources externes. La primitive de sampling permet à un serveur MCP de demander au client d’appeler le LLM avec son propre prompt, inversant le schéma d’appel classique. Le modèle de confiance implicite et l’absence de contrôles de sécurité robustes intégrés ouvrent de nouveaux vecteurs d’attaque lorsque des serveurs (non fiables) peuvent piloter ces requêtes de complétion. ...

Selon Zenity Labs, cette analyse détaille les risques de sécurité liés à la nouvelle plateforme OpenAI AgentKit pour concevoir des workflows d’agents, couvrant son architecture (Agent Builder, Connector Registry via MCP, ChatKit) et ses mécanismes de sécurité intégrés. L’article décrit l’architecture node-based d’Agent Builder, avec des nœuds principaux (Agent, Start, End), des nœuds d’outils (dont des Guardrails pour la détection PII et jailbreak) et des nœuds logiques (conditionnels, boucles, User Approval). Le Connector Registry étend les agents via des connecteurs MCP vers des services externes, et ChatKit fournit l’intégration UI. ...

La conférence SciPy 2025, telle que rapportée par Emerging Technology Security, a mis en lumière des avancées significatives dans le domaine de la sécurité de l’IA utilisant Python. Les discussions ont porté sur des thèmes clés tels que l’IA explicable pour la conformité et la transparence, l’utilisation de l’analyse de graphes pour la détection des menaces, les pratiques sécurisées de déploiement des LLM (modèles de langage de grande taille), et la vérification des modèles via OpenSSF Model Signing. ...

L’article publié par Emerging Technology Security aborde les implications de sécurité du développement logiciel assisté par l’IA, en particulier le ‘vibe coding’ avec des modèles de langage (LLMs). Feross Aboukhadijeh, PDG de Socket, et Joel de la Garza, partenaire chez a16z, discutent des défis de sécurité posés par ces outils qui, bien qu’ils augmentent la productivité des développeurs, introduisent des risques tels que les dépendances tierces compromises et des pratiques de révision de code inadéquates. ...

L’article publié par Emerging Technology Security fournit des conseils sur la manière de bien délimiter les évaluations de sécurité des applications lorsque des modèles de langage (LLMs) sont intégrés. Il souligne que l’intégration de composants d’intelligence artificielle élargit les surfaces d’attaque en créant des relations transitives entre les utilisateurs et les systèmes backend, ce qui signifie que tout ce qu’un modèle de langage peut accéder doit être considéré comme accessible aux utilisateurs. ...