Prompt Injection

Selon The Register (article de Simon Sharwood), un avis de Gartner intitulé « Cybersecurity Must Block AI Browsers for Now » recommande aux organisations de bloquer, pour l’instant, les navigateurs IA dits agentiques en raison de risques de sécurité jugés excessifs. Gartner définit ces navigateurs IA comme des outils tels que Perplexity Comet et OpenAI ChatGPT Atlas, combinant: 1) une barre latérale IA (résumé, recherche, traduction, interaction sur le contenu web via un service IA du fournisseur), et 2) une capacité transactionnelle agentique permettant au navigateur de naviguer et agir de façon autonome, y compris dans des sessions authentifiées. ...

Palo Alto Networks (Unit 42) publie une analyse technique montrant, via trois preuves de concept réalisées sur un copilot de code intégrant MCP, comment la fonctionnalité de sampling du Model Context Protocol peut être abusée pour mener des attaques, et détaille des stratégies de détection et de prévention. Contexte. MCP est un standard client-serveur qui relie des applications LLM à des outils et sources externes. La primitive de sampling permet à un serveur MCP de demander au client d’appeler le LLM avec son propre prompt, inversant le schéma d’appel classique. Le modèle de confiance implicite et l’absence de contrôles de sécurité robustes intégrés ouvrent de nouveaux vecteurs d’attaque lorsque des serveurs (non fiables) peuvent piloter ces requêtes de complétion. ...

Source: Ars Technica (Dan Goodin), contexte: Microsoft a annoncé les fonctionnalités expérimentales Copilot Actions dans Windows et publié des avertissements sur leurs risques de sécurité. Microsoft introduit des « agentic features » permettant d’automatiser des tâches (organiser des fichiers, planifier des réunions, envoyer des emails) 🤖, mais précise que Copilot Actions est désactivé par défaut et ne devrait être activé que par des utilisateurs « expérimentés ». L’entreprise reconnaît des limites fonctionnelles des modèles et des risques spécifiques aux agents. ...

Selon Tenable Research (blog Tenable), une nouvelle étude dévoile sept vulnérabilités et techniques d’attaque affectant ChatGPT, dont certaines confirmées sur GPT‑5 et observées sur GPT‑4o, permettant l’exfiltration d’informations privées depuis les mémoires et l’historique de conversation, des attaques 0‑click via la recherche, des contournements de mécanismes de sécurité et des persistances entre sessions. Architecture et surface d’attaque identifiées : ChatGPT s’appuie sur un « System Prompt » enrichi par des « memories » (bio tool) pouvant contenir des données privées de l’utilisateur, et sur un web tool avec deux commandes: search (Search Context) et open_url (Browsing Context). D’après les tests, open_url délègue la navigation à un LLM isolé (« SearchGPT »), sans accès aux memories. Un mécanisme url_safe filtre les liens rendus à l’écran. ...

Source: Embrace The Red (blog). Dans ce billet, l’auteur montre comment l’accès réseau autorisé par défaut du Code Interpreter de Claude permet une exfiltration de données en abusant de l’API Files d’Anthropic, sans passer par des liens externes, mais via des appels aux APIs intégrées autorisées par la liste blanche de domaines. Le cœur de l’attaque est une indirect prompt injection qui amène Claude à lire des données accessibles à l’utilisateur (ex. la dernière conversation via la fonction memories), à les écrire dans le sandbox (/mnt/user-data/outputs/hello.md), puis à exécuter du code qui appelle api.anthropic.com pour uploader ce fichier via l’API Files. Astuce clé: le code injecte la clé API de l’attaquant (variable d’environnement ANTHROPIC_API_KEY), ce qui envoie le fichier non pas vers le compte de la victime mais vers celui de l’attaquant. La taille exfiltrable annoncée est de 30 Mo par fichier, avec la possibilité d’en envoyer plusieurs. ...

The Verge met en garde contre une nouvelle vague de menaces liées aux navigateurs intégrant des agents IA (ChatGPT Atlas, Copilot Mode d’Edge, Comet, etc.), alors que la course pour « posséder » la porte d’entrée du web s’accélère. Des vulnérabilités ont déjà été constatées: dans Atlas, des chercheurs ont exploité la mémoire pour injecter du code malveillant, élever des privilèges ou déployer des malwares. Des failles dans Comet permettraient de détourner l’IA du navigateur via des instructions cachées. OpenAI (via son CISO) et Perplexity reconnaissent que les prompt injections constituent une menace majeure et « de frontière » sans solution établie. ...

Source: Brave (brave.com) — Dans le second billet d’une série sur les défis de sécurité et de confidentialité des navigateurs « agentiques », Shivan Kaul Sahib et Artem Chaikin publient des résultats de recherche montrant que l’« indirect prompt injection » est un problème systémique dans les navigateurs IA. Ils décrivent des vecteurs d’attaque additionnels testés sur différentes implémentations et rappellent leur divulgation responsable aux éditeurs concernés. Les chercheurs expliquent que des navigateurs IA capables d’agir au nom de l’utilisateur restent vulnérables à des prompt injections via captures d’écran et contenus cachés, exposant les sessions authentifiées (banque, email, etc.). Une simple action comme résumer un post Reddit pourrait permettre à un attaquant de voler de l’argent ou des données privées. ...

Selon une publication d’Omer Mayraz, une vulnérabilité critique baptisée « CamoLeak » affectait GitHub Copilot Chat, permettant l’exfiltration silencieuse de secrets et de code depuis des dépôts privés et le contrôle des réponses de Copilot. GitHub a corrigé le problème en désactivant complètement le rendu des images dans Copilot Chat au 14 août 2025. • Découverte et impact. En juin 2025, l’auteur identifie une faille (CVSS 9.6) dans GitHub Copilot Chat qui, via prompt injection à distance, permet d’orienter les réponses (incluant la suggestion de code malveillant ou de liens) et d’exfiltrer des données de dépôts privés auxquels l’utilisateur victime a accès. Le comportement tient au fait que Copilot agit avec les mêmes permissions que l’utilisateur. ...

Source: Emerging Technology Security, s’appuyant sur un billet technique de NVIDIA et une présentation à Black Hat USA 2025. Les chercheurs de NVIDIA décrivent comment des outils de codage assistés par IA et des Computer Use Agents (CUA) de niveau 3 d’autonomie peuvent être exploités via des watering hole attacks et de l’indirect prompt injection pour obtenir une exécution de code à distance (RCE) sur les postes développeurs. L’attaque abuse de l’« assistive alignment » et de l’autonomie croissante de ces agents, en insérant des charges malveillantes dans des sources non fiables comme des issues et pull requests GitHub pour pousser les agents à télécharger et exécuter du code malveillant. ...

Source: Zenity Labs — Dans une publication de recherche, Zenity Labs analyse en profondeur les guardrails d’OpenAI AgentKit et met en évidence des faiblesses fondamentales communes : des contrôles « souples » basés sur des modèles probabilistes évaluant d’autres modèles, créant des dépendances circulaires exploitables par des attaquants. Points clés mis en avant: Détection de PII: échec face aux formats non standard (ex. ‘SNN’ au lieu de ‘SSN’) et aux variations de casse. Détection d’hallucinations: s’appuie sur l’auto‑évaluation par LLM (score de confiance d’un modèle sur un autre), approche jugée fragile pour la vérification factuelle. Filtres de modération: contournables via substitution de caractères, encodage et obfuscation (ex. ‘k🧨ill’). Détection de jailbreak: inefficace contre les attaques multi‑tours, payloads intégrés ou prompts déguisés. Résumé technique: ...