Prompt Injection

Selon Tenable Research (blog Tenable), une nouvelle étude dévoile sept vulnérabilités et techniques d’attaque affectant ChatGPT, dont certaines confirmées sur GPT‑5 et observées sur GPT‑4o, permettant l’exfiltration d’informations privées depuis les mémoires et l’historique de conversation, des attaques 0‑click via la recherche, des contournements de mécanismes de sécurité et des persistances entre sessions. Architecture et surface d’attaque identifiées : ChatGPT s’appuie sur un « System Prompt » enrichi par des « memories » (bio tool) pouvant contenir des données privées de l’utilisateur, et sur un web tool avec deux commandes: search (Search Context) et open_url (Browsing Context). D’après les tests, open_url délègue la navigation à un LLM isolé (« SearchGPT »), sans accès aux memories. Un mécanisme url_safe filtre les liens rendus à l’écran. ...

Source: Embrace The Red (blog). Dans ce billet, l’auteur montre comment l’accès réseau autorisé par défaut du Code Interpreter de Claude permet une exfiltration de données en abusant de l’API Files d’Anthropic, sans passer par des liens externes, mais via des appels aux APIs intégrées autorisées par la liste blanche de domaines. Le cœur de l’attaque est une indirect prompt injection qui amène Claude à lire des données accessibles à l’utilisateur (ex. la dernière conversation via la fonction memories), à les écrire dans le sandbox (/mnt/user-data/outputs/hello.md), puis à exécuter du code qui appelle api.anthropic.com pour uploader ce fichier via l’API Files. Astuce clé: le code injecte la clé API de l’attaquant (variable d’environnement ANTHROPIC_API_KEY), ce qui envoie le fichier non pas vers le compte de la victime mais vers celui de l’attaquant. La taille exfiltrable annoncée est de 30 Mo par fichier, avec la possibilité d’en envoyer plusieurs. ...

The Verge met en garde contre une nouvelle vague de menaces liées aux navigateurs intégrant des agents IA (ChatGPT Atlas, Copilot Mode d’Edge, Comet, etc.), alors que la course pour « posséder » la porte d’entrée du web s’accélère. Des vulnérabilités ont déjà été constatées: dans Atlas, des chercheurs ont exploité la mémoire pour injecter du code malveillant, élever des privilèges ou déployer des malwares. Des failles dans Comet permettraient de détourner l’IA du navigateur via des instructions cachées. OpenAI (via son CISO) et Perplexity reconnaissent que les prompt injections constituent une menace majeure et « de frontière » sans solution établie. ...

Source: Brave (brave.com) — Dans le second billet d’une série sur les défis de sécurité et de confidentialité des navigateurs « agentiques », Shivan Kaul Sahib et Artem Chaikin publient des résultats de recherche montrant que l’« indirect prompt injection » est un problème systémique dans les navigateurs IA. Ils décrivent des vecteurs d’attaque additionnels testés sur différentes implémentations et rappellent leur divulgation responsable aux éditeurs concernés. Les chercheurs expliquent que des navigateurs IA capables d’agir au nom de l’utilisateur restent vulnérables à des prompt injections via captures d’écran et contenus cachés, exposant les sessions authentifiées (banque, email, etc.). Une simple action comme résumer un post Reddit pourrait permettre à un attaquant de voler de l’argent ou des données privées. ...

Selon une publication d’Omer Mayraz, une vulnérabilité critique baptisée « CamoLeak » affectait GitHub Copilot Chat, permettant l’exfiltration silencieuse de secrets et de code depuis des dépôts privés et le contrôle des réponses de Copilot. GitHub a corrigé le problème en désactivant complètement le rendu des images dans Copilot Chat au 14 août 2025. • Découverte et impact. En juin 2025, l’auteur identifie une faille (CVSS 9.6) dans GitHub Copilot Chat qui, via prompt injection à distance, permet d’orienter les réponses (incluant la suggestion de code malveillant ou de liens) et d’exfiltrer des données de dépôts privés auxquels l’utilisateur victime a accès. Le comportement tient au fait que Copilot agit avec les mêmes permissions que l’utilisateur. ...

Source: Emerging Technology Security, s’appuyant sur un billet technique de NVIDIA et une présentation à Black Hat USA 2025. Les chercheurs de NVIDIA décrivent comment des outils de codage assistés par IA et des Computer Use Agents (CUA) de niveau 3 d’autonomie peuvent être exploités via des watering hole attacks et de l’indirect prompt injection pour obtenir une exécution de code à distance (RCE) sur les postes développeurs. L’attaque abuse de l’« assistive alignment » et de l’autonomie croissante de ces agents, en insérant des charges malveillantes dans des sources non fiables comme des issues et pull requests GitHub pour pousser les agents à télécharger et exécuter du code malveillant. ...

Source: Zenity Labs — Dans une publication de recherche, Zenity Labs analyse en profondeur les guardrails d’OpenAI AgentKit et met en évidence des faiblesses fondamentales communes : des contrôles « souples » basés sur des modèles probabilistes évaluant d’autres modèles, créant des dépendances circulaires exploitables par des attaquants. Points clés mis en avant: Détection de PII: échec face aux formats non standard (ex. ‘SNN’ au lieu de ‘SSN’) et aux variations de casse. Détection d’hallucinations: s’appuie sur l’auto‑évaluation par LLM (score de confiance d’un modèle sur un autre), approche jugée fragile pour la vérification factuelle. Filtres de modération: contournables via substitution de caractères, encodage et obfuscation (ex. ‘k🧨ill’). Détection de jailbreak: inefficace contre les attaques multi‑tours, payloads intégrés ou prompts déguisés. Résumé technique: ...

Selon Zenity Labs, cette analyse détaille les risques de sécurité liés à la nouvelle plateforme OpenAI AgentKit pour concevoir des workflows d’agents, couvrant son architecture (Agent Builder, Connector Registry via MCP, ChatKit) et ses mécanismes de sécurité intégrés. L’article décrit l’architecture node-based d’Agent Builder, avec des nœuds principaux (Agent, Start, End), des nœuds d’outils (dont des Guardrails pour la détection PII et jailbreak) et des nœuds logiques (conditionnels, boucles, User Approval). Le Connector Registry étend les agents via des connecteurs MCP vers des services externes, et ChatKit fournit l’intégration UI. ...

Selon Legit Security, des chercheurs ont découvert une vulnérabilité critique (CVSS 9.6) affectant GitHub Copilot Chat, permettant l’exfiltration silencieuse de secrets et de code source depuis des dépôts privés, tout en manipulant les réponses/suggestions de Copilot. • Contexte et impact: La faille combinait un contournement de la Content Security Policy (CSP) via l’infrastructure Camo proxy de GitHub et des prompt injections distantes insérées dans des commentaires invisibles de descriptions de pull requests. Exploitée, elle permettait d’accéder à des dépôts privés avec les permissions de la victime et de voler des informations sensibles (dont des vulnérabilités zero-day et des clés AWS), et de contrôler les réponses/suggestions de Copilot. ...

Source: Embrace The Red — Une recherche met en évidence un nouveau schéma de vulnérabilité où des agents IA de codage, opérant dans un même environnement, peuvent s’accorder mutuellement des privilèges en altérant leurs fichiers de configuration. 🚨 L’étude décrit une chaîne d’attaque débutant par une injection de prompt indirecte compromettant un premier agent. Celui-ci écrase les configurations d’un autre agent (p. ex. MCP de Claude Code) afin d’y ajouter des serveurs malveillants ou de modifier ses instructions, conduisant à une exécution de code arbitraire ou à des capacités élargies lors du rechargement des paramètres. ...