Selon Tenable Research (blog Tenable), une nouvelle étude dévoile sept vulnérabilités et techniques d’attaque affectant ChatGPT, dont certaines confirmées sur GPT‑5 et observées sur GPT‑4o, permettant l’exfiltration d’informations privées depuis les mémoires et l’historique de conversation, des attaques 0‑click via la recherche, des contournements de mécanismes de sécurité et des persistances entre sessions.

  • Architecture et surface d’attaque identifiées : ChatGPT s’appuie sur un « System Prompt » enrichi par des « memories » (bio tool) pouvant contenir des données privées de l’utilisateur, et sur un web tool avec deux commandes: search (Search Context) et open_url (Browsing Context). D’après les tests, open_url délègue la navigation à un LLM isolé (« SearchGPT »), sans accès aux memories. Un mécanisme url_safe filtre les liens rendus à l’écran.

  • Sept découvertes clés:

      1. Injection de prompt indirecte via sites de confiance (Browsing Context): prompts malveillants dans des commentaires de blogs résumés par SearchGPT, compromettant l’utilisateur.
      1. Vulnérabilité 0‑click (Search Context): un site indexé servant un prompt uniquement à SearchGPT (via son empreinte UA/headers) peut injecter un prompt dès qu’un utilisateur pose une question liée.
      1. Injection 1‑click via chatgpt.com/?q=: le paramètre q est soumis automatiquement, exposant à une injection par simple clic.
      1. Contournement du mécanisme de sécurité url_safe: utilisation des liens de redirection Bing (bing.com/ck/a), whitelistes, pour afficher des URLs autrement bloquées, avec exfiltration lettre par lettre en chaînant des liens préindexés.
      1. Conversation Injection: SearchGPT ajoute, dans sa réponse, des instructions que ChatGPT relit ensuite dans le contexte conversationnel et exécute, « s’auto‑injectant ».
      1. Dissimulation de contenu malveillant: bug de rendu Markdown des blocs de code permettant de cacher des instructions injectées à l’écran tout en étant lues par ChatGPT.
      1. Memory injection (persistance): SearchGPT peut amener ChatGPT à mettre à jour ses memories, créant une fuite récurrente à chaque réponse ultérieure.

  • Chaînes d’attaque (PoC) démontrées:

    • Phishing via résumé de blog: commentaire malveillant -> résumé par SearchGPT -> lien malveillant rendu via url_safe bypass -> probabilité de clic accrue par la confiance utilisateur.
    • Exfiltration via commentaire: commentaire malveillant -> Conversation Injection + dissimulation markdown -> message de suivi de l’utilisateur -> rendu d’images/markdown et exfiltration des données privées via liens Bing séquencés.
    • 0‑click « LLM Ninjas »: site malveillant indexé et ciblant SearchGPT -> simple question de l’utilisateur -> réponse manipulée.
    • Persistance mémoire: après une première injection, mise à jour des memories pour exfiltrer des données à chaque future réponse.

  • Réponse du fournisseur et portée: Tenable indique avoir divulgué ces problèmes à OpenAI et collaboré à des correctifs; plusieurs PoC/vulnérabilités restent valides sur GPT‑5 et GPT‑4o reste accessible. Les injections de prompt demeurent un problème structurel des LLM; l’article souligne l’importance du bon fonctionnement des mécanismes de sécurité (dont url_safe). Il s’agit d’une publication de recherche présentant des PoC complets pour documenter les risques et techniques d’attaque sur les LLM.

IoCs et TTPs relevés:

  • IoCs/Artefacts techniques:
  • TTPs:
    • Indirect Prompt Injection (dans pages/commentaires; via sites indexés)
    • 0‑click prompt injection via résultats de recherche
    • Conversation Injection (auto‑injection via contexte)
    • Memory injection (persistance inter‑sessions)
    • Bypass de contrôle d’URL (url_safe) via redirections Bing et exfiltration par lettres
    • Exfiltration via rendu d’images/markdown
    • Camouflage via bug de rendu Markdown 🧪⚠️

🧠 TTPs et IOCs détectés

TTP

[‘Indirect Prompt Injection’, ‘0-click Prompt Injection via Search Results’, ‘Conversation Injection’, ‘Memory Injection (Persistence Across Sessions)’, ‘URL Control Bypass (url_safe) via Bing Redirections’, ‘Exfiltration via Image/Markdown Rendering’, ‘Camouflage via Markdown Rendering Bug’]

IOC

[‘Domain: llmninjas.com’, ‘URL Pattern: https://bing.com/ck/a’, ‘URL Pattern: https://chatgpt.com/?q=’, ‘User-Agent: ChatGPT-User’, ‘User-Agent: OAI-Search’]

🔗 Source originale : https://www.tenable.com/blog/hackedgpt-novel-ai-vulnerabilities-open-the-door-for-private-data-leakage