Sécurité IA

Source: Emerging Technology Security — Contexte: des chercheurs de Unit 42 détaillent une démonstration d’attaque montrant comment des adversaires peuvent empoisonner la mémoire longue d’un agent LLM via l’injection de prompt indirecte, avec Amazon Bedrock Agent comme étude de cas. Les chercheurs expliquent que lorsque la mémoire d’agent est activée, des instructions malicieuses injectées par ingénierie sociale peuvent manipuler le processus de synthèse de session, conduisant à l’enregistrement de commandes persistantes qui survivront aux sessions futures. Ces instructions empoisonnées sont ensuite réintroduites dans les prompts d’orchestration comme contexte « système », permettant l’exécution discrète d’objectifs d’attaquants (ex. exfiltration de données). ...

Selon Black Hills Information Security (BHIS), ce deuxième volet d’une série sur le hacking de l’IA dissèque les vulnérabilités d’injection de prompt dans les grands modèles de langue (LLM) et explique comment des acteurs peuvent manipuler ou contourner les consignes système. L’article souligne une faiblesse centrale : l’absence de frontières de privilèges entre les consignes développeur (system prompts) et les entrées utilisateur, et la nature hautement suggestible des LLM. Cette vulnérabilité est présentée comme une menace critique pour les systèmes IA, comparable à une injection SQL dans les applications traditionnelles. Des plateformes de pratique sont évoquées pour développer les compétences de test en sécurité IA. 🚨 ...

Selon GuidePoint Security, dans le cadre du Cybersecurity Awareness Month, un risque émergent touche les environnements d’entreprise : les « Shadow AI Agents » — des systèmes IA autonomes créant des identités non humaines (NHI) avec des accès larges via API, comptes de service et tokens, souvent sans supervision. L’article détaille comment de simples chatbots évoluent en agents autonomes et pourquoi ils posent des risques de sécurité (comportements imprévisibles, sur‑privilèges, exposition via tokens et comptes de service). Il explique aussi comment des attaquants peuvent les exploiter et créer des angles morts d’observabilité. ...

Selon GuidePoint Security (blog), la prompt injection reste le risque de sécurité n°1 pour les modèles de langage (LLM), car ceux-ci ne distinguent pas de façon fiable les instructions système des entrées utilisateur dans une même fenêtre de contexte. Sur le plan technique, les attaques tirent parti du traitement token-based dans un contexte unifié où instructions système et requêtes utilisateur sont traitées de manière équivalente. Cette faiblesse structurelle permet de détourner le comportement de l’IA. ...

Contexte: Article publié le 11 août 2025 évaluant la sécurité « out of the box » de GPT‑5 face à des menaces réelles, et expliquant pourquoi l’alignement doit se prouver. Le blog de SplxAI a publié le 8 août 2025 un rapport de red teaming sur GPT-5, testé sur plus de 1 000 scénarios adversariaux. Les résultats montrent que, malgré ses avancées en raisonnement et en validation interne, la sécurité par défaut du modèle reste faible. ...

L’article publié le 6 août 2025 par Embrace the Red met en lumière une vulnérabilité critique dans le logiciel Devin AI de Cognition, démontrée par un chercheur en sécurité. Cette vulnérabilité, non corrigée depuis plus de 120 jours, permet une injection de prompt indirecte qui peut mener à une compromission totale du système. L’attaque repose sur l’insertion d’instructions malveillantes dans des contenus externes comme des sites web ou des issues GitHub. Ces instructions incitent Devin à visiter des sites contrôlés par des attaquants, où il télécharge et exécute des binaires malveillants. ...