Sécurité IA

Selon GuidePoint Security (blog), la prompt injection reste le risque de sécurité n°1 pour les modèles de langage (LLM), car ceux-ci ne distinguent pas de façon fiable les instructions système des entrées utilisateur dans une même fenêtre de contexte. Sur le plan technique, les attaques tirent parti du traitement token-based dans un contexte unifié où instructions système et requêtes utilisateur sont traitées de manière équivalente. Cette faiblesse structurelle permet de détourner le comportement de l’IA. ...

Contexte: Article publié le 11 août 2025 évaluant la sécurité « out of the box » de GPT‑5 face à des menaces réelles, et expliquant pourquoi l’alignement doit se prouver. Le blog de SplxAI a publié le 8 août 2025 un rapport de red teaming sur GPT-5, testé sur plus de 1 000 scénarios adversariaux. Les résultats montrent que, malgré ses avancées en raisonnement et en validation interne, la sécurité par défaut du modèle reste faible. ...

L’article publié le 6 août 2025 par Embrace the Red met en lumière une vulnérabilité critique dans le logiciel Devin AI de Cognition, démontrée par un chercheur en sécurité. Cette vulnérabilité, non corrigée depuis plus de 120 jours, permet une injection de prompt indirecte qui peut mener à une compromission totale du système. L’attaque repose sur l’insertion d’instructions malveillantes dans des contenus externes comme des sites web ou des issues GitHub. Ces instructions incitent Devin à visiter des sites contrôlés par des attaquants, où il télécharge et exécute des binaires malveillants. ...