L’article publié par Emerging Technology Security fournit des conseils sur la manière de bien délimiter les évaluations de sécurité des applications lorsque des modèles de langage (LLMs) sont intégrés.
Il souligne que l’intégration de composants d’intelligence artificielle élargit les surfaces d’attaque en créant des relations transitives entre les utilisateurs et les systèmes backend, ce qui signifie que tout ce qu’un modèle de langage peut accéder doit être considéré comme accessible aux utilisateurs.
L’article propose un cadre technique pour analyser les surfaces d’attaque des LLMs, montrant comment des agents d’IA peuvent être exploités via des manipulations de prompts pour accéder à des fonctionnalités ou données non autorisées. Un exemple pratique est donné sur le contournement des contrôles de sécurité de l’IA pour réinitialiser le jeton d’un autre utilisateur, illustrant les vulnérabilités architecturales lorsque les contrôles de sécurité reposent uniquement sur des prompts d’IA.
Les recommandations techniques incluent la mise en œuvre de contrôles de sécurité déterministes en dehors du LLM, le traitement des entrées/sorties de l’IA comme des données non fiables, et la limitation de l’accès de l’IA à ce que l’utilisateur authentifié peut déjà accéder.
Cet article est une analyse technique visant à fournir des recommandations pour une implémentation sécurisée de l’IA.
🧠 TTP et IOC détecté
TTP
Manipulation de prompts pour contourner les contrôles de sécurité, accès non autorisé via des relations transitives, exploitation des vulnérabilités architecturales des LLMs
🔗 Source originale : https://blog.includesecurity.com/2025/07/llms-in-applications-understanding-and-scoping-attack-surface/