Sécurité De L'IA

Source: Zenity Labs — Dans une publication de recherche, Zenity Labs analyse en profondeur les guardrails d’OpenAI AgentKit et met en évidence des faiblesses fondamentales communes : des contrôles « souples » basés sur des modèles probabilistes évaluant d’autres modèles, créant des dépendances circulaires exploitables par des attaquants. Points clés mis en avant: Détection de PII: échec face aux formats non standard (ex. ‘SNN’ au lieu de ‘SSN’) et aux variations de casse. Détection d’hallucinations: s’appuie sur l’auto‑évaluation par LLM (score de confiance d’un modèle sur un autre), approche jugée fragile pour la vérification factuelle. Filtres de modération: contournables via substitution de caractères, encodage et obfuscation (ex. ‘k🧨ill’). Détection de jailbreak: inefficace contre les attaques multi‑tours, payloads intégrés ou prompts déguisés. Résumé technique: ...

Selon Trend Micro, dans un contexte de « Threats and Vulnerabilities », une compromission de l’intégration AI Salesloft‑Drift a permis à l’acteur UNC6395 d’orchestrer une attaque supply chain à grande échelle. — L’attaque a débuté par la compromission du référentiel GitHub de Salesloft, d’où un jeton OAuth associé à leur compte Drift a été dérobé. Les assaillants ont ensuite pivoté vers des instances Salesforce connectées pour procéder à l’exfiltration de données. L’abus des modèles d’accès larges et de l’architecture de confiance des applications d’IA a permis à la campagne de rester indétectée pendant des mois. ...

NIST a publié un “concept paper” présentant les « Control Overlays for Securing AI Systems » (COSAIS), une série de lignes directrices basées sur SP 800‑53 pour renforcer la cybersécurité des systèmes d’IA, et sollicite des retours de la communauté. Le document explique que, bien que les systèmes d’IA soient majoritairement logiciels, ils posent des défis de sécurité distincts. Les overlays SP 800‑53 visent à adapter et prioriser des contrôles existants pour des contextes IA spécifiques, en protégeant en priorité la confidentialité, l’intégrité et la disponibilité (CIA) des informations. Ils tirent parti de la familiarité des organisations avec SP 800‑53, tout en permettant une personnalisation (sélection, modification, compléments, paramètres) selon les risques et environnements. ...

L’article de TheVerge relate un incident survenu lors d’une conférence Microsoft Build, où des messages internes confidentiels ont été accidentellement révélés par Neta Haiby, responsable de la sécurité de l’IA chez Microsoft. Lors de cette conférence, qui portait sur les meilleures pratiques de sécurité pour l’IA, des manifestants ont interrompu la session pour protester contre les contrats de cloud de Microsoft avec le gouvernement israélien. Après l’interruption, Haiby a accidentellement partagé son écran sur Microsoft Teams, dévoilant des messages internes concernant l’utilisation par Walmart des services Entra et AI Gateway de Microsoft. ...