LLM Vulnerabilities

Selon Mend (référence: mend.io), une nouvelle voie d’attaque dite slopsquatting exploite la tendance des assistants de codage IA à proposer des dépendances inexistantes, que des attaquants enregistrent ensuite en packages malveillants, créant un risque majeur pour la supply chain logicielle. Un package halluciné a déjà cumulé plus de 30 000 téléchargements. L’étude, menée sur 16 LLMs et 500 000+ prompts, mesure des taux d’hallucination de packages allant de 3,59% (GPT-4 Turbo) à 33%+ (CodeLlama). Les modèles open-source affichent 21,7% en moyenne contre 5,2% pour les modèles commerciaux. Au total, 205 000+ noms de packages hallucinés ont été observés, dont 43% répétés de manière récurrente. ...

L’article publié par embracethered.com met en lumière une vulnérabilité critique dans ChatGPT, un produit d’OpenAI, qui permet à des attaquants d’exfiltrer l’historique des conversations des utilisateurs par le biais d’attaques par injection de commandes. Les chercheurs ont découvert que l’exploitation de cette faille repose sur un contournement de la fonctionnalité de rendu ‘URL sûre’ d’OpenAI. Ce contournement permet aux acteurs malveillants d’envoyer des informations personnelles vers des serveurs tiers en utilisant des domaines comme windows.net. ...