https://cyberveille.ch/tags/analyse-de-code/ Recent content in Analyse De Code on CyberVeille Hugo -- 0.146.0 fr-fr Cyberveille CC BY-NC-SA 4.0 Mon, 20 Jul 2026 00:00:00 +0000 https://cyberveille.ch/posts/2026-07-20-benchmark-13-modeles-d-ia-testes-sur-la-redecouverte-de-cves-connus/ Mon, 20 Jul 2026 00:00:00 +0000 https://cyberveille.ch/posts/2026-07-20-benchmark-13-modeles-d-ia-testes-sur-la-redecouverte-de-cves-connus/ <h2 id="-contexte">🔍 Contexte</h2> <p>Publié le 16 juillet 2026 sur le blog technique d&rsquo;Aikido Security, cet article présente un benchmark méthodique de <strong>13 modèles d&rsquo;IA</strong> évalués sur leur capacité à redécouvrir <strong>26 vulnérabilités connues</strong> issues de la base GitHub Advisory Database.</p> <h2 id="-méthodologie">🧪 Méthodologie</h2> <ul> <li>Les 26 CVEs couvrent plusieurs langages et types de projets (SQL injection, RCE par désérialisation, XSS stocké, etc.)</li> <li>Chaque modèle est exécuté dans un <strong>harness d&rsquo;analyse de code</strong> (AI Code Analysis d&rsquo;Aikido), non dans une interface de chat</li> <li>Les agents sont pointés directement sur le snippet vulnérable pour isoler la capacité de raisonnement</li> <li>Chaque modèle est exécuté <strong>3 fois</strong>, les résultats étant poolés (pass@3)</li> <li>Deux niveaux de raisonnement testés : &ldquo;high&rdquo; et &ldquo;xhigh/max&rdquo;</li> </ul> <h2 id="-résultats-clés">📊 Résultats clés</h2> <ul> <li><strong>GPT-5.6</strong> : meilleur rappel à <strong>23/26 (88,5%)</strong></li> <li><strong>grok-4.5</strong> : 20/26</li> <li><strong>Claude Opus 4-7 / 4-8</strong> : 15 à 18/26</li> <li><strong>GLM-5.2</strong> (open weight) : <strong>16/26 (59%)</strong>, dans la moyenne des modèles propriétaires</li> <li>Tous les modèles redécouvrent les <strong>2 CVEs critiques</strong> (RCE par désérialisation et XSS stocké)</li> <li>La séparation réelle se fait sur les vulnérabilités à <strong>chaînes complexes</strong> (ex : SQL Injection via alias de colonne non échappé par l&rsquo;ORM)</li> </ul> <h2 id="-rapport-coûtperformance">💰 Rapport coût/performance</h2> <ul> <li>3 runs de <strong>gpt-5.4-nano</strong> (~170$) atteignent 18/26, équivalent à un seul pass d&rsquo;un modèle phare</li> <li>3 runs de <strong>gpt-5.4-mini</strong> (~460$) atteignent 20/26</li> <li>Le niveau de raisonnement supérieur apporte un gain notable pour <strong>gpt-5.5</strong> (+3) et <strong>glm-5.2</strong> (+3), mais peu ou pas pour les autres</li> </ul> <h2 id="-type-darticle">📌 Type d&rsquo;article</h2> <p>Article de <strong>publication de recherche</strong> à visée comparative, destiné aux équipes AppSec et CTI pour orienter le choix de modèles d&rsquo;IA dans les workflows d&rsquo;analyse de code.</p>