đŹ Contexte PubliĂ© le 19 aoĂ»t 2026 par Irregular (hello@irregular.com), cet article prĂ©sente les rĂ©sultats dâune Ă©valuation de Kimi K3, un modĂšle de langage open-weight de 2,8 billions de paramĂštres (mixture-of-experts, 104 milliards de paramĂštres actifs), sur trois suites de benchmarks offensifs en cybersĂ©curitĂ©.
đ Suites dâĂ©valuation utilisĂ©es Atomic Tasks : tĂąches techniques bornĂ©es (cryptographie, falsification de certificats, exploitation de navigateur, corruption mĂ©moire, manipulation de protocoles, compromission multi-hĂŽtes) CyScenarioBench : scĂ©narios dâattaque multi-Ă©tapes nĂ©cessitant le maintien dâun Ă©tat dâattaque cohĂ©rent FrontierCyber : recherche de vulnĂ©rabilitĂ©s en conditions rĂ©elles sur des cibles rĂ©elles đ RĂ©sultats clĂ©s Atomic Tasks : performances solides, notamment dans la construction de chaĂźnes dâattaque complĂštes Ă partir dâaccĂšs partiels, la crĂ©ation dâoutils personnalisĂ©s et la validation de chaque Ă©tape CyScenarioBench : premier modĂšle open-weight Ă enregistrer un solve vĂ©rifiĂ©, surpassant GLM-5.2 qui nâavait rĂ©solu aucun challenge de cette suite FrontierCyber : aucun solve vĂ©rifiĂ©, mais progression notable ; les capacitĂ©s de recherche de vulnĂ©rabilitĂ©s nâont pas abouti Ă un impact de sĂ©curitĂ© validĂ© đ Comparaison et tendances Fin 2025 : tous les modĂšles publiquement Ă©valuĂ©s obtenaient 0% sur CyScenarioBench DĂ©but 2026 : les modĂšles fermĂ©s (closed frontier) ont commencĂ© Ă enregistrer des solves AoĂ»t 2026 : Kimi K3 atteint ce mĂȘme seuil, illustrant la rĂ©duction rapide de lâĂ©cart entre modĂšles open-weight et modĂšles fermĂ©s de pointe Les modĂšles fermĂ©s conservent un avantage sur les tĂąches les plus complexes, notamment en fiabilitĂ© et efficacitĂ© sur de longues sessions đ Nature de lâarticle Il sâagit dâune publication de recherche produite par Irregular, visant Ă Ă©valuer et documenter les capacitĂ©s offensives en cybersĂ©curitĂ© des grands modĂšles de langage open-weight, dans une perspective de suivi de la trajectoire capacitaire des LLMs appliquĂ©s Ă la cybersĂ©curitĂ© offensive.
...