Source: CrowdStrike (blog) — Dans un billet technique, CrowdStrike met en lumière un problème clé de l’IA appliquée à la cybersécurité: la fuite d’information entre ensembles d’entraînement et de test qui gonfle artificiellement les performances des modèles.
Le cœur du problème présenté est la train‑test leakage lorsque des observations corrélées (événements liés au même arbre de processus, scripts similaires, ou provenant de la même machine) sont réparties aléatoirement entre train et test. Cette pratique crée des attentes de performance irréalistes et peut conduire à des échecs face à des menaces inédites en production.
CrowdStrike propose une méthodologie de découpage stratégique des données: regrouper les points dépendants en blocs (par exemple, blocage par machine) avant leur affectation aux folds de validation croisée. Cette approche empêche la fuite d’information entre train et test lorsque les données comportent des dépendances inhérentes.
Selon l’article, cette stratégie renforce la fiabilité de l’évaluation et la généralisation des modèles de détection, améliorant leur capacité à identifier des menaces inconnues/zero‑day dans des environnements réels. 🧠🔒
En somme, il s’agit d’un article d’analyse technique visant à présenter une méthode d’évaluation plus robuste pour les modèles ML en cybersécurité, en s’attaquant explicitement au problème de leakage via un partitionnement de données orienté dépendances.
🔗 Source originale : https://www.crowdstrike.com/en-us/blog/machine-learning-evaluation-using-data-splitting/