Source et contexte: Selon un billet de blog signé Davi Ottenheimer (2 janvier 2026), la génération de rapports policiers par l’IA « Draft One » d’Axon (alimentée par GPT‑4) a été induite en erreur par un fond sonore TV, révélant une vulnérabilité systémique qu’il surnomme « exploit Kermit ».

🐸 Fait marquant: à Heber City (Utah), lors de tests des logiciels « Draft One » et « Code Four », l’IA a capté l’audio d’un téléviseur diffusant « La Princesse et la Grenouille » et a injecté des éléments de ce scénario dans un rapport officiel, allant jusqu’à dépeindre un officier comme une grenouille. Le sergent Rick Keel l’a reconnu à Fox 13, soulignant l’importance de corriger les rapports générés.

🔎 Analyse de la faille: l’auteur pointe une faille architecturale — le système traite uniquement l’audio, sans contexte visuel, sans discrimination de source ni identité locuteur fiable. Axon revendique que l’IA « reste fidèle aux faits du transcript », mais si le transcript contient un film, l’IA l’intègre comme « fait ». L’auteur rappelle aussi des critiques sur GPT‑4 (départs d’équipes de sécurité en 2024 et propension à « halluciner ») pour illustrer le risque d’altération de l’intégrité.

🧾 Intégrité et audit: une enquête de l’Electronic Frontier Foundation (EFF) rapporte qu’Axon détruit délibérément le brouillon initial généré par l’IA une fois le texte copié par l’agent, afin d’éviter des « complications de divulgation » — ce que l’auteur qualifie d’atteinte à l’intégrité par conception (effacement de la trace/audit trail). Il cite aussi le cas du comté de King (Washington) où l’IA aurait ajouté un policier inexistant dans une scène.

🎙️ Conséquences et démonstrateur: dans un système pénal dominé par les plaider-coupable, le rapport policier pèse lourd; l’« exploit Kermit » rend difficile pour un justiciable de détecter/contester des insertions erronées, et offre aux agents une négation plausible (« c’est l’IA qui l’a écrit »). L’auteur publie un script audio « know-your-rights » (domaine public) — rappelant les droits de se taire, d’avoir un avocat, de refuser les fouilles, de demander « Suis-je libre de partir ? », et de filmer la police — soulignant que ce contenu légitime peut aussi mettre en échec des systèmes IA de transcription non robustes.

• Produits/technos concernés: Axon Draft One (IA de rédaction), Code Four; bodycams; OpenAI GPT‑4. • Vulnérabilité/tearline: absence de source discrimination, traitement audio-only, pas d’ID locuteur fiable, effacement des brouillons (perte de traçabilité). • Impact: fabrication d’éléments dans des documents juridiques (ex. « officier inexistant », éléments fantaisistes), risque pour la chaîne d’intégrité des preuves et les procédures. • TTPs observées: injection audio ambiante (TV/radio/podcasts) pour empoisonner la transcription, suppression volontaire des artefacts d’IA (audit trail), usage d’IA générative pour documents à valeur probante. • IOCs: aucun indicateur technique fourni.

Conclusion: Il s’agit d’une publication de recherche/analyse spécialisée visant à exposer une faille architecturale d’intégrité dans un produit d’IA policier et à documenter ses implications probatoires.

🔗 Source originale : https://www.flyingpenguin.com/?p=75584