Article 55 — Évaluation et test contradictoire des modèles d'IA à usage général présentant un risque systémique (règlement IA de l'UE)

Article 55 du règlement (UE) 2024/1689 — Évaluation et test contradictoire des modèles d'IA à usage général présentant un risque systémique. Texte officiel, interprétation pratique, obligations clés et implications en matière de conformité.

Résumé du texte officiel

L'article 55 du règlement (UE) 2024/1689 établit des obligations spécifiques d'évaluation et de test contradictoire pour les fournisseurs de modèles d'IA à usage général (GPAI) qui présentent un risque systémique. S'appuyant sur l'ensemble plus large d'obligations énoncées à l'article 53 et sur les critères de classification du risque systémique de l'article 51, l'article 55 impose à ces fournisseurs de réaliser des évaluations des modèles conformément à des protocoles normalisés et de mener des tests contradictoires — communément appelés red-teaming — de manière régulière.

Les évaluations requises au titre du paragraphe 1, point a), doivent suivre des protocoles et outils normalisés qui reflètent l'état de l'art, y compris ceux développés ou approuvés par le Bureau de l'IA. Lorsqu'aucun protocole normalisé n'existe, les fournisseurs doivent concevoir et appliquer des méthodologies appropriées pour identifier et évaluer la nature et l'étendue des risques systémiques.

Le paragraphe 1, point b), impose des tests contradictoires, à réaliser soit en interne, soit en faisant appel à des experts externes accrédités, dans le but d'identifier les risques non détectés par les procédures d'évaluation standard. Les fournisseurs doivent documenter la méthodologie, la portée et les résultats des évaluations et des exercices de test contradictoire, et signaler les constatations significatives au Bureau de l'IA. Le Bureau de l'IA lui-même conserve le pouvoir, en vertu du paragraphe 2, d'organiser ou de commander des tests contradictoires indépendants à tout moment. L'article oblige également les fournisseurs à communiquer les résultats des évaluations et les rapports de tests aux autorités compétentes sur demande.

Ce que cela signifie en pratique

Pour les organisations qui développent ou déploient des modèles GPAI de pointe, l'article 55 impose un processus d'assurance qualité structuré et documenté axé spécifiquement sur l'identification des préjudices systémiques. En pratique, cela signifie qu'avant de mettre en circulation un modèle qualifiant — et de manière continue après la mise en circulation — les fournisseurs doivent réaliser à la fois des évaluations standardisées des capacités et des exercices contradictoires ciblés conçus pour détecter les risques catastrophiques ou généralisés tels que la manipulation à grande échelle, la génération de contenu lié aux armes, les cyberattaques à grande échelle ou la perturbation d'infrastructures critiques.

Du point de vue opérationnel, la conformité requiert de constituer ou de sous-traiter une capacité multidisciplinaire de red-team possédant une expertise couvrant la sécurité de l'IA, la cybersécurité, la désinformation, la biosécurité et d'autres domaines pertinents. Les évaluations doivent être menées par rapport à des références et des protocoles qui reflètent l'état de l'art actuel ; les fournisseurs ne peuvent pas s'appuyer uniquement sur des méthodologies propriétaires non publiées si des alternatives normalisées existent.

La documentation est centrale. Les fournisseurs doivent tenir des registres détaillés de chaque cycle d'évaluation — incluant la portée, la composition de l'équipe, les scénarios testés, les sorties observées et les atténuations appliquées — et doivent être en mesure de produire ces registres pour le Bureau de l'IA sur demande. Lorsque les tests révèlent des risques systémiques nouveaux ou aggravés, les fournisseurs sont tenus de mettre en œuvre des mesures correctives et, lorsque le risque est grave, de notifier le Bureau de l'IA sans délai injustifié.

Par exemple, un fournisseur mettant en circulation un grand modèle multimodal dépassant le seuil d'entraînement de 10^25 FLOPs devrait planifier des exercices de red-team avant le lancement couvrant au minimum : l'élicitation de connaissances scientifiques à double usage, la génération de contenu persuasif à grande échelle et la facilitation d'attaques cybernétiques automatisées. Après le lancement, ces exercices doivent se reproduire chaque fois que le modèle subit un ajustement fin significatif ou des mises à jour de capacités.

Obligations clés

• Évaluations normalisées : Réaliser des évaluations des modèles en utilisant des protocoles et outils normalisés de pointe, y compris ceux développés ou approuvés par le Bureau de l'IA, avant la mise sur le marché et de manière continue.
• Test contradictoire (red-teaming) : Réaliser des exercices de test contradictoire structurés — en interne ou via des tiers externes qualifiés — conçus pour faire émerger les risques systémiques non identifiés par l'évaluation standard.
• Documentation et tenue de registres : Tenir des registres détaillés de la méthodologie d'évaluation, de la portée, des scénarios testés, des résultats et de toute mesure corrective prise, ces registres étant disponibles pour le Bureau de l'IA sur demande.
• Signalement des constatations significatives : Notifier le Bureau de l'IA des risques systémiques graves ou nouvellement identifiés découverts lors des évaluations ou des tests contradictoires sans délai injustifié.
• Coopération avec les tests commandés par le Bureau de l'IA : Faciliter et coopérer avec les tests contradictoires indépendants organisés ou commandés directement par le Bureau de l'IA dans le cadre de ses pouvoirs de surveillance.
• Conformité continue après la mise en circulation : Répéter les évaluations et les tests contradictoires à la suite de mises à jour significatives du modèle, d'ajustements fins ou de modifications des cas d'utilisation prévus susceptibles de modifier le profil de risque du modèle.

Relation avec d'autres articles

L'article 55 fonctionne comme le pendant opérationnel de la classification du risque systémique établie à l'article 51 et des obligations générales GPAI énoncées à l'article 53. Il doit être lu conjointement avec l'article 52, qui définit le seuil et les critères de désignation du risque systémique, et l'article 54, qui traite des obligations relatives à la documentation technique pour les modèles GPAI à risque systémique. L'obligation de signalement des incidents de l'article 73 recoupe l'article 55 lorsque les tests contradictoires révèlent un incident grave ou un quasi-accident nécessitant une notification. Au niveau de la surveillance, le pouvoir du Bureau de l'IA de commander des tests en vertu de l'article 55, paragraphe 2, est fondé sur les pouvoirs de surveillance plus larges conférés par les articles 88 et 89. Les fournisseurs devraient également consulter le considérant 110, qui clarifie la justification de la distinction des modèles à risque systémique et l'importance de l'évaluation de la sécurité avant la mise sur le marché comme complément à la surveillance continue.

Calendrier de conformité

• 1er août 2024 — Le règlement (UE) 2024/1689 est entré en vigueur, déclenchant le calendrier d'application progressif.
• 2 février 2025 — Les pratiques d'IA interdites (titre II) sont devenues applicables.
• 2 août 2025 — Les dispositions du titre V régissant les modèles d'IA à usage général, y compris l'article 55, sont devenues pleinement applicables. Les fournisseurs de modèles GPAI qualifiants déjà sur le marché étaient tenus de se conformer à cette date.
• 2 décembre 2026 — Les obligations relatives aux systèmes d'IA à haut risque au titre de l'annexe I (systèmes composants de sécurité) deviennent applicables.
• 2 août 2027 — Les obligations restantes relatives aux systèmes d'IA à haut risque (systèmes de l'annexe III) deviennent applicables.

L'article 55 est donc déjà en vigueur. Les fournisseurs de modèles GPAI présentant un risque systémique qui n'ont pas encore établi de programmes d'évaluation et de test contradictoire sont en violation des obligations actuelles et doivent traiter la remédiation comme une priorité immédiate.