Secteur public et justice — Conformité au règlement EU AI Act

Obligations imposées par l'EU AI Act aux systèmes d'IA dans l'administration publique, les services répressifs, le contrôle aux frontières et le système judiciaire. Couvre les catégories 5 à 8 de l'Annex III et les évaluations obligatoires de l'impact sur les droits fondamentaux.

Le secteur public et l'EU AI Act — Pourquoi l'État est le déployeur présentant le risque le plus élevé

L'EU AI Act (règlement (UE) 2024/1689) s'applique de manière horizontale à tous les secteurs, mais c'est sur les organismes publics que pèse la charge la plus concentrée d'obligations impératives. Les administrations publiques, les autorités répressives, les institutions judiciaires et les organismes de gestion des frontières sont à la fois les plus grands déployeurs d'IA à forts enjeux et les entités dont l'utilisation de l'IA crée les risques structurels les plus importants pour les droits fondamentaux. Le règlement traduit cette asymétrie de deux manières structurelles.

Premièrement, quatre des huit catégories à haut risque de l'Annex III concernent directement l'IA dans le secteur public — les catégories 5 à 8 couvrent les services publics essentiels, les services répressifs, la migration et le contrôle aux frontières, et l'administration de la justice. Ces catégories ne sont pas des fourre-tout résiduels : elles énumèrent des applications d'IA spécifiques communément utilisées dans les opérations gouvernementales et présentant, par définition, un niveau de risque justifiant leur classification.

Deuxièmement, l'Art. 27 impose une évaluation obligatoire de l'impact sur les droits fondamentaux (FRIA) aux organismes publics préalablement au déploiement de systèmes d'IA à haut risque. Pour les déployeurs du secteur privé, la FRIA est fortement recommandée ; pour les organismes publics, elle constitue une obligation légale. L'évaluation doit examiner l'impact du système d'IA sur les droits des personnes au titre de la Charte des droits fondamentaux de l'UE, notamment le droit à la dignité (Art. 1), la protection des données à caractère personnel (Art. 8), le droit à un recours effectif (Art. 47) et la présomption d'innocence (Art. 48).

Le paysage de la conformité pour les organismes publics est en outre complexifié par la superposition des obligations de l'EU AI Act à des régimes sectoriels existants : la directive sur l'application de la loi 2016/680, le règlement sur le Système d'information Schengen, le règlement Frontex 2019/1896, le règlement général sur la protection des données et les exigences constitutionnelles de la Convention européenne des droits de l'homme telle qu'interprétée par la Cour européenne des droits de l'homme. Chacun de ces cadres crée des obligations indépendantes qui doivent être satisfaites parallèlement aux exigences de l'EU AI Act.

Systèmes d'IA à haut risque — Catégories 5 à 8

Annex III, catégorie 5 — Services publics essentiels et évaluation des droits aux prestations

L'Annex III, point 5(b) classe comme à haut risque tout système d'IA utilisé pour évaluer l'éligibilité de personnes physiques aux prestations de services publics essentiels et prendre des décisions dans ce contexte. Cette catégorie englobe l'ensemble des systèmes d'IA de l'État-providence :

• Évaluation automatisée des droits aux allocations chômage : systèmes d'IA qui déterminent si un demandeur remplit les conditions d'éligibilité sur la base des relevés d'emploi, de l'activité de recherche d'emploi ou d'évaluations des ressources.
• Décisions relatives aux aides au logement et aux allocations d'invalidité : outils algorithmiques qui attribuent des scores aux demandes de logement social prioritaire, aux droits aux prestations d'invalidité ou aux allocations d'autonomie personnelle.
• Détection de la fraude aux prestations sociales : systèmes d'IA de profilage générant des scores de risque de fraude présumée aux prestations, pouvant déclencher des enquêtes ou la suspension des versements.

Le point 5(b) couvre également les systèmes d'IA d'évaluation de la solvabilité et d'assurance applicables aux personnes physiques, bien que l'exposition principale du secteur public concerne l'éligibilité aux prestations et services. Dans tous les cas, la classification s'applique dès lors que le système d'IA exerce une influence matérielle sur l'accès à un service public — que la décision finale soit ou non prise par un agent humain.

Annex III, catégorie 6 — Services répressifs

La catégorie 6 couvre l'IA utilisée par les autorités répressives dans trois domaines :

Évaluation du risque et profilage : systèmes d'IA qui évaluent la probabilité qu'un individu commette une infraction pénale, récidive ou représente une menace pour la sécurité — notamment les outils de scoring de récidive utilisés dans le cadre des audiences de détention provisoire, des décisions de libération conditionnelle et des recommandations de peine. Ces systèmes sont à haut risque en vertu de l'Annex III, point 6(a).

Détection et analyse dans le cadre des enquêtes : IA permettant de détecter des états émotionnels, des traits de personnalité ou des comportements trompeurs à partir des expressions faciales, de la voix ou d'indicateurs physiologiques dans le cadre d'enquêtes pénales. L'Art. 5(1)(f) interdit par ailleurs, de manière distincte, les systèmes d'IA déduisant les émotions de personnes dans des contextes répressifs et de gestion des frontières, sauf à des fins spécifiques de sécurité, établissant ainsi une limite extérieure ferme à cet usage.

Détection de deepfakes et de documents falsifiés : IA utilisée pour détecter des contenus numériques manipulés ou évaluer l'authenticité de documents dans le cadre de procédures pénales — classifiée comme à haut risque en vertu de l'Annex III, point 6(c).

Annex III, catégorie 7 — Migration, asile et contrôle aux frontières

La catégorie 7 s'applique à l'IA déployée dans le contexte de la migration et de la gestion des frontières :

Évaluation du risque aux frontières : systèmes d'IA qui évaluent le risque de migration irrégulière ou génèrent des scores de menace pour des individus franchissant les frontières — notamment les outils de profilage intégrés au SIS et les systèmes d'analyse de risque Frontex opérant en vertu du règlement 2019/1896.

Vérification de documents et d'identité : systèmes d'IA évaluant l'authenticité des documents de voyage, visas, titres de séjour ou pièces d'identité aux fins du franchissement des frontières ou dans le cadre de procédures d'immigration.

Traitement des demandes d'asile : IA qui examine les demandes d'asile, évalue la crédibilité des déclarations individuelles ou établit des profils de demandeurs en vue de procédures accélérées ou d'examen prioritaire.

Tous les systèmes de la catégorie 7 doivent être évalués au regard de la conformité non seulement avec l'EU AI Act, mais également avec la Convention de Genève relative aux réfugiés (1951), l'Art. 18 de la Charte de l'UE (droit d'asile) et le principe de non-refoulement tel qu'interprété dans la jurisprudence de la CEDH — une contrainte constitutionnelle que la FRIA au titre de l'Art. 27 doit aborder explicitement.

Annex III, catégorie 8 — Administration de la justice et processus démocratiques

La catégorie 8 concerne l'IA déployée au sein du système judiciaire lui-même :

IA d'aide à la décision judiciaire : systèmes qui assistent dans la recherche de jurisprudence, l'identification des dispositions légales applicables ou la structuration du raisonnement juridique pour les juges, les procureurs ou les greffiers — à haut risque en vertu de l'Annex III, point 8(a).

Outils de justice prédictive : systèmes d'IA qui prédisent l'issue probable d'un litige, les fourchettes de peines ou les décisions judiciaires sur la base de données historiques. Ces systèmes soulèvent des préoccupations aigues au regard de l'Art. 47 de la Charte de l'UE concernant le droit à un procès équitable, leur utilisation dans le cadre de la prise de décision judiciaire pouvant structurellement désavantager des parties dont le profil diffère des normes historiques.

La catégorie 8 n'interdit pas les travaux judiciaires assistés par l'IA ; elle les soumet au régime de conformité applicable aux systèmes à haut risque et exige des juridictions et des ministères de la justice qu'ils s'assurent que les résultats produits par l'IA font toujours l'objet d'un contrôle humain substantiel — le juge ou le décideur doit être en mesure, et doit en pratique, écarter le résultat de l'IA lorsqu'il n'est pas approprié.

Obligations impératives pesant sur les organismes publics déployeurs

Les organismes publics agissant en qualité de déployeurs de systèmes d'IA à haut risque au titre de l'EU AI Act sont soumis à un ensemble défini et indélégable d'obligations en vertu des Art. 26 et Art. 27.

Évaluation de l'impact sur les droits fondamentaux (Art. 27)

La FRIA est l'obligation la plus distinctive pesant sur les déployeurs publics. Elle doit être réalisée avant le déploiement et doit porter sur : les finalités spécifiques du système affectant les droits ; les catégories de personnes dont les droits sont susceptibles d'être affectés ; les risques de préjudice prévisibles ainsi que leur probabilité et leur gravité ; les garanties juridiques existantes qui atténuent ces risques ; et les mesures prises pour surveiller le système après déploiement. La FRIA complétée doit être transmise à l'autorité nationale de surveillance de l'IA sur demande et doit être mise à jour lorsque le système est modifié ou déployé dans un nouveau contexte.

Surveillance humaine et responsabilité désignée

L'Art. 26(1) impose aux déployeurs de confier la surveillance humaine des systèmes d'IA à haut risque à des personnes physiques disposant des compétences, de l'autorité et des ressources nécessaires pour intervenir. Dans l'administration publique, cela signifie que chaque processus automatisé affectant des individus — qu'il s'agisse de l'éligibilité aux prestations, du scoring de risque aux frontières ou des résultats d'aide à la décision judiciaire — doit avoir un agent identifié, en mesure d'annuler le résultat du système et non structurellement incité à s'y conformer sans examen.

Transparence à l'égard des personnes concernées

L'Art. 13 impose aux déployeurs de s'assurer que les personnes soumises à des décisions assistées par l'IA sont clairement informées qu'un système d'IA est utilisé. Dans l'administration publique, cette obligation implique généralement d'intégrer des mentions d'utilisation de l'IA dans les lettres de décision, les communications administratives et les procédures d'audience. L'Art. 86 protège la confidentialité des données transmises aux autorités de surveillance dans le cadre du contrôle de conformité, offrant ainsi une voie permettant la divulgation de documents internes sensibles sans exposition publique.

Journalisation, conservation des données et signalement des incidents

Les déployeurs doivent conserver les journaux opérationnels d'activité des systèmes d'IA pendant une durée minimale — au moins six mois pour la plupart des systèmes à haut risque, avec une durée de conservation prolongée lorsque le cadre juridique régissant le processus administratif sous-jacent l'exige. Les incidents graves — incidents entraînant un décès, des blessures graves, des dommages matériels significatifs ou des violations des droits fondamentaux — doivent être signalés sans délai injustifié à l'autorité nationale compétente de surveillance de l'IA.

Pratiques interdites dans l'administration publique

Certaines pratiques d'IA sont absolument interdites en vertu de l'Art. 5 de l'EU AI Act. Pour les autorités publiques, trois interdictions présentent une pertinence opérationnelle directe.

Art. 5(1)(c) — Scoring social par les autorités publiques : les systèmes d'IA qui évaluent ou classifient des individus sur la base de leur comportement social ou de leurs caractéristiques de personnalité afin de générer un score utilisé pour déterminer l'accès aux services publics, aux prestations ou au traitement juridique sont interdits. Cette interdiction vise spécifiquement les autorités publiques et cible ce qu'il est convenu d'appeler les mécanismes de crédit social, quelle que soit leur dénomination ou leur structure.

Art. 5(1)(d) — Identification biométrique à distance en temps réel dans les espaces publics : l'utilisation, par les autorités répressives, de systèmes d'identification biométrique à distance en temps réel assistés par l'IA (reconnaissance faciale, analyse de la démarche ou autres outils biométriques) dans les espaces accessibles au public est interdite, sous réserve de trois exceptions étroites : la recherche ciblée d'enfants disparus ; la prévention de menaces terroristes spécifiques et imminentes ; et l'identification de suspects dans le cadre d'infractions pénales graves, sous réserve d'une autorisation judiciaire préalable ou d'une autorisation administrative indépendante. Ces exceptions sont exhaustives ; aucun programme de surveillance générale ne peut s'en prévaloir.

Art. 5(1)(e) — Techniques subliminales et manipulatrices : les systèmes d'IA qui recourent à des techniques opérant en deçà du seuil de conscience pour manipuler le comportement individuel, ou qui exploitent les vulnérabilités de groupes spécifiques, sont interdits pour tous les déployeurs, y compris les autorités publiques.

Contrôle — Autorités de surveillance et mécanismes de supervision

L'architecture de contrôle de l'EU AI Act dans le secteur public implique plusieurs niveaux d'autorité compétente.

Les autorités nationales de surveillance de l'IA désignées en vertu de l'Art. 70 sont les principaux organismes d'application du règlement dans chaque État membre. Dans la plupart des juridictions, elles sont ou seront intégrées ou étroitement alignées avec les autorités de protection des données existantes. Elles disposent du pouvoir de mener des audits, de demander la documentation technique et les résultats de la FRIA, d'émettre des injonctions correctives et d'infliger des amendes administratives.

Les amendes applicables aux organismes publics sont soumises au pouvoir discrétionnaire des États membres en vertu de l'Art. 99(6) : les États membres peuvent prévoir que les autorités publiques ne sont pas passibles de sanctions pécuniaires, mais ils doivent s'assurer que des mécanismes alternatifs de surveillance et de correction — notamment les audits obligatoires, la publication des constatations de non-conformité et la suspension de l'utilisation du système d'IA — sont disponibles. Ce pouvoir discrétionnaire ne s'étend pas à la tolérance de la non-conformité ; il ne concerne que le mécanisme de sanction financière.

Les autorités de protection des données (APD) et le Comité européen de la protection des données (CEPD) conservent une compétence parallèle sur les dimensions de traitement des données à caractère personnel de l'IA du secteur public au titre du GDPR et de la LED. La non-conformité aux obligations du GDPR ou de la LED dans le contexte de l'exploitation d'un système d'IA est soumise au contrôle des APD indépendamment de l'autorité de surveillance de l'EU AI Act.

La Cour européenne des droits de l'homme constitue une contrainte constitutionnelle externe : les décisions prises sur la base de processus algorithmiques — en particulier dans le domaine de la justice pénale et de l'immigration — doivent satisfaire aux normes de la Convention relatives à l'Art. 6 (droit à un procès équitable) et à l'Art. 8 (respect de la vie privée) telles qu'interprétées dans la jurisprudence évolutive de la CEDH sur la prise de décision automatisée.

Feuille de route de mise en œuvre pour les administrations publiques

Phase 1 — Inventaire et classification des systèmes d'IA (mois 1 à 3)

Les organismes publics doivent d'abord établir un inventaire exhaustif de tous les systèmes d'IA actuellement en usage ou en cours d'acquisition. Chaque système doit être évalué au regard des catégories 5 à 8 de l'Annex III et des dispositions prohibitives de l'Art. 5. Les systèmes impliquant le traitement de données à caractère personnel doivent être évalués simultanément au regard des exigences du GDPR et de la LED. Cette phase produit un inventaire classifié — interdit, à haut risque, à risque limité ou à risque minimal — qui oriente le programme de conformité.

Phase 2 — Évaluations de l'impact sur les droits fondamentaux (mois 3 à 6)

Pour chaque système à haut risque identifié, les organismes publics doivent commander et réaliser une FRIA au titre de l'Art. 27. Cela requiert des contributions juridiques, techniques et de politique publique : une analyse juridique des droits en jeu ; la documentation technique sur le fonctionnement du système, les données d'entraînement et les modes de défaillance connus ; et une évaluation des mesures d'atténuation disponibles. Les FRIAs doivent être documentées et prêtes à être soumises aux autorités de surveillance.

Phase 3 — Vérification des fournisseurs et réforme de la commande publique (mois 3 à 9)

Les procédures de marchés publics doivent être mises à jour pour exiger des fournisseurs d'IA qu'ils démontrent leur conformité à l'EU AI Act comme condition d'attribution du marché. Les déployeurs doivent vérifier le marquage CE, la déclaration de conformité, la documentation technique et les engagements de surveillance post-commercialisation avant tout déploiement. Les organismes publics agissant en qualité d'opérateurs conjoints ou de co-développeurs avec des prestataires technologiques doivent clarifier contractuellement la répartition des responsabilités relatives aux obligations d'évaluation de conformité.

Phase 4 — Garanties opérationnelles et formation du personnel (mois 6 à 12)

Les agents désignés pour la surveillance humaine doivent être identifiés pour chaque système d'IA à haut risque, formés aux capacités et aux limites du système, et dotés de procédures d'annulation. Les notices de transparence à l'intention des personnes concernées doivent être rédigées et intégrées dans les procédures administratives existantes. L'infrastructure de journalisation doit être vérifiée ou mise en place. Les protocoles de signalement des incidents doivent être intégrés dans les processus existants de gestion des incidents administratifs et de protection des données.

Phase 5 — Surveillance continue et révision annuelle

La conformité des systèmes d'IA à haut risque n'est pas un exercice de certification ponctuel. Les obligations de surveillance post-commercialisation imposent aux organismes publics de suivre activement les performances du système, de documenter toute évolution de la précision, des biais ou des comportements, et de mettre à jour les FRIAs en cas de changements significatifs. Le rapport annuel aux autorités de surveillance, lorsqu'il est requis par le droit national, doit être étayé par la documentation générée dans le cadre du programme de surveillance.