Sector Público y Justicia — Cumplimiento del EU AI Act

Obligaciones del EU AI Act para la IA en la administración pública, las fuerzas del orden, el control fronterizo y el sistema judicial. Abarca las categorías 5 a 8 del Annex III y las evaluaciones obligatorias de impacto en derechos fundamentales.

El sector público y el AI Act — Por qué la Administración es el desplegador de mayor riesgo

El EU AI Act (Reglamento (UE) 2024/1689) se aplica de forma horizontal en todos los sectores, pero la mayor concentración de obligaciones recae sobre los organismos públicos. Las administraciones públicas, las autoridades encargadas de la aplicación de la ley, las instituciones judiciales y los organismos de gestión de fronteras son a la vez los principales desplegadores de IA con consecuencias significativas y las entidades cuyo uso de la IA crea el mayor riesgo estructural para los derechos fundamentales. El Reglamento refleja esta asimetría de dos maneras estructurales.

En primer lugar, cuatro de las ocho categorías de alto riesgo del Annex III se refieren directamente a la IA en el sector público — las categorías 5 a 8 abarcan los servicios públicos esenciales, la aplicación de la ley, la migración y el control fronterizo, y la administración de justicia. Estas categorías no son cajones de sastre residuales: enumeran aplicaciones de IA específicas de uso habitual en la Administración que conllevan, por definición, un riesgo de nivel clasificado.

En segundo lugar, el Art. 27 impone a los organismos públicos la obligación de realizar una evaluación de impacto en derechos fundamentales (FRIA) antes del despliegue de sistemas de IA de alto riesgo. Para los desplegadores del sector privado, la FRIA se recomienda con firmeza; para los organismos públicos, es una obligación legal. La evaluación debe examinar el impacto del sistema de IA sobre los derechos de las personas conforme a la Carta de los Derechos Fundamentales de la UE, incluyendo el derecho a la dignidad (Art. 1), la protección de datos personales (Art. 8), el derecho a la tutela judicial efectiva (Art. 47) y la presunción de inocencia (Art. 48).

El marco de cumplimiento para los organismos públicos se complica adicionalmente por la acumulación de obligaciones del AI Act sobre regímenes sectoriales preexistentes: la Directiva 2016/680 sobre aplicación de la ley, el Reglamento del Sistema de Información de Schengen, el Reglamento Frontex 2019/1896, el Reglamento General de Protección de Datos y las exigencias constitucionales del Convenio Europeo de Derechos Humanos tal como las interpreta el Tribunal Europeo de Derechos Humanos. Cada uno de estos marcos genera obligaciones independientes que deben cumplirse en paralelo con los requisitos del EU AI Act.

Sistemas de IA de alto riesgo — Categorías 5 a 8

Annex III, Categoría 5 — Servicios públicos esenciales y evaluación de prestaciones

El Annex III, punto 5(b) clasifica como de alto riesgo cualquier sistema de IA utilizado para evaluar la elegibilidad de personas físicas en relación con servicios de prestaciones públicas esenciales y adoptar decisiones en ese contexto. Esta categoría abarca todo el espectro de la IA del Estado de bienestar:

• Evaluación automatizada de prestaciones por desempleo: sistemas de IA que determinan si un solicitante cumple los criterios de elegibilidad basándose en registros laborales, actividad de búsqueda de empleo o evaluaciones de medios económicos.
• Decisiones sobre ayudas al alojamiento y prestaciones por discapacidad: herramientas algorítmicas que puntúan solicitudes de vivienda social prioritaria, derecho a prestaciones por discapacidad o pagos de asistencia personal.
• Detección de fraude en prestaciones sociales: sistemas de perfilado basados en IA que generan puntuaciones de riesgo para la sospecha de fraude en prestaciones, lo que puede desencadenar investigaciones o la suspensión de pagos.

El punto 5(b) también abarca los sistemas de IA para la evaluación de solvencia crediticia y seguros en relación con personas físicas, aunque la principal exposición en el sector público se da en el ámbito de la elegibilidad para prestaciones y servicios. En todos los casos, la clasificación se aplica cuando el sistema de IA tiene una influencia material en el acceso a un servicio público, independientemente de que la decisión final la adopte un funcionario.

Annex III, Categoría 6 — Aplicación de la ley

La categoría 6 abarca la IA utilizada por las autoridades encargadas de la aplicación de la ley en tres ámbitos:

Evaluación del riesgo y perfilado: sistemas de IA que evalúan la probabilidad de que una persona cometa una infracción penal, reincida o represente una amenaza para la seguridad —incluidas las herramientas de puntuación de reincidencia utilizadas en vistas de prisión preventiva, decisiones de libertad condicional y recomendaciones de condena—. Estos sistemas son de alto riesgo conforme al Annex III, punto 6(a).

Detección y análisis en el curso de investigaciones: IA para detectar estados emocionales, rasgos de personalidad o comportamientos engañosos a partir de expresiones faciales, la voz o indicadores fisiológicos utilizados en investigaciones penales. El Art. 5(1)(f) prohíbe por separado los sistemas de IA que infieran las emociones de personas en contextos de aplicación de la ley y control fronterizo, salvo para finalidades de seguridad específicas, trazando así un límite externo firme en torno a este caso de uso.

Detección de deepfakes y documentos: IA utilizada para detectar contenido digital manipulado o evaluar la autenticidad de documentos en procedimientos penales —clasificada como de alto riesgo en virtud del Annex III, punto 6(c)—.

Annex III, Categoría 7 — Migración, asilo y control fronterizo

La categoría 7 se aplica a la IA desplegada en el contexto de la migración y la gestión de fronteras:

Evaluación del riesgo en fronteras: sistemas de IA que evalúan el riesgo de migración irregular o generan puntuaciones de amenaza para personas que cruzan fronteras —incluidas las herramientas de perfilado integradas en el SIS y los sistemas de análisis de riesgo de Frontex que operan al amparo del Reglamento 2019/1896—.

Verificación de documentos e identidad: sistemas de IA que evalúan la autenticidad de documentos de viaje, visados, permisos de residencia o documentos de identidad para el cruce de fronteras o a efectos de inmigración.

Tramitación de solicitudes de asilo: IA que examina solicitudes de asilo, evalúa la credibilidad de las alegaciones individuales o elabora perfiles de los solicitantes para procedimientos acelerados o urgentes.

Todos los sistemas de la categoría 7 deben evaluarse en cuanto a su conformidad no solo con el AI Act, sino también con la Convención sobre el Estatuto de los Refugiados (1951), el Art. 18 de la Carta de la UE (derecho de asilo) y el principio de no devolución tal como se interpreta en la jurisprudencia del TEDH — una restricción constitucional que la FRIA conforme al Art. 27 debe abordar de forma explícita.

Annex III, Categoría 8 — Administración de justicia y procesos democráticos

La categoría 8 abarca la IA desplegada en el seno del propio sistema judicial:

IA de apoyo judicial: sistemas que asisten en la búsqueda de jurisprudencia, la identificación de las disposiciones legales aplicables o la estructuración del razonamiento jurídico para jueces, fiscales o administradores de juzgados —de alto riesgo conforme al Annex III, punto 8(a)—.

Herramientas de justicia predictiva: sistemas de IA que predicen el resultado probable de litigios, los rangos de condena o las resoluciones judiciales basándose en datos históricos de casos. Estos sistemas suscitan graves preocupaciones en virtud del Art. 47 de la Carta de la UE relativo al derecho a la tutela judicial efectiva, dado que su uso en la toma de decisiones judiciales puede situar estructuralmente en desventaja a las partes cuyos perfiles difieren de las normas históricas.

La categoría 8 no prohíbe el trabajo judicial asistido por IA; lo somete al régimen de cumplimiento de alto riesgo y exige que los tribunales y los ministerios de justicia garanticen que los resultados de la IA estén siempre sujetos a una revisión humana sustantiva — el juez o el responsable de la decisión debe poder, y en la práctica debe, prescindir del resultado de la IA cuando no sea adecuado.

Obligaciones obligatorias para los organismos públicos desplegadores

Los organismos públicos que actúan como desplegadores de sistemas de IA de alto riesgo en virtud del AI Act asumen un conjunto definido e indelegable de obligaciones conforme al Art. 26 y al Art. 27.

Evaluación de impacto en derechos fundamentales (Art. 27)

La FRIA es la obligación más característica de los desplegadores públicos. Debe realizarse antes del despliegue y debe abordar: los fines específicos del sistema que afectan a derechos; las categorías de personas cuyos derechos pueden verse afectados; los riesgos de daño previsibles y la probabilidad y gravedad de dichos riesgos; la forma en que las salvaguardias jurídicas existentes mitigan esos riesgos; y las medidas adoptadas para supervisar el sistema tras el despliegue. La FRIA completada debe ponerse a disposición de la autoridad nacional de supervisión de la IA cuando se solicite y debe actualizarse cuando el sistema sea modificado o desplegado en un nuevo contexto.

Supervisión humana y responsabilidad designada

El Art. 26(1) exige a los desplegadores que asignen la supervisión humana de los sistemas de IA de alto riesgo a personas físicas con la competencia, autoridad y recursos necesarios para intervenir. En la administración pública, esto significa que cada proceso automatizado que afecte a personas — ya sea la elegibilidad para prestaciones, la puntuación de riesgo en fronteras o los resultados del apoyo judicial — debe tener asignado un funcionario identificado que pueda anular el resultado del sistema y que no esté estructuralmente incentivado a diferir ante él.

Transparencia frente a las personas afectadas

El Art. 13 exige a los desplegadores que garanticen que las personas sujetas a decisiones asistidas por IA sean claramente informadas de que se está utilizando un sistema de IA. En la administración pública, esta obligación requiere habitualmente insertar comunicaciones sobre el uso de IA en las cartas de resolución, las comunicaciones administrativas y los procedimientos de audiencia. El Art. 86 protege la confidencialidad de los datos presentados a las autoridades supervisoras en el contexto del seguimiento del cumplimiento, proporcionando una vía para que la documentación interna sensible pueda divulgarse sin exposición pública.

Registro, conservación de datos y notificación de incidentes

Los desplegadores deben conservar registros operativos de la actividad del sistema de IA durante un período mínimo — al menos seis meses para la mayoría de los sistemas de alto riesgo, con una retención prolongada cuando el marco jurídico que regula el procedimiento administrativo subyacente así lo exija—. Los incidentes graves — aquellos que causen la muerte, lesiones graves, daños materiales significativos o vulneraciones de derechos fundamentales — deben notificarse a la autoridad nacional de supervisión de la IA competente sin demora indebida.

Prácticas prohibidas en la administración pública

Determinadas prácticas de IA están absolutamente prohibidas en virtud del Art. 5 del EU AI Act. Para las autoridades públicas, tres prohibiciones son de relevancia operativa directa.

Art. 5(1)(c) — Puntuación social por parte de autoridades públicas: están prohibidos los sistemas de IA que evalúen o clasifiquen a personas físicas en función de su comportamiento social o sus características de personalidad para generar una puntuación utilizada para determinar el acceso a servicios públicos, prestaciones o tratamiento jurídico. Esta prohibición va dirigida específicamente a las autoridades públicas y apunta a los denominados mecanismos de crédito social independientemente de cómo estén denominados o estructurados.

Art. 5(1)(d) — Identificación biométrica remota en tiempo real en espacios públicos: está prohibido el uso de sistemas de identificación biométrica remota en tiempo real basados en IA (reconocimiento facial, análisis de la marcha u otras herramientas biométricas) en espacios de acceso público por parte de autoridades encargadas de la aplicación de la ley, con tres excepciones estrictas: búsquedas específicas de menores desaparecidos; prevención de amenazas terroristas específicas e inminentes; e identificación de sospechosos de delitos graves cuando se haya obtenido previamente autorización judicial o administrativa independiente. Estas excepciones son exhaustivas; ningún programa de vigilancia general cumple los requisitos.

Art. 5(1)(e) — Técnicas subliminales y manipuladoras: están prohibidos para todos los desplegadores, incluidas las autoridades públicas, los sistemas de IA que empleen técnicas que operen por debajo del umbral de consciencia para manipular el comportamiento individual, o que exploten las vulnerabilidades de grupos específicos.

Supervisión — Autoridades de control y mecanismos de vigilancia

La arquitectura de supervisión del AI Act en el sector público implica múltiples niveles de autoridad competente.

Las autoridades nacionales de supervisión de la IA designadas conforme al Art. 70 son los principales organismos de aplicación del Reglamento en cada Estado miembro. En la mayoría de las jurisdicciones, estas autoridades están o estarán integradas con las autoridades de protección de datos existentes o estrechamente alineadas con ellas. Tienen competencias para realizar auditorías, solicitar documentación técnica y resultados de FRIA, emitir órdenes correctoras e imponer sanciones administrativas.

Las multas para los organismos públicos están sujetas a la discrecionalidad de los Estados miembros en virtud del Art. 99(6): los Estados miembros pueden establecer que las autoridades públicas no estén sujetas a sanciones pecuniarias, pero deben garantizar que estén disponibles mecanismos supervisores y correctores alternativos — incluidas auditorías obligatorias, publicación de constataciones de incumplimiento y suspensión del uso del sistema de IA—. Esta discrecionalidad no se extiende a permitir el incumplimiento; se refiere únicamente al mecanismo de sanción económica.

Las autoridades de protección de datos (APD) y el CEPD conservan competencia paralela sobre las dimensiones de tratamiento de datos personales de la IA en el sector público en virtud del GDPR y la LED. El incumplimiento de las obligaciones del GDPR o la LED en el contexto del funcionamiento de sistemas de IA está sujeto a la supervisión de las APD con independencia de la autoridad supervisora del AI Act.

El Tribunal Europeo de Derechos Humanos constituye una restricción constitucional externa: las decisiones adoptadas sobre la base de procesos algorítmicos — en particular en el ámbito de la justicia penal y la inmigración — deben satisfacer los estándares del Convenio relativos al Art. 6 (juicio justo) y al Art. 8 (vida privada) tal como se interpretan en la jurisprudencia evolutiva del TEDH sobre la toma de decisiones automatizada.

Hoja de ruta de implantación para organismos públicos

Fase 1 — Inventario y clasificación de sistemas de IA (Meses 1-3)

Los organismos públicos deben establecer en primer lugar un inventario exhaustivo de todos los sistemas de IA en uso actualmente o en proceso de adquisición. Cada sistema debe evaluarse con respecto a las categorías 5 a 8 del Annex III y a las disposiciones de prohibición del Art. 5. Los sistemas que impliquen el tratamiento de datos personales deben evaluarse simultáneamente conforme a los requisitos del GDPR y la LED. El resultado de esta fase es un inventario clasificado — prohibido, de alto riesgo, de riesgo limitado o de riesgo mínimo — que orienta el programa de cumplimiento.

Fase 2 — Evaluaciones de impacto en derechos fundamentales (Meses 3-6)

Para cada sistema de alto riesgo identificado, los organismos públicos deben encargar y completar una FRIA conforme al Art. 27. Esto requiere aportaciones jurídicas, técnicas y de política: análisis jurídico de los derechos en juego; documentación técnica del funcionamiento del sistema, los datos de entrenamiento y los modos de fallo conocidos; y una evaluación de las medidas de mitigación disponibles desde el punto de vista de las políticas. Las FRIA deben estar documentadas y listas para su presentación ante las autoridades supervisoras.

Fase 3 — Verificación de proveedores y reforma de la contratación pública (Meses 3-9)

Los procesos de contratación pública deben actualizarse para exigir a los proveedores de IA que acrediten el cumplimiento del EU AI Act como condición para la adjudicación del contrato. Los desplegadores deben verificar el marcado CE, la Declaración de Conformidad, la documentación técnica y los compromisos de seguimiento poscomercialización antes del despliegue. Los organismos públicos que actúen como operadores conjuntos o codesarrolladores con proveedores tecnológicos deben clarificar contractualmente la asignación de responsabilidades relativas a las obligaciones de evaluación de conformidad.

Fase 4 — Salvaguardias operativas y formación del personal (Meses 6-12)

Deben identificarse funcionarios designados de supervisión humana para cada sistema de IA de alto riesgo, formados en las capacidades y limitaciones del sistema, y dotados de procedimientos de anulación. Los avisos de transparencia para las personas afectadas deben redactarse e integrarse en los procedimientos administrativos existentes. La infraestructura de registro debe verificarse o establecerse. Los protocolos de notificación de incidentes deben integrarse con los procesos existentes de gestión de incidentes administrativos y de protección de datos.

Fase 5 — Seguimiento continuo y revisión anual

El cumplimiento de los sistemas de IA de alto riesgo no es un ejercicio de certificación puntual. Las obligaciones de seguimiento poscomercialización exigen que los organismos públicos realicen un seguimiento activo del rendimiento del sistema, documenten cualquier cambio en la precisión, el sesgo o el comportamiento, y actualicen las FRIA cuando se produzcan cambios materiales. Los informes anuales a las autoridades supervisoras, cuando así lo exija el derecho nacional, deben estar respaldados por la documentación generada a través del programa de seguimiento.