Член 9 — Система за управление на риска (Закон за ИИ на ЕС)

Член 9 от Регламент (ЕС) 2024/1689 — Система за управление на риска. Официален текст, практическа интерпретация, ключови задължения и последици за съответствието.

Резюме на официалния текст

Член 9 от Регламент (ЕС) 2024/1689 налага задължителна, непрекъсната система за управление на риска на доставчиците на системи с изкуствен интелект с висок риск през целия жизнен цикъл на системата. Разпоредбата изисква системата за управление на риска да се състои от итеративен процес, интегриран в разработването и функционирането на системата с ИИ с висок риск, редовно актуализиран в светлината на нова информация, събрана по време на мониторинга след пускането на пазара.

Конкретно, член 9 изисква от доставчиците да: (a) идентифицират и анализират всички известни и разумно предвидими рискове, свързани със системата с ИИ с висок риск; (b) оценяват рисковете, които могат да се материализират, когато системата се използва в съответствие с предвидената й цел и при условия на разумно предвидима злоупотреба; (c) оценяват рисковете, произтичащи от наличните данни и поведението на лицата, взаимодействащи със системата; и (d) приемат подходящи мерки за управление на риска въз основа на този анализ.

Мерките за управление на риска трябва да бъдат такива, че всеки остатъчен риск, свързан с всяка опасност, както и общият остатъчен риск на системата с ИИ с висок риск, да се преценяват като приемливи. Член 9 уточнява също, че трябва да се извършва тестване за идентифициране на подходящи мерки, като такова тестване трябва да се провежда спрямо определени показатели и вероятностни прагове. Необходимо е специално внимание, когато системата вероятно ще взаимодейства с деца или други уязвими групи. Информацията, произтичаща от опита на ползвателите, трябва да се връща обратно в процеса на управление на риска на доставчика на системата.

Практически смисъл

Член 9 е едно от най-оперативно взискателните изисквания в Дял III от Закона за ИИ на ЕС. Той се прилага за всяко юридическо лице, което се квалифицира като доставчик на система с ИИ с висок риск — т.е. субектът, който разработва системата или я поръчва за разработване и я пуска на пазара или я въвежда в експлоатация под собственото си наименование или търговска марка.

На практика спазването изисква установяване на документирана рамка за управление на риска, преди системата да бъде пусната на пазара. Това не е формална процедура: регламентът изисква итеративен процес, продължаващ за целия живот на продукта, което означава, че документацията за управление на риска трябва да се развива при актуализиране, преобучаване или внедряване на системата в нови контексти.

Съответстващата система за управление на риска обикновено включва: структурирана процедура за идентифициране на риска, обхващаща сценариите за предвидена употреба и правдоподобна злоупотреба; матрица за оценка на риска, оценяваща вероятността и тежестта на вредата; каталог от мерки за смекчаване с документирана обосновка за тяхното избиране; официално предпазарно тестване спрямо определени показатели; и механизъм за усвояване на обратна информация след пускането на пазара — включително данни за инциденти, предоставени от ползвателите — обратно в текущия анализ на риска.

Например, доставчик на инструмент за кредитно оценяване на база ИИ, класифициран като висок риск по Приложение III, трябва да документира как моделът може да произвежда дискриминационни резултати, какви технически и организационни мерки намаляват този риск и как данните за реалното функциониране ще предизвикват повторна оценка. Система с ИИ, използвана в медицински контекст, трябва допълнително да отчита засиленото задължение за дължима грижа при наличие на уязвими потребители. Резултатите от управлението на риска пряко захранват техническата документация, изисквана от член 11, и оценката на съответствието по членове 43–44.

Ключови задължения

• Установете и поддържайте непрекъсната система за управление на риска, обхващаща целия жизнен цикъл на системата с ИИ с висок риск — от проектирането до извеждането от употреба, актуализирана в светлината на данните от мониторинга след пускането на пазара.
• Идентифицирайте всички известни и разумно предвидими рискове, включително рискове, произтичащи от разумно предвидима злоупотреба, от взаимодействие с други системи и от социотехническия контекст на внедряването.
• Оценявайте рисковете по отношение на вероятността им от настъпване и тежестта на потенциалната вреда, като вземате предвид предвидената цел и категориите лица, вероятно засегнати, включително уязвими групи и деца.
• Приемайте мерки за управление на риска, намаляващи идентифицираните рискове до приемливо остатъчно ниво; когато техническите мерки са недостатъчни, организационни или информационни мерки трябва да ги допълват.
• Провеждайте предпазарно тестване с използване на определени показатели и вероятностни прагове, подходящи за предвидената цел, за да се валидира ефективността на избраните мерки и приемливостта на остатъчния риск.
• Интегрирайте обратната информация от мониторинга след пускането на пазара от ползвателите и крайните потребители в текущия процес на управление на риска, като гарантирате, че системата остава отзивчива към реалните доказателства за вреди или почти-инциденти.

Връзка с други членове

Член 9 заема централно място в рамката от изисквания на Глава 2 и е структурно свързан с няколко други разпоредби. Той зависи от член 6 и Приложение III за своя обхват: само системите, квалифицирани като висок риск, са подчинени на неговите задължения. Резултатите от процеса по член 9 пряко захранват член 11 (техническа документация), който изисква от доставчиците да демонстрират, че съответстваща система за управление на риска съществува и е приложена.

Член 9 е тясно свързан и с член 10 (данни и управление на данните), тъй като качеството на данните за обучение, валидиране и тестване съществено влияе върху рисковия профил, който трябва да се управлява. Член 13 (прозрачност и предоставяне на информация) изисква определена информация, свързана с риска, да се съобщава на ползвателите, а член 14 (човешки надзор) определя мерките, които често служат като инструменти за първична линия на намаляване на риска по член 9. Член 26 поставя задължения надолу по веригата на ползвателите да следят реалното използване и да докладват съответна информация обратно на доставчиците, затваряйки обратната връзка, изисквана от член 9. Накрая, член 72 (мониторинг след пускането на пазара) формализира механизмите за събиране на данни, поддържащи итеративния процес на управление на риска с течение на времето.

График за съответствие

Законът за ИИ на ЕС влезе в сила на 1 август 2024 г. Член 9, като основно изискване на Глава 2, приложимо за системи с ИИ с висок риск, следва общия график за съответствие за задълженията по Дял III:

• 1 август 2024 г. — Регламентът влиза в сила; начало на 24-месечния преходен период за повечето задължения за висок риск.
• 2 февруари 2025 г. — Забраните за практики с ИИ с неприемлив риск (член 5) стават приложими. Член 9 все още не се прилага.
• 2 август 2025 г. — Правилата за модели с ИИ с общо предназначение (Дял VIII) стават приложими. Член 9 все още не е задължителен за повечето системи с висок риск.
• 2 декември 2026 г. — Член 9 става напълно приложим за системите с ИИ с висок риск, изброени в Приложение III (системи с ИИ в области като образование, заетост, основни услуги, правоприлагане, миграция и правосъдие). Доставчиците трябва да разполагат с функционираща система за управление на риска до тази дата.
• 2 август 2027 г. — Удължен краен срок за системите с ИИ с висок риск, представляващи компоненти за безопасност на продукти, вече обхванати от съществуващото хармонизирано законодателство на Съюза, изброено в Приложение I (напр. машини, медицински изделия, гражданска авиация).

Доставчиците, разработващи или procuring системи с ИИ с висок риск, следва да приемат 2 декември 2026 г. като твърд краен срок за готовност за съответствие с член 9, като изграждат рамки за управление на риска в своите процеси на разработване достатъчно рано, за да разполагат с достатъчно време за тестване, документиране и оценка на съответствието.