Άρθρο 9 — Σύστημα διαχείρισης κινδύνου (EU AI Act)

Άρθρο 9 του Κανονισμού (ΕΕ) 2024/1689 — Σύστημα διαχείρισης κινδύνου. Επίσημο κείμενο, πρακτική ερμηνεία, βασικές υποχρεώσεις και επιπτώσεις συμμόρφωσης.

Σύνοψη Επίσημου Κειμένου

Το Άρθρο 9 του Κανονισμού (ΕΕ) 2024/1689 επιβάλλει υποχρεωτικό, συνεχές σύστημα διαχείρισης κινδύνου σε παρόχους συστημάτων ΤΝ υψηλού κινδύνου καθ' όλη τη διάρκεια του κύκλου ζωής του συστήματος. Η διάταξη απαιτεί το σύστημα διαχείρισης κινδύνου να αποτελείται από επαναληπτική διαδικασία ολοκληρωμένη στην ανάπτυξη και λειτουργία του συστήματος ΤΝ υψηλού κινδύνου, που ενημερώνεται τακτικά βάσει νέων πληροφοριών που συλλέγονται κατά την παρακολούθηση μετά τη διάθεση στην αγορά.

Συγκεκριμένα, το Άρθρο 9 απαιτεί από τους παρόχους να: (α) εντοπίζουν και αναλύουν όλους τους γνωστούς και ευλόγως προβλέψιμους κινδύνους που σχετίζονται με το σύστημα ΤΝ υψηλού κινδύνου· (β) εκτιμούν και αξιολογούν κινδύνους που ενδέχεται να υλοποιηθούν όταν το σύστημα χρησιμοποιείται σύμφωνα με τον σκοπό χρήσης του και υπό συνθήκες ευλόγως προβλέψιμης κατάχρησης· (γ) αξιολογούν κινδύνους που προκύπτουν από διαθέσιμα δεδομένα και τη συμπεριφορά προσώπων που αλληλεπιδρούν με το σύστημα· και (δ) υιοθετούν κατάλληλα μέτρα διαχείρισης κινδύνου βάσει αυτής της ανάλυσης.

Τα μέτρα διαχείρισης κινδύνου πρέπει να είναι τέτοια ώστε κάθε υπολειμματικός κίνδυνος που σχετίζεται με κάθε κίνδυνο, καθώς και ο συνολικός υπολειμματικός κίνδυνος του συστήματος ΤΝ υψηλού κινδύνου, να κρίνεται αποδεκτός. Το Άρθρο 9 ορίζει επίσης ότι πρέπει να διεξάγονται δοκιμές για τον εντοπισμό κατάλληλων μέτρων, και ότι τέτοιες δοκιμές πρέπει να διεξάγονται βάσει καθορισμένων μετρικών και πιθανοκρατικών κατωφλίων. Απαιτείται ιδιαίτερη προσοχή όπου το σύστημα ενδέχεται να αλληλεπιδρά με παιδιά ή άλλες ευάλωτες ομάδες. Πληροφορίες που προκύπτουν από την εμπειρία των αναπτυσσόντων πρέπει να τροφοδοτούνται πίσω στη διαδικασία διαχείρισης κινδύνου του παρόχου.

Τι Σημαίνει Αυτό στην Πράξη

Το Άρθρο 9 είναι μια από τις πλέον απαιτητικές επιχειρησιακά απαιτήσεις στον Τίτλο III του EU AI Act. Εφαρμόζεται σε οποιαδήποτε νομική οντότητα που χαρακτηρίζεται ως πάροχος συστήματος ΤΝ υψηλού κινδύνου — δηλαδή η οντότητα που αναπτύσσει το σύστημα ή το έχει αναπτύξει και το διαθέτει στην αγορά ή το θέτει σε λειτουργία υπό το δικό της όνομα ή εμπορικό σήμα.

Στην πράξη, η συμμόρφωση απαιτεί τη θέσπιση τεκμηριωμένου πλαισίου διαχείρισης κινδύνου πριν από τη διάθεση του συστήματος στην αγορά. Αυτό δεν είναι μια απλή άσκηση τσεκαρίσματος: ο κανονισμός απαιτεί επαναληπτική διαδικασία που διαρκεί για τη ζωή του προϊόντος, που σημαίνει ότι η τεκμηρίωση διαχείρισης κινδύνου πρέπει να εξελίσσεται καθώς το σύστημα ενημερώνεται, επανεκπαιδεύεται ή αναπτύσσεται σε νέα πλαίσια.

Ένα συμβατό σύστημα διαχείρισης κινδύνου θα περιλαμβάνει συνήθως: δομημένη διαδικασία εντοπισμού κινδύνου που καλύπτει τόσο τη σκοπούμενη χρήση όσο και τα εύλογα σενάρια κατάχρησης· μήτρα εκτίμησης κινδύνου που αξιολογεί πιθανότητα και σοβαρότητα βλάβης· κατάλογο μέτρων μετριασμού με τεκμηριωμένο σκεπτικό για την επιλογή τους· επίσημες δοκιμές πριν από τη διάθεση στην αγορά βάσει καθορισμένων μετρικών· και μηχανισμό για την ενσωμάτωση ανάδρασης μετά τη διάθεση στην αγορά — συμπεριλαμβανομένων δεδομένων συμβάντων που παρέχονται από αναπτύσσοντες — πίσω στη συνεχή ανάλυση κινδύνου.

Για παράδειγμα, ένας πάροχος εργαλείου βαθμολόγησης πιστοληπτικής ικανότητας βάσει ΤΝ που κατατάσσεται ως υψηλού κινδύνου βάσει του Παραρτήματος III πρέπει να τεκμηριώνει τον τρόπο με τον οποίο το μοντέλο θα μπορούσε να παράγει διακριτικά αποτελέσματα, ποια τεχνικά και οργανωτικά μέτρα μειώνουν αυτόν τον κίνδυνο, και πώς τα δεδομένα πραγματικής απόδοσης θα ενεργοποιούν επανεξέταση. Ένα σύστημα ΤΝ που χρησιμοποιείται σε ιατρικό πλαίσιο πρέπει επιπλέον να αντιμετωπίζει τον αυξημένο βαθμό επιμέλειας όπου εμπλέκονται ευάλωτοι χρήστες. Τα αποτελέσματα της διαχείρισης κινδύνου τροφοδοτούν άμεσα την τεχνική τεκμηρίωση που απαιτείται από το Άρθρο 11 και την εκτίμηση συμμόρφωσης βάσει των Άρθρων 43-44.

Βασικές Υποχρεώσεις

• Θέσπιση και διατήρηση συνεχούς συστήματος διαχείρισης κινδύνου που καλύπτει ολόκληρο τον κύκλο ζωής του συστήματος ΤΝ υψηλού κινδύνου, από τον σχεδιασμό έως την παροπλισμό, ενημερωμένο βάσει δεδομένων παρακολούθησης μετά τη διάθεση στην αγορά.
• Εντοπισμός όλων των γνωστών και ευλόγως προβλέψιμων κινδύνων, συμπεριλαμβανομένων κινδύνων που προκύπτουν από ευλόγως προβλέψιμη κατάχρηση, από αλληλεπίδραση με άλλα συστήματα, και από το κοινωνικοτεχνικό πλαίσιο ανάπτυξης.
• Εκτίμηση και αξιολόγηση κινδύνων ως προς την πιθανότητα εμφάνισης και τη σοβαρότητα της πιθανής βλάβης, λαμβάνοντας υπόψη τον σκοπό χρήσης και τις κατηγορίες προσώπων που ενδέχεται να θιγούν, συμπεριλαμβανομένων ευάλωτων ομάδων και παιδιών.
• Υιοθέτηση μέτρων διαχείρισης κινδύνου που μειώνουν τους εντοπισθέντες κινδύνους σε αποδεκτό υπολειμματικό επίπεδο· όπου τα τεχνικά μέτρα δεν επαρκούν, οργανωτικά ή πληροφοριακά μέτρα πρέπει να τα συμπληρώνουν.
• Διεξαγωγή δοκιμών πριν από τη διάθεση στην αγορά χρησιμοποιώντας καθορισμένες μετρικές και πιθανοκρατικά κατώφλια κατάλληλα για τον σκοπό χρήσης, για επικύρωση ότι τα επιλεγμένα μέτρα είναι αποτελεσματικά και ότι ο υπολειμματικός κίνδυνος είναι αποδεκτός.
• Ολοκλήρωση ανάδρασης παρακολούθησης μετά τη διάθεση στην αγορά από αναπτύσσοντες και τελικούς χρήστες στη συνεχή διαδικασία διαχείρισης κινδύνου, διασφαλίζοντας ότι το σύστημα παραμένει ανταποκρινόμενο σε πραγματικά στοιχεία βλάβης ή συμβάντων σχεδόν-αστοχίας.

Σχέση με Άλλα Άρθρα

Το Άρθρο 9 βρίσκεται στο επίκεντρο του πλαισίου απαιτήσεων του Κεφαλαίου 2 και συνδέεται δομικά με αρκετές άλλες διατάξεις. Εξαρτάται από το Άρθρο 6 και το Παράρτημα III για το πεδίο εφαρμογής του: μόνο συστήματα που χαρακτηρίζονται ως υψηλού κινδύνου υπόκεινται στις υποχρεώσεις του. Τα αποτελέσματα της διαδικασίας του Άρθρου 9 τροφοδοτούν άμεσα το Άρθρο 11 (τεχνική τεκμηρίωση), που απαιτεί από τους παρόχους να αποδεικνύουν ότι υπάρχει και έχει εφαρμοστεί συμβατό σύστημα διαχείρισης κινδύνου.

Το Άρθρο 9 συνδέεται επίσης στενά με το Άρθρο 10 (δεδομένα και διακυβέρνηση δεδομένων), καθώς η ποιότητα των δεδομένων εκπαίδευσης, επικύρωσης και δοκιμών επηρεάζει ουσιαστικά το προφίλ κινδύνου που πρέπει να διαχειριστεί. Το Άρθρο 13 (διαφάνεια και παροχή πληροφοριών) απαιτεί ορισμένες πληροφορίες σχετικές με κίνδυνο να κοινοποιούνται στους αναπτύσσοντες, και το Άρθρο 14 (ανθρώπινη εποπτεία) ορίζει μέτρα που συχνά χρησιμεύουν ως εργαλεία πρώτης γραμμής μετριασμού κινδύνου βάσει του Άρθρου 9. Το Άρθρο 26 επιβάλλει κατιούσες υποχρεώσεις στους αναπτύσσοντες για παρακολούθηση της πραγματικής χρήσης και αναφορά σχετικών πληροφοριών πίσω στους παρόχους, κλείνοντας τον βρόχο ανάδρασης που απαιτεί το Άρθρο 9. Τέλος, το Άρθρο 72 (παρακολούθηση μετά τη διάθεση στην αγορά) τυποποιεί τους μηχανισμούς συλλογής δεδομένων που διατηρούν τη διαδικασία επαναληπτικής διαχείρισης κινδύνου με την πάροδο του χρόνου.

Χρονοδιάγραμμα Συμμόρφωσης

Ο EU AI Act τέθηκε σε ισχύ την 1η Αυγούστου 2024. Το Άρθρο 9, ως βασική απαίτηση του Κεφαλαίου 2 εφαρμοστέα σε συστήματα ΤΝ υψηλού κινδύνου, ακολουθεί το γενικό χρονοδιάγραμμα συμμόρφωσης για τις υποχρεώσεις του Τίτλου III:

• 1 Αυγούστου 2024 — Ο Κανονισμός τίθεται σε ισχύ· ξεκινά η μεταβατική περίοδος των 24 μηνών για τις περισσότερες υποχρεώσεις υψηλού κινδύνου.
• 2 Φεβρουαρίου 2025 — Κατέστησαν εφαρμοστέες οι απαγορεύσεις πρακτικών ΤΝ μη αποδεκτού κινδύνου (Άρθρο 5). Το Άρθρο 9 δεν εφαρμόζεται ακόμη.
• 2 Αυγούστου 2025 — Κατέστησαν εφαρμοστέοι κανόνες για μοντέλα ΤΝ Γενικού Σκοπού (Τίτλος VIII). Το Άρθρο 9 δεν είναι ακόμη υποχρεωτικό για τα περισσότερα συστήματα υψηλού κινδύνου.
• 2 Δεκεμβρίου 2026 — Το Άρθρο 9 καθίσταται πλήρως εφαρμοστέο σε συστήματα ΤΝ υψηλού κινδύνου που απαριθμούνται στο Παράρτημα III (συστήματα ΤΝ σε τομείς όπως εκπαίδευση, απασχόληση, βασικές υπηρεσίες, επιβολή του νόμου, μετανάστευση και απονομή δικαιοσύνης). Οι πάροχοι πρέπει να έχουν θεσπίσει συμβατό σύστημα διαχείρισης κινδύνου έως αυτή την ημερομηνία.
• 2 Αυγούστου 2027 — Παράταση της προθεσμίας για συστήματα ΤΝ υψηλού κινδύνου που αποτελούν εξαρτήματα ασφάλειας προϊόντων που καλύπτονται ήδη από υφιστάμενη νομοθεσία εναρμόνισης της Ένωσης που απαριθμείται στο Παράρτημα I (π.χ. μηχανήματα, ιατρικά βοηθήματα, πολιτική αεροπορία).

Πάροχοι που αναπτύσσουν ή προμηθεύονται συστήματα ΤΝ υψηλού κινδύνου πρέπει να αντιμετωπίζουν την 2 Δεκεμβρίου 2026 ως την τελική τους προθεσμία για ετοιμότητα συμμόρφωσης με το Άρθρο 9, ενσωματώνοντας πλαίσια διαχείρισης κινδύνου στις διαδικασίες ανάπτυξής τους εγκαίρως για να επιτρέψουν χρόνο για δοκιμές, τεκμηρίωση και εκτίμηση συμμόρφωσης.