Ochrona zdrowia i nauki przyrodnicze — zgodność z unijnym aktem o sztucznej inteligencji

Obowiązki wynikające z unijnego aktu o sztucznej inteligencji dla AI w wyrobach medycznych, systemów diagnostycznych i wspomagania decyzji klinicznych. Omówienie interakcji z MDR/IVDR oraz podwójnej zgodności z Annex I.

Dlaczego unijny akt o sztucznej inteligencji ma szczególne znaczenie w ochronie zdrowia

Unijny akt o sztucznej inteligencji (Rozporządzenie (UE) 2024/1689) nakłada najbardziej rygorystyczne obowiązki w zakresie zgodności dokładnie w tych dziedzinach, w których błędy AI niosą konsekwencje o charakterze życiowym. Ochrona zdrowia i nauki przyrodnicze znajdują się na przecięciu dwóch takich obszarów: strukturalnej klasyfikacji AI stosowanej w wyrobach medycznych jako systemu wysokiego ryzyka na podstawie Art. 6(1) oraz istniejącej gęstości regulacyjnej sektora wynikającej z MDR (UE) 2017/745, IVDR (UE) 2017/746, Art. 9 GDPR i Rozporządzenia w sprawie badań klinicznych (UE) 536/2014.

Dla dostawców i podmiotów stosujących AI w ochronie zdrowia to przecięcie nie jest jedynie addytywne. Tworzy ono wielowarstwowe zestawy obowiązków, które muszą być projektowane, dokumentowane i monitorowane łącznie. System AI wbudowany w urządzenie do diagnostyki obrazowej musi przejść ocenę zgodności przez jednostkę notyfikowaną na podstawie MDR oraz odrębną ocenę zgodności na podstawie unijnego aktu o sztucznej inteligencji. Szpital wdrażający narzędzie AI do triażu staje się podmiotem stosującym na podstawie Art. 26 z niezależnymi obowiązkami, których nie można wypełnić jedynie poprzez poleganie na oznakowaniu CE dostawcy.

Konsekwencje niezgodności są odpowiednio poważne. Krajowe organy nadzorcze mogą nakładać kary w wysokości do 30 milionów euro lub 6% globalnego rocznego obrotu za wprowadzanie do obrotu niezgodnych systemów AI wysokiego ryzyka. Poza sankcjami finansowymi nakazy wycofania z rynku, zawieszenie zastosowań klinicznych i obowiązkowe działania naprawcze mogą na dużą skalę zakłócić opiekę nad pacjentami.

Podwójny tor regulacyjny

Charakterystyczną cechą strukturalną zgodności AI w ochronie zdrowia jest jednoczesne stosowanie prawa bezpieczeństwa produktów i prawa regulującego systemy AI. W przypadku gdy system AI stanowi element bezpieczeństwa wyrobu medycznego w rozumieniu Annex I unijnego aktu o sztucznej inteligencji (z odesłaniem do Nowych Ram Legislacyjnych), jest on automatycznie klasyfikowany jako system wysokiego ryzyka na podstawie Art. 6(1) bez jakiejkolwiek dodatkowej oceny prawdopodobieństwa lub dotkliwości szkody. Klasyfikacja ma charakter kategoryczny.

Oznacza to, że organizacje muszą utrzymywać dwa równoległe tory oceny zgodności — jeden na podstawie MDR lub IVDR, drugi na podstawie unijnego aktu o sztucznej inteligencji — oraz wykazać zgodność z obydwoma w unijnej bazie danych dla systemów AI wysokiego ryzyka (EUAI DB) przed wprowadzeniem do obrotu.

Przypadki użycia AI wysokiego ryzyka — wyroby medyczne i świadczenie opieki zdrowotnej

AI w diagnostyce obrazowej

Systemy AI wdrożone w radiologii, patologii i okulistyce, które analizują obrazy w celu wykrywania, klasyfikowania lub charakteryzowania zmian, nieprawidłowości lub stanów chorobowych, są w niemal wszystkich klinicznie istotnych konfiguracjach elementami bezpieczeństwa wyrobów medycznych klasy IIa lub wyższej na podstawie MDR. Podlegają zatem reżimowi wysokiego ryzyka na podstawie Art. 6(1) i muszą być zgodne z Rozdziałem III Sekcją 2 unijnego aktu o sztucznej inteligencji, obejmującym zarządzanie danymi (Art. 10), dokumentację techniczną (Art. 11, Annex IV), automatyczne rejestrowanie (Art. 12), przejrzystość (Art. 13), nadzór człowieka (Art. 14) oraz dokładność, solidność i cyberbezpieczeństwo (Art. 15).

Systemy wspomagania decyzji klinicznych

Narzędzia wspomagania decyzji klinicznych (CDS) obejmują szerokie spektrum ryzyka w zależności od ich roli funkcjonalnej. Kluczowym rozróżnieniem regulacyjnym jest to, czy system zastępuje, czy wspomaga ocenę kliniczną:

• Wyniki autonomiczne lub zbliżone do autonomicznych: System CDS generujący rekomendację dotyczącą przepisania leku, ustalający dawkę leku dla pacjenta lub kwalifikujący pacjenta jako wymagającego interwencji ratunkowej bez konieczności przeglądu przez klinicystę przed podjęciem działania jest prawdopodobnie systemem wysokiego ryzyka na podstawie Annex III i potencjalnie stanowi wyrób medyczny na podstawie MDR.
• Wyniki przefiltrowane do przeglądu przez klinicystę: System CDS prezentujący uszeregowane diagnozy różnicowe lub oznaczający wyniki badań laboratoryjnych jako nieprawidłowe, gdzie wykwalifikowany klinicysta przegląda i zatwierdza każdą rekomendację przed jej wpływem na postępowanie z pacjentem, może nie kwalifikować się jako system wysokiego ryzyka — pod warunkiem że nie spełnia niezależnie kryteriów Annex III z innych powodów.

Rozróżnienie to musi być udokumentowane w opisie przewidywanego zastosowania systemu AI, który stanowi część zarówno dokumentacji technicznej na podstawie aktu o AI, jak i dokumentacji technicznej MDR.

Priorytetyzacja triażu pacjentów w warunkach ratunkowych

Systemy AI priorytetyzujące kolejność, w jakiej pacjenci oddziałów ratunkowych otrzymują pomoc — w tym modele predykcji sepsy i systemy monitorowania na oddziałach intensywnej terapii uruchamiające protokoły eskalacji — działają w warunkach presji czasowej i złożoności klinicznej, które czynią nadzór człowieka na podstawie Art. 14 szczególnie wymagającym. Organizacje wdrażające muszą zapewnić, że mechanizm nadzoru jest rzeczywiście skuteczny: klinicysta wyznaczony do pełnienia funkcji nadzorczej musi posiadać odpowiednie zrozumienie techniczne, dostęp do procesu rozumowania AI oraz czas w ramach przepływu pracy, aby interweniować przed tym, jak wynik systemu wpłynie na wyniki leczenia pacjentów.

AI do badań przesiewowych w zakresie zdrowia psychicznego

Narzędzia AI stosowane do badań przesiewowych populacji lub indywidualnych pacjentów pod kątem zaburzeń psychicznych — skale ryzyka depresji, stratyfikacja ryzyka samobójstwa, badania przesiewowe wypalenia zawodowego — angażują zarówno przepisy aktu o AI dotyczące wysokiego ryzyka (gdzie wpływają na dostęp do opieki lub alokację zasobów), jak i Art. 9 GDPR w szczególnie wrażliwym wymiarze. Dane dotyczące zdrowia psychicznego są danymi dotyczącymi zdrowia dla celów GDPR; ich przetwarzanie na potrzeby trenowania lub wnioskowania AI wymaga podstawy prawnej na podstawie Art. 9(2) oraz odpowiednich zabezpieczeń na podstawie Art. 22 (zautomatyzowane podejmowanie indywidualnych decyzji).

Robotyka chirurgiczna i procedury wspomagane przez AI

Komponenty AI zintegrowane z chirurgicznymi systemami robotycznymi, które dostosowują parametry procedury w czasie rzeczywistym — pozycjonowanie instrumentów, modulacja sprzężenia zwrotnego siły, klasyfikacja tkanki — są elementami bezpieczeństwa aktywnych wyrobów do implantacji lub wyrobów medycznych klasy III na podstawie MDR. Obciążenie związane z oceną zgodności jest odpowiednio najwyższe z dostępnych: ocena przez jednostkę notyfikowaną na podstawie Annex IX lub X MDR, połączona z oceną zgodności na podstawie unijnego aktu o sztucznej inteligencji na podstawie Art. 43. Obowiązki w zakresie nadzoru porejestracyjnego wynikające z obu ram regulacyjnych muszą być zintegrowane w jeden system obserwacji klinicznej i monitorowania wyników.

Annex III, kategoria 5(a) — Dostęp do podstawowych usług opieki zdrowotnej

Poza ścieżką wyrobu medycznego, Annex III, punkt 5(a) unijnego aktu o sztucznej inteligencji oddzielnie klasyfikuje jako systemy wysokiego ryzyka systemy AI stosowane do ustalania dostępu do podstawowych usług publicznych, w tym opieki zdrowotnej. System AI ustalający, czy pacjent kwalifikuje się do refundowanego leczenia, jest wpisany na listę oczekujących na przeszczep lub spełnia kryteria uczestnictwa w badaniu klinicznym, jest systemem wysokiego ryzyka na podstawie tego przepisu — nawet jeśli nie jest wbudowany w wyrób medyczny.

Obowiązki dostawcy i podmiotu stosującego w ochronie zdrowia

Obowiązki dostawcy

Organizacje, które opracowują, wprowadzają do obrotu lub oddają do użytku system AI wysokiego ryzyka w ochronie zdrowia jako dostawcy na podstawie Art. 16, muszą:

• Ustanowić i wdrożyć system zarządzania jakością (QMS) na podstawie Art. 17, obejmujący kontrolę projektowania, zarządzanie ryzykiem zgodne z ISO 14971 (zharmonizowane z MDR) oraz procedury monitorowania porejestracyjnego.
• Przygotować dokumentację techniczną na podstawie Annex IV, w tym opis przewidywanego zastosowania, dokumentację zarządzania ryzykiem, opisy danych treningowych, wyniki walidacji i testów oraz plan monitorowania porejestracyjnego.
• Zarejestrować system w unijnej bazie danych przed wprowadzeniem do obrotu (Art. 49).
• Zapewnić, że system posiada oznakowanie CE i dostarczyć unijną deklarację zgodności.
• Wyznaczyć upoważnionego przedstawiciela w UE, jeżeli dostawca ma siedzibę poza UE.
• Przechowywać dokumentację techniczną i logi przez 10 lat od wprowadzenia do obrotu (Art. 18).

Obowiązki podmiotu stosującego

Szpitale, kliniki, sieci apteczne i inne instytucje ochrony zdrowia działające jako podmioty stosujące systemy AI wysokiego ryzyka podmiotów trzecich ponoszą obowiązki na podstawie Art. 26, które są niezależne od zgodności dostawcy:

• Wdrożyć system w zakresie instrukcji użytkowania dostawcy — jakiekolwiek użytkowanie wykraczające poza ten zakres może potencjalnie przekwalifikować instytucję na dostawcę.
• Przypisać obowiązki w zakresie nadzoru człowieka personelowi posiadającemu kompetencje, uprawnienia i narzędzia do monitorowania i ingerowania w działanie systemu.
• Przechowywać logi operacyjne przez co najmniej sześć miesięcy lub dłużej, jeżeli wymaga tego mające zastosowanie ustawodawstwo sektorowe (nadzór nad bezpieczeństwem porejestracyjnym MDR, przepisy o prowadzeniu dokumentacji szpitalnej).
• Niezwłocznie zgłaszać poważne incydenty lub nieprawidłowości dostawcy oraz — w przypadku zagrożenia bezpieczeństwa pacjentów — odpowiednim organom ds. zdrowia zgodnie z procedurami nadzoru nad bezpieczeństwem porejestracyjnym na podstawie Art. 87 MDR.
• Przeprowadzać oceny skutków dla praw podstawowych (FRIA) na podstawie Art. 27, gdy system AI jest stosowany do podejmowania lub wspomagania decyzji dotyczących indywidualnych pacjentów na dużą skalę.

Interakcja z MDR, IVDR i GDPR

MDR i IVDR: reżim podwójnej oceny zgodności

Art. 6(1) unijnego aktu o sztucznej inteligencji, odczytywany łącznie z Annex I, ustanawia ścieżkę elementu bezpieczeństwa. W przypadku gdy system AI jest elementem bezpieczeństwa produktu regulowanego na podstawie MDR lub IVDR, ocena zgodności na podstawie unijnego aktu o sztucznej inteligencji musi zostać zintegrowana z istniejącą procedurą MDR/IVDR. Art. 8(1) unijnego aktu o sztucznej inteligencji przyznaje pierwszeństwo sektorowym przepisom MDR/IVDR tam, gdzie nakładają one obowiązki równoważne lub surowsze, lecz nie eliminuje obowiązków wynikających z aktu o AI — dostosowuje procedurę, a nie wymóg.

W przypadku wyrobów medycznych klasy IIb i klasy III z wbudowaną AI obowiązkowa jest ocena przez jednostkę notyfikowaną na podstawie Annex IX MDR (zarządzanie jakością) lub Annex X (badanie typu). Ta sama jednostka notyfikowana, jeżeli jest wyznaczona na podstawie aktu o AI, może przeprowadzić ocenę zgodności z aktem o AI jako część zintegrowanej procedury. W przypadku SaMD (oprogramowania jako wyrobu medycznego) klasy I producenci muszą niezależnie ocenić, czy system AI kwalifikuje się jako system wysokiego ryzyka na podstawie aktu o AI z powodów innych niż Art. 6(1).

Art. 9 GDPR i dane treningowe

Dane dotyczące zdrowia używane do trenowania, walidacji lub testowania modeli AI stanowią dane szczególnych kategorii na podstawie Art. 9(1) GDPR. Przetwarzanie jest zakazane przy braku jednego z wyjątków przewidzianych w Art. 9(2), w szczególności:

• Art. 9(2)(a): wyraźna zgoda osoby, której dane dotyczą
• Art. 9(2)(h): przetwarzanie niezbędne do celów diagnostyki medycznej lub zapewnienia opieki zdrowotnej, z zachowaniem tajemnicy zawodowej
• Art. 9(2)(j): badania naukowe, z zastrzeżeniem zabezpieczeń z Art. 89

Obowiązki w zakresie zarządzania danymi wynikające z Art. 10 unijnego aktu o sztucznej inteligencji — wymagające dokumentowania pochodzenia, metod gromadzenia, reprezentatywności i znanych ograniczeń zbiorów danych — muszą być spełniane w sposób zgodny z mającą zastosowanie podstawą prawną na podstawie GDPR. Retrospektywne wykorzystanie klinicznych zbiorów danych bez wyraźnej zgody wymaga wyjątku badawczego oraz, zazwyczaj, zatwierdzenia przez komisję etyczną na podstawie Rozporządzenia w sprawie badań klinicznych lub właściwego krajowego prawa o badaniach naukowych.

Integracja nadzoru porejestracyjnego

Zarówno MDR (Art. 83, obserwacja kliniczna po wprowadzeniu do obrotu), jak i unijny akt o sztucznej inteligencji (Art. 72, monitorowanie po wprowadzeniu do obrotu) wymagają ciągłego gromadzenia i analizy danych dotyczących wyników w warunkach rzeczywistych. Tam, gdzie obydwa mają zastosowanie, jeden zintegrowany system nadzoru porejestracyjnego może spełniać wymagania obu ram regulacyjnych — pod warunkiem że obejmuje dane wymagane przez każdą z nich, w tym wymogi MDR dotyczące dowodów klinicznych oraz wymogi aktu o AI dotyczące automatycznego rejestrowania działania systemu AI.

Organy egzekwowania

Europejska Agencja Leków i krajowe agencje leków

Europejska Agencja Leków (EMA) nie pełni bezpośredniej roli w zakresie egzekwowania unijnego aktu o sztucznej inteligencji wobec AI nieodnoszącej się do produktów leczniczych, jednak jej wytyczne dotyczące AI w opracowywaniu produktów leczniczych i nadzorze nad bezpieczeństwem farmakoterapii mają charakter miarodajny dla spółek z sektora nauk przyrodniczych. Krajowe agencje leków — w tym ANSM (Francja), BfArM (Niemcy) i ich odpowiedniki — sprawują uprawnienia w zakresie nadzoru rynkowego MDR i IVDR i mogą prowadzić dochodzenia dotyczące systemów AI wbudowanych w wyroby medyczne w ramach swojego mandatu dotyczącego nadzoru porejestracyjnego.

Jednostki notyfikowane

W przypadku systemów AI wysokiego ryzyka stanowiących elementy bezpieczeństwa wyrobów medycznych, jednostki notyfikowane wyznaczone na podstawie MDR/IVDR oraz, oddzielnie lub łącznie, na podstawie unijnego aktu o sztucznej inteligencji przeprowadzają oceny zgodności. Ich certyfikaty są warunkiem koniecznym dla uzyskania oznakowania CE. Jednostki notyfikowane mogą zawieszać lub wycofywać certyfikaty w przypadku, gdy nadzór porejestracyjny ujawni niezgodności.

Krajowe organy nadzorcze ds. AI

Każde państwo członkowskie UE wyznaczyło lub wyznacza krajowy organ nadzorczy ds. AI (właściwy organ na podstawie Art. 70 unijnego aktu o sztucznej inteligencji). W sektorze ochrony zdrowia wymagana jest koordynacja między organem nadzorczym ds. AI a krajową agencją leków w przypadku nakładania się jurysdykcji. Organ nadzorczy ds. AI posiada uprawnienia do żądania dokumentacji, przeprowadzania audytów, nakładania środków naprawczych i przekazywania spraw do postępowań w sprawie sankcji finansowych.

Plan zgodności — priorytety dla AI w ochronie zdrowia

Krok 1: Klasyfikacja i ocena zakresu

Mapuj wszystkie systemy AI będące w trakcie opracowywania lub wdrożenia w odniesieniu do Art. 6(1) (element bezpieczeństwa wyrobu medycznego) i Annex III, punkt 5(a) (dostęp do podstawowych usług). Dokumentuj przewidywane zastosowanie każdego systemu z wystarczającą precyzją, aby móc podjąć decyzje klasyfikacyjne zarówno na podstawie aktu o AI, jak i MDR/IVDR. Skonsultuj się z doradcami regulacyjnymi w celu oceny granicznych narzędzi CDS.

Krok 2: Planowanie podwójnej oceny zgodności

Dla każdego systemu AI wysokiego ryzyka będącego jednocześnie wyrobem medycznym zidentyfikuj właściwą ścieżkę oceny zgodności na podstawie MDR/IVDR i ustal, czy wyznaczona jednostka notyfikowana posiada również akredytację na podstawie unijnego aktu o sztucznej inteligencji. Planuj ocenę zgodności jako zintegrowaną procedurę tam, gdzie jest to możliwe, aby ograniczyć powielanie czynności.

Krok 3: Zarządzanie danymi i zgodność z GDPR

Poddaj audytowi zbiory danych treningowych i walidacyjnych dla systemów AI w ochronie zdrowia. Udokumentuj podstawy prawne na podstawie Art. 9(2) GDPR dla wszystkich danych dotyczących zdrowia używanych w procesie opracowywania modeli. Ustanów procedury zarządzania danymi na podstawie Art. 10 unijnego aktu o sztucznej inteligencji i zapewnij ich odzwierciedlenie w dokumentacji technicznej wymaganej przez Annex IV.

Krok 4: Protokoły nadzoru człowieka

Zaprojektuj i wdróż mechanizmy nadzoru człowieka na podstawie Art. 14 dla każdego wdrożenia AI wysokiego ryzyka. Nadzór musi być operacyjnie realistyczny: wymaga przeszkolonego personelu, dostępnych mechanizmów interwencji i integracji z przepływem pracy — nie formalnego odhaczenia punktu na liście. W warunkach ratunkowych z presją czasową projekt nadzoru wymaga szczególnej staranności.

Krok 5: Integracja nadzoru porejestracyjnego

Zaprojektuj system nadzoru porejestracyjnego spełniający wymagania zarówno Annex III MDR (PMCF), jak i Art. 72 unijnego aktu o sztucznej inteligencji. Ustanów procedury zgłaszania incydentów zgodne z harmonogramami nadzoru nad bezpieczeństwem porejestracyjnym MDR (Art. 87: poważne incydenty zgłaszane w ciągu 15 dni) oraz zgłaszania poważnych incydentów na podstawie Art. 73 aktu o AI.

Krok 6: Należyta staranność podmiotu stosującego

Instytucje ochrony zdrowia nabywające narzędzia diagnostyczne AI lub narzędzia CDS od podmiotów trzecich powinny wymagać od dostawców przedłożenia unijnej deklaracji zgodności, instrukcji użytkowania oraz streszczenia dokumentacji technicznej. Umowy zakupu powinny określać obowiązki w zakresie przechowywania logów, odpowiedzialność za zgłaszanie incydentów oraz granice dozwolonego zakresu użytkowania — tak aby uniknąć niezamierzonego przekwalifikowania na dostawcę.