Používání systémů AI třetích stran a LLM: povinnosti provozovatele podle EU AI Act

90 % organizací používajících AI jsou provozovatelé integrující modely třetích stran — OpenAI, Anthropic, Azure AI nebo nástroje SaaS s AI. Porozumějte svým povinnostem: co vám musí poskytovatel poskytnout, co musíte udělat vy a kdy se sami stanete poskytovatelem.

Realita AI třetích stran: většina organizací jsou provozovatelé

Většina evropských organizací používajících AI není ani OpenAI, ani Mistral, ani výzkumná laboratoř. Integrují stávající modely — prostřednictvím API, platformy SaaS, komponenty Azure AI nebo pluginu podnikového nástroje. Salesforce Einstein, Copilot pro Microsoft 365, chatbot HR napájený velkým jazykovým modelem, řešení úvěrového skórování zakoupené od specializovaného dodavatele: ve všech těchto případech jste provozovatelem systému AI vybudovaného někým jiným.

Tuto pozici zastává drtivá většina organizací ovlivněných EU AI Act. Nese přesné povinnosti — odlišné od povinností poskytovatele, ale nezanedbatelné. Může se také vyvíjet: pokud systém upravíte nebo dále prodáváte, váš právní status se změní.

Pochopení vaší pozice v hodnotovém řetězci AI je prvním krokem v jakémkoli úsilí o soulad.

Vaše povinnosti jako provozovatele

Povinnosti provozovatele se liší podle úrovně rizika systému AI, který používáte.

Pro vysoce rizikové systémy AI (Příloha III)

Pokud nasazujete systém AI třetí strany, který se kvalifikuje jako vysoce rizikový (hodnocení úvěruschopnosti, biometrická identifikace, screeningový nábor, řízení kritické infrastruktury atd.), vaše povinnosti podle čl. 26 jsou:

1. Dodržujte pokyny k použití Používejte systém pouze pro zamýšlený účel a v souladu s pokyny, které je poskytovatel povinen dodat. Použití vysoce rizikového systému AI mimo jeho ověřený rozsah je porušením souladu, i když jste pouze provozovatelem.

2. Přiřaďte lidský dohled Jmenujte fyzickou osobu s kompetencí, pravomocí a zdroji k provádění smysluplného lidského dohledu nad výstupy systému AI. Tato osoba musí být schopna pochopit, co systém dělá, detekovat anomálie a přepsat nebo zastavit systém v případě potřeby.

3. Zajistěte kvalitu vstupních dat Zajistěte, aby data, která do systému vkládáte, byla relevantní, dostatečně reprezentativní a vhodná pro zamýšlený účel ve vašem konkrétním kontextu nasazení. Systém ověřený na jedné populaci může fungovat odlišně na vaší — to je riziko, které musíte řídit.

4. Monitorujte provoz a detekujte anomálie Aktivně monitorujte provoz systému pro anomálie, neočekávané výstupy nebo snížení výkonu. To není odpovědnost poskytovatele při nasazení — je to vaše.

5. Uchovávejte protokoly Aktivujte a uchovávejte automatické protokoly produkované systémem po dobu požadovanou zákonem (a jakoukoli odvětvovou regulací, která může platit). Nevypínejte protokolování za účelem úspory úložiště.

6. Hlaste závažné incidenty Pokud zjistíte závažný incident nebo poruchu — takovou, která způsobila nebo mohla způsobit smrt, závažnou újmu, porušení základních práv nebo výrazné škody na majetku — informujte poskytovatele bez zbytečného prodlení. V některých případech (zejména kde nasazení zahrnuje veřejné služby nebo aktivity přesahující do vymáhání práva) může být vyžadováno také přímé hlášení vnitrostátnímu orgánu dozoru nad trhem.

7. Posouzení dopadu na základní práva (orgány veřejné moci) Pokud jste orgánem veřejné moci nebo soukromým subjektem nasazujícím systémy AI v oblastech pravděpodobně ovlivňujících základní práva (zdravotní péče, sociální služby, vzdělávání, vymáhání práva), musíte provést Posouzení dopadu na základní práva před nasazením (čl. 27).

Pro systémy AI pouze s povinností transparentnosti (čl. 50)

Pokud nasazujete chatbota, systém obsahu generovaného AI nebo nástroj pro rozpoznávání emocí, který není vysoce rizikový, ale spadá pod povinnosti transparentnosti čl. 50, musíte:

• Informovat uživatele, že interagují se systémem AI (čl. 50(1))
• Zajistit, aby obsah generovaný AI byl technicky označen (čl. 50(4)), kde platí
• Informovat vystavené osoby, když se používá rozpoznávání emocí nebo biometrická kategorizace (čl. 50(2)–(3))

Tyto povinnosti platí i při používání API třetí strany nebo nástroje SaaS. Poskytovatel je zodpovědný za zabudování technické schopnosti; vy jste zodpovědní za její aktivaci a zajištění, aby zveřejnění skutečně dosáhlo uživatelů.

Pro systémy AI s minimálním rizikem

Žádné specifické právní povinnosti podle AI Act. Platí dobrovolné kodexy chování. Osvědčená praxe řízení stále doporučuje základní dokumentaci používaných systémů AI a pravidelný přezkum jejich výkonu.

Co požadovat od vašeho poskytovatele AI třetí strany

Vaše schopnost plnit povinnosti provozovatele závisí přímo na tom, co vám poskytovatel dává. EU AI Act vyžaduje, aby poskytovatelé vysoce rizikových systémů AI dodávali konkrétní informace — a poskytovatelé modelů GPAI mají paralelní dokumentační povinnosti. Použijte tento kontrolní seznam při pořizování AI třetích stran:

Pro jakýkoli systém AI

• Popis systému: Co systém dělá, jaké vstupy přijímá, jaké výstupy produkuje a jaká rozhodnutí může ovlivňovat?
• Zamýšlený účel: Pro které přesně případy použití byl systém navržen, ověřen a schválen?
• Známá omezení: Za jakých podmínek systém funguje špatně? Které populace, jazyky nebo typy dat jsou mimo jeho ověřený rozsah?
• Pokyny k použití: Úplná sada pokynů, které je poskytovatel povinen dodat podle čl. 13 pro vysoce rizikové systémy

Specificky pro vysoce rizikové systémy

• Prohlášení o shodě nebo přehled výsledků posouzení shody
• Dokumentace řízení rizik — jaká rizika byla identifikována a jak byla zmírněna?
• Výsledky testování zkreslení a spravedlnosti — které chráněné charakteristiky byly testovány, jaké metriky byly použity a jaké výsledky byly nalezeny?
• Metriky výkonu — přesnost, míry falešně pozitivních/negativních a disagregovaný výkon podle příslušných demografických skupin
• Schopnost protokolování — potvrzení, že systém generuje protokoly požadované čl. 12, a pokyny pro jejich přístup a uchovávání
• Postup oznamování incidentů — koho kontaktovat, v jakém časovém rámci a jakým kanálem, když dojde k závažnému incidentu
• Politika aktualizací — jak vás poskytovatel informuje o materiálních aktualizacích a jaká opětovná validace je požadována po aktualizacích?

Pro modely GPAI (API a přístup k základním modelům)

• Modelová karta nebo technický přehled — schopnosti, omezení, přehled trénovacích dat, výsledky hodnocení
• Prohlášení o souladu s autorským právem — jak poskytovatel řeší autorské právo pro trénovací data a výstupy?
• Politika přijatelného použití — jaké případy použití jsou poskytovatelem zakázány a co se stane, pokud je porušíte?
• Podmínky zpracování dat — jak poskytovatel nakládá s vašimi vstupními daty? Jsou používána pro další trénování?

Kdy se stanete poskytovatelem

Čl. 25 EU AI Act je zásadní pro uživatele AI třetích stran: definuje, kdy provozovatel přechází do role poskytovatele a přebírá všechny povinnosti poskytovatele.

Stanete se poskytovatelem, když:

1. Podstatně upravíte vysoce rizikový systém AI

Pokud vezmete vysoce rizikový systém AI a provedete podstatné změny nad rámec toho, co poskytovatel zamýšlel — změníte model, přetrénujete na svých datech, změníte základní logiku — jste nyní poskytovatelem nového nebo podstatně upraveného systému. Platí všechny povinnosti poskytovatele: posouzení shody, technická dokumentace, označení CE, registrace v databázi AI EU.

Klíčová otázka: Je vaše přizpůsobení „použití v zamýšlených parametrech" nebo „vývoj nové schopnosti"? Doladění modelu na vašich doménových datech může nebo nemusí být podstatnou modifikací v závislosti na stupni změny a zda ovlivňuje profil rizika.

2. Změníte zamýšlený účel na vysoce rizikový

Pokud vezmete systém neklasifikovaný jako vysoce rizikový a nasadíte jej pro případ použití s vysokým rizikem — použijete obecný textový klasifikátor k rozhodování o zaměstnání, například — změnili jste zamýšlený účel způsobem, který spouští klasifikaci vysokého rizika. Stáváte se poskytovatelem vysoce rizikového systému AI a musíte splňovat všechny povinnosti poskytovatele pro toto nasazení.

3. Uvedete systém na trh pod svým jménem

Pokud zakoupíte nebo licencujete systém AI a dále jej prodáváte nebo nabízíte ostatním jako svůj vlastní produkt (white-labelling), uvádíte jej na trh pod svým jménem a stáváte se poskytovatelem. To je běžné v sektoru SaaS: integrace modelu třetí strany do vašeho vlastního produktu vás činí poskytovatelem pro tento produkt.

4. Provedete zásadní změny modelu GPAI

Pokud vezmete model GPAI a provedete zásadní změny jeho schopností nebo případu použití — nad rámec doladění v rámci zamýšlených parametrů poskytovatele — můžete se stát poskytovatelem nového modelu GPAI s vlastními povinnostmi Kapitoly V.

Smluvní ochrany pro provozovatele

Protože váš soulad závisí na tom, co vám poskytovatel dává, jsou vaše smlouvy s dodavateli AI třetích stran kritickým nástrojem souladu. Klíčové doložky k zahrnutí:

Informační práva

• Právo na přijímání pravidelně aktualizované verze pokynů k použití
• Právo na přístup k prohlášení o shodě a přehledu posouzení shody
• Právo na přijímání výsledků testování zkreslení a metrik výkonu
• Právo na přijímání dokumentace materiálních aktualizací modelu před nasazením

Správa incidentů

• Povinnost poskytovatele vás informovat o jakýchkoli závažných incidentech nebo zranitelnostech, o nichž se dozvědí, ve stanoveném časovém rámci
• Jasný kanál a proces pro hlášení incidentů poskytovateli
• Závazek poskytovatele spolupracovat s vašimi vyšetřováními incidentů a regulačními dotazy

Práva na audit

• Právo na audit nebo na přijímání auditních zpráv o souladu poskytovatele s povinnostmi AI Act
• Právo na vyžádání aktualizované dokumentace při výrazných změnách

Aktualizační povinnosti

• Poskytovatel vás musí informovat před nasazením materiálních aktualizací systému AI
• Poskytovatel musí poradit, zda aktualizace tvoří podstatnou modifikaci vyžadující opětovnou validaci
• Kontinuita dokumentace — aktualizovaná technická dokumentace musí být dodána s každou materiální aktualizací

Přidělení odpovědnosti

• Jasnost ohledně toho, která strana je zodpovědná za které povinnosti podle čl. 25
• Odškodnění za ztráty vyplývající z nesouladu poskytovatele s dodavatelskými povinnostmi
• Ustanovení o omezení odpovědnosti, která nenarušují vaši schopnost plnit regulační povinnosti

Trh s dodavateli AI: co sledovat

Trh s nástroji a službami AI se rychle vyvíjí a postoj dodavatelů k souladu s EU AI Act se výrazně liší:

• Velcí cloudoví a AI poskytovatelé (Microsoft, Google, AWS, OpenAI, Anthropic) výrazně investovali do řízení AI a dokumentace souladu GPAI. Jejich podmínky služby a modelové karty poskytují více informací než většina ostatních dodavatelů.
• Specializovaní vertikální dodavatelé AI (HR tech, legal tech, fintech, healthtech) jsou v různé fázi připravenosti na EU AI Act. Mnoho z nich jsou MSP, která dosud plně nemapovala své povinnosti.
• Zabudovaná AI v nástrojích SaaS (funkce AI v CRM, ERP, produktivitních nástrojích) nemusí být prodávána jako „AI produkty" — ale pokud přijímají nebo ovlivňují důsledná rozhodnutí o jednotlivcích, platí povinnosti EU AI Act.

Nákupní týmy by měli přidat screening souladu s AI Act do due diligence dodavatelů — žádat dodavatele, aby potvrdili svůj status souladu, poskytli dokumentaci shody pro vysoce rizikové systémy a zavázali se k průběžnému sdílení informací s vývojem regulačního prostředí.