AI Act ve školství, zdravotnictví a veřejné správě: kde začíná vysoce rizikové použití AI

Aktualizováno 10. srpna 2026. Umělá inteligence může škole pomoci s přípravou materiálů, nemocnici s administrativou a úřadu s tříděním žádostí. Stejný typ technologie však může v jiném kontextu rozhodovat o přijetí ke studiu, pořadí pacientů na pohotovosti nebo přístupu člověka k sociální dávce. Právě účel a dopad používání rozhodují o tom, zda se dostáváme do režimu vysoce rizikového systému podle AI Actu.

Vysoké riziko neznamená, že je použití AI automaticky zakázané. Znamená, že systém musí splnit přísnější pravidla pro řízení rizik, kvalitu dat, dokumentaci, logování, lidský dohled, přesnost, kybernetickou bezpečnost a kontrolu po uvedení do provozu. Provozovatel pak musí AI používat podle pokynů, sledovat její fungování, vést záznamy a reagovat na rizika.

Tento článek je praktický průvodce pro školy, nemocnice, obce, úřady, příspěvkové organizace, dodavatele software a webové agentury. Ukazuje, kdy může jít o vysoce rizikovou AI, kdy je naopak možné použít jednodušší nástroj, jak zapojit lidské rozhodování a jak si připravit dokumentaci před prvním spuštěním. Nejde o individuální právní posouzení konkrétního systému.

Krátká odpověď: rozhodující není to, zda se nástroj jmenuje „AI asistent“, ale co má dělat a jak může ovlivnit člověka. AI pro přijímání studentů, hodnocení výsledků, emergency triáž, prioritu zásahu nebo přístup k základní veřejné službě typicky spadá do citlivých oblastí přílohy III. Pomocný nástroj, který pouze přepíše text, vyhledá dokument nebo připraví návrh bez vlivu na konečné posouzení, může být mimo režim vysokého rizika. Výjimku ale nelze předpokládat bez zdokumentovaného posouzení.

Jak AI Act určuje vysoké riziko

Článek 6 AI Actu pracuje se dvěma hlavními cestami:

1. AI jako bezpečnostní prvek nebo regulovaný výrobek: systém je součástí výrobku upraveného unijními harmonizačními předpisy a výrobek podléhá posouzení shody třetí stranou. Typickým příkladem může být AI, která plní bezpečnostní funkci zdravotnického prostředku.
2. AI uvedená v příloze III: systém je určen pro konkrétní citlivou oblast, například vzdělávání, přístup k základním službám, emergency dispečink nebo některé činnosti veřejných orgánů.

U systémů z přílohy III existuje omezená výjimka pro případy, kdy systém nepředstavuje významné riziko a podstatně neovlivňuje výsledek rozhodování. Může jít například o úzce procesní úkol, přípravu podkladů nebo odhalení odchylek, které následně posoudí člověk. Výjimka ale neplatí, pokud systém profiluje fyzické osoby, a dodavatel musí své posouzení zdokumentovat.

Stejný model proto může mít různé zařazení podle použití. Nástroj, který učiteli navrhne otázky k opakování, není stejná věc jako systém, který podle odpovědí určí, do jaké vzdělávací úrovně bude žák zařazen. Software, který přepíše záznam z pohotovosti, není automaticky stejný jako systém, který určí prioritu pacientů.

OtázkaCo zjistitProč je důležitá Co AI dělá?Generuje text, třídí žádosti, doporučuje, skóruje, rozhoduje nebo spouští akci.Pomocný výstup má jiný dopad než rozhodnutí o člověku. Koho ovlivňuje?Studenty, pacienty, žadatele o dávku, obyvatele, zaměstnance nebo veřejnost.Citlivost skupiny a nerovnováha moci zvyšují riziko. Co se stane po výstupu?Člověk výsledek ověří, nebo ho systém automaticky použije pro další krok.Formální lidský podpis nestačí, pokud člověk nemá čas a pravomoc výsledek změnit. Je osoba profilována?Model vytváří skóre nebo závěr o vlastnostech a chování konkrétní osoby.Profilování může vyloučit použití výjimky pro nízký význam dopadu.

Školství: přijetí, hodnocení a dohled nad testy

Příloha III bod 3 uvádí čtyři skupiny použití AI ve vzdělávání a odborné přípravě. Do vysokého rizika patří systémy určené:

• k rozhodování o přístupu, přijetí nebo přiřazení člověka ke vzdělávací instituci či odborné přípravě;
• k hodnocení výsledků učení, pokud se výsledky používají k řízení vzdělávacího procesu;
• k posouzení vhodné úrovně vzdělávání, kterou člověk obdrží nebo ke které bude mít přístup;
• k monitorování a odhalování zakázaného chování studentů při testech.

Co může být vysoce rizikové

Typickým příkladem je systém, který seřadí uchazeče o studium a jeho skóre přímo ovlivní přijetí. Stejně tak může jít o vysoké riziko u systému, který z odpovědí a chování žáka určí, zda bude zařazen do běžné, rozšířené nebo podpůrné úrovně vzdělávání. U testů může být relevantní AI, která sama odhaluje údajné opisování nebo jiné zakázané chování a spouští další postih.

Opatrnost je nutná i u „pouhého doporučení“. Pokud učitel skutečně posoudí podklady, má dost informací a může výsledek odmítnout nebo opravit, může jít o přípravný nástroj. Pokud ale doporučení v praxi automaticky určuje přístup k výuce, odklad zkoušky nebo přeřazení žáka, jeho skutečný dopad je významnější než název v interní dokumentaci.

Co si hlídat u dětí a studentů

• Jasně oddělte návrh učebního materiálu od hodnocení člověka.
• Definujte, kdo může změnit AI výsledek a jak se student nebo rodič dozví o důvodu.
• Testujte rozdíly mezi skupinami, včetně jazyka, zdravotního znevýhodnění a podpůrných opatření.
• Neukládejte více údajů o chování, než je nutné pro konkrétní vzdělávací účel.
• Určete, jak se opraví chybný výsledek a jak se zkontrolují dříve ovlivněná rozhodnutí.

AI Act navíc zakazuje používání systémů pro rozpoznávání emocí ve vzdělávacích institucích, s úzkou výjimkou použití z lékařských nebo bezpečnostních důvodů. Kamera, která se snaží z výrazu obličeje vyhodnotit „pozornost“, „motivaci“ nebo „poctivost“ žáka, proto není běžný nástroj pro zlepšení výuky, který by stačilo schovat do školního řádu.

Praktický příklad: AI opravuje eseje

Varianta A – nižší dopad: nástroj navrhne gramatické opravy a učitel text zkontroluje. Skóre se nepřenáší do klasifikace a žák může dostat zpětnou vazbu od člověka.

Varianta B – pravděpodobně vysoké riziko: systém přidělí známku, výsledek se automaticky uloží do klasifikace a ovlivní přijetí do dalšího programu. Tady AI přímo ovlivňuje hodnocení vzdělávacího výsledku a je nutné posoudit režim přílohy III.

Rozdíl není v tom, zda model umí psát hezké komentáře. Rozdíl je v tom, zda jeho výstup rozhoduje o cestě konkrétního studenta.

Zdravotnictví: bezpečnost, triáž a zdravotnické prostředky

U zdravotnictví je důležité vyhnout se zjednodušení „všechno zdravotnické je high-risk“ i opačnému omylu „když rozhoduje člověk, není to high-risk“. Rozhodující je účel, dopad, vazba na regulovaný výrobek a to, zda AI určuje prioritu nebo přístup k péči.

Čtyři odlišné režimy

• Zdravotnický prostředek: AI může být vysoce riziková jako bezpečnostní prvek nebo výrobek, pokud spadá pod unijní harmonizační pravidla a vyžaduje posouzení shody.
• Emergency triáž: systémy pro klasifikaci tísňových volání, dispečink první pomoci a stanovení priority v emergency zdravotní triáži jsou uvedeny v příloze III bodu 5(d).
• Veřejná zdravotní služba: systém používaný veřejným orgánem k posouzení nároku nebo přístupu k základní zdravotní službě může spadat pod bod 5(a).
• Podpůrný nástroj: přepis, vyhledávání dokumentace nebo návrh administrativního záznamu nemusí být samo o sobě vysoce rizikové, pokud neovlivňuje klinické rozhodnutí nebo přístup k péči.

AI používaná lékařem pro návrh možných diagnóz proto není automaticky v jedné kategorii. Pokud je součástí zdravotnického prostředku, uplatní se pravidla pro regulovaný výrobek. Pokud pouze vyhledává informace v interních dokumentech a lékař výsledek používá jako jeden z podkladů bez rozhodovací funkce, může být kvalifikace jiná. Účel uvedený v dokumentaci, reálná praxe a smlouva s dodavatelem musí být v souladu.

Emergency triáž není jen „rychlejší inbox“

Systém, který pouze převede nekvalitní telefonní nahrávku do textu, může mít jiný režim než systém, který z hovoru vyhodnotí život ohrožující stav a posune volání v pořadí. AI Office uvádí jako vysoce rizikové i podpůrné nástroje, které pracovníkovi v reálném čase pomáhají klasifikovat závažnost hovoru, přestože konečné rozhodnutí zůstává na člověku.

U triáže musí být lidský dohled skutečný: pracovník musí mít možnost výsledek ignorovat, znát jeho omezení, dostat podklady včas a mít pravomoc zvolit naléhavější postup. Pokud je systém nastaven tak, že pracovník pouze potvrzuje pořadí, které už nejde rozumně změnit, je „člověk v procesu“ spíše formalita.

Praktický příklad: nemocniční chatbot

Mimo typickou triáž: chatbot pomůže objednat termín, zobrazí otevírací dobu a předá běžný dotaz recepci. Nesmí však předstírat, že poskytuje lékařskou diagnózu.

Vyšší riziko: chatbot položí otázky, vyhodnotí naléhavost psychické krize a podle skóre určí, zda se spustí emergency intervence. Zde už může jít o první emergency triáž, i když systém nenazýváme „diagnostickým nástrojem“.

U zdravotních dat se současně řeší GDPR, zejména zvláštní kategorie osobních údajů, přístupová práva, minimalizace, bezpečnost a posouzení vlivu na ochranu osobních údajů. AI Act tyto povinnosti nenahrazuje.

Veřejná správa: dávky, služby a rozhodnutí o člověku

Příloha III bod 5(a) se týká AI používané veřejnými orgány nebo jejich jménem k posuzování způsobilosti člověka pro základní veřejnou pomoc a služby, včetně zdravotních služeb, a k přiznání, snížení, odejmutí nebo vymáhání těchto nároků.

Vysoké riziko se netýká jen automatického rozhodnutí. Relevantní může být i doporučení, skóre, pořadník nebo označení žádosti k dalšímu přezkoumání, pokud materiálně ovlivní, zda člověk službu dostane, kdy ji dostane nebo zda bude jeho žádost zamítnuta.

Příklady v rozsahu

• AI posuzuje nárok na příspěvek na bydlení nebo jinou dávku.
• AI řadí žádosti o sociální bydlení podle naléhavosti a pořadí ovlivní přidělení omezené kapacity.
• AI označí žádosti jako podezřelé a tím je odloží, pozastaví nebo předá k řízení, které může vést k odmítnutí dávky.
• AI pomáhá posoudit nárok na domácí péči nebo přístup ke zdravotní službě.
• AI klasifikuje volání na tísňovou linku nebo řídí prioritu výjezdu.

Příklady mimo tento konkrétní rozsah

• AI anonymně pomůže vyhledat vhodný podpůrný program, aniž posuzuje nárok, vylučuje žadatele nebo mění pořadí.
• AI předvyplní formulář z údajů, které člověk sám zadal, a žádné rozhodnutí o přístupu ke službě neprovádí.
• AI přepíše jednání, vyhledá předpis nebo navrhne interní shrnutí, které nemá vliv na rozhodnutí.

„Člověk to nakonec podepíše“ není automatická výjimka. Pokud pracovník nemá čas, podklady nebo oprávnění výsledek změnit, AI může ve skutečnosti materiálně ovlivňovat rozhodnutí. Každý úřad by měl popsat, jak často člověk výstup odmítá, jak řeší odchylky a zda občan může požádat o přezkoumání.

Co je společné pro všechny tři oblasti

U školství, zdravotnictví i veřejné správy se opakují stejné otázky:

OblastPraktická otázkaDůkaz připravenosti ÚčelJe přesně popsáno, co AI smí a nesmí dělat?Schválený popis účelu a scénářů použití. DataJsou vstupy relevantní, kvalitní a dostatečně reprezentativní?Datový list, zdroje, pravidla aktualizace a testy. ČlověkKdo dohlíží, rozumí omezením a může rozhodnutí změnit?Určená role, školení, pravomoc a eskalační kontakt. Dotčená osobaVí člověk, že je používán high-risk systém, a jak se může ozvat?Oznámení, postup námitky a kontaktní místo. ZáznamyUmíme zpětně zjistit, jak AI dospěla k výstupu?Logy, verze modelu, vstupy, výstupy a auditní stopa. NápravaCo se stane, když systém selže nebo se změní data?Stop-kritéria, ruční režim, oprava a kontrola dotčených případů.

Povinnosti provozovatele vysoce rizikové AI

Článek 26 AI Actu ukládá provozovateli několik povinností. V praxi nejde o jednorázové „zaškrtnutí compliance“, ale o provozní systém:

1. Používat systém podle pokynů: účel, nastavení a podmínky použití musí odpovídat dokumentaci dodavatele.
2. Určit lidský dohled: člověk musí mít kompetenci, školení, podporu a pravomoc zasáhnout.
3. Hlídát vstupní data: pokud je provozovatel ovládá, musí být relevantní a dostatečně reprezentativní pro určený účel.
4. Monitorovat provoz: sledujte chyby, odchylky, rozdíly mezi skupinami, změny dat a stížnosti.
5. Uchovávat logy: automaticky generované záznamy, které má provozovatel pod kontrolou, se podle čl. 26 uchovávají po dobu odpovídající účelu, nejméně šest měsíců, pokud jiný předpis nestanoví jinak.
6. Eskalovat riziko a incident: při důvodném podezření na riziko informujte dodavatele a příslušný orgán a v nutném případě používání pozastavte.
7. Informovat dotčené osoby: u relevantních systémů přílohy III musí člověk vědět, že je předmětem použití vysoce rizikové AI.
8. Propojit AI Act s GDPR: pokud je to relevantní, použijte informace od dodavatele pro posouzení vlivu na ochranu osobních údajů.

U veřejných orgánů je navíc důležitá registrace. Veřejný úřad nebo jiný subjekt jednající jeho jménem musí před použitím vysoce rizikového systému z přílohy III splnit registrační povinnosti podle článku 49 a ověřit, že systém je v unijní databázi registrován.

Posouzení dopadu na základní práva

Článek 27 zavádí pro vymezené provozovatele před prvním použitím vysoce rizikové AI posouzení dopadu na základní práva. Týká se zejména subjektů veřejného práva, soukromých subjektů poskytujících veřejné služby a některých systémů v oblasti úvěrů a pojištění. U systémů kritické infrastruktury uvedených v bodě 2 přílohy III je v článku 27 výjimka.

Posouzení má popsat:

• proces, ve kterém se systém použije;
• dobu a četnost používání;
• skupiny lidí, kterých se používání může dotknout;
• konkrétní rizika pro jejich práva;
• lidský dohled;
• opatření při naplnění rizika, včetně vnitřního řízení a mechanismu stížností.

Posouzení dopadu na základní práva není totéž co DPIA podle GDPR. Pokud se překrývají, mohou se doplňovat, ale jedna dokumentace nesmí pouze přejmenovat druhou a vynechat otázky diskriminace, přístupu ke službě, vysvětlitelnosti nebo možnosti nápravy.

Jak má vypadat skutečný lidský dohled

Lidský dohled není jen kolonka „schválil pracovník“. Kompetentní osoba musí být schopná:

• rozpoznat, kdy je výstup nepravděpodobný nebo mimo účel;
• rozumět hlavním omezením systému a kvalitě vstupních dat;
• výsledek odmítnout, upravit nebo požádat o nové posouzení;
• pozastavit použití systému, pokud vzniká riziko;
• zohlednit další informace, které AI nevidí;
• popsat důvod odchylky a zajistit nápravu dotčeného člověka.

Ve zdravotnictví musí být pracovník schopen řešit falešně nízkou naléhavost. Ve škole musí umět přezkoumat nespravedlivé hodnocení. Úředník musí umět ověřit podklady a neodmítnout žádost jen proto, že algoritmus označil žadatele jako neobvyklého. Bez této pravomoci se dohled mění v mechanické potvrzování.

Praktické scénáře

Scénář 1: Přijímací řízení na střední školu

Škola používá model, který z přihlášek vytvoří pořadí uchazečů a doporučí, koho přijmout. Pořadí je podkladem pro kapacitní rozhodnutí. Jde o použití v příloze III bodu 3(a). Škola potřebuje znát účel, vstupní data, způsob lidského přezkumu, testy rovného zacházení, pravidla opravy a komunikaci vůči uchazečům.

Scénář 2: Nemocniční systém pro urgentní příjem

Systém přiřadí pacientovi prioritu podle popisu potíží a vitálních údajů. Lékař může pořadí změnit, ale systém určuje výchozí frontu. To odpovídá citlivému použití emergency zdravotní triáže. Před spuštěním musí být jasné, kdo rozhoduje, co se stane při výpadku, jak se řeší rozpor mezi výstupem a stavem pacienta a jak se vyhodnocují falešné negativní výsledky.

Scénář 3: Obec přiděluje sociální bydlení

Model zpracuje příjmy, velikost domácnosti, zdravotní situaci a další podklady. Vytvoří pořadí žadatelů, které určuje, kdo dostane nabídku jako první. I když konečný dokument podepíše komise, algoritmus může materiálně ovlivnit přístup k základní veřejné službě. Je nutné posoudit vysoké riziko, základní práva, profilování, diskriminaci, vysvětlení a možnost námitky.

Scénář 4: Obecní chatbot

Chatbot odpovídá na úřední hodiny a odkazuje na formuláře. Nevyhodnocuje nárok, neprioritizuje žádosti a nečiní rozhodnutí. Pravděpodobně řeší především transparentnost interakce, ochranu dat a kvalitu odpovědí. Pokud začne občanům říkat, že na dávku „nemají nárok“, nebo žádosti na základě profilu odkládat, mění se jeho účel i rizikový profil.

Plán implementace na 30, 60 a 90 dní

Prvních 30 dní: inventura a účel

• sepište všechny AI funkce, dodavatele, modely a procesy;
• u každé funkce popište, koho ovlivňuje a co se stane po výstupu;
• označte systémy ve školství, zdravotnictví, dávkách, službách a dispečinku;
• zjistěte, zda dodavatel tvrdí, že systém je vysoce rizikový, nebo má zdokumentovanou výjimku;
• dočasně zakažte použití, u kterého není jasné, kdo rozhoduje a jak se opraví chyba.

Do 60 dní: posouzení a kontrola

• proveďte klasifikaci podle článku 6 a přílohy III;
• připravte DPIA a případně posouzení dopadu na základní práva;
• definujte kompetentní lidský dohled, stop-kritéria a náhradní postup;
• otestujte data na chybovost a rozdíly mezi relevantními skupinami;
• nastavte logy, přístupy, retenci a pravidla pro incidenty.

Do 90 dní: pilot a provoz

• spusťte omezený pilot s ruční kontrolou a předem definovanými metrikami;
• měřte falešné pozitivní a negativní výsledky, námitky a ruční opravy;
• ověřte, že uživatelé rozumějí oznámení a že se umí dostat k člověku;
• připravte pravidelnou kontrolu po aktualizaci modelu, dat nebo procesu;
• zdokumentujte rozhodnutí o spuštění, omezení nebo ukončení funkce.

Kontrolní seznam

• Je popsán konkrétní účel systému a jeho zakázané použití?
• Spadá použití do článku 6 nebo některého bodu přílohy III?
• Nezaměňujeme přípravný nástroj za systém, který materiálně ovlivňuje rozhodnutí?
• Neobsahuje systém profilování, které vylučuje použití výjimky podle článku 6(3)?
• Je u školy oddělen návrh zpětné vazby od známky, přijetí a zařazení?
• Je u zdravotnictví oddělen přepis nebo vyhledávání od triáže a klinického rozhodnutí?
• Je u veřejné správy popsán vliv skóre na dávku, bydlení, péči nebo pořadí?
• Existuje kompetentní člověk s časem a pravomocí výsledek změnit?
• Jsou vstupní data relevantní, kvalitní, aktuální a dostatečně reprezentativní?
• Jsou vedené logy a záznamy o verzi modelu, vstupu, výstupu a lidském zásahu?
• Je zajištěno informování dotčených osob a možnost námitky nebo přezkumu?
• Je hotové DPIA a případně posouzení dopadu na základní práva?
• Je veřejný orgán registrován a ověřil registraci systému v EU databázi?
• Máme postup pro incident, výpadek, chybný výstup a návrat k ručnímu procesu?
• Je smluvně popsáno, kdo dodává dokumentaci, reaguje na chybu a oznamuje změny modelu?

Závěr

Ve školství, zdravotnictví a veřejné správě se nevyplatí začínat otázkou „jaký AI nástroj koupíme“. Začněte otázkou, jaké rozhodnutí nebo službu chce organizace zlepšit, koho může výsledek poškodit a kdo bude mít poslední slovo.

Pokud AI pouze přepíše text, vyhledá dokument nebo připraví návrh bez vlivu na člověka, může být cesta jednodušší. Jakmile ale systém rozhoduje o přijetí, známce, naléhavosti péče, dávce, pořadí nebo přístupu ke službě, potřebujete klasifikaci, dokumentaci, lidský dohled a průběžné měření. Odpovědnost nejde odstranit tím, že konečný podpis zůstane u člověka.

Potřebujete navrhnout bezpečný AI nástroj pro školu, nemocnici, obec nebo veřejnou službu? Popište nám svůj projekt. Pomůžeme vám s rozdělením účelu, dat, rolí, logování a technického řešení tak, aby automatizace zůstala kontrolovatelná. Prohlédnout si můžete také naše služby, reference a způsob spolupráce.

Ověřené zdroje a další čtení

• AI Act Service Desk: článek 6 – klasifikace vysoce rizikových systémů – dvě základní cesty vysokého rizika a omezená výjimka pro některé případy.
• AI Act Service Desk: příloha III – vysoce rizikové oblasti – vzdělávání, základní veřejné služby, emergency dispečink a další kategorie.
• AI Act Service Desk: vzdělávání a odborná příprava – příklady použití v rozsahu i mimo rozsah vysokého rizika.
• AI Act Service Desk: základní služby – dávky, veřejné služby, zdravotní služby, emergency hovory a triáž.
• AI Act Service Desk: článek 26 – povinnosti provozovatelů – lidský dohled, data, monitoring, logy, informování a registrace veřejných orgánů.
• AI Act Service Desk: článek 27 – posouzení dopadu na základní práva – rozsah, obsah, aktualizace a návaznost na DPIA.
• AI Act Service Desk: článek 14 – lidský dohled – kompetence, pravomoc a opatření proti rizikům.
• AI Act Service Desk: článek 5 – zakázané praktiky AI – včetně zákazu rozpoznávání emocí ve vzdělávacích institucích s vymezenou výjimkou.
• AI Act Service Desk: článek 49 – registrace – registrace vysoce rizikových systémů a použití veřejnými orgány.
• GDPR, nařízení (EU) 2016/679 – ochrana zdravotních, školních a dalších osobních údajů, DPIA a automatizované rozhodování.
• Nařízení (EU) 2017/745 o zdravotnických prostředcích – relevantní rámec pro AI jako součást zdravotnického prostředku.
• Nařízení (EU) 2017/746 o diagnostických zdravotnických prostředcích in vitro – relevantní rámec pro diagnostické prostředky.

Informace v článku vycházejí z uvedených oficiálních zdrojů dostupných k 10. srpnu 2026. Konkrétní klasifikace závisí na účelu, datech, skutečném dopadu, roli organizace a způsobu nasazení. Před použitím AI ve vzdělávání, zdravotnictví nebo veřejné službě si nechte posoudit konkrétní proces.