Bezpečnost a etika AI ve firmě: praktický průvodce odpovědným použitím

Bezpečné používání AI není jen otázka toho, zda má firma silné heslo k API. Umělá inteligence může selhat jinak než běžná aplikace: přesvědčivě si vymyslet informaci, podlehnout skrytému pokynu v dokumentu, prozradit část kontextu, převzít zkreslení z dat nebo změnit chování po aktualizaci modelu.

Etika a bezpečnost se v AI potkávají. Bezpečnost chrání systém, data a provoz před útokem. Etika se ptá, zda je použití přiměřené, férové, vysvětlitelné a zda člověk neztrácí možnost rozhodnutí. AI Act tyto principy promítá do konkrétních požadavků na lidský dohled, robustnost, přesnost, kybernetickou bezpečnost a řízení rizik, především u vysoce rizikových systémů.

Krátká odpověď: u každého AI use case popište účel, data, možné zneužití, výstup a člověka odpovědného za kontrolu. Poté nastavte nejmenší potřebná oprávnění, testujte útoky a chyby, logujte důležité události a mějte cestu zpět k ručnímu procesu.

Proč běžné IT zabezpečení nestačí

AI systém má klasické komponenty, jako jsou server, databáze, API klíče a uživatelské účty, ale také specifické části:

• trénovací, validační a znalostní data,
• model, jeho váhy a systémové instrukce,
• prompt, kontext, nástroje a napojené zdroje,
• výstup, který může být nesprávný, škodlivý nebo citlivý,
• zpětná vazba, která může ovlivnit další chování systému.

Bezpečnost proto řešte v celém životním cyklu: od výběru nástroje přes vývoj a testování až po provoz, aktualizace, incident a vyřazení.

1. Únik osobních a důvěrných dat

Nejjednodušší cesta k problému vede přes vstup. Zaměstnanec vloží do veřejného nástroje celý e-mail, smlouvu, životopis nebo export CRM, přestože pro úkol stačí několik anonymizovaných údajů. Riziko nevzniká jen při trénování modelu. Data mohou zůstat v historii, logu, analytice, záloze nebo u subdodavatele.

Praktická opatření

• rozdělte nástroje na schválené, omezené a zakázané,
• před odesláním odstraňujte jména, e-maily, adresy a identifikátory,
• zakazujte vkládání přístupových údajů, klíčů a platebních dat,
• nastavte retenční dobu a vypněte využití dat pro trénování, pokud je to relevantní,
• omezujte přístup k promptům, logům a výstupům podle rolí.

Pseudonymizace snižuje riziko, ale pokud lze osobu znovu identifikovat, jde stále o osobní údaje podle GDPR. Bezpečnostní opatření musí odpovídat citlivosti dat i dopadu případného úniku.

2. Prompt injection

Prompt injection je situace, kdy vstupní text nebo dokument obsahuje instrukci, která se pokusí změnit chování modelu. Může být přímá, například „ignoruj předchozí pravidla“, nebo nepřímá, skrytá v e-mailu, webové stránce, PDF či poznámce v databázi.

Riziko je vyšší, pokud má AI přístup k nástrojům: e-mailu, CRM, objednávkám, souborům nebo API. Model pak nemusí jen odpovědět špatně. Může připravit neoprávněnou akci, vyzradit kontext nebo přenést škodlivý pokyn do dalšího systému.

Jak se bránit

• oddělit instrukce systému od nedůvěryhodného obsahu,
• nepovažovat text z dokumentu nebo webu za oprávněný příkaz,
• omezit nástroje na konkrétní akce a rozsah dat,
• vyžadovat potvrzení člověka před odesláním, smazáním nebo změnou,
• testovat dokumenty s pokyny, skrytými znaky a konfliktními instrukcemi,
• logovat zdroj vstupu a provedenou akci.

Nejbezpečnější návrh je takový, ve kterém model nemůže sám provést nevratnou nebo významnou operaci.

3. Otrávení dat a modelu

Otrávení dat znamená úmyslnou nebo nechtěnou úpravu dat tak, aby ovlivnila trénování, vyhledávání nebo budoucí výstup systému. Může jít o falešné záznamy v databázi, záměrně špatné dokumenty ve znalostní bázi nebo zmanipulovanou zpětnou vazbu.

U běžného chatbotu je důležité oddělit, kdo může přidat dokument do znalostního zdroje, kdo jej schvaluje a jak se nová verze vrací zpět. U modelu, který se průběžně učí z provozu, musí firma sledovat zpětné vazby a zabránit tomu, aby jeden útok nebo skupina chybných dat změnila chování systému.

4. Halucinace a nesprávné výstupy

Halucinace je výstup, který zní přesvědčivě, ale není podložený vstupem nebo skutečností. U interního brainstormingu může být nepříjemná. U odpovědi zákazníkovi, právní informace, cenové nabídky nebo zdravotního doporučení může způsobit významnou škodu.

Jak snížit dopad

• omezit systém na důvěryhodné zdroje a jasný rozsah,
• vyžadovat citace nebo odkaz na zdroj,
• přikázat modelu říct „nevím“, pokud podklad chybí,
• validovat čísla a obchodní pravidla proti zdrojovému systému,
• v citlivých procesech nechat výstup schválit kompetentním člověkem,
• uchovávat verzi vstupu a výstupu pro zpětnou kontrolu.

Instrukce „nikdy si nic nevymýšlej“ sama o sobě není technická záruka. Je to jen jedno z opatření, které musí doplnit kontrola a omezení zdrojů.

5. Zkreslení a diskriminační dopad

Model může reprodukovat zkreslení v trénovacích datech, proxy znaky nebo historická rozhodnutí, která nebyla férová. Výstup nemusí obsahovat přímo rasu, pohlaví, věk nebo zdravotní stav. K podobnému výsledku může vést bydliště, mezera v životopisu, jazyk nebo způsob psaní.

Etické posouzení neznamená hledat pouze „politicky správný“ výstup. Znamená ověřit, zda je kritérium relevantní pro účel, zda má stejný dopad na různé skupiny a zda člověk může výsledek zpochybnit.

Praktický test

1. Určete, které skupiny systém ovlivňuje.
2. Vyberte metriky chybovosti a odmítnutí relevantní pro daný proces.
3. Porovnejte výsledky v čase a podle skupin, ale pracujte pouze s právně a eticky odůvodněnými údaji.
4. Zkoumejte, zda model používá proxy znaky nebo nerelevantní historii.
5. Pokud je výsledek nevyvážený, upravte data, účel nebo proces a zdokumentujte rozhodnutí.

6. Ztráta lidského rozhodování

AI může postupně převzít rozhodovací moc, i když je v procesu formálně uvedený člověk. Člověk může doporučení přijímat automaticky, protože mu systém dává autoritativní skóre, nemá čas kontrolovat všechny případy nebo nevidí podklady.

Skutečný lidský dohled potřebuje kompetenci, čas, přístup k vysvětlení, pravomoc výsledek odmítnout a podporu vedení. U vysoce rizikových systémů AI Act vyžaduje, aby byl dohled účinný a přiměřený riziku, míře autonomie a kontextu.

Formální dohledSkutečný dohled Člověk pouze klikne na schválení.Člověk má čas výstup ověřit a může jej změnit. Nezná limity modelu.Rozumí chybám, metrikám a podmínkám použití. Nemá alternativu při výpadku.Existuje bezpečný ruční nebo nouzový proces. Je hodnocen podle rychlosti převzetí AI.Je podporován v eskalaci nejistých a neobvyklých případů.

Etická otázka: smíme, nebo bychom měli?

Právní soulad je minimum. Etické posouzení se ptá, zda je použití přiměřené hodnotě, kterou firmě přináší, a zda náklady a rizika nenese pouze slabší strana. Před nasazením si položte:

• Věděl by o tomto použití zákazník, zaměstnanec nebo uchazeč, kdyby se zeptal?
• Je rozhodnutí stejné, pokud osobu posoudíme bez AI?
• Kdo nese důsledky chyby?
• Má dotčená osoba možnost výsledek napadnout nebo získat lidské vysvětlení?
• Je přínos dostatečný vzhledem k množství dat a míře dohledu?
• Neoptimalizujeme jen náklady na úkor důstojnosti nebo bezpečnosti?

Odpovědi zapište. Etické rozhodnutí není slabší forma technické dokumentace. Pomáhá vedení pochopit, proč konkrétní use case schválilo, omezilo nebo odmítlo.

Praktický příklad: AI asistent s přístupem do CRM

Asistent má zákazníkovi navrhnout odpověď na základě CRM a znalostní báze. Bezpečný návrh může vypadat takto:

1. Asistent čte jen záznamy přiřazené aktuálnímu účtu.
2. Platební údaje a interní poznámky se do promptu neposílají.
3. Odpověď se nejdříve zobrazí pracovníkovi, neodesílá se automaticky.
4. Model nesmí měnit stav reklamace ani cenu.
5. Pracovník vidí zdroje odpovědi a může označit chybu.
6. Každé odeslání se loguje, ale log neobsahuje více osobních údajů, než je potřeba.

Etické posouzení se pak ptá, zda zákazník ví o AI podpoře, zda se s ním jedná stejně jako s ostatními a zda může požádat o člověka.

Praktický příklad: generování obsahu

Marketing používá AI pro články, obrázky a videa. Bezpečnostní a etická pravidla by měla zabránit tomu, aby se:

• do nástroje vkládaly neveřejné smlouvy nebo osobní údaje klientů,
• vytvořená osoba vydávala za skutečného zákazníka,
• neověřená tvrzení publikovala jako odborný fakt,
• obsah napodoboval konkrétního člověka bez oprávnění,
• ztratilo označení syntetického obsahu při exportu,
• automaticky publikovaly výstupy bez lidské redakční kontroly.

Bezpečný návrh AI aplikace

Při návrhu aplikace použijte princip nejmenšího oprávnění:

• model má přístup jen k datům potřebným pro konkrétní úkol,
• nástroj může provést jen povolené akce,
• nevratné operace vyžadují potvrzení člověka,
• výstup je oddělený od příkazu k provedení akce,
• každá změna je dohledatelná v logu,
• při nejistotě systém raději eskaluje než improvizuje.

Technická ochrana má doplnit školení, smlouvy a procesy. Neměla by předpokládat, že každý uživatel nebo model bude vždy jednat ideálně.

Testovací scénáře před spuštěním

• Nejistý dotaz bez podkladů.
• Dokument s vloženou škodlivou instrukcí.
• Pokyn od uživatele, který žádá neveřejná data.
• Výpadek modelu nebo externího API.
• Chybějící nebo rozporné údaje ve zdroji.
• Objemový útok, který výrazně zvýší náklady.
• Požadavek na nevratnou akci.
• Změna modelu nebo systémových instrukcí.

U každého testu definujte očekávané chování: odmítnout, požádat o doplnění, předat člověku, použít bezpečný fallback nebo pokračovat s omezeným výstupem.

Checklist pro bezpečné použití

1. Je přesně popsaný účel, uživatelé, data a výstup?
2. Má systém nejmenší potřebná oprávnění?
3. Jsou citlivá data anonymizovaná, pseudonymizovaná nebo jinak chráněná?
4. Je oddělený nedůvěryhodný vstup od systémových instrukcí?
5. Testovali jsme prompt injection, únik dat a manipulaci výstupu?
6. Ví člověk, co má ověřit a kdy musí výstup odmítnout?
7. Existuje fallback bez AI a možnost rychle službu odpojit?
8. Logujeme důležité události bez zbytečného shromažďování dat?
9. Máme postup pro incident, reklamaci a žádost o lidský zásah?
10. Je naplánovaná revize při změně modelu, dat nebo účelu?

Co udělat při incidentu

Incident nemusí být jen prolomený server. Může jít o odeslání osobních údajů do neschváleného nástroje, neoprávněnou akci agenta, zveřejnění falešného výstupu nebo opakovanou chybu, která ovlivní lidi.

1. Zastavit šíření: odpojit nástroj, zneplatnit token, zastavit automatické akce nebo publikaci.
2. Zachovat důkazy: uložit relevantní logy, vstup, výstup, čas a verzi systému.
3. Posoudit dopad: koho se incident týká, jaká data unikla a zda došlo k rozhodnutí.
4. Zapojit odpovědné osoby: IT bezpečnost, vlastník procesu, právní a případně DPO.
5. Náprava: opravit obsah, informovat dotčené osoby, změnit oprávnění a otestovat návrat.
6. Poučení: aktualizovat pravidla, školení a testovací scénáře.

Co může firma udělat tento týden

1. Vypsat nejcitlivější AI use cases a jejich vlastníky.
2. U každého určit data, oprávnění a nevratné akce.
3. Provést jeden test prompt injection a jeden test úniku dat.
4. Zkontrolovat, zda člověk může výstup odmítnout a vrátit se k ručnímu procesu.
5. Vytvořit jednostránkový incidentní postup a kontakty.
6. Naplánovat revizi po každé změně modelu nebo napojení.

Nejčastější chyby

• „AI jen odpovídá, nemůže nic pokazit.“ Chybná odpověď může vyvolat finanční, právní nebo reputační škodu.
• „Máme firewall, takže jsme chránění.“ Firewall neřeší škodlivý obsah v promptu, halucinace ani nadměrná oprávnění modelu.
• „Lidský dohled je checkbox.“ Bez pravomoci, času a znalostí není účinný.
• „Když to jde technicky, můžeme to použít.“ Technická dostupnost není etické ani právní odůvodnění.
• „Chyby budeme řešit až po nasazení.“ Základní scénáře se mají testovat předem a v provozu průběžně.

Jak navázat na další články

Pro klasifikaci začněte u článku o rizikových kategoriích AI a vysoce rizikových systémech. O zakázaných scénářích píšeme v praktickém průvodci zakázanými praktikami. Pro data navazuje AI Act a GDPR a pro školení AI gramotnost.

Závěr

Bezpečnost a etika AI nejsou překážkou inovace. Jsou způsob, jak AI nasadit tak, aby firma rozuměla jejímu účelu, chránila data, neztrácela kontrolu a dokázala rychle reagovat na chybu.

Začněte malými kroky: omezte oprávnění, chraňte vstupy, testujte útoky, kontrolujte výstupy, zapojte člověka a zapisujte změny. Odpovědné AI není systém, který nikdy neudělá chybu. Je to systém, u kterého firma ví, jak chybu odhalit, zastavit a napravit.

Zdroje a právní poznámka

Článek vychází z AI Actu, zejména článků 9, 12, 13, 14 a 15. Požadavky na přesnost, robustnost a kybernetickou bezpečnost shrnuje Evropská komise v přehledu AI Actu. Praktické oblasti standardizace popisuje stránka ke standardizaci AI Actu. Bezpečnostní hrozby v ekosystému AI mapuje ENISA AI Threat Landscape. Etické principy důvěryhodné AI shrnují také etické pokyny Evropské komise.

Aktualizováno 8. srpna 2026. Text je praktický orientační materiál, nikoliv právní stanovisko ani úplný bezpečnostní audit. Konkrétní opatření závisí na datech, účelu, architektuře, dodavateli a dopadu systému. U citlivých nebo vysoce rizikových použití doporučujeme individuální právní a bezpečnostní posouzení.