Řízení umělé inteligence (AI governance) je soubor zásad, procesů a kontrol, které organizace používá ke správě toho, jak je umělá inteligence vytvářena, nasazována a používána, aby systémy umělé inteligence zůstaly bezpečné, odpovědné a v souladu s předpisy po celou dobu svého životního cyklu. To je stručná odpověď na otázku, co je AI governance. Zbytek tohoto glosáře rozebírá význam AI governance v praxi: co zahrnuje, proč existuje a jak ji bezpečnostní a technické týmy skutečně implementují.
Význam správy a řízení umělé inteligence v jednom odstavci #
Pokud hledáte význam bez žargonu, představte si to takto: každý model, agent, datová sada a nástroj pro kódování umělé inteligence, který vaše organizace používá, je aktivum. Aktiva s sebou nesou riziko. Správa umělé inteligence (AI governance) je disciplína, která spočívá v poznání, která aktiva umělé inteligence existují, kdo je vlastní, jaká pravidla se na ně vztahují a jak můžete prokázat, že tato pravidla byla dodržena. Bez ní organizace nemůže odpovědět na základní otázku, kterou si stále častěji klade regulační orgán, auditor nebo zákazník: jaká umělá inteligence ve vašich systémech skutečně běží a kdo ji sleduje.
Proč je „Co je to správa věcí veřejných s využitím umělé inteligence“ najednou otázkou každého #
Řízení umělé inteligence (AI) bylo před dvěma lety jen okrajovým tématem v oblasti dodržování předpisů. Nyní je to otázka, kterou se zabývá představenstvo, a to z jednoduchého důvodu: zavádění AI předběhlo dohled nad AI. Vývojáři denně používají Copilot, Cursor a Claude Code. Týmy nasazují autonomní agenty a připojují je k interním systémům prostřednictvím serverů MCP. Datoví vědci dolaďují modely, které nikdo mimo jejich tým neinventarizoval. Každé z těchto použití AI je legitimním využitím a zároveň neregulovaným aktivem, dokud se za něj někdo nezodpoví.
Toto je mezera, kterou správa umělé inteligence uzavírá. To je také důvod, proč se regulace rozvíjí rychleji, než většina organizací očekávala: zákon EU o umělé inteligenci, který je v platnosti od srpna 2026 kvůli svým povinnostem s vyšším rizikem, vyžaduje, aby organizace dokumentovaly a spravovaly systémy umělé inteligence jako právní záležitost, nikoli jako osvědčený postup. Stávající zásady ochrany osobních údajů podle GDPR se vztahují přímo na systémy umělé inteligence, které zpracovávají osobní údaje. Rámce jako Rámec řízení rizik NIST AI a ISO / IEC 42001, první mezinárodní na světě standard v případě systémů správy umělé inteligence poskytnout organizacím strukturovaný způsob, jak splnit tuto laťku, a to i v případech, kdy zákony ještě nedosáhly tohoto cíle.
Co to vlastně zahrnuje #
Pochopit, co je v praxi správa umělé inteligence, znamená rozdělit ji na oblasti, kterých se dotýká:
- Inventář a přehlednost. Nemůžete spravovat aktivum umělé inteligence, o jehož existenci nevíte. To zahrnuje modely, frameworky, datové sady, inferenční koncové body, agenty, MCP servery a nástroje pro kódování umělé inteligence běžící ve vývojářských IDE.
- Riziko a politika. Které případy použití umělé inteligence jsou schválené, které jsou omezené a jaké technické a organizační kontroly se na každý z nich vztahují.
- Monitorování a detekce. Průběžný přehled o chování systémů umělé inteligence, včetně chování agentů, které nebylo explicitně naprogramováno krok za krokem.
- Odpovědnost a auditní důkazy. Schopnost prokázat, nikoli pouze tvrdit, že zásady řízení byly skutečně uplatňovány. V tomto případě se dokumentace, jako je kusovník (kusovka materiálů AI), stává praktickým důkazem spíše než jen slajdem o shodě s předpisy.
Dvě věci, které AI governance není, jsou: není to jednorázový nástroj, který si koupíte, a není to jednorázový projekt. Výzkum společnosti Gartner, citovaný v analýze rizik AI v odvětví, zjistil, že 43 % organizací nemůže auditovat ani inventarizovat nástroje AI, které používají, což je základní požadavek zákona EU o AI, NIST AI RMF a normy ISO 42001. Samostatný údaj ze stejného souboru výzkumů uvádí, že 79 % organizací nemá přehled o agentech AI a systémech MCP běžících v jejich prostředí. Nejde o malé mezery v dodržování předpisů. Jsou důvodem, proč se AI governance stala otázkou, kterou si bezpečnostní lídři kladou dříve, než se zeptají na konkrétní nástroje.
Řízení AI vs. zabezpečení AI: Častý lámavý bod #
Část významu správy a řízení AI se ztrácí, protože si ji lidé pletou s bezpečností AI. Jsou příbuzné, nikoli identické. Zabezpečení AI se týká ochrany systémů AI a kódu, kterého se dotýkají, před útokem, okamžitým vkládáním kódu, otrávenými závislostmi a dovednostmi škodlivých agentů. Správa AI je širší: je to vrstva odpovědnosti, která určuje, co je povoleno, kdo je zodpovědný a jak prokázat soulad s předpisy, bez ohledu na to, zda k útoku vůbec dojde. Dobré zabezpečení AI závisí na dobré správě a řízení AI, protože nemůžete zabezpečit aktivum, které jste nikdy neinventarizovali. Podrobnější pohled na to, jak do tohoto obrazu zapadá průběžné monitorování, naleznete v článku Správa AI: Monitorování a viditelnost.
Uvedení správy umělé inteligence do praxe #
Pro týmy AppSec a inženýry je odpověď na otázku, co je AI governance způsobem, který je skutečně proveditelný, redukována na krátkou posloupnost kroků:
- Objevit. Vytvořte skutečný, na kódu odvozený inventář všech používaných prostředků umělé inteligence, ne tabulku, kterou někdo aktualizuje čtvrtletně.
- Klasifikovat a přiřadit zásady. Rozhodněte, co je schváleno, co je omezeno a kdo vlastní jednotlivé zdroje.
- Neustále monitorujte. Systémy umělé inteligence se neustále mění; snímek stavu správy a řízení z minulého čtvrtletí je již zastaralý.
- Předložte důkazy. Buďte schopni ukázat auditorovi, regulačnímu orgánu nebo zákazníkovi přesně, co a jak řídíte, ve formátu, jako je AI-BOM, který si mohou skutečně ověřit.
CoreAI od Xygeni aplikuje tento model přímo: automaticky vynucuje zásady, prahové hodnoty a požadavky na dodržování předpisů napříč týmy a projekty a poskytuje bezpečnostním a technickým týmům způsob (prostřednictvím Xyry), jak se přirozeným jazykem zeptat, proč je dané riziko umělé inteligence důležité, a zjistit, co se doporučuje dále.
Nejčastější dotazy #
Řízení AI je způsob, jakým organizace sleduje, kontroluje a přebírá odpovědnost za systémy AI, které vytváří nebo používá, aby AI zůstala bezpečná, odpovědná a v souladu s předpisy.
V obchodním kontextu význam správy a řízení umělé inteligence přesahuje rámec IT politik: jedná se o strukturu odpovědnosti na úrovni představenstva, která určuje, kdo je zodpovědný za rizika spojená s umělou inteligencí, jaké důkazy prokazují shodu s předpisy a jak organizace reaguje, když se systém umělé inteligence chová neočekávaně.
Ne. Nařízení, stejně jako zákon EU o umělé inteligenci, stanoví externí právní požadavky. Řízení AI je interní postup, který organizace používají k splnění těchto požadavků a k řízení rizik AI obecně, včetně rizik, která nařízení zatím nepokrývá.
Obvykle je sdílená: bezpečnostní a compliance týmy vlastní zásady a auditní důkazy, technické a AppSec týmy vlastní inventář a technické kontroly a výkonné vedení nese odpovědnost za celý program.
Ano. Řízení AI se škáluje směrem dolů i nahoru. Malý tým využívající asistenty kódování AI stále potřebuje vědět, které nástroje se používají a ke kterým datům mají přístup; formálnost programu se může škálovat s velikostí společnosti, ale základní cyklus objevování a odpovědnosti nezmizí.
