This is the Trace Id: b0ecd29a6560eeaf29d7c5d34858be89

Pripojte sa k panelovej diskusii vedúcich pracovníkov na konferencii RSAC dňa 24. marca pod názvom „AI agenti sú tu! Ste pripravení?”.

Zaregistrovať sa

Príručka od spoločnosti Microsoft pre zabezpečenie veľkých organizácií využívajúcich umelú inteligenciu

Stiahnuť príručku
Zdieľať
obrázok na pozadí

Začíname s aplikáciami s umelou inteligenciou

Umelá inteligencia (AI) transformuje obchodné operácie, odomyká inovácie, a zároveň prináša nové riziká. Od tieňovej AI (nástroje spotrebiteľskej úrovne prijaté bez dohľadu) až po útoky s vkladaním príkazov – a vznikajúce nariadenia, ako je napríklad zákon EÚ o umelej inteligencii – organizácie musia riešiť tieto výzvy, aby mohli umelú inteligenciu používať bezpečne.

Táto príručka sa zaoberá rizikami spojenými s umelou inteligenciou: únikom údajov, vznikajúcimi hrozbami, ako aj s výzvami dodržiavania súladu spolu s jedinečnými rizikami agentickej umelej inteligencie. Uvádzajú sa v nej aj usmernenia a potrebné praktické kroky na základe rámca prijatia umelej inteligencie. Ak hľadáte hlbšie poznatky a praktické kroky, stiahnite si príručku.

Umelá inteligencia znamená prelom – ale iba ak ju dokážete zabezpečiť. Poďme na to.

3 najväčšie riziká v zabezpečení umelej inteligencie


Keďže organizácie prijímajú umelú inteligenciu, vedúci pracovníci musia riešiť tri kľúčové výzvy:
  • 80 % vedúcich pracovníkov uvádza únik údajov ako hlavný problém. 1
    Nástroje tieňovej umelej inteligencie – používané bez schválenia od IT oddelenia – môžu odkryť citlivé informácie, čím sa zvyšujú riziká úniku.
  • 88 % organizácií sa obáva manipulácie systémov umelej inteligencie zo strany útočníkov.2
    Útoky, ako sú útoky s vkladaním príkazov, zneužívajú zraniteľnosti v systémoch umelej inteligencie, čo zdôrazňuje potrebu proaktívnej obrany.
  • 52 % vedúcich pracovníkov priznáva neistotu pri orientácii v nariadeniach týkajúcich sa umelej inteligencie.3
    Dodržiavanie súladu s rámcami, ako je napríklad zákon EÚ o umelej inteligencii, je nevyhnutné pre posilnenie dôvery a udržanie dynamiky inovácií.

Agentická AI: Kľúčové riziká a spôsob ich riešenia

Agentická AI ponúka transformačný potenciál, ale jej autonómia prináša jedinečné bezpečnostné výzvy, ktoré si vyžadujú proaktívne riadenie rizík. Nižšie sú uvedené kľúčové riziká a stratégie prispôsobené na ich riešenie:

Halucinácie a nezamýšľané výstupy

Systémy agentickej umelej inteligencie môžu produkovať nepresné, zastarané alebo nesprávne zosúladené výstupy, čo vedie k prerušeniam prevádzky alebo zlému rozhodovaniu.

Ak chcú organizácie zmierniť tieto riziká, mali by zaviesť prísne monitorovacie procesy na kontrolu presnosti a relevantnosti výstupov vygenerovaných pomocou AI. Pravidelná aktualizácia údajov trénovania zaistí zosúladenie s aktuálnymi informáciami, zatiaľ čo eskalačné cesty pre zložité prípady umožňujú ľudský zásah v prípade potreby. Ľudský dohľad zostáva nevyhnutný, aby sa zachovala spoľahlivosť a dôvera v rámci operácií riadených umelou inteligenciou.

Prílišné spoliehanie sa na rozhodnutia umelej inteligencie

Ak používatelia slepo dôverujú systémom agentickej umelej inteligencie, môže to viesť k vzniku zraniteľných miest, keď konajú na základe chybných výstupov bez overenia.

Organizácie by mali zaviesť politiky vyžadujúce kontrolu človekom v prípade vysokorizikových rozhodnutí ovplyvnených umelou inteligenciou. Ak sú zamestnanci školení o obmedzeniach umelej inteligencie, podporuje sa u nich informovaný skepticizmus a znižuje sa pravdepodobnosť chýb. Kombináciou poznatkov umelej inteligencie a ľudského úsudku prostredníctvom viacvrstvových rozhodovacích procesov sa posilňuje celková odolnosť a zabraňuje sa nadmernej závislosti.

Nové vektory útoku

Autonómia a prispôsobivosť agentickej umelej inteligencie vytvára útočníkom príležitosti na zneužitie zraniteľných miest, čo prináša prevádzkové aj systémové riziká.

Prevádzkové riziká zahŕňajú manipuláciu so systémami umelej inteligencie s cieľom vykonávať škodlivé akcie, ako sú neoprávnené úlohy alebo pokusy o phishingové útoky. Organizácie môžu tieto riziká zmierniť zavedením robustných bezpečnostných opatrení vrátane detekcie anomálií v reálnom čase, šifrovania a prísnych kontrol prístupu.
Systémové riziká vznikajú, keď zneužití agenti narušia prepojené systémy, čo spôsobí kaskádovité zlyhania. Mechanizmy zabezpečenia pred zlyhaním, protokoly redundancie a pravidelné audity – v súlade s rámcami kybernetickej bezpečnosti, ako je NIST – pomáhajú minimalizovať tieto hrozby a posilňovať obranu proti nepriateľským útokom.

Zodpovednosť

Agentická umelá inteligencia často funguje bez priameho ľudského dohľadu, čo vyvoláva zložité otázky týkajúce sa zodpovednosti za chyby alebo zlyhania.

Organizácie by mali definovať jasné rámce zodpovednosti, ktoré špecifikujú úlohy a zodpovednosti za výsledky súvisiace s umelou inteligenciou. Transparentná dokumentácia rozhodovacích procesov AI podporuje identifikáciu chýb a priradenie zodpovednosti. Spoluprácou s právnymi tímami sa zabezpečí súlad s nariadeniami, zatiaľ čo prijatím etických štandardov pre riadenie umelej inteligencie sa buduje dôvera a znižujú sa riziká poškodenia dobrého mena.

Začíname s fázovým prístupom

S novými inováciami v oblasti umelej inteligencie, ako sú agenti, musia organizácie vytvoriť silný základ založený na princípoch nulovej dôvery (Zero Trust) – „nikdy nedôveruj, vždy overuj“. Tento prístup pomáha zabezpečiť overenie, autorizovanie a priebežné monitorovanie každej interakcie. Hoci dosiahnutie nulovej dôvery (Zero Trust) si vyžaduje čas, prijatím postupnej stratégie sa umožní stabilný pokrok a buduje sa dôvera v bezpečnú integráciu umelej inteligencie.

 

Štandardy prijatia AI od Microsoftu sa zameriavajú na tri kľúčové fázy: riadenie AI, správa AI a zabezpečenie AI.

Riešením týchto oblastí môžu organizácie položiť základy používania zodpovednej AI, a zároveň zmierniť kritické riziká.

Ak chcete uspieť, uprednostňujte ľudí a zaškoľte ich v rozpoznávaní rizík umelej inteligencie a bezpečnom používaní schválených nástrojov. Podporujte spoluprácu medzi IT, bezpečnostným a obchodným tímom s cieľom zabezpečiť jednotný prístup. Podporujte transparentnosť otvoreným informovaním o iniciatívach v oblasti bezpečnosti umelej inteligencie s cieľom vybudovať dôveru a preukázať vedenie.

So správnou stratégiou založenou na princípoch nulovej dôvery (Zero Trust) môžete zmierniť riziká, odomknúť inovácie a s istotou sa orientovať vo vyvíjajúcom sa prostredí umelej inteligencie.

Stiahnuť príručku

Viac podobného obsahu

Obal knihy s názvom Microsoft Security Strategies for AI Compliance a ilustráciou muža a ženy pozerajúcich sa na prenosný počítač.
5 minút

Príručka od spoločnosti Microsoft zameraná na zabezpečenie veľkých organizácií využívajúcich umelú inteligenciu: Stratégie súladu AI

Prečítať si príručku
Muž pozerajúci sa na tablet v ruke.
3 minúty

Viac hodnoty, menej rizika: Ako bezpečne a zodpovedne zaviesť generatívnu AI v celej organizácii

Prečítať si blog
Biela čiarová kresba papiera v obálke s nápisom „Nové“ na modrom pozadí.

Získať prehľad pre hlavných manažérov informačnej bezpečnosti

Udržte si náskok s odbornými poznatkami, trendmi v odvetví a výskumom zabezpečenia v tejto dvojmesačnej e-mailovej sérii.
Zaregistrujte sa

Sledujte zabezpečenie od spoločnosti Microsoft