Mākslīgā intelekta lietojumprogrammu drošība, 1. sērija – drošības apsvērumi, ieviešot mākslīgā intelekta rīkus

Mākslīgā intelekta rīkiem, piemēram, Microsoft Copilot, kļūstot arvien nozīmīgākiem uzņēmuma operāciju izpildē, izpēte un praktiskie testi atklāj jaunas ievainojamības. Draudu izpildītāji ātri atrod papildu veidus, kā izmantot šos rīkus, piemēram, iekļaujot tos savā uzbrukuma ķēdē, kas darbojas līdzīgi kā sistēmā pieejamo resursu izmantošanas tehnika tradicionālos uzbrukumos. Neskatoties uz to, ka šī tehnoloģija ir jauna, Microsoft to integrē zināmos un pārbaudītos procesos, piemēram, koordinētā ievainojamību atklāšanā, lai droši identificētu un mazinātu riskus. Šie gadījumi sniedz vērtīgas mācības organizācijām nevis tāpēc, ka rīki tradicionālā nozīmē “nenostrādāja”, bet tāpēc, ka tie atklāj negaidītus veidus, kā mākslīgais intelekts var tikt ļaunprātīgi izmantots mijiedarbībā ar datiem un cilvēku darbplūsmām.

CVE-2025-32711 (2025)
EchoLeak – tagad novērsts – bija paņēmiens daudzpakāpju injekcijas uzbrukumam ar uzvedņu starpniecību, kas noteiktos apstākļos var veikt tādu datu eksfiltrāciju, kuriem upurim jau ir piekļuve. Rūpīgi sagatavots e-pasta ziņojums – izstrādāts tā, lai šķistu labvēlīgs – var nemanāmi “saindēt” uzvedni, ko redz Copilot, liekot tam bez upura ziņas nopludināt ierobežotas piekļuves iekšējos datus. Microsoft ātri izlaida atjauninājumus, lai novērstu šo trūkumu CVE-2025-32711. Šī ievainojamība izgaismoja smalku, bet nopietnu risku: mākslīgā intelekta sistēmas, netieši manipulējot ar uzvednēm, var neviļus atklāt sensitīvus klientu datus.

Pārāk plašu atļauju riski
Copilot pārmanto tā lietotāju atļaujas. Ja kādam ir saglabājusies piekļuve iepriekšējās nodaļas datiem, Copilot var iekļaut šo informāciju ģenerētajā saturā. Tāpat sensitīvi dati, kas pieejami vienam darbiniekam, var parādīties mākslīgā intelekta kopsavilkumos, radot atbilstības un privātuma riskus. Organizācijas var mazināt šo risku, izmantojot vismazāko nepieciešamo piekļuvi, uz lomām balstītu kontroli un DLP politikas platformā Microsoft Purview. Turklāt, izmantojot M365 Copilot pētnieka režīmu, iespējams palīdzēt proaktīvi identificēt atļauju noplūdes, pirms tās kļūst par drošības problēmu. Galvenais princips ir uzticēt mākslīgajam intelektam tikai tos datus, piekļuve kuriem jums ir pieņemama – būtībā informāciju, ko varat atļauties atklāt. Organizācijām vajadzētu ieviest riska modeļu novērtēšanas un mazināšanas plānu, lai rūpīgi izvērtētu, ar kādiem datiem Copilot var droši mijiedarboties, neizvietojot to augstas konfidencialitātes darbplūsmu centrā.

Nepareiza izmantošana un operatīvas kļūdas uzņēmuma iekšienē
Ne visu incidentu cēlonis ir ārējs apdraudējums. Dažos gadījumos iekšējie lietotāji var izmantot tādus rīkus kā Copilot, lai ģenerētu pārskatus, kas satur sensitīvus datus, tos nepietiekami pārbaudot. Mazināšana ietver apmācību, pārraudzību, anomāliju noteikšanu un pārvaldības politikas, lai nodrošinātu, ka mākslīgais intelekts darbojas kā uzticams asistents, nevis kļūst par nekontrolētu rīku.

Netieša datu sagrozīšana un uzvedņu manipulācija
Mākslīgā intelekta sistēmas ir ievainojamas dažādos veidos, tostarp, izmantojot smalkas, bet efektīvas metodes, piemēram, netiešu datu sagrozīšanu un uzvedņu manipulāciju, kas var klusi ietekmēt modeļa izturēšanos bez acīmredzamām brīdinājuma pazīmēm. Šīs metodes paredz tādu ievaddatu veidošanu, kas virza rezultātus riskantos virzienos, piemēram, lai atklātu sensitīvu informāciju vai ieviestu aizspriedumus. Slēptas uzvednes, piemēram, heksadecimālā formātā kodēts teksts vai neredzams formatējums, var nemanāmi ietekmēt Copilot kopsavilkumus, reizēm iekļaujot tajos novecojušu vai negaidītu informāciju. Piemērojot kontrolētu satura ievadi, metadatu validēšanu un rūpīgu mākslīgā intelekta mijiedarbību uzraudzību, organizācijas var saglabāt mākslīgā intelekta rīku uzticamību un nodrošināt, ka tie turpina radīt vērtību, neradot neparedzētus riskus.

Šie piemēri parāda, ka mākslīgā intelekta drošība nereti ir saistīta arī ar cilvēka uzvedību, datu apstrādi un interpretāciju, ne tikai ar programmatūras nepilnībām. Īstenojot pareizus aizsardzības pasākumus, organizācijas var efektīvi gūt labumu no Copilot rīku izmantošanas, vienlaikus līdz minimumam samazinot neparedzētu datu atklāšanu. Papildinformāciju skatiet tīmekļa vietnē Drošais mākslīgais intelekts spēcīgam pamatam – apmācība | Microsoft Learn.