Серія про безпеку програм із ШІ, частина 1: важливі для безпеки аспекти, на які слід зважати під час запровадження інструментів із ШІ

Оскільки такі інструменти із ШІ, як Microsoft Copilot, дедалі ширше використовують у корпоративних операціях, дослідження та тестування в реальних умовах виявляють нові вразливості. Зловмисники швидко знаходять нові способи експлуатувати ці інструменти, зокрема включати їх у ланцюжки своїх атак, подібно до методу LOTL у традиційних атаках. Цей метод новий, але корпорація Майкрософт інтегрує його у свої відомі й перевірені процеси, як-от координоване розкриття вразливостей, щоб допомагати виявляти й мінімізувати ризики. Із цих прикладів організації можуть зробити цінні висновки не тому, що інструменти "дали збій" у звичному розумінні, а тому, що вони показують неочікувані способи зловживання штучним інтелектом під час його взаємодії з даними та робочими процесами людей.

CVE-2025-32711 (2025 р.)
EchoLeak (знешкоджено) був методом багатоетапної атаки через перехресне внесення команд у підказки, що за певних умов призводить до витоку обмеженого обсягу даних, до яких жертва вже має доступ. Ретельно підготовлений електронний лист, цілком безпечний на перший погляд, може непомітно "отруїти" підказку для Copilot, і змусити помічник ненавмисно розкрити певні внутрішні дані жертви. Корпорація Майкрософт оперативно випустила оновлення, щоб усунути вразливість CVE-2025-32711. Остання підкреслила малопомітний, але серйозний ризик: системи ШІ можуть ненавмисно розкривати конфіденційні клієнтські дані через опосередковану маніпуляцію з підказками.

Ризики через надмірні дозволи
Copilot успадковує дозволи своїх користувачів. Якщо хтось зберігає доступ до даних із попереднього підрозділу, Copilot може відобразити цю інформацію в згенерованих результатах. Так само делікатні дані, доступні одному працівнику, можуть з’явитися в підсумках ШІ, що створює ризики для відповідності вимогам і конфіденційності. Організації можуть знизити цей ризик, використовуючи принцип найменш привілейованого доступу, керування доступом на основі ролей і політики захисту від втрати даних у Microsoft Purview. Крім того, режим Дослідника в Microsoft 365 Copilot може завчасно виявляти витоки прав доступу, перш ніж вони нашкодять безпеці. Головне – надавати ШІ лише ті дані, які вам комфортно йому довірити, тобто ті, які ви можете розкривати. Організаціям варто запровадити оцінювання моделей ризиків і плани їх зниження, щоб визначити, з якими даними Copilot може безпечно взаємодіяти, а не розміщувати їх у центрі висококонфіденційних робочих процесів.

Зловживання працівниками й операційні помилки
Не всі інциденти спричинені зовнішніми загрозами. Іноді внутрішні користувачі можуть за допомогою таких інструментів, як Copilot, створювати звіти, що містять конфіденційні дані, і не перевіряти їх належним чином. Зменшити ризики допомагають навчання, відстеження, виявлення аномалій і політики керування, щоб ШІ залишався надійним помічником, а не некерованим інструментом.

Опосередковане "отруєння" даних і маніпуляції з підказками
Системи ШІ можна пошкодити багатьма способами, зокрема такими малопомітними, але потужними методами, як опосередковане псування даних і маніпуляції з підказками. Вони приховано змінюють поведінку моделі без очевидних попереджувальних сигналів. У цих випадках зловмисники вносять вхідні дані, які спотворюють результати, що загрожує розкрити конфіденційну інформацію або призвести до упередженої поведінки ШІ. Приховані підказки (наприклад, текст, закодований у шістнадцятковому або невидимому форматі) можуть непомітно впливати на підсумки Copilot і часом показувати застарілу чи неочікувану інформацію. Якщо організації застосовуватимуть кероване поглинання вмісту, перевірку метаданих і раціональний контроль за діями ШІ, інструменти із ШІ працюватимуть надійно та приноситимуть користь без неочікуваних ризиків.

Наведені вище приклади демонструють, що безпека ШІ часто залежить від поведінки людини, дій із даними та їх інтерпретації, а не лише від збоїв програмного забезпечення. Якщо вжити достатніх запобіжних заходів, організації можуть ефективно використовувати інструменти Copilot із мінімальним ризиком розкриття даних. Дізнайтеся більше в статті "Безпечний ШІ як міцна основа" – навчання | Microsoft Learn.