Cyber Signals Издание 6
Всеки ден повече от 2,5 милиарда базирани в облака и управлявани от изкуствен интелект открития защитават клиентите на Microsoft.
Регистрирайте се се сега, за да гледате уеб семинара по заявка, в който се представят прозренията на Отчет за дигитална защита на Microsoft 2024.
Ориентиране в киберзаплахите и укрепване на защитата в ерата на ИИ
Днес светът на киберсигурността претърпява огромна трансформация. Изкуственият интелект (ИИ) е в челните редици на тази промяна и представлява както заплаха, така и възможност. Въпреки че ИИ има потенциала да даде на организациите възможност да побеждават кибератаки с машинна скорост и да стимулира иновациите и ефективността при откриването на заплахи, проактивното търсене и реакцията при инциденти, противниците могат да използват ИИ като част от своите набези. Никога не е било толкова важно да проектираме, внедряваме и използваме ИИ по сигурен начин.
В Microsoft проучваме потенциала на изкуствения интелект, за да подобрим мерките си за сигурност, да отключим нови и усъвършенствани защити и да създадем по-добър софтуер. С помощта на изкуствения интелект имаме възможност да се адаптираме към променящите се заплахи, да откриваме аномалии мигновено, да реагираме бързо, за да неутрализираме рисковете, и да адаптираме защитата към нуждите на организацията.
ИИ може да ни помогне да преодолеем и друго от най-големите предизвикателства в индустрията. В условията на глобален недостиг на работна сила в областта на киберсигурността, при който в световен мащаб са необходими около 4 милиона специалисти по киберсигурност, ИИ има потенциала да се превърне в ключов инструмент за преодоляване на недостига на таланти и да помогне на защитниците да бъдат по-продуктивни.
В едно от проучванията вече видяхме как Microsoft Security Copilot може да помогне на анализаторите по сигурността независимо от нивото им на експертност – при всички задачи участниците са били с 44% по-точни и с 26% по-бързи.
Когато се стремим да осигурим бъдещето, трябва да гарантираме, че сме балансирано подготвени за ИИ и използваме ползите от него, защото ИИ има силата да повишава човешкия потенциал и да решава някои от най-сериозните ни предизвикателства.
По-сигурното бъдеще с ИИ ще изисква фундаментален напредък в софтуерното инженерство. Това ще изисква от нас да разберем и да противодействаме на заплахите, основани на изкуствен интелект, като основни компоненти на всяка стратегия за сигурност. И трябва да работим заедно, за да изградим задълбочено сътрудничество и партньорства между публичния и частния сектор в борбата с лошите играчи.
Като част от това усилие и от нашата собствена инициатива Безопасно бъдеще днес OpenAI и Microsoft публикуват нова информация, в която подробно се описват опитите на участниците в заплахите да тестват и изследват полезността на големите езикови модели (LLM) в техниките за атаки.
Надяваме се, че тази информация ще бъде полезна за всички отрасли, тъй като всички ние работим за по-сигурно бъдеще. Защото в крайна сметка всички ние сме защитници.
Брет Арсено,
CVP, главен съветник по киберсигурността
CVP, главен съветник по киберсигурността
Гледайте цифровия брифинг на Cyber Signals, в който Васу Джакал, корпоративен вицепрезидент на Microsoft Security Business, интервюира ключови експерти по разузнаване на заплахите за киберзаплахите в ерата на ИИ, начините, по които Microsoft използва ИИ за подобряване на защитата, и какво могат да направят организациите, за да укрепят защитата си.
Атакуващите проучват технологиите за изкуствен интелект
Пейзажът на киберзаплахите става все по-предизвикателен, тъй като нападателите стават все по-мотивирани, по-усъвършенствани и разполагат с повече ресурси. Както извършители, представляващи заплаха, така и защитниците търсят изкуствен интелект, включително LLM, за да повишат производителността си и да се възползват от достъпни платформи, които биха могли да отговарят на техните цели и техники за атака.
Предвид бързо развиващия се пейзаж на заплахите, днес обявяваме принципите на Microsoft, които ръководят нашите действия за намаляване на риска от участници в заплахи, включително напреднали устойчиви заплахи (APT), напреднали устойчиви манипулатори (APM) и киберпрестъпни синдикати, които използват платформи и API с изкуствен интелект. Тези принципи включват идентифициране и предприемане на действия срещу използването на ИИ от извършители, представляващи заплаха, уведомяване на други доставчици на услуги за ИИ, сътрудничество с други заинтересовани страни и прозрачност.
Въпреки че мотивите и сложността на извършителите, представляващи заплахи са различни, те имат общи задачи при осъществяването на атаки. Те включват разузнаване, като например проучване на индустриите, местоположенията и връзките на потенциалните жертви; кодиране, включително подобряване на софтуерни скриптове и разработване на зловреден софтуер; и помощ при изучаването и използването на човешки и машинни езици.
Националните държави се опитват да използват ИИ
В сътрудничество с OpenAI споделяме разузнавателна информация за заплахите, показваща открити свързани с държавата противници - проследявани като Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon и Salmon Typhoon - използващи LLM, за да подсилят кибероперациите.
Целта на изследователското партньорство на Microsoft с OpenAI е да се гарантира безопасното и отговорно използване на технологиите за изкуствен интелект, като ChatGPT, като се спазват най-високите стандарти за етично приложение, за да се предпази общността от потенциална злоупотреба.
Forest Blizzard (STRONTIUM), високо ефективен участник в руското военно разузнаване, свързан с Главното управление на Генералния щаб на въоръжените сили на Русия или подразделение 26165 на ГРУ, се е насочил към жертви от тактически и стратегически интерес за руското правителство. Дейността на компанията обхваща различни сектори, включително отбрана, транспорт/логистика, правителство, енергетика, неправителствени организации и информационни технологии
Emerald Sleet(Velvet Chollima) е севернокорейска заплаха, за която Microsoft е установила, че се представя за уважавана академична институция и неправителствена организация, за да подмами жертвите да отговорят с експертни прозрения и коментари за външните политики, свързани със Северна Корея.
Използването на магистри по висше образование от Emerald Sleet включва проучване на мозъчни тръстове и експерти по въпросите на Северна Корея, както и генериране на съдържание, което може да бъде използвано в кампании с насочен фишинг. Emerald Sleet също така взаимодействаше с LLM, за да разбере публично известни уязвимости, да отстрани технически проблеми и да получи помощ при използването на различни уеб технологии.
Crimson Sandstorm (CURIUM) е ирански извършител, представляващ заплаха, за когото се смята, че е свързан с Корпуса на гвардейците на Ислямската революция (КГИР). Използването на LLM включва искания за подкрепа в областта на социалното инженерство, помощ при отстраняване на грешки, разработване на .NET и начини, по които нападателят може да избегне откриване, когато е на компрометирана машина.
Charcoal Typhoon (CHROMIUM) е свързан с Китай извършител, представляващ заплаха, който се фокусира предимно върху проследяването на групи в Тайван, Тайланд, Монголия, Малайзия, Франция, Непал и отделни лица в световен мащаб, които се противопоставят на политиките на Китай. При неотдавнашни операции Charcoal Typhoon е наблюдаван да ангажира LLM, за да придобие представа за изследванията с цел разбиране на конкретни технологии, платформи и уязвимости, което е показателно за предварителните етапи на събиране на информация.
Друга подкрепяна от Китай група, Salmon Typhoon, оценява ефективността на използването на LLM през 2023 г. за набавяне на информация по потенциално чувствителни теми, високопоставени лица, регионална геополитика, влияние на САЩ и вътрешни работи. Този предварителен ангажимент към LLM може да отразява както разширяване на инструментариума за събиране на разузнавателна информация, така и експериментална фаза в оценката на възможностите на нововъзникващите технологии.
Проучванията ни с OpenAI не установиха значителни атаки, използващи LLM, които наблюдаваме отблизо.
Предприехме мерки за прекъсване на активите и акаунтите, свързани с тези извършители, представляващи заплаха, и оформихме предпазни огради и механизми за безопасност около нашите модели.
Появяват се и други ИИ заплахи
Измамите с подкрепата на ИИ, са друг важен проблем. Пример за това е гласовият синтез, при който с трисекунден гласов образец може да се обучи модел, който да звучи като всеки друг. Дори нещо толкова безобидно като поздрав от гласовата ви поща може да се използва за получаване на достатъчна извадка.
Голяма част от начините, по които взаимодействаме помежду си и извършваме бизнес, разчитат на доказване на самоличността, като например разпознаване на гласа, лицето, имейл адреса или стила на писане на дадено лице.
Изключително важно е да разберем как злонамерените актьоридействащи лица използват изкуствения интелект, за да подкопаят дългогодишните системи за доказване на самоличността, за да можем да се справим със сложните случаи на измама и други нововъзникващи заплахи, свързани със социалното инженерство, които скриват самоличността.
ИИ може да се използва и за подпомагане на компаниите да предотвратяват опити за измами. Въпреки че Microsoft прекрати ангажимента си с компания в Бразилия, нашите системи за изкуствен интелект откриха опитите ѝ да се пресъздаде, за да влезе отново в нашата екосистема.
Групата непрекъснато се опитваше да прикрие информацията си, да прикрие корените на собствеността си и да влезе отново, но нашите детектори с изкуствен интелект използваха близо дузина рискови сигнали, за да отбележат измамната компания и да я свържат с предварително разпознато подозрително поведение, като по този начин блокираха опитите ѝ.
Майкрософт се ангажира с отговорен, ръководен от хора ИИ , който осигурява неприкосновеност на личния живот и сигурност, като хората осигуряват надзор, оценяват жалби и тълкуват политики и разпоредби.
Информирайте служителите и обществеността за киберрисковете:
- Използвайте правила за условен достъп: тези правила осигуряват ясни, саморазгръщащи се насоки за укрепване на вашата позиция по отношение на сигурността, които автоматично защитават наемателите въз основа на сигнали за риск, лицензиране и използване. Правилата за условен достъп могат да се персонализират и да се адаптират към променящия се пейзаж на киберзаплахите.
- Обучавайте и преобучавайте служителите за тактиките на социалното инженерство:
Обучете служителите и обществеността да разпознават и да реагират на фишинг имейли, телефонен фишинг (гласова поща), фишинг чрез SMS съобщение, (SMS/текст) атаки, използващи социално инженерство, и да прилагат най-добрите практики за сигурност за Microsoft Teams. - Стриктно защитавайте данните:
Гарантирайте, че данните остават поверителни и контролирани от край до край. - Използване на инструменти за защита, базирани на генеративен ИИ: инструменти като Microsoft Security Copilot могат да разширят възможностите и да подобрят положението на защитата на организацията.
- Активиране на многофакторно удостоверяване: активирайте многофакторно удостоверяване за всички потребители, особено за функциите на администратор, тъй като то намалява риска от превземане на акаунт с над 99%.
Защита срещу атаки
Microsoft остава начело с цялостна защита, съчетана с генеративен изкуствен интелект
Microsoft открива огромно количество злонамерен трафик - над 65 трилиона сигнала за киберсигурност на ден. Изкуственият интелект подобрява способността ни да анализираме тази информация и да гарантираме, че най-ценните прозрения излизат на повърхността, за да помогнат за спирането на заплахите. Използваме този разумен сигнал и за генериращ изкуствен интелект за усъвършенствана защита от заплахи, сигурност на данните и сигурност на самоличността, за да помогнем на защитниците да уловят това, което другите пропускат.
Microsoft използва няколко метода за защита на себе си и на клиентите от киберзаплахи, включително откриване на заплахи с помощта на ИИ за откриване на промени в начина, по който се използват ресурсите или трафикът в мрежата; поведенчески анализ за откриване на рискови влизания и аномално поведение; модели за машинно обучение (ML) за откриване на рискови влизания и зловреден софтуер; модели на нулево доверие, при които всяка заявка за достъп трябва да бъде напълно удостоверена, оторизирана и криптирана; и проверка на състоянието на устройството, преди то да може да се свърже с корпоративна мрежа.
Тъй като участниците в заплахите разбират, че Microsoft използва стриктно многофакторно удостоверяване (MFA), за да се защити - всички наши служители са настроени за MFA или защита без парола - видяхме, че нападателите използват социално инженерство в опит да компрометират нашите служители.
Горещи точки за това са областите, в които се предоставят ценни неща, като например безплатни изпитания или промоционални цени на услуги или продукти. В тези области за нападателите не е изгодно да крадат по един абонамент наведнъж, така че те се опитват да операционализират и мащабират тези атаки, без да бъдат открити.
Естествено, създаваме модели с изкуствен интелект за откриване на тези атаки за Microsoft и нашите клиенти. Откриваме фалшиви акаунти на учащи и училища, фалшиви компании или организации, които са променили своите фирмографски данни или са скрили истинската си самоличност, за да избегнат санкции, да заобиколят проверките или да прикрият минали престъпни деяния като присъди за корупция, опити за кражба и др.
Използването на GitHub Copilot, Microsoft Security Copilot и други функции за инструменти с подпомагане от ИИ за чат, интегрирани в нашата вътрешна инженерна и оперативна инфраструктура, помага за предотвратяване на инциденти, които биха могли да повлияят на операциите.
За да се справи със заплахите, свързани с имейли, Microsoft подобрява възможностите за получаване на сигнали освен от състава на имейла, за да разбере дали той е злонамерен. Тъй като изкуственият интелект е в ръцете на участниците в заплахите, има наплив от перфектно написани имейли, които подобряват очевидните езикови и граматически грешки, които често разкриват опитите за фишинг, което прави опитите за фишинг по-трудни за откриване.
Необходимо е непрекъснато обучение на служителите и кампании за повишаване на обществената осведоменост, за да се подпомогне борбата със социалния инженеринг, който е единственият лост, разчитащ на 100 процента на човешка грешка. Историята ни е научила, че ефективните кампании за повишаване на обществената осведоменост водят до промяна на поведението.
Microsoft очаква, че ИИ ще развие тактиките на социалното инженерство, създавайки по-сложни атаки, включително дълбоки фалшификати и клониране на глас, особено ако нападателите открият, че ИИ технологиите работят без отговорни практики и вградени контроли за сигурност.
Превенцията е от ключово значение за борбата с всички киберзаплахи, независимо дали са традиционни или с помощта на изкуствен интелект.
Препоръки:
Прилагайте контролите за изкуствен интелект на доставчиците и непрекъснато оценявайте тяхното съответствие: за всеки ИИ, въведен в предприятието ви, търсете вградените функции на съответните доставчици за ограничаване на достъпа до ИИ на служителите и екипите, използващи технологията, за да насърчите безопасното и съвместимо приемане на ИИ. Обединяване на заинтересованите страни от киберриска в организацията за съгласуване на определени случаи на използване на служителите с изкуствен интелект и контрол на достъпа. Лидерите, отговарящи за риска, и CISO трябва редовно да определят дали случаите на използване и политиките са адекватни или трябва да се променят в зависимост от развитието на целите и познанията.
Защита от бързи инжекции: Прилагане на стриктно валидиране и обработка на входните данни за предоставените от потребителя подкани. Използвайте филтриране с отчитане на контекста и кодиране на изхода, за да предотвратите манипулирането на подкани. Редовно актуализирайте и прецизирайте LLM, за да подобрите разбирането му за злонамерени входни данни и крайни случаи. Наблюдавайте и записвайте взаимодействията на LLM, за да откривате и анализирате потенциални опити за въвеждане на подкана.
Задължителна прозрачност във веригата за доставки на изкуствен интелект: Чрез ясни и открити практики оценете всички области, в които ИИ може да влезе в контакт с данните на вашата организация, включително чрез партньори и доставчици от трети страни. Използвайте партньорските взаимоотношения и междуфункционалните екипи за киберрискове, за да проучите наученото и да отстраните всички произтичащи от това пропуски. Поддържането на текущите програми за нулево доверие и управление на данните е по-важно от всякога в ерата на изкуствения интелект.
Фокусирайте се върху комуникациите: Лидерите, отговарящи за киберриска, трябва да признаят, че служителите са свидетели на въздействието и ползите от изкуствения интелект в личния си живот и естествено ще искат да проучат възможностите за прилагане на подобни технологии в хибридна работна среда. CISO и други лидери, управляващи киберриска, могат активно да споделят и разпространяват политиките на организациите си за използването и рисковете от ИИ, включително кои инструменти за ИИ са одобрени за предприятието и кои са точките за контакт за достъп и информация. Проактивните комуникации помагат на служителите да бъдат информирани и овластени, като същевременно намаляват риска от контакт на неуправляем изкуствен интелект с ИТ активи на предприятието.
Получете повече информация за изкуствения интелект от Хома Хайатафар, главен мениджър "Данни и приложни науки", мениджър "Анализ на откриването".
Традиционните инструменти вече не са в крак със заплахите от страна на киберпрестъпниците. Нарастващата скорост, мащаб и сложност на последните кибератаки изискват нов подход към сигурността. Освен това, предвид недостига на работна сила в областта на киберсигурността и нарастващата честота и сериозност на киберзаплахите, преодоляването на този недостиг на умения е спешна необходимост.
ИИ може да наклони везните в полза на защитниците. Едно неотдавнашно проучване на Microsoft Security Copilot (в момента в предварителен тест с клиенти) показа повишена бързина и точност на анализаторите по защитата, независимо от нивото им на експертност, при често срещани задачи като идентифициране на скриптове, използвани от нападатели, създаване на доклади за инциденти и идентифициране на подходящи стъпки за лечение.1
- [1]Методология: 1 Данните от снимки представляват рандомизирано контролирано проучване (RCT), в което тествахме 149 души, за да измерим въздействието върху производителността от използването на Microsoft Security Copilot. В това RCT ние дадохме Copilot на някои анализатори на случаен принцип, а на други – не, след което извадихме техните показатели и настроения, за да получим въздействието на Copilot, отделено от всеки базов ефект. Участниците в теста имаха основни ИТ умения, но бяха начинаещи в областта на защитата, така че можехме да проверим как Copilot помага на „начинаещите в кариерата“ анализатори. Проучването на Microsoft Security Copilot (RCT) е проведено от Службата на главния икономист на Microsoft, ноември 2023 г. Освен това Microsoft Entra ID предоставя анонимизирани данни за дейността, свързана със заплахи, например злонамерени имейл акаунти, фишинг имейли, и за движението на атакуващите в мрежите. Допълнителни прозрения постъпват от 65 трилиона ежедневни сигнала за защита, получавани в Microsoft, включително облака, крайните точки, интелигентната граница, нашата практика за възстановяване на защитата при компрометиране и екипите за откриване и реагиране, телеметрията от платформите и услугите на Microsoft, включително Microsoft Defender, и Отчета за дигитална защита на Microsoft за 2023 г.
Свързани статии
Изпреварване на участниците в заплахи в ерата на изкуствения интелект
Microsoft, в сътрудничество с OpenAI, публикува изследване на нововъзникващите заплахи в ерата на изкуствения интелект, като се фокусира върху идентифицирана дейност, свързана с известни участници в заплахи Forest Blizzard, Emerald Sleet, Crimson Sandstorm и други. Наблюдаваната дейност включва подканващи инжекции, опити за злоупотреба с големи езикови модели (LLM) и измами.
Профил на експерта: Хома Хаятифар
Главният мениджър "Данни и приложни науки" Хома Хаятифар описва използването на модели за машинно обучение за подсилване на защитите - само един от многото начини, по които изкуственият интелект променя облика на сигурността.
Защитата е толкова добра, колкото е добро вашето разузнаване за заплахи
Пристигнаха още подкрепления. Джон Ламбърт, ръководител на отдела за разузнаване за заплахи, обяснява как ИИ подобрява общността за разузнаване на заплахи.
Следвайте Microsoft Security