Microsoft 保護 AI 支援企業的安全性指南

代理型 AI：主要風險與因應這些風險的做法

代理型 AI 提供了變革的潛力，但它的自主性帶來了獨特的安全性挑戰，需要主動進行風險管理。以下是主要風險和為應對這些風險而量身定製的策略：

錯覺和意外輸出

代理型 AI 系統可能會產生不準確、過時或錯位的輸出，從而導致運營中斷或決策失誤。

為了降低這些風險，各個組織應實施嚴格的監控流程，以檢閱 AI 產生的輸出的正確性和相關性。定期更新訓練數據可確保與當前資訊保持一致，而複雜病例的升級路徑則可在需要時實現人工干預。人工監督對於維護 AI 驅動型營運的可靠性和信任仍然至關重要。

過度依賴 AI 決策

當使用者在未經驗證的情況下作用於有缺陷的輸出時，對代理 AI 系統的盲目信任可能會導致弱點。

各個組織應制定政策，要求對受 AI 影響的高風險決策進行人工檢閱。對員工進行 AI 限制培訓可以培養知情的懷疑態度，從而降低出錯的可能性。通過分層決策流程將 AI 洞察與人類判斷相結合，可以增強整體應變能力並防止過度依賴。

新的攻擊媒介

代理 AI 的自主性和適應性為攻擊者創造了利用弱點的機會，從而引入了操作和系統風險。

當遭到入侵的代理破壞互連系統，導致級聯故障時，就會出現系統性風險。故障安全機制、冗餘協定和定期審計（與NIST等網路安全性架構保持一致），有助於最大限度地減少這些威脅，並加強對對抗性攻擊的防禦。

問責制和責任

代理 AI 通常在沒有直接人工監督的情況下運行，這引發了關於錯誤或故障的問責制和責任的複雜問題。

各個組織應定義明確的問責架構，以指定 AI 相關結果的角色和責任。AI 決策過程的透明文件支援錯誤識別和責任指派。與法律團隊共同作業可確保法務遵循，而採用道德標準進行 AI 治理可以建立信任並降低聲譽風險。