Agent OS · 代理安全

如何安全地運行人工智能代理

在系統中操作的代理,需要與聊天機械人不同的保障——以下是基本要點。

基本原則

  • 每個代理只給最小權限
  • 把數據與指令分開
  • 限制步數、時間及成本
  • 不可逆的操作須批核
  • 完整紀錄連同下令者身份

指令注入

外來內容——電郵、網頁、文件——可能藏有給代理的指令。應把它們當作數據處理,在依賴這類內容的任務中收窄可用工具,並要求批核任何可能洩露資料或作出更改的操作。

上線前測試

測試資料應包括一般個案、邊界情況及濫用嘗試。每次更換模型、指示或工具都要重做測試,並保存結果以便比較。

事故處理

必須可以即時停用代理或工具,然後保存記錄、評估影響;如涉及個人資料外洩,應按私隱專員公署的指引通報,並通知受影響人士。修正並重新測試後才重新啟用。

權限檢討

每季檢查代理是否仍需要現有權限、是否仍有負責人,以及沒有使用的代理是否已停用。

對供應商的要求

向代理平台供應商查詢:數據及記錄在哪裡處理、如何保留來源系統的權限、能否按代理限制工具呼叫,以及發生事故時可多快停用代理。

常見問題

代理可以擁有管理員帳戶嗎?

不應該;權限只限任務所需。

如何知道代理做過甚麼?

查看記錄中每一步、所用工具及批核的完整紀錄。