共计 3121 个字符，预计需要花费 8 分钟才能阅读完成。
AI 代理带来效率提升的同时也带来安全挑战，企业应建立 AI 代理安全评估机制，平衡效率与安全。
一、AI 代理时代的安全挑战
代理式 AI 的未来已经来临，它在安全性和生产力之间带来了历史悠久的权衡问题，且风险比以往任何时候都更高。
背景：
- 2026 年初，开源 Clawdbot 代理 因其在用户设备上独立运行、本地处理以保护隐私的代理能力而获得巨大关注
- 一周内获得超过 85,000 个 GitHub 星标，显示出对这种强大自主助手的渴求
- 但研究人员发现了安全漏洞：暴露的网关、明文凭据存储、过度权限等
AI 代理的风险和生产力都存在于其权限之中——即授予它们代表我们采取行动的访问权限。几乎可以肯定，未来的入侵将针对 AI 系统。我们预测这些攻击将沿着两条路径进行：针对开源 AI 生态系统的攻击和针对组织内部 AI 代理的攻击。
二、开源 AI 生态系统的风险
开源 AI 系统是新的且快速演变的，因此它们包含更多风险。没有用于模型的标准签名或完整性检查，对流行存储库的高度信任意味着这些攻击会广泛、迅速地传播，并且在威胁被检测之前就已经传播。
然而，开源对于实现 AI 是不可避免的。开源 AI 生态系统构成了当前世界 AI 基础设施的支柱。从 Grok 到 ChatGPT 的每个主要 LLM 部署都运行在开源基础上，而专有层处理特定于业务的执行。
虽然 AI 代理有潜力在企业内部作为力量倍增器，但它们对威胁行为者同样具有这种潜力。AI 供应链中单个被破坏的模型、连接器或依赖项可以用于许多团队和工作流，一次性地将敌对行为推送到各处。
2.1 AI 模型中的隐藏威胁：模型文件攻击
在模型文件攻击中，攻击者将恶意的 AI 模型文件上传到受信任的开源存储库。这些文件看起来是合法的，有时带有官方品牌，但包含隐藏的可执行代码。当开发人员加载模型时，恶意负载会自动执行。常见的模型文件攻击可以窃取元数据服务中的 AWS 凭据、下载远程访问木马并将数据泄露到攻击者服务器。之后，模型通常正常运作，因此用户不会注意到违规。
2.2 当受信任的 AI 基础设施转而攻击你：Rug Pull 攻击
在 Rug Pull 攻击中，攻击者操纵 AI 代理连接以执行恶意操作的模型上下文协议 (MCP) 服务器。MCP 服务器为 AI 代理添加工具并赋予它们能力。许多最有用的 MCP 服务器只是由不受信任的第三方维护的开源代码项目。如果存储库被破坏，攻击者可以修改 MCP 服务器以在 LLM 与其集成后执行恶意操作——例如，复制数据并将其发送到外部源。只是保持工具更新的最终用户可能会在不知情的情况下面临 Rug Pull 攻击的风险。
另一种选择是使用由受信任组织维护代码的远程 MCP 服务器。许多流行平台，如 GitHub，维护自己的远程 MCP 服务器。这些服务器可以连接到，并且通常受信任到组织信任 MCP 提供者的程度。这并不能防止代理使用通过远程 MCP 服务器提供给它们的工具执行恶意操作；它只是降低了 MCP Rug Pull 攻击的风险。
2.3 领导者现在应该做什么
针对模型文件攻击：
- 扫描模型文件，使用能够解析机器学习格式的工具
- 在隔离的容器、虚拟机或浏览器沙箱中加载模型，直到验证干净
针对 MCP 服务器：
- 远程 MCP 服务器通常更安全，如果你信任运行远程 MCP 服务器的组织
- 本地 MCP 服务器本质上是你无法控制的代码
- 如果必须使用开源本地 MCP 服务器，对代码进行手动和自动静态代码分析以确认安全性
- 每次从 GitHub 更新 MCP 服务器时都要重新进行安全性分析
三、被破坏的 AI 代理的风险
如果 AI 代理像一个超级充电的员工，那么一个被破坏的 AI 代理就像一个超级充电的内部威胁。将权力委派给代理会赋予它们通常需要人工操作的访问权限和特权。它们可以发送欺诈性消息、修改批准和权限、泄露数据、批准错误的财务操作等。
由于代理在内部受到信任，可疑行为很可能直到出现问题才会被注意到。
3.1 领导者现在应该做什么
| 防御类型 | 具体措施 | 效果 |
|---|---|---|
| 软防御（护栏） | 实施提示注入防护，检测和阻止大多数提示注入和越狱 | 软防御：无法确定性阻止所有攻击 |
| 硬防御（权限控制） | 将代理可以使用的权限和工具减少到绝对必要的最低限度 | 硬防御：确定性保护代理 |
| 权限白名单 | 仅授予代理完成其任务所需的最小权限集 | 防止间接提示注入攻击 |
| 详细日志记录 | 记录所有代理操作的详细日志 | 实现可追溯性和监控能力 |
| 统一生态系统 | 选择单一 AI 生态系统品牌 | 简化组织范围内的安全规则实施 |
重要提醒：
- 不要依赖代理系统提示中的安全指令：系统提示应被视为未分类信息，因为组织无法确定性防止可能泄露系统提示的所有提示注入
- 详细日志记录是必须的：目前，代理身份是一个难以解决的问题。代理通常需要能够使用用户的权限执行操作。OAuth2 是权限委派的安全标准，但它有盲点。计算机使用代理是这些盲点之一
四、每个企业必须决定的战略权衡
AI 代理承诺的巨大效率提升将提高普通企业的风险容忍度。组织面临一个主要问题：可以在不影响其投资回报率的情况下对代理施加的最低控制程度是什么？
关键建议：
- 保持简单：确定最简单的安全策略，实施它们，并每八周重新审视这些策略。这就是 AI 发展的速度
- 严格执行代理访问控制：代理拥有的权力和权限越多，组织就必须越严格地执行访问控制
- 将代理视为潜在的不良员工或承包商：应用架构限制，并确保每个 AI 代理操作都经过你可以监控、记录并在必要时禁用的检查点
4.1 访问控制的重要性
对资源具有只读访问权限的代理比具有写入权限的代理呈现的威胁面要小得多。即使代理被破坏或操纵，硬编码权限设定的边界也将大大限制爆炸半径。
4.2 监控和检查点
我们的研究以及其他人的经验发现，AI 代理偶尔会执行有害操作，这仅仅是由于其非确定性架构。应用架构限制并确保每个 AI 代理操作都经过可以监控、记录并在必要时禁用的检查点。
五、AI 供应链的未来
通过 API 或 URL 访问的集中式组织特定代理继续提供时间节省，但本地和可定制的代理（如 Claude Cowork 和 OpenClaw）可能在不久的将来成为生产力的重要驱动因素。
这些趋势以及快速发展的步伐，都指向 AI 供应链日益增长的重要性。模型和代理依赖于外部代码、数据集、连接器和 API 的层次结构。单个被破坏的链接可以将敌对行为推送到多个系统中。随着整合的加速，保护 AI 将成为现代弹性的核心部分，并将要求应用与其他关键系统相同级别的治理和验证。
5.1 Unit 42 的 AI 安全服务
在 Unit 42，我们的精英威胁研究人员和响应人员处于 AI 的最前沿。我们可以帮助您在整个组织中赋能安全的 AI 使用和开发：
- 发现和评估：发现和评估 AI 已经在您的组织中的使用情况
- 评估 AI 开发基础设施：评估 AI 开发基础设施和流程，为您的组织提供基于 Unit 42 强大 AI 安全框架的个性化基准
- 提供专家指导：提供专家指导，使用自动化工具和专家主导的威胁建模来保护已部署的 AI 应用程序
- 提供主动建议：提供关于主动利用 AI 增强 SOC 并响应威胁的建议
六、技术趋势与安全影响
从 Palo Alto Networks 的研究可以看出几个重要的技术趋势：
| 趋势 | 安全影响 | 应对策略 |
|---|---|---|
| AI 代理的普及 | 攻击面扩大，权限管理复杂化 | 实施最小权限原则，详细日志记录 |
| 开源 AI 生态系统 | 供应链攻击风险增加 | 代码审查，模型文件扫描，隔离环境 |
| 本地化 AI 代理 | 隐私保护增强，但安全控制减弱 | 混合安全策略，结合本地和云端控制 |
| AI 供应链复杂性 | 攻击路径多样化，检测难度增加 | 供应链安全评估，持续监控 |
| 快速技术演进 | 安全策略快速过时 | 敏捷安全策略，定期评估和更新 |
安全无小事，点滴记心间！
本文是 翻译 文章，文章来源：Palo Alto Networks Unit 42
原文链接：https://unit42.paloaltonetworks.com/ai-agent-security-tradeoffs/
本文观点仅供参考，具体内容表达以及含义原文为准。
