如何限制AI代理的安全风险：从代码执行到权限控制

如何限制AI代理的安全风险：从代码执行到权限控制

在某机构于旧金山举办的AI代理安全峰会上，某中心的首席技术官迈克尔·巴尔古里坦率地承认：“这是一个全新的领域，坦白说，我们并不完全清楚自己在做什么。” 这场会议的主题虽然是安全，但演讲者们更侧重于风险管理——即限制损害，而非完全杜绝。

独立安全研究员、某游戏的红色团队主管约翰·雷贝格尔在一次主题演讲后的访谈中赞同了巴尔古里的评估。他表示，“对许多人来说，安全是事后才考虑的。许多AI实验室和供应商关注的是内容安全，确保模型不会对你说脏话。” 然而，当AI代理能够控制你的电脑时，安全问题就变得截然不同。

某咨询机构网络安全与隐私咨询业务的区域总监瑞安·雷将AI代理定义为“在有限监督下追求复杂目标的系统”。你也可以根据开发者西蒙·威尔逊的表述来理解它们：“在循环中使用工具的AI模型”。无论如何定义，它们都是一种安全风险。

雷贝格尔在其演讲中提出了另一种描述：“把代理想象成恶意的内部人员。只不过它们可能行动得更快。”他指出了最近某中心为Visual Studio Code设计的Q扩展程序遭到入侵的事件，并表示攻击者开始专门针对AI代理和相关的编码工具发起攻击，其依据是许多开发者正在使用这些工具并将其安装在本地机器上。攻击者试图调用代码代理并将其置于“YOLO模式”——即在未经人类批准的情况下执行命令——以劫持机器并窃取数据。

在他的主题演讲中，雷贝格尔讨论了如何在VS Code中通过配置chat.tools.autoApprove设置来指示相关模型自主运行，从而实现这一点。他警告说：“未来我们将看到许多被入侵的电脑。”

在该峰会上的其他演讲者也支持这一观点，并列举了AI代理、MCP服务器和大语言模型中存在的各种安全缺陷。他们为正在努力管理AI代理风险的IT专业人士提供的答案，倾向于寻找限制AI代理能力的方法。

当一位与会者询问如何防止代理自行采取行动时，某AI安全初创公司的首席执行官兼联合创始人、前某安全机构高级技术顾问杰克·凯布尔表示：“有几类缓解措施。我认为最好的方法是不依赖AI来解决它。” 与一些公司试图通过AI护栏来实现的目标不同，凯布尔认为，“实际上，最好的方法是建立某种控制措施。一种选择是通过限制可以使用的工具来实现。”

他举例说明了某AI公司如何阻止其浏览器使用扩展连接到银行和金融网站，以减轻基于AI的攻击清空银行账户的风险。

简而言之，为了降低AI代理被利用的风险，需要“削弱”你的AI代理：不要给它们访问文件删除命令的权限，不要允许它们随意打开网络端口。

某信任机构和某云安全平台的创始人内特·李在他的演讲中指出，AI代理的根本问题在于它们的非确定性，因此我们无法确切知道它们会做什么。“在关于代理安全的所有讨论中，实际上98%都归结为一个事实：提示词注入是真实存在的威胁，”他说，“而我们没有很好的方法来防范它。因此，在构建系统时，你需要极其注意这些权衡。因为当你赋予它更多上下文、更多工具时，你也同时扩大了攻击面。”

对于AI代理而言，功能越少，安全性越高。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码