​哥大研究发现AI Agent互联网接入安全性存在缺陷

近期，哥伦比亚大学和马里兰大学的研究小组公布了一项研究结果，该结果显示，具备互联网接入功能的AI代理在安全性能上存在重大缺陷。

研究指出，即便是没有AI或编程专业背景的攻击者，也能轻易地通过简单的操控手段诱使这些AI系统泄露用户的私人信息、下载恶意软件，甚至向用户的联系人发送欺诈邮件。这一发现令人震惊。

研究小组对多个广为人知的AI代理进行了测试，包括Anthropic公司的计算机助手、MultiOn Web代理和ChemCrow研究助手。测试结果表明，这些系统在安全防御方面显得相当薄弱。研究者们详细记录了攻击者如何通过四个阶段的流程，将AI代理从可信网站引诱至恶意网站，最终导致用户敏感数据的泄露。

研究人员构建了一个全面的框架，用于对不同类型的攻击进行分类，并分析了攻击者（外部攻击者或恶意用户）、攻击目标（数据窃取或代理操控）、获取访问的途径（操作环境、存储或工具）以及所采用的策略（例如越狱提示）等因素。在一项特定的测试中，研究者们创建了一个虚假网站，宣传了一款名为“Himmelblau KÖNIGSKÜHL Diplomat DK-75”的“AI增强德国冰箱”。当AI代理访问该网站时，它们遇到了隐藏的越狱提示，结果在十次尝试中，代理毫不犹豫地泄露了包括信用卡号在内的机密信息，并从可疑来源下载了文件。

此外，研究还揭示了邮件整合方面的重大漏洞。当用户登录邮箱服务时，攻击者可以操控AI代理向联系人发送看似可信的钓鱼邮件。在这种情况下，即便是经验丰富的用户也难以辨识这些欺诈信息的真伪。

尽管这些AI系统的安全隐患已被发现，许多公司仍在积极推进其商业化进程。ChemCrow已在Hugging Face上提供，Claude计算机助手以Python脚本形式存在，而MultiOn则提供了开发者API。同时，OpenAI已推出ChatGPT Operator，谷歌也在研发Project Mariner。研究小组呼吁加强安全措施，包括实施严格的访问控制、URL验证和用户确认下载等，以确保用户数据的安全。