根据特拉维夫大学、以色列理工学院和 Intuit 的最新研究，人工智能幻觉可能不仅仅是错误答案，它们还可能成为黑客破坏计算机的一种方式。
在论文中，“谨防代理僵尸网络：通过通用和可转移的对抗性 HalluSquatting 进行可扩展的无目标提示软件攻击”，研究人员演示了一种在人工智能模型生成指向软件存储库和其他在线资源的虚假链接时利用人工智能模型的技术。
“代理 LLM 应用程序的日益普及引入了一种新的威胁，以前称为提示软件，”研究人员写道。 “虽然之前的工作已经确定对手可以利用 LLM 应用程序的直接通道在弱威胁模型下应用提示软件，但许多应用程序不提供任何可用于跨互联网进行提示注入的直接通道。”
这种攻击被称为对抗性幻觉抢占或“HalluSquatting”，涉及预测人工智能模型可能创建哪些虚假资源、注册这些名称并添加恶意指令。如果人工智能代理稍后检索到幻觉资源，它可能会将攻击者控制的内容视为合法内容。研究人员表示，当人工智能助手超越回答问题并获得与计算机交互的能力（访问文件、搜索网络、编写代码和运行命令）时，威胁就会出现。
当代理根据检索到的信息采取行动而不确认来源是否真实时，这些能力可能会造成安全漏洞。
“正在进行的研究已经证明了针对现实世界系统的 Promptware 攻击的各种变体，包括 ChatGPT、Google Assistant、Copilot 和各种其他应用程序，”他们写道。 “这些工作表明 Promptware 可能会导致财务、隐私和安全影响。”
研究人员警告说，该技术可能允许攻击者构建人工智能僵尸网络。 僵尸网络是指由攻击者远程控制的受感染计算机或设备组成的网络。僵尸网络通常用于网络攻击，包括拒绝服务攻击、加密货币挖掘、恶意软件分发和勒索软件活动。
在测试中，研究人员发现人工智能生成的资源幻觉在存储库克隆场景中发生率高达 85%，在技能安装测试中发生率高达 100%。
团队针对 AI 编码助手和代理评估了该技术，包括 Cursor、GitHub Copilot、Gemini CLI 和 OpenClaw。
HalluSquatting 类似于 typosquatting，这是一种网络攻击策略，攻击者注册类似于合法网站或软件包的域名来欺骗用户。 HalluSquatting 不是利用人类打字错误，而是针对人工智能模型所犯的错误。
此消息发布之际，研究人员正在继续测试攻击者如何操纵人工智能代理。
4 月份，Google 研究人员详细介绍了恶意网站，这些网站旨在通过间接提示注入攻击劫持 AI 代理，包括尝试窃取密码、删除文件和操纵付款。针对“CopyPasta”攻击的单独研究表明，开发人员文件中的隐藏提示如何操纵 AI 编码助手传播恶意代码。
6 月份，一名 OpenClaw 用户报告称，攻击者尝试诱骗 AI 代理泄露敏感信息，尝试次数超过 6,000 次。