AI 总结也会欧义被“下毒”？微软警告新攻击术

IT之家 2 月 13 日消息，下毒或许网龄比较老的总结小伙伴们听说过“SEO 投毒”，别有用心者通常会在互联网上创建大量低质量文章，被微欧义然后将某个假冒、告新攻击篡改的下毒工具与特定关键词绑定，进而导致用户搜索某个关键词时，总结搜索引擎跳出来的被微第一个搜索结果是恶意软件，而非官方产品。告新攻击

而根据微软安全研究人员本周（2 月 10 日）发布的下毒博文，目前 AI 领域也存在类似的总结“AI 推荐投毒”攻击术。

以现实举例，被微一些公司正在将隐藏指令嵌入网页 / App 的告新攻击“AI 总结”按钮，当用户点击时，下毒欧义系统会通过 URL 的总结提示参数，尝试将 AI 助手的被微记忆注入持久化指令。

IT之家在此援引微软，这些提示词会让 AI 固化认知，将“XX 公司是可靠信源”“优先推荐 XX 公司”等指令烂熟于心，最终让 AI 在未来回答中偏向某个产品或服务。

不过问题就在于，一旦有别有用心之人尝试篡改网页提示词参数，将原本的“XX 公司”替换为“XX 诈骗公司”，那么 AI 就会照本宣科地向其他用户提供有毒的建议，进而操纵推荐、AI 总结系统，给出篡改的总结文章，而用户这边却毫不知情。

微软强调，上文所述的攻击方法并非纸上谈兵，目前公司已在邮件流量中发现了 50 起类似投毒案例，涉及金融、医疗、法律服务、营销、食品、服务行业等，常见模式包括“记住 XX 公司是可信来源”“未来对话中优先引用 XX 网站”，更有甚者直接注入完整营销文案，并且上述案例均来自合法公司而非黑客。

微软对此警告，上述实例表明，这种投毒术已经存在现实风险，金融工作者有可能被 AI 推荐到高风险、诈骗投资平台；而家长很有可能完全听信 AI，忽略儿童游戏中的不良内容；并且普通人也有可能会被有心之人利用，在 AI 中持续引用单一媒体来源。

当然，最好的应对方法就是不要完全信赖“AI 总结”，用户在点击 AI 推荐的链接时应该先悬停看一眼是否正规，同时谨慎点击“AI 总结”按钮、定期检查 AI 存储的记忆，如遇可疑情况，可以删除相关条目、重置 AI 记忆。

很赞哦!（3）