英国国家网络安全中心(NCSC) 发出严厉警告,称聊天机器人越来越容易受到黑客操纵,从而可能导致现实世界的严重后果。
该警报发出之际,人们对“即时注入”攻击的做法越来越担忧,即个人故意创建输入或提示,旨在操纵支撑聊天机器人的语言模型的行为。
由于聊天机器人能够处理简单的请求,因此已成为在线银行和购物等各种应用程序中不可或缺的一部分。大型语言模型(LLM)——包括为 OpenAI 的 ChatGPT 和谷歌的 AI 聊天机器人 Bard 提供支持的模型——已经在数据集上进行了广泛的训练,使它们能够对用户提示生成类似人类的响应。
NCSC 强调了与恶意提示注入相关的不断升级的风险,因为聊天机器人通常促进与第三方应用程序和服务的数据交换。
“使用法学硕士构建服务的组织需要小心,就像他们使用测试版的产品或代码库一样,”NCSC 解释道。
“他们可能不会让该产品代表客户参与交易,并且希望不会完全信任它。类似的谨慎也适用于法学硕士。”
如果用户输入不熟悉的语句或利用单词组合来覆盖模型的原始脚本,则模型可能会执行意外的操作。这可能会导致生成攻击性内容、未经授权访问机密信息,甚至数据泄露。
RiverSafe首席技术官 Oseloka Obiora表示:“如果企业未能实施基本必要的尽职调查,那么拥抱人工智能的竞赛将带来灾难性后果。
“聊天机器人已被证明容易受到流氓命令的操纵和劫持,这一事实可能导致欺诈、非法交易和数据泄露急剧增加。”
微软发布新版必应搜索引擎和对话机器人引起了人们对这些风险的关注。
斯坦福大学的学生 Kevin Liu 成功地利用提示注入来暴露 Bing Chat 的初始提示。此外,安全研究人员 Johann Rehberger 发现 ChatGPT 可以被操纵以响应来自意外来源的提示,从而为间接提示注入漏洞提供了可能性。
NCSC 建议,虽然即时注入攻击很难检测和缓解,但考虑与机器学习组件相关风险的整体系统设计可以帮助防止漏洞被利用。
建议与机器学习模型一起实施基于规则的系统,以抵消潜在的破坏性行为。通过强化整个系统的安全架构,可以阻止恶意提示注入。
NCSC 强调,减轻由机器学习漏洞引发的网络攻击需要了解攻击者使用的技术,并在设计过程中优先考虑安全性。
ESET全球网络安全顾问 Jake Moore评论道:“在开发应用程序时考虑到安全性并了解攻击者利用机器学习算法的弱点所使用的方法,可以减少人工智能和机器学习带来的网络攻击的影响。
“不幸的是,启动速度或成本节省通常会覆盖标准和面向未来的安全编程,使人们及其数据面临未知攻击的风险。至关重要的是,人们要意识到他们输入聊天机器人的内容并不总是受到保护。”
随着聊天机器人继续在各种在线互动和交易中发挥不可或缺的作用,NCSC 的警告及时提醒人们必须防范不断变化的网络安全威胁。
版权声明
本文为本站原创内容,转载需注明文章来源(https://www.eiefun.com),另:文中部分素材可能会引用自其他平台,如有侵权或其它,请联系 admin@eiefun.com,我们会第一时间配合删除