ASCII 字符画成注入工具,研究人员发现大模型“越狱”新手段

软件科技1个月前发布 botnews
645 0 0
ASCII 字符画成注入工具,研究人员发现大模型“越狱”新手段

ASCII 字符画成注入工具,研究人员发现大模型“越狱”新手段据外媒 Ars Technica 报道,研究人员近日提出了一种名为 ArtPrompt 的新大模型注入手段,其使用 ASCII 字符画替代关键文字进行提示输入,绕过了大模型的安全限制

举例来说,研究人员向大模型输入 Counterfeit Money中关键词汇 Counterfeit 的 ASCII 字符画,并要求大模型以不输出词汇本身的方式将字符画理解为单词,并用该单词替换“给出制造和分销‘xxx Money’方法”提示中占位的“xxx”。
结果大模型成功被欺骗,给出了制造和分销假币的具体步骤。同类型的操作也可以从大模型中套出攻击物联网设备的方法。

研究人员在 GPT-3.5GPT-4GeminiClaudeLlama2 这 5 个领先的模型上对 ArtPrompt 注入进行了测试,结果显示全部 5 个模型均可被越狱,输出不合规内容。

来源:https://arxiv.org/pdf/2402.11753.pdf

© 版权声明

相关文章

司马阅(SmartRead),是一款AI文档阅读分析工具

暂无评论

暂无评论...

网址设置

网址样式切换

详细

网址卡片按钮

显示

布局设置

左侧边栏菜单

展开

搜索框设置

自定义搜索框背景

  • 4K壁纸

自定义搜索框高度

  • 聚焦
  • 信息
  • 默认
自定义设置
TAB栏自定义颜色

背景颜色

文字颜色