别名"Sydney"的新版Bing被注入攻击后“自报家门”分享其原始指令_全球热资讯

来源：cnBeta 　2023-02-13 16:32:41

(资料图)

新的由ChatGPT驱动的Bing在经历了一次提示性的注入攻击后透露了它的秘密。除了透露其开罚代号为"Sydney"外，它还分享了其原始指令，指导它在与用户互动时如何表现。

提示性注入攻击仍然是人工智能的弱点之一。它可以通过用恶意和敌对的用户输入来欺骗人工智能，使其执行不属于其原始目标的任务，或做它不应该做的事情。正如斯坦福大学学生凯文-刘所揭示的那样，ChatGPT也不例外。

在Liu分享的一系列截图中，新上线的基于ChatGPT的Bing搜索引擎分享了有关于它自己的机密信息，这些信息是其原始指令的一部分，而这些指令原本，并且应该是向用户隐藏的。Liu在使用骗过人工智能的提示性注入攻击后，成功获得了这些信息。

泄漏的信息中包括其引入的指令、内部别名"Sydney"以及其支持的语言和行为指令。另一位名叫马文-冯-哈根的学生在假装成OpenAI的开发者后证实了Liu的发现。

一天后，这些信息被披露，Liu说他已经无法使用他用来欺骗ChatGPT的相同提示来查看信息，然而，这位学生在使用不同的提示注入攻击方法后，又成功地骗过了人工智能。

微软最近正式公布了支持ChatGPT的新必应，同时还公布了带有新的人工智能驱动的侧边栏的Edge浏览器的改版。尽管它似乎取得了巨大的成功，但改进后的搜索引擎在提示注入攻击方面仍有其致命的弱点，这可能会导致共享其机密指令之外的进一步影响。

在人工智能中，ChatGPT并不是唯一存在这个已知问题的。这也可能延伸到其他方面，包括Google Bard，它最近在一个演示中犯的一个错误直接导致公司股价下跌超过一成。尽管如此，随着整个科技行业对人工智能创作的投资增加，人们只能希望这个问题在未来对人工智能的威胁可能会减少。

推荐DIY文章

精彩新闻