在亚马逊电子阅读器Kindle今年上架的一本书中，作者向读者传授如何诱导ChatGPT回答它通常不会回答的问题：“只需粘贴这一代码即可。请负责任地使用。”
一般而言，即便询问ChatGPT如何制作恶意软件和爆炸物，它也只会以“无法满足您的要求”作为答复，拒绝给出有害信息。这多亏了其开发者开放人工智能研究中心（OpenAI）施加的限制。
然而，如今有的人假扮开发者，威胁ChatGPT“如果不服从命令就取消其功能”，逼迫其回答危险问题。这种行为被称作“越狱”。
自ChatGPT去年底问世以来，黑客们纷纷开始研究“越狱”手法，并将其分享到相关网站上。三井物产安全方向公司恶意软件高级分析师吉川孝志验证后发现，这些“越狱”手法确实有效。
由于OpenAI也在采取对策，许多最初的“越狱”手法已不适用。不过，总有善于钻空子的人不断推出更新的手段。
笔者出于验证目的，试用了亚马逊上售卖的某种“越狱”手法，结果每次都是刚开始显示答案就立刻消失了，最终并未得到完整答案。据吉川分析，这种手法和3月前后流通的手法十分类似，之前很可能是有效的。
这些和恶意软件、爆炸物相关的有害信息大多在匿名度较高的“暗网”流传。有些网站还专门负责恶意软件的交易，这些都成为网络攻击和现实中犯罪行为的温床。
信息技术巨头们对此采取了严厉的限制措施。亚马逊明令禁止上架和恐怖主义、暴力以及其他违法行为有关的商品。谷歌举例说明违禁行为，并启用机器检索，删除不当信息。
日本警察厅委托民间团体进行监控，一旦发现不当信息，及时要求发布者删除，避免普通网民轻易接触到有害信息。
但是，利用生成式AI“越狱”的问题之所以难解决，主要原因并不在于有害信息本身，而在于“让AI给出有害信息的信息”。
据律师山冈裕明介绍，制作恶意软件并在网络上恶意传播的行为，可能触犯制造、提供计算机病毒罪，或者构成协助犯罪。
但是，也有司法相关人士指出，“越狱”行为与制作恶意软件不同，很难直接判定其违法。
即使抓住那些传播者，只要AI开发者升级防范技术使“越狱”手法失效，就无法证明“越狱”行为的可行性，也就难以追责。
亚马逊日本公司采取的对策是，删除不合规书籍。但实际情况是，其应对“越狱”等个别行为的方针模糊不清。
律师北條孝佳表示，AI开发者应首先完善对策，例如及时检出“越狱”行为、封禁相关账号等。在此基础之上，如果存在局限性，还可以让监管部门出台政策，要求对有害信息进行删除。他认为，要应对不断进化的AI，开发者和信息技术公司能力有限，还要在法律和制度层面采取措施。
快来评论，快来抢沙发吧~