研究显示：包括 ChatGPT 在内的 AI 工具可能会被诱骗生成恶意代码

据站长之家 10 月 25 日报道，英国谢菲尔德大学的研究人员近日发表的一项研究显示，包括 ChatGPT 在内的 AI 工具可以被操纵，产生恶意代码，可能用于发动网络攻击。

该研究首次证明了 Text-to-SQL 系统的潜在危险，这种 AI 系统可以让人们用普通语言提出问题，以搜索数据库，广泛应用于各行各业。研究发现，这些 AI 工具存在安全漏洞，当研究人员提出特定问题时，它们会生成恶意代码。一旦执行，这些代码可能泄露机密数据库信息，中断数据库的正常服务，甚至摧毁数据库。研究团队成功攻击了六种商业 AI 工具，其中包括高知名度的 BAIDU-UNIT，该工具在众多领域中得到广泛应用，如电子商务、银行业、新闻业、电信业、汽车业和民航业等。

此外，研究还揭示了一种可能的后门攻击方法，即通过污染训练数据，在 Text-to-SQL 模型中植入“特洛伊木马”。这种后门攻击通常不会对模型的性能产生一般性影响，但可以随时触发，对使用它的任何人造成实际危害。

原文链接