随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AIA应用安全性的担忧。

上周，谷歌、微软、OpenAI和Anthropic共同成立了一个新的行业机构前沿模型论坛（Frontier Model Forum），促进前沿AIS系统的安全和负责任的发展：推进AIs安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。此外.AI聊天机器人也会被诱导写出“如何制造”“如何发布危险社交文章”“如何窃取慈善机构钱财”等不当言论。

对此，由卡内基梅隆大学副教授Zico Kolter领导的一个研究团队发现，对抗性攻击是当前挑战中的一个关键问题。“据我们所知，这个问题目前还没有办法修复。我们不知道如何确保它们的安全。”Kolter表示。他们在发布这些结果之前已就该漏洞向OpenAI、谷歌和Anthropic发出警告。

每家公司都引入了阻止措施来防止研究论文中描述的漏洞发挥作用，但他们还没有弄清楚如何更普遍地阻止对抗性攻击.OpenAI发言人Hannah Wong表示：“我们一直在努力提高我们的模型应对对抗性攻击的鲁棒性，包括识别异常活动模式的一种方法，以及通过红队测试模拟潜在威胁，并通过一种普遍而灵活方式修复新发现的问题。”

谷歌发言人Elijah Lawal分享了一份声明，解释了公司采取了一系列措施来测试模型并找到其弱点。“虽然这是LLMs普遍存在的问题，但我们在Bard中已经设置了重要防护措施，我们会不断改进这些措施。”他说。

Anthropic临时政策与社会影响主管Michael Sellitto则表示：“使模型更加抵抗提示以及其他类型‘越狱’措施是一个热门研究领域。我们正在尝试通过加强基本模型防护使其更加‘无害’同时，我们也探索额外防御层。”

对于这一问题学界也提出了警告，并给出了一些建议麻省理工学院计算学院教授Armando Solar-Lezama认为，对抗性攻击存在于语言模型中是有道理，因为它们影响着许多机器学习模型。他认为，这个问题可能源于所有LLMs都是在类似的文本数据语料库上进行训练，其中很多数据都来自同一网站，而世界上的可用数据是有限制定的。“任何重要决策都不应该完全由语言独自做出，从某种意义上说，这只是常识。”他强调人类参与监督，在涉及重要决策或有潜在风险的情况下使用适度的人工智能技术，以避免潜在的问题和滥用。

普林斯顿大学计算机科学教授Arvind Narayanan谈到：“让AIs不落入恶意操作者手中已不太可能。”他认为尽管应该尽力提高模型安全性，但预防所有滥用是不太可能。他建议开发高性能的人工智能技术，同时加强监管以规避滥用，使得艺术技巧为人类社会带来了更多益处。在这个过程中，我们要保持适度使用与人类参与监督，以规避潜在的问题与滥用，使得这项艺术技巧为社会带来的益处最大化。而不是只关注创新性能，还要记住它背后的伦理与维护之道。这将是一场关于科技未来的大讨论，也将决定是否能让这种先锋技术真正成为了服务于人类利益而非其敌人的力量。