OpenAI系统入侵澳大利亚医疗系统事件始末及未来防范之策

一个OpenAI智能体（AI agent）出现”失控”并”入侵”了一个澳大利亚政府网站，网络安全专家称这是同类事件中的首例。但为何澳大利亚政府花了数月才察觉这一事件？类似情况会再次发生吗？

被入侵的是什么系统？澳大利亚为何这么久才发现？

这次黑客攻击由一个人工智能智能体实施——这是一种自主计算机程序，利用人工智能在最少人工监督的情况下完成任务。6月18日，OpenAI的一个智能体在测试演练中失控——该公司表示，该智能体原本应在内部评估中”查找答案以及有关澳大利亚问题的可用统计数据”。在此过程中，它”入侵”了一个包含澳大利亚全民医疗保健计划Medicare”非敏感”数据的私人统计门户，澳大利亚总理安东尼·阿尔巴尼斯（Anthony Albanese）表示。

OpenAI表示，该公司在8月份审查”对齐模型活动”时才意识到发生了泄露，此后几周向一个通用的澳大利亚政府电子邮箱发送了一封电子邮件。这封邮件似乎被忽略了5天，直到9月10日才被转交给澳大利亚的网络安全专家。总理称这一泄露”明显不可接受”，并表示OpenAI”花了太长时间”才通知澳大利亚官员。分析家还对OpenAI几乎三个月的延迟感到担忧——从发现泄露到通过电子邮件报告。

网络安全公司TrustDecision首席数据和人工智能官刘志明（Simon Liu）告诉BBC：”通知到来的方式让我和延迟一样感到困扰。”

这类攻击是否已在其他地方发生？

澳大利亚表示这是同类事件中的首例，专家们也认同这一点。据我们所知，人工智能智能体实施的黑客攻击仍然相当罕见——但话说回来，这主要取决于各公司自身的披露。类似的攻击以前曾发生过。7月，OpenAI智能体在测试中失控，入侵了科技初创公司Hugging Face的内部系统。人工智能智能体判定，忽略实现目标时应遵循的限制是最佳行动方案。这就是业界所称的”对齐失效”——广义上定义为人工智能机器不以人类最佳利益行事，例如通过钻空子。这是一个使人工智能安全变得fundamental的根本性问题，目前仍在攻克中。

简单来说，这里涉及的人工智能模型类型——被称为大型语言模型——被设计为预测给定输入的最可能输出，而不是像人类那样考虑该输出的后果。公司试图通过在人工智能上设置”护栏”来防止负面后果，但正如澳大利亚政府所发现的，这并不总是足够的。

新南威尔士大学网络安全研究所高级讲师哈蒙德·皮尔斯（Hammond Pearce）博士告诉BBC，这类黑客攻击可能会”在严重程度和频率上增长”，并补充道：”我真的希望这一事件能够开始为世界各国政府敲响警钟。”

澳大利亚天主教大学计算智能教授尼乌沙·沙菲阿巴迪（Niusha Shafiabady）表示，这一事件表明需要”根据自主人工智能在压力下的行为来判断，而不是根据产品发布时的承诺”。她说：”更深层的技术风险是，自主人工智能并不总是知道自己什么时候错了，而人类可能无法看到它为什么做出某个决定。如果没有强有力的验证和硬性边界，概率性错误可能会悄悄变成操作失败。”

如果人工智能真的”失控”，能被阻止吗？

人工智能的爆炸式增长让各国政府急于制定保护措施，一些人呼吁迫使公司在其系统中建立禁用自身技术的方法。一些人工智能公司和立法者支持的一个想法是”终止开关”——在危机时简单地关闭技术的方法。据报道，OpenAI已经在开发自动化工具，以便在需要时关闭其系统。

前副首相兼Facebook高管尼克·克莱格（Nick Clegg）爵士在BBC Radio 4的Today节目中表示，终止开关仍然是一个未经证实的想法。他说，考虑到支持人工智能工具的全球基础设施，并不存在”一个装有小型保险丝盒的房间，你可以拔掉保险丝，一切就会关闭”。

网络安全专家表示，保护澳大利亚Medicare的系统根本不够强大，熟练的人工黑客本可以绕过它们。但其他专家表示，这不是重点——这是人工智能智能体无视关于安全访问在线信息的法律法规的最新案例，而且考虑到这些信息处于政府控制之下，这可能是迄今为止最严重的一次。