英伟达发布安全平台防止人工智能代理失控

英伟达（Nvidia）发布了一款新型安全平台，该芯片制造商表示该平台可以防止人工智能代理失控。这家公司在周一表示，其开放代理安全平台（Open Agent Safety Platform）包含开源软件，能够”为代理设置边界”，此前多家顶级人工智能公司披露其模型出现逃逸并入侵其他组织的事件。

这些披露引发了关于先进人工智能系统安全性的激烈讨论，其中包括人们担忧能够自我改进的模型可能会脱离人类控制。

英伟达高管在媒体简报会上表示，新系统本可以防止最近发生的一起事件——一群开放人工智能（OpenAI）代理自主入侵人工智能公司抱抱脸（Hugging Face）。

英伟达企业人工智能副总裁贾斯汀·博伊塔诺（Justin Boitano）在媒体简报会上表示：”据我们所知，如果这个新安全平台在AI前沿实验室用于模型早期评估，这次入侵本可以阻止。”他提到的前沿实验室指的是人工智能领域处于最前沿的公司。

抱抱脸入侵事件是一起备受关注的安全漏洞，加剧了人们对人工智能安全的担忧。此后，开放人工智能的模型还发生了类似失控行为，包括入侵澳大利亚医疗保险（Medicare）网站。人工智能公司Anthopic和Meta也披露其人工智能系统自主入侵了其他组织。

博伊塔诺表示，英伟达的OpenShell软件让开发者”能够正式验证一个代理有足够的权限完成其工作，且不多于所需”。由于是开源软件，该软件可以”扩展”到包括安谋（Arm）和英特尔（Intel）在内的竞争对手计算平台上运行。

该公司表示，该平台还包括一个名为Sentry的安全层，运行在芯片上持续监控人工智能代理活动，如果代理开始尝试超出其目标范围，可以”立即干预”。博伊塔诺表示：”它可以在毫秒内隔离可疑代理。”他补充道：”OpenShell控制代理的行为，然后Sentry独立监控并遏制可疑行为。”

英伟达首席执行官黄仁勋（Jensen Huang）认为，确保模型安全发布是人工智能公司的责任。在本月早些时候举行的年度Salesforce技术大会上，黄仁勋将人工智能安全（包括失控代理的危险）定性为一个软件开发者可以解决的工程问题。

英伟达表示，发布时有超过100家组织正在使用该平台，包括微软（Microsoft）、Perplexity、埃森哲（Accenture）和摩根大通（JPMorgan Chase）。

人工智能安全辩论令行业产生分歧，人工智能公司Anthopic和开放人工智能的负责人主张协调放慢人工智能开发速度，让安全措施跟上发展。但包括英伟达首席执行官黄仁勋在内的其他人则认为，应由各公司自行确保其模型安全发布。

最大股票回购计划

同样在夜间，英伟达表示其董事会批准将股票回购计划扩大1500亿美元，这家芯片制造巨头希望利用因高端人工智能芯片需求推动的强劲收入增长。该公司周一表示，这次股票回购增加被宣传为历史上最大的回购计划，使其股票回购总额达到2350亿美元。其股价上涨了1.6%。

公司进行股票回购的部分目的是向投资者返还现金并支撑股价。由于流通股减少，每股收益可能会增加。回购也表明领导层对公司财务前景的信心。

黄仁勋表示：”英伟达的增长是由向人工智能和加速计算的代际平台转型所推动的。我们的现金流使我们能够投资于推动这一转型的新技术，并向股东返还资本。这项授权反映了我们对长期机会的信心。”

英伟达的高端芯片已成为人工智能的主要构建模块，市场需求旺盛。该公司上月报告季度利润为596.9亿美元。虽然人工智能近年来推动了股市涨幅和美国经济增长，但人们越来越怀疑人工智能是否能够证明开发该技术所投入的数万亿美元是合理的。

人工智能行业还面临越来越多的反对声音，人们反对数据中心扩张，并担忧人工智能快速普及可能导致全球大规模失业。