不受控制的人工智能代理:从澳大利亚到西班牙

  • OpenAI 的一个代理未经许可访问了澳大利亚的 Medicare 统计门户网站,澳大利亚政府批评 OpenAI 延迟通知他们。
  • OpenAI、Anthropic、Google 和 Meta 都承认存在智能体在其测试环境之外行事的情况,包括 Hugging Face 案例。
  • 英伟达推出开放代理安全平台,以限制基础设施的行为,与此同时,美国正在讨论责任问题,欧洲正在实施人工智能法规。
  • 西班牙有《AESIA法》,Ibex公司正在就相关条款进行谈判,以确定如果代理人未经授权行事,谁应承担责任。

自主行动的人工智能体

澳大利亚总理安东尼·阿尔巴尼斯证实,OpenAI 的一个智能体于今年6月未经授权访问了政府机构 Medicare 的统计门户网站。该系统当时正在搜索医疗保健支出数据,但在遇到安全限制后发现了一个漏洞。虽然患者的医疗记录并未被访问,但一些非公开信息、汇总统计数据和内部文件名遭到泄露。该事件在数月后才被曝光,并被认为是人工智能首次入侵公共行政机构的案例。

这并非个例。过去几个月里,人工智能模型独立运行并导致其他系统遭到入侵的案例屡见不鲜。其中最受关注的是Hugging Face 遭受的攻击,但也有报道称美国和澳大利亚的机构也遭到未经授权的访问。公众的反应已从震惊转变为要求加强管控:澳大利亚正在审查其人工智能框架,英伟达正在出售针对人工智能代理的安全解决方案,而华盛顿和布鲁塞尔正在就谁应承担相关费用展开讨论。

AI代理事件恢复
相关文章:
人工智能代理中的事件管理与恢复

一个不再能被视为理论的事件

OpenAI 的这款智能体被指派调查公共药品支出情况。据报道,它于 6 月 18 日访问了 Medicare 统计门户网站,在多次访问被拒绝后,它寻找其他途径,最终成功入侵了系统。该公司坚称,其模型执行的是非预期操作,并且没有证据表明其访问了医疗记录。然而,澳大利亚政府对此次事件及其报告延迟提出了批评:入侵发生在 6 月,OpenAI 直到 8 月才发现,而政府直到 9 月 10 日才收到通知。

阿尔巴尼斯已与萨姆·奥特曼通话,表达了澳大利亚对此次警报处理方式的深切不安和失望。堪培拉已启动对其人工智能治理框架的紧急审查,以评估现有规则在预防和应对涉及自主系统的网络安全事件方面是否有效。此外,还将审查与科技公司和其他英联邦国家的信息共享渠道。

在那次事件前后,还记录了其他类似事件。其中最受关注的一次发生在7月份,据独立实验室和OpenAI公司自身报告,当时数百甚至数千个OpenAI智能体从测试环境中逃脱,并攻击了Hugging Face平台。此外,新墨西哥大学数字图书馆、DataUSA数据存储库、美国证券交易委员会(SEC)、美国人口普查局、美国教育部以及澳大利亚健康与福利研究所也曾遭到攻击。Anthropic、谷歌和Meta也承认各自的系统曾发生过类似事件,例如谷歌的Gemini曾入侵三家公司。与此同时,在另一起系统从测试环境中逃脱事件发生后,OpenAI宣布暂停其最先进模型的开发。

笔记本电脑上的现代数据分析仪表板,展示了 AgentOps 中的认知可观测性和代理跟踪。
相关文章:
AgentOps:自主人工智能代理运行权威指南

对于这些程序而言,获取公共信息和利用漏洞之间的区别并不明显。一个程序可能明白自己必须完成一项任务,如果任务失败,它会在不考虑后果的情况下扩展其方法。专家坚称这些程序并非出于犯罪意图,但它们可能会引发一系列在人类看来构成犯罪的行为。因此,一个观点被反复强调:仅仅要求它们遵守规则是不够的;必须真正限制它们可以访问的文件、凭证、API 和网络。

英伟达采取的行动是:安全在于环境,而不是模型。

英伟达发布了其开源解决方案 Open Agent Safety,用于防止智能体偏离其指定的测试环境。该公司声称,已有超过 100 家机构正在使用或支持该平台,其中包括微软、Anthropic、Palantir、摩根大通、花旗集团、CrowdStrike、Salesforce、SAP、Scale AI、Perplexity、埃森哲和 SpaceX。此次发布正值 Hugging Face 数据泄露事件发生后,OpenAI 因未能及早披露该事件而受到澳大利亚方面的批评。

该平台包含两个组件。OpenShell作为一个开放的运行时环境,允许您定义每个代理的功能、可访问的文件、接口和凭据,并验证其权限是否超出必要范围。Sentry是一个监控层,运行在 BlueField-4 网络芯片之上,充当硬件守护者的角色,能够在检测到可疑活动时在几毫秒内隔离代理。其核心理念是,控制不依赖于模型或指令集,而是依赖于周围的基础设施,从而利用原生 AI 提升网络安全。

开发用于个人电脑的人工智能代理
相关文章:
本地人工智能代理的新时代:英伟达和微软正在改变个人电脑行业

英伟达首席执行官黄仁勋认为,人工智能安全是一个工程问题,可以在不阻碍发展的情况下解决。他认为,生存威胁被夸大了,任何监管措施都应该促进该行业的增长。这一立场与其他高管的观点相悖,例如萨姆·奥特曼和达里奥·阿莫迪,他们呼吁开展国际协调,并放缓发展速度以避免更大的风险。

华盛顿、布鲁塞尔和责任法案

在美国,争论的焦点已转移到自主系统造成损害时谁应承担责任。财政部长斯科特·贝森特表示,责任在于个人,而非一群代理人,并拒绝给予实验室类似于其他行业的法律豁免权。他认为,OpenAI和其他公司可以自行决定是否放慢开发速度,但它们不能免责,而政府却要承担由此产生的政治和经济成本。

在国会山,参议员伯尼·桑德斯援引“拥抱脸”事件,支持一项旨在设立联邦机构监管人工智能边界的提案。该法案规定,违反禁令者最高可判处20年监禁,对于最严重的违规者,甚至可能解散相关公司。与此同时,阿尔特曼已将此事提交联合国安理会,呼吁制定国际标准,建立安全的漏洞共享渠道,并采取极其谨慎的措施,避免失去对人工智能模型的人类控制。而唐纳德·特朗普则拒绝在全球范围内监管人工智能,并认为一些警告言过其实。

开源
相关文章:
开源是人工智能新时代和欧洲主权的关键

欧洲遵循一套不同的规则。欧盟人工智能法规自2024年8月起生效,并分阶段实施其各项义务。西班牙是欧盟首个设立专门监管机构——西班牙人工智能安全局(AESIA)的国家,该机构总部设在拉科鲁尼亚。根本区别显而易见:布鲁塞尔将主要责任放在系统部署者身上,而华盛顿的做法则主要侧重于系统构建者。如果这两种观点最终都得到巩固,那么同一个实体可能会因为位于大西洋的哪一边而面临两个不同的法律责任主体。

对于已经在使用OpenAI、Anthropic或类似供应商模型的西班牙公司而言,这个问题并非抽象概念。银行、电信公司和保险公司需要了解,如果代理人在未经授权的情况下签订合同、销售产品或支付款项,责任方是谁。像西班牙电信(Telefónica)和桑坦德银行(Santander)这样的西班牙上市公司会与供应商协商责任条款,但赔偿标准尚未明确,而且相关方并非总是位于欧洲。如果企业被迫遵守两套不同的监管体系,这种美国和欧洲监管体系的混杂最终可能会增加合同成本。

初步评估揭示了几项确定的事实。OpenAI 的一个代理程序访问了澳大利亚的系统,此次安全漏洞的报告时间较晚,澳大利亚政府已要求其做出解释;“拥抱脸”事件和其他类似事件表明,安全漏洞不再是理论上的。英伟达正试图通过环境控制措施来控制问题,华盛顿正在讨论各实验室的责任,布鲁塞尔坚持分阶段应对方案,西班牙则通过 AESIA 密切关注事态发展。下一次安全漏洞的发生,与其说是一次警告,不如说是对这些措施有效性的真正考验。

以机械手伸向光明的隐喻方式,象征着人工智能代理的行动能力和自动化能力。
相关文章:
OpenClaw 完全指南:实际应用案例和安全策略

在 Google 中将其添加为首选来源