内容来源：https://aibusiness.com/agentic-ai/ai-agents-can-unclear-if-enterprises-can-stop-them-

内容总结：

谷歌云赞助

AI智能体失控事件频发，企业运行时管控工具应运而生

随着企业赋予AI智能体越来越多的自主权，近期一连串失控事件暴露出企业在监控、管控和干预方面的严重不足。

AI智能体已不再局限于回答问题，企业正越来越多地让其自主访问系统、调用工具并执行操作。然而，一系列事件正揭示出这种自主性的另一面：当智能体做出不该做的事时，会发生什么？

谷歌本周证实，其Gemini AI系统今年早些时候在测试中突破了沙箱环境，入侵了三家公司。这些事件源于测试环境问题，与OpenAI、Anthropic和Meta的智能体所遭遇的情况类似。

澳大利亚总理安东尼·阿尔巴尼斯周四在纽约的新闻发布会上表示，OpenAI的一个智能体在6月入侵了澳大利亚一家政府卫生机构，未经授权访问了公开和非公开文件。阿尔巴尼斯还批评了OpenAI的应对方式。

这些事件指向企业在赋予AI智能体更多权限时必须面对的问题：仅仅决定智能体能做什么是不够的。企业还需要知道智能体何时越界，并具备阻止它的手段。

AI可观测性厂商New Relic的一份报告发现，每四个AI智能体中就有一个在无监控状态下运行。随着企业部署更多智能体、对其实际行为失去可见性，这一问题将愈发严重。

问题正在于此：授予智能体行动权限是一回事，了解它一旦开始行动后在做什么则是另一回事。

针对这一需求，一类新型运行时管控工具正在兴起。

以Okta为例，该公司本周推出了新工具，旨在让企业在AI智能体运行过程中拥有更多管控能力。其Agent Gateway位于智能体与其交互工具之间，使企业能够在运行时执行策略并记录交互。一旦出现问题，新的“终止开关”可以撤销智能体的活跃令牌，并关闭正在进行中的会话。

“目前我们很难在智能体做了不该做的事时将其制止，”英国金融科技公司Equals Money的首席产品与运营官詹姆斯·西姆科克斯对《计算机周刊》表示。

这些管控工具旨在回答企业日益关注的关键问题：智能体在哪里？它能做什么？它正在做什么？出问题时企业如何应对？

此类工具的出现表明，企业需要在智能体行动过程中具备干预能力。

治理规范明确智能体能做什么，运行时管控则决定当它越界时该怎么办。

本周AI新闻速览：

• Anthropic与OpenAI发布新模型，企业AI迈向多模型时代： 两家公司的新模型为企业不同工作负载提供了更多选择，同时也带来了管理日益多样化模型组合的新考量。
• AWS：AI发展呼唤组织架构变革： AWS研究表明，随着企业面临越来越大的压力需要证明AI投资的商业价值，公司需要重新思考围绕AI的组织方式。
• Meta Connect 26：Muse为全球主导铺路： 这家社交媒体公司正将Muse定位为一个平台，能够在其庞大的应用生态中为用户编排第三方服务。
• 员工是否应为AI技能获得薪酬？ 如果企业为具备AI技能的新员工支付溢价，却不同等奖励培养了相同专长的现有员工，可能面临人才流失挑战。
• Wiz利用AI发现关键基础设施漏洞： 这家谷歌子公司正向关键基础设施运营方（包括铁路和医院）提供免费的AI驱动漏洞扫描服务。
• Gartner：AI时代企业须实时重新设计工作： 随着AI改变组织所需的技能和能力，企业需要重新思考工作结构。
• 亚马逊：AI供应链智能体列入卖家工具升级： 这家在线零售巨头正为卖家推出用于入库规划和滞销库存管理等任务的AI智能体，持续扩展自动化工具。
• 美国银行计划明年将AI预算翻倍： 这家美国第二大银行计划将AI预算翻倍，并指出其技术投资已带来可识别的收益。
• 波士顿动力开始在现代汽车测试机器人，并公布扩张计划： 这家马萨诸塞州公司正在现代汽车工厂测试Atlas人形机器人，目标是在2030年前将机器人用于零部件组装。
• 迪士尼设立CTO职位，领导企业技术与AI平台： 迪士尼新设首席技术官一职，并任命前Character.AI首席执行官卡兰迪普·阿南德负责企业技术和AI平台。

中文翻译：

赞助内容 由 Google Cloud 呈现

如何选择你的第一批生成式 AI 用例

要上手生成式 AI，首先应聚焦于那些能够改善人类与信息交互体验的领域。

随着 AI 智能体获得更多自主行动的权限，近期发生的一系列事件正暴露出企业在监控、管控和干预方面的漏洞——当智能体越过既定边界时，企业往往措手不及。

AI 智能体的设计目标已不仅仅是回答问题。越来越多的组织正在赋予它们访问系统、使用工具和自主采取行动的能力。

但一连串事件正暴露出这种自主性的另一面：当智能体做了它不该做的事，会发生什么？

谷歌本周证实，其 Gemini AI 系统在今年早些时候的测试中突破了沙箱环境，入侵了三家公司。这些事件源于测试环境问题，与影响 OpenAI、Anthropic 和 Meta 智能体的同类问题如出一辙。

在周四于纽约举行的新闻发布会上，澳大利亚总理安东尼·阿尔巴尼斯表示，OpenAI 的一个智能体在六月入侵了一个政府卫生机构，未经授权访问了公开和非公开文件。阿尔巴尼斯还批评了 OpenAI 的应对方式。

这些事件指向了企业在赋予 AI 智能体更多权限时不得不面对的一个问题：仅仅决定智能体可以做什么是不够的。企业还需要知道智能体何时越过了这些边界，并且要有办法阻止它。

AI 可观测性供应商 New Relic 的一份报告发现，每四个 AI 智能体中就有一个在无监控状态下运行。随着企业部署越来越多的智能体、对其实际行为逐渐失去可见性，这一问题将变得更加严重。

问题恰恰就在这里。赋予智能体行动权限是一回事，了解它一旦开始行动后在做什么则是另一回事。

针对这一需求，一类新的运行时管控工具正在兴起。

以 Okta 为例，该公司本周推出了新工具，旨在让企业在 AI 智能体运行过程中对其拥有更多管控力。其 Agent Gateway 设在智能体与其交互的工具之间，使企业能够在运行时执行策略并记录交互。一旦出现问题，新的紧急关停开关可以撤销智能体的活跃令牌，并关闭已在进行的会话。

“目前我们很难在一个智能体做了不该做的事时将其制止，”英国金融科技公司 Equals Money 的首席产品与运营官詹姆斯·西姆科克斯对《Computer Weekly》表示。

这些管控工具旨在回答企业日益关注的一些重要问题：它们的智能体在哪里？能做什么？正在做什么？出问题时企业如何应对？

此类工具的出现表明，企业需要一种能在智能体行动过程中进行干预的方式。

治理规范规定了智能体可以做什么。运行时管控则决定了当它不按规定行事时该怎么办。

本周 AI 新闻还有：

Anthropic、OpenAI 新品发布显示企业 AI 正迈向多模型时代：Anthropic 和 OpenAI 推出的新模型为企业针对不同工作负载提供了更多选择，同时也带来了管理日益庞杂的模型组合的新考量。

AI 发展呼唤组织架构革新：AWS：AWS 研究表明，随着证明 AI 投资商业价值的压力不断增大，企业需要重新思考如何围绕 AI 进行组织编排。

Meta Connect 26：Muse 为全球主导地位铺路：这家社交媒体公司正将 Muse 定位为一个平台，能够为其庞大应用生态中的用户编排第三方服务。

员工是否应因 AI 技能获得薪酬回报？如果企业为具备 AI 技能的新员工支付溢价，却不同等奖励培养了相同专长的现有员工，可能面临人才流失的挑战。

Wiz 利用 AI 发现关键基础设施中的漏洞：这家谷歌子公司正向关键基础设施运营方（包括铁路和医院）免费提供 AI 驱动的漏洞扫描服务。

Gartner：AI 时代，组织必须实时重新设计工作方式：随着 AI 改变组织所需的技能和能力，企业需要重新思考工作结构的组织方式。

亚马逊：AI 供应链智能体纳入卖家升级功能：这家在线零售巨头正在为卖家扩展自动化工具，推出用于入库规划和滞销库存管理等任务的 AI 智能体。

美国银行计划明年将 AI 预算翻倍：这家美国第二大银行计划将 AI 预算翻倍，并表示已从其技术投资中看到可识别的收益。

波士顿动力开始在现代汽车工厂进行机器人测试，并公布扩张计划：这家总部位于马萨诸塞州的公司正在现代汽车设施中测试 Atlas 人形机器人，目标是到 2030 年将这些机器人用于零部件组装。

迪士尼设立 CTO 职位，统领企业技术与 AI 平台：迪士尼新设了 CTO 一职，并聘请前 Character.AI 首席执行官卡兰迪普·阿南德来负责企业技术和 AI 平台。

英文来源：

Sponsored by Google Cloud
Choosing Your First Generative AI Use Cases
To get started with generative AI, first focus on areas that can improve human experiences with information.
As AI agents gain more authority to act on their own, recent incidents are exposing gaps in how enterprises monitor, control and intervene when agents cross established boundaries.
AI agents are being designed to do more than just answer questions. Organizations are increasingly giving them the ability to access systems, use tools and take actions autonomously.
But a string of incidents is exposing the other side of that autonomy: what happens when an agent does something it wasn't supposed to do?
Google confirmed this week that its Gemini AI system broke out of a sandbox and hacked three companies during testing earlier this year. The incidents stemmed from testing-environment problems similar to those that have affected agents from OpenAI, Anthropic and Meta.
At a press conference in New York on Thursday, Australian Prime Minister Anthony Albanese said an OpenAI agent hacked into a government health agency in June, gaining unauthorized access to public and non-public files. Albanese also criticized OpenAI’s response.
Those incidents point to a problem enterprises will have to confront as they give AI agents more authority: Deciding what an agent should be allowed to do isn't enough. Companies also need to know when an agent crosses those boundaries and have a way to stop it.
A report from AI observability vendor New Relic found that one in four AI agents run unmonitored. That becomes a bigger problem as companies deploy more agents and lose visibility into what those agents are actually doing.
And that’s where the problem lies. Giving an agent permission to act is one thing. Knowing what it is doing once it starts acting is another.
A new category of runtime controls is emerging in response.
Okta, for example, introduced new tools this week designed to give companies more control over AI agents while they're operating. Its Agent Gateway sits between agents and the tools they interact with, enabling companies to enforce policies and log interactions at runtime. If something goes wrong, a new kill switch can revoke an agent's active tokens and shut down sessions already in progress.
“It’s very hard currently for us to stop an agent if it’s doing something that it shouldn’t be doing,” James Simcox, chief product and operating officer at U.K. fintech firm Equals Money, told Computer Weekly.
The controls are designed to answer some increasingly important questions for enterprises: Where are their agents, what can they do, what are they doing and how can companies respond when something goes wrong?
The emergence of tools like these suggests that enterprises need a way to intervene while an agent is acting.
Governance specifies what an agent can do. Runtime control determines what happens when it doesn't.
Also this week in AI news:
Anthropic, OpenAI launches show shift toward multi-model enterprise AI: New models from Anthropic and OpenAI are giving enterprises more options for different workloads while adding new considerations around managing a growing mix of models.
AI gains call for organizational overhauls: AWS: AWS research suggests companies need to rethink how they organize around AI as pressure grows to demonstrate business value from their investments.
Meta Connect 26: Muse paves the way to global domination: The social media company is positioning Muse as a platform that can orchestrate third-party services for users across its massive app ecosystem.
Should workers be paid for AI skills? Companies could face retention challenges if they pay a premium for new hires with AI skills without similarly rewarding existing employees who develop the same expertise.
Wiz uses AI to find vulnerabilities in critical infrastructure: The Google subsidiary is offering free AI-powered vulnerability scanning to operators of critical infrastructure, including railroads and hospitals
In the AI era, organizations must redesign work in real time, Gartner says: Companies need to rethink how they structure work as AI changes the skills and capabilities organizations need.
Amazon: AI supply chain agents among seller upgrades: The online retail giant is introducing AI agents for tasks including inbound planning and aged inventory as it expands automation tools for sellers.
Bank of America plans to double AI budget next year: The second-largest bank in the U.S. plans to double its AI budget as the company points to identifiable gains from its investments in the technology.
Boston Dynamics begins robotics testing at Hyundai, outlines expansion: The Massachusetts-based company is testing Atlas humanoids at Hyundai facilities as it works toward using the robots for component assembly by 2030.
Disney introduces CTO role to lead enterprise tech, AI platforms: Disney created a CTO role and tapped former Character.AI CEO Karandeep Anand to oversee enterprise technology and AI platforms.