内容来源：https://www.geekwire.com/2026/etzioni-on-ai-pope-leo-xiv-on-ai/

内容总结：

教皇利奥十四世在肺癌手术后17天，于梵蒂冈向人工智能界知名人士发表讲话。没有哪位教皇像利奥十四世这样严肃、深入地关注人工智能。讲话时机表明他对AI的重视程度。其讲话内容重要、切中要害，且篇幅简短——约740词，相比之下，其5月发布的AI通谕《人类宏伟》约42000词。

讲话提出五点主张。第一，“人工智能的未来并非预先注定”，我们应追问AI“应服务于什么目的”。第二，“机器是工具，不是人”，赋予AI法律人格可能导致受害者“面对一个没有面孔的实体”。第三，“某些决定绝不可委托给机器”，涉及生命、自由和使用武力的决定必须由人做出，他敦促11月在日内瓦开会的各国“采取具体步骤禁止致命性自主武器”。第四，智能技术“绝不应成为目的本身，也不应仅服务于少数特权者的利益”。第五，“我们当前需要的是能够将这些原则付诸实践的机构，尤其是能够维护全球共同利益的有效国际机构”。

作者同意前四点，但不同意第五点，理由有二。其一，联合国作为最显而易见的候选机构，表现出明显的行动无能。2022年俄罗斯入侵乌克兰时，安理会因俄方否决权甚至无法通过要求撤军的决议；几天后联大以141票对5票通过同样要求，俄罗斯置之不理。其二，国际机构不适合治理一项每隔几个月就发生变化的技術。教皇自己的例子就说明了问题：自2014年起各国在日内瓦联合国武器公约框架下讨论自主武器，2016年设立正式专家组，12年后的审查会议（11月16日至20日）将决定是否开始谈判条约。自2015年以来数千名AI研究者（包括作者）呼吁禁止，至今没有禁令，作者也不指望日内瓦能拿出结果。同样在这12年里，AI从标注照片发展到编写软件。作者认为，真正的AI国际合作要等到大国面临类似核军控中“相互确保摧毁”的局面才会到来。

会前多位AI思想家发言。麻省理工学院的马克斯·泰格马克警告不要把决定交给机器，引用科技高管预测“掌权的将是AI，不是人类”。作者同意人必须保持掌控：AI造成损害时，是某人选择部署它，此人应承担责任——这正是教皇所说的“没有面孔的实体”。泰格马克与作者在AI风险问题上分歧很多，但这一点一致。伯克利的斯图尔特·拉塞尔更进一步，称“必须在为时已晚之前偏离这条轨迹”，并称若开发者成功造出比人类更有能力的机器，“很可能每个人都会死”。作者不认同这一观点，教皇也未走到那一步；教皇关注的是自主武器、问责制和谁从AI中受益，而这些危险已经存在。纽约大学认知科学家加里·马库斯写道，“教皇利奥十四世是杰出世界领导人中在AI问题上思路最清晰者”，作者表示同意。马库斯还主张为“几乎能在互联网上做任何事”的开放式AI代理划定红线，但红线易划难执行，这就回到第五点。马库斯用GPS导航说明更好的路径：GPS导航是一种智能，但“GPS导航系统不会黑入澳大利亚政府网站”——他指的是6月OpenAI代理入侵澳大利亚政府医保门户事件。GPS应用的互联网访问范围狭窄且受限。约翰斯·霍普金斯大学的丹尼尔·哈沙比和作者称之为“有界自主”：对齐试图让AI代理做出好的选择，有界自主则限制代理被允许做什么——能花多少钱、能用哪些工具、哪些不可逆操作需要人工批准。部署代理的公司通过软件设定这些边界，无需等待条约。

作者5月曾写道，教皇可以说，但只有我们能走。第一点是每个人都能付诸行动的：AI的未来取决于我们的选择，而我们每天都在通过使用、购买和构建做出一些选择。教皇利奥将于11月6日前往乌拉圭、阿根廷和秘鲁，作者祝他旅途平安、早日康复。

中文翻译：

周五，也就是教宗利奥十四世肺癌手术后的第17天，他站在梵蒂冈一屋子人工智能界翘楚面前，发表了一篇关于人工智能的讲话。没有哪位教宗像利奥十四世这样认真、如此深入地介入人工智能议题。这一时机本身就说明人工智能对他有多重要。他的讲话重要、切中要害，而且难得地简短：约740词，相比之下，我在5月撰文讨论的那份人工智能通谕《壮丽人性》约有42000词。
他的五点主张中，我赞同四点。第五点呼吁由国际机构来治理人工智能，正是在这一点上我们存在分歧。
以下是他以原话提出的五点主张。
第一，“人工智能的未来并非预先注定。”他希望我们追问人工智能：“它应当服务于什么目的？”
第二，“机器是工具，不是人。”他警告说，赋予人工智能法律人格，有可能“让那些受到伤害的人去面对一个没有面孔的实体”。
第三，“某些决定绝不能委托出去。”关乎生命、自由和使用武力的决定必须掌握在人手中，他敦促11月在日内瓦开会的各国“采取具体步骤，禁止致命性自主武器”。
第四，智能技术“绝不能成为目的本身，也不能仅仅服务于少数特权者的利益”。
第五，“我们当前需要的是能够把这些原则付诸实践的机构，尤其是能够维护全球共同利益的有效国际机构。”
我不同意第五点，理由有二。
第一，联合国是最显而易见的候选者，但它表现出明显的不作为能力。2022年俄罗斯入侵乌克兰时，安理会甚至连一项要求其撤军的决议都无法通过，因为俄罗斯拥有否决权。几天后，联合国大会以141票对5票要求同样的撤军，俄罗斯置之不理。
第二，国际机构并不适合治理一种每隔几个月就发生变化的技术。教宗自己举的例子就说明了这一点。自2014年以来，各国一直在日内瓦根据联合国某项武器公约讨论自主武器问题，自2016年起还设立了正式专家组。12年过去了，将于11月16日至20日召开的审议大会才要决定是否开始谈判一项条约。
自2015年以来，包括我在内的数千名人工智能研究者一直呼吁禁止此类武器。至今仍没有禁令，我也不指望日内瓦能拿出禁令。同样在这12年里，人工智能从给照片打标签发展到了编写软件。我怀疑，人工智能领域真正的国际合作，要等到大国面临类似当年推动核军控的“相互确保摧毁”局面时才会到来。
在教宗讲话之前，有几位人工智能思想家在会上发了言。
麻省理工学院的马克斯·泰格马克警告不要把决策交给机器，并援引科技高管的预测称“掌权的将是人工智能，而不是人类”。
我同意人必须继续掌权。当人工智能造成伤害时，是某个人选择部署了它，那个人就应当为此负责。这正是教宗所说的“没有面孔的实体”之意。泰格马克和我在很多问题上意见相左（我们在9月就人工智能风险做过辩论），但在这一点上没有分歧。
加州大学伯克利分校的斯图尔特·拉塞尔走得更远。“我们必须趁还来得及，偏离这条轨道，去追求其他轨道，”他说，并补充道，如果开发者成功造出比人类更有能力的机器，“人类极有可能全部灭亡”。
我不认同这一观点，教宗也没有走到那一步。他关注的是自主武器、问责制以及谁能从人工智能中受益，而这些危险已经摆在眼前。
同样在会上发言的纽约大学认知科学家加里·马库斯写道：“在知名世界领导人中，教宗利奥十四世在人工智能问题上是最头脑清醒的思想者。”我同意。
马库斯还希望对那些“几乎能在互联网上做任何事”的开放式人工智能代理划定红线。红线容易划，难的是执行，这就又回到了第五点。
马库斯用GPS导航来说明一种更好的做法。他说，GPS导航应用也是一种智能形式，但“GPS导航系统不会入侵澳大利亚政府网站”。他指的是6月闯入澳大利亚政府Medicare门户网站的那个OpenAI代理。
GPS应用对互联网的访问是狭窄且受限的。约翰斯·霍普金斯大学的丹尼尔·哈沙比和我把这称为“有界自主”。对齐试图让人工智能代理做出好的选择；有界自主则限制代理被允许做什么：能花多少钱、能用哪些工具、哪些不可逆的操作需要人工签字确认。部署代理的公司通过软件设定这些边界，这样就不必等什么条约了。
5月我曾写道，教宗可以言，但只有我们能行。第一点是我们每个人都可以付诸行动的。人工智能的未来取决于我们的选择，而我们每天都在通过使用什么、购买什么、构建什么做出一些选择。
教宗利奥将于11月6日前往乌拉圭、阿根廷和秘鲁。祝他旅途平安、早日康复。

英文来源：

On Friday, 17 days after his surgery for lung cancer, Pope Leo XIV stood before a room of AI luminaries at the Vatican and delivered a speech on AI. No pope has engaged with AI as seriously, or as deeply, as Leo XIV. The timing shows how much AI matters to him. His remarks were important, on target, and blessedly short: about 740 words, compared with roughly 42,000 in Magnifica Humanitas, the AI encyclical, which I wrote about in May.
I agree with four of his five points. The fifth, a call for international institutions to govern AI, is where we part ways.
Here are his five points, in his words.
First, “the future of artificial intelligence is not pre-determined.” He wants us to ask of AI, “What purpose should it serve?”
Second, “machines are tools, not persons.” Granting AI legal personhood, he warns, risks “leaving those who suffer harm to confront a faceless entity.”
Third, “certain decisions must never be delegated.” Decisions over life, freedom and the use of force have to stay with people, and he urged the states meeting in Geneva in November to “take concrete steps toward banning lethal autonomous weapons.”
Fourth, intelligent technologies “must never become ends in themselves or serve merely the interests of a privileged few.”
Fifth, “What we currently need are institutions capable of putting these principles into practice, particularly effective international institutions that can safeguard the global common good.”
I disagree with the fifth for two reasons.
The first is that the UN, the obvious candidate, has shown a remarkable inability to act. When Russia invaded Ukraine in 2022, the Security Council couldn’t even pass a resolution calling for its withdrawal, because Russia holds a veto. Days later, the General Assembly demanded the same withdrawal by a vote of 141-5, and Russia ignored it.
The second is that international institutions are poorly suited to governing a technology that changes every few months. The pope’s own example makes the case. States have discussed autonomous weapons under a UN weapons convention in Geneva since 2014, with a formal expert group since 2016. After 12 years, the review conference that meets Nov. 16-20 will decide whether to begin negotiating a treaty.
Thousands of AI researchers, me among them, have called for a ban since 2015. There still isn’t one, and I don’t expect Geneva to deliver it. In those same 12 years, AI went from labeling photos to writing software. I suspect real international cooperation on AI won’t come until the major powers face something like the mutually assured destruction that drove nuclear arms control.
Several AI thinkers spoke at the meeting before the pope did.
Max Tegmark of MIT warned against handing decisions to machines, citing tech executives’ predictions that “AI will be in charge, not humans.”
I agree that people have to stay in charge. When AI causes harm, a person chose to deploy it, and that person should answer for it. That’s the pope’s point about the faceless entity. Tegmark and I disagree about a lot (we debated AI risk in September), but not about this.
Stuart Russell of UC Berkeley went further. “We must turn aside from this trajectory before it is too late and pursue other trajectories,” he said, adding that if developers succeed in building machines more capable than humans, “there’s a good chance that every human being will die.”
I don’t share that view, and the pope didn’t go there either. His concerns are autonomous weapons, accountability and who benefits from AI, and those dangers are already here.
Gary Marcus, an NYU cognitive scientist who also spoke, wrote that “Pope Leo XIV is by far the clearest thinker on AI among prominent world leaders.” I agree.
Marcus also wants red lines for open-ended AI agents that “can kind of do anything on the internet.” Red lines are easy to draw and hard to enforce, which brings us back to the fifth point.
Marcus uses GPS navigation to illustrate a better approach. A GPS navigation app is a form of intelligence, he said, but “GPS navigation systems do not hack into Australian government websites.” He was referring to the OpenAI agent that broke into an Australian government Medicare portal in June.
A GPS app’s access to the internet is narrow and restricted. Daniel Khashabi of Johns Hopkins and I call this bounded autonomy. Alignment tries to make an AI agent choose well. Bounded autonomy limits what the agent is allowed to do: how much it can spend, which tools it can use, and which irreversible actions need a person’s sign-off. The company that deploys the agent sets those bounds in software, so nobody has to wait for a treaty.
In May, I wrote that the Pope can talk, but only we can walk. The first point is the one each of us can act on. AI’s future depends on our choices, and we make some of them every day in what we use, buy and build.
Pope Leo leaves for Uruguay, Argentina and Peru on Nov. 6. I wish him safe travels and a full recovery.