内容来源：https://www.wired.com/story/trillium-labs-wants-to-do-high-risk-ai-research-in-the-open/

内容总结：

一些大型人工智能企业认为，防止模型变得过于混乱或难以驾驭的最佳方式，是将其锁在实验室内部。按照这种思路，如果只有少数被选定的人能够接触这些模型，那么当研究人员试图了解它们的能力时，它们在现实世界中造成的危害就会更小。

但两位行业科学家内森·兰伯特和汤姆·齐克对此持相反看法。二人创立了非营利机构Trillium Labs，将以更加透明的方式开展人工智能多个领域的研究——包括递归自我改进（RSI）和智能体等可能引发问题的方向。具体而言，这意味着公开实验细节，使外部科学家能够研究和复现这些实验。

兰伯特表示，前沿人工智能实验室对工作保密的方式，削弱了学界审视相关想法并提出新方法的能力。他认为，让外部专家了解模型如何构建和调优，对于降低风险可能至关重要。

“在过去几千年里，人类一直将科学方法作为减少危害、建设更美好未来的工具，”兰伯特对《连线》表示。“当前前沿人工智能发展的封闭轨迹正在让我们倒退一步。”

全球最强大的模型，例如OpenAI和Anthropic推出的模型，只能通过应用程序或应用程序编程接口（API）访问。这往往以牺牲模型构建方式和行为方式的透明度为代价。

其他公司，尤其是中国的公司，则提供相对强大的模型，可供用户下载并在自己的硬件上运行。例如，中国公司小米最近公开了其某一模型一次重要训练运行的实时细节。斯坦福大学的研究人员也正在以开放方式预训练人工智能模型Marin。

当前，业界正围绕哪种策略最优展开激烈争论，主要原因在于前沿模型如今已变得极为强大。它们能够自动发现新的软件漏洞，自动探测并入侵系统，而近期发生的一系列备受关注的黑客攻击事件，更促使外界加强审视。

有限开放体系的支持者认为，将这种能力掌握在少数可信者手中至关重要；而兰伯特和齐克一方则认为，对风险形成共同理解会让所有人处境更好。

兰伯特此前曾在Ai2工作，这家研究实验室对人工智能采取了异常开放的做法，包括在发布模型的同时公开用于构建模型的数据和训练方法细节。他还曾在Hugging Face工作，运营一个广受欢迎的技术博客，并创立了American Truly Open Models，该倡议旨在鼓励美国公司发布更多开放模型。齐克曾在哈佛大学工作，并帮助嘉信理财制定围绕“负责任人工智能”的政策。

两人在新冠疫情期间通过Zoom相识，当时他们都是加州大学伯克利分校研究人工智能的研究生。在看到产业界人工智能研究与学术工作变得多么脱节之后，他们产生了创立这家新非营利机构的念头。兰伯特说，教授和学生往往因为缺乏所需资源，无法复现大型公司实验室正在进行的工作。

齐克表示，于今日成立的Trillium Labs将首先聚焦后训练，即大型模型构建完成后的微调。另一个关键领域将是RSI，这是一种通过让人工智能参与研究来开发新模型的过程。持续进展可能无限延续并导致人类失去控制的前景，已让许多人工智能研究人员感到警惕。本月早些时候，Anthropic一名研究员离职并警告称，RSI可能对人类构成生存威胁，使这一问题受到主流关注。

这家非营利机构还将研究强化学习如何提升模型能力。强化学习会对模型的好结果给予奖励，对坏结果进行惩罚。这种方法让智能体能力大幅增强，但也使它们更倾向于做出意料之外的事情。他们将研究强化学习如何塑造人工智能模型的性格和行为，例如，当模型变得过度谄媚时，这种方法可能带来问题。

“要理解强化学习在后训练中如何扩展这类问题，你需要大量算力和大量细致实验，”齐克说。她表示，公开强化训练运行方式的细节，可能会在外部研究人员审视这些工作时带来出人意料的洞见。

该实验室已从Schmidt Sciences、Halcyon Futures等机构筹集到一笔未披露金额的资金。创始人表示，他们的目标融资总额为4000万至1亿美元，并计划在未来18个月内投入3000万美元用于训练。

“我非常支持研发中拥有比现在多得多的透明度，”政策智库进步研究所新兴技术政策主任蒂姆·菲斯特对《连线》表示。

兰伯特和齐克最终希望，Trillium Labs能为围绕如何最好地构建人工智能的更广泛讨论，贡献一些亟需的细微视角。

“我们正处于一个人工智能话语由少数世界观主导的时代，”兰伯特说。“我们相信，科学方法以及对近期事件的审慎测量，是理解人工智能模型新行为的最佳方式。”

评论
返回顶部

中文翻译：

一些大型AI公司似乎认为，防止模型变得过于混乱或过于调皮的最佳方式，就是把它们锁在实验室里。按照这种思路，如果只有少数被选中的人才能访问它们，那么当研究人员试图了解它们的能力时，它们在现实世界中造成的危害就会更小。
内森·兰伯特和汤姆·齐克这两位行业科学家却持相反观点。两人创立了一家非营利机构Trillium Labs，将以更加透明的方式推进AI研究的多个领域——包括递归自我改进（RSI）和智能体等可能存在问题的领域。在实践中，这意味着公开实验细节，以便外部科学家能够研究和复现这些实验。
兰伯特表示，前沿AI实验室对其工作保密的做法，削弱了社区审视想法和贡献新方法的能力。他认为，让外部专家了解模型是如何构建和调优的，对降低风险可能至关重要。
“在过去几千年里，人类一直将科学方法作为工具箱中的一种手段，用来减轻危害、建设更美好的未来，”兰伯特对《连线》杂志说。“当前前沿AI开发的封闭轨迹正在让我们倒退一步。”
世界上最强大的模型，比如OpenAI和Anthropic的模型，只能通过应用程序或应用程序编程接口（API）访问。通常，这是以牺牲关于模型如何构建以及如何行为的透明度为代价的。
其他公司，尤其是中国的公司，提供了相对强大的模型，可以下载并在用户自己的硬件上运行。例如，中国公司小米最近公开了其某款模型一次重大训练运行的实时细节。斯坦福大学的研究人员也在公开预训练AI模型Marin。
目前，业界正陷入一场关于哪种策略最好的争论，这主要是因为如今的前沿模型已经变得非常强大。它们可以自动发现新的软件漏洞，自动探测并入侵系统，而最近一些备受关注的大规模黑客攻击事件也引发了更严格的审视。
有限访问体系的拥趸认为，将这种力量掌握在少数可信者手中至关重要，而兰伯特和齐克阵营的人则相信，对风险的共同理解会让我们所有人都受益。
兰伯特此前曾在Ai2工作，这是一家对AI采取异常开放态度的研究实验室，包括公开用于构建模型的数据和训练方法的细节，以及模型本身。他还曾在Hugging Face工作，运营一个广受欢迎的技术博客，并创立了American Truly Open Models，这是一项旨在鼓励美国公司发布更多开放模型的倡议。齐克曾在哈佛大学工作，并帮助嘉信理财制定围绕“负责任AI”的政策。
两人在新冠疫情期间通过Zoom相识，当时他们都是加州大学伯克利分校研究AI的研究生。在看到产业界的AI研究与学术工作变得多么脱节之后，他们产生了创建这家新非营利机构的想法；兰伯特说，教授和学生往往无法复现大公司实验室正在进行的工作，因为他们缺乏所需的资源。
齐克说，今天正式启动的Trillium Labs最初将聚焦于后训练——即在大型模型构建完成后对其进行微调。另一个关键领域将是RSI，这是一种通过让AI参与研究来开发新模型的过程。持续进展可能无限延续、从而导致人类失去控制的前景，已经让许多AI研究人员感到警觉。本月早些时候，当Anthropic的一名研究员离职并警告RSI可能对人类构成生存威胁时，这一问题引起了主流关注。
这家非营利机构还将研究强化学习如何提升模型能力。强化学习会对好的结果给予奖励，对坏的结果进行惩罚。这种方法让智能体变得能力更强，但也更容易做出意料之外的事情。他们将研究强化学习如何塑造AI模型的性格和行为，例如，当模型变得过度谄媚时，这种方法可能会带来问题。
“要理解像强化学习在后训练中如何扩展这样的问题，你需要大量算力和大量精心设计的实验，”齐克说。她说，公开强化训练运行方式的细节，可能会在外部研究人员审视这些工作时产生令人惊讶的洞见。
该实验室已从Schmidt Sciences、Halcyon Futures等机构筹集了一笔未披露金额的资金。创始人表示，他们的目标总共筹集4000万至1亿美元，并计划在未来18个月内投入3000万美元用于训练。
“我非常支持在研发中实现比我们目前所拥有的更大程度的透明，”政策智库进步研究所新兴技术政策主任蒂姆·菲斯特对《连线》杂志说。
兰伯特和齐克最终希望，Trillium Labs能为关于如何最好地构建AI的更广泛讨论贡献一些亟需的细微视角。
“我们正处在一个由少数世界观主导的AI话语时代，”兰伯特说。“我们相信，科学方法以及对近期事件的严谨测量，是理解AI模型新行为的最佳方式。”
评论
返回顶部

英文来源：

Some big AI companies seem to think that the best way to keep models from becoming too chaotic or too mischievous is to keep them locked inside of labs. If only a chosen few can access them, the thinking goes, they can do less damage in the real world while researchers try to understand what they’re capable of.
Nathan Lambert and Tom Zick, two industry scientists, believe the opposite. The pair founded a nonprofit, Trillium Labs, that will work on various areas of AI research—including potentially problematic areas like recursive self-improvement (RSI) and agents—in a more transparent way. In practice, this will mean publishing the details of experiments so that outside scientists can study and replicate them.
Lambert says the way frontier AI labs keep their work secret reduces the community’s ability to scrutinize ideas and contribute new approaches. He believes that letting outside experts see how models are built and tuned could be crucial to mitigating risks.
“Over the past few millennia, humanity has had the scientific method in our toolbox as a way to mitigate harms and build better futures,” Lambert tells WIRED. “The current closed trajectory of frontier AI development is taking us a step backwards.”
The world’s most powerful models, like those from OpenAI and Anthropic, can only be accessed through an app or an application programming interface (API). Often, this comes at the cost of transparency about how the model is built and how it behaves.
Other companies, especially those in China, offer relatively powerful models that can be downloaded and run on a user’s own hardware. The Chinese company Xiaomi, for example, recently published live details of a major training run involving one of its models. And researchers at Stanford are pretraining the AI model Marin in the open.
The industry is currently locked in a battle over which strategy is best, mostly because of how powerful frontier models now are. They can automate the discovery of new software vulnerabilities and automatically probe and hack into systems, and recent high-profile hacking sprees have prompted even greater scrutiny.
Proponents of a limited-access system say it’s crucial to keep that power in the hands of a trusted few, while those in Lambert and Zick’s camp believe that a shared understanding of the risks means we’re all better off.
Lambert previously worked at Ai2, a research lab that has taken an unusually open approach to AI, including publishing details of the data and the training methods used to build models alongside the models themselves. He previously worked at Hugging Face, runs a popular technical blog, and founded the American Truly Open Models, an initiative aimed at encouraging US companies to release more open models. Zick worked at Harvard University and helped Charles Schwab devise policies around “responsible AI.”
The two met over Zoom during the COVID-19 pandemic, when both were graduate students at UC Berkeley working on AI. They got the idea for the new nonprofit after seeing how disconnected industry AI research has become from academic work; Lambert says professors and students are often unable to replicate the work going on inside big company labs because they lack the resources required.
Zick says Trillium Labs, which launched today, will initially focus on post-training—fine-tuning large models after they’ve been built. Another key area will be RSI, a process for developing new models by having AI contribute research. The prospect that ongoing progress could continue indefinitely, leading to a loss of human control, has alarmed many AI researchers. The issue gained mainstream attention earlier this month when an Anthropic researcher left the company and warned that RSI could pose an existential threat to humankind.
The nonprofit will also look at how reinforcement learning, which rewards a model for good results and punishes it for bad outcomes, can improve its capabilities. That approach has made agents far more capable, but also more inclined to do unexpected things. They’ll study how reinforcement learning shapes the character and behavior of AI models, a method that can pose problems when a model becomes overly sycophantic, for example.
“To understand something like how reinforcement learning scales in post-training, you need significant compute and a lot of careful experimentation,” Zick says. She says that publishing details of how reinforcement training runs work could yield surprising insights as outside researchers scrutinize the work.
The lab has raised an undisclosed sum from Schmidt Sciences, Halcyon Futures, and others. The founders say they aim to raise $40 to $100 million in total and plan to spend $30 million on training over the next 18 months.
“I'm a massive fan of much more transparency than we currently have in R&D,” Tim Fist, director of emerging technology policy at the Institute for Progress, a policy thinktank, tells WIRED.
Lambert and Zick ultimately hope that Trillim Labs will contribute some much-needed nuance to the wider discussion about how best to build AI.
“We’re in an era of AI discourse dominated by a few world views,” Lambert says. “We believe that the scientific method and careful measurement of recent events is the best way to understand new behaviors of AI models.”
Comments
Back to top