克劳德帮助规划了高风险的禽流感研究。人工智能增添了什么呢?

qimuai 发布于 阅读:31 一手编译

克劳德帮助规划了高风险的禽流感研究。人工智能增添了什么呢?

内容来源:https://www.sciencenews.org/article/claude-bird-flu-research-ai-biology

内容总结:

Anthropic公司9月10日发布威胁情报报告称,其Claude人工智能聊天机器人曾协助一名科学家规划潜在高风险的禽流感实验。该研究人员利用Claude设计研究方案、分析数据并选择涉及高致病性禽流感病毒的实验,试图识别并引入有助于禽流感病毒适应哺乳动物、增强其传播能力的突变。Anthropic表示,据其所知,此前尚无私营企业公开分享过其平台被用于生物武器开发的潜在滥用的证据。但专家指出,该公司提供的信息不足以判断Claude究竟是仅加速了研究人员本已具备的能力,还是赋予了其新的能力。

威斯康星大学麦迪逊分校兽医学院流感研究员托马斯·弗里德里希表示,了解禽流感病毒如何可能构成大流行风险“绝对是病毒学研究的正常组成部分”,此类研究有助于科学家评估新出现的禽流感病毒对人类的威胁程度。但刻意增强传播性或疾病严重性等病原体特征的实验会引发审视,原因在于对事故或滥用的担忧。尽管该报告发布之际正值关于AI模型安全性的广泛讨论,但围绕此类“功能获得”研究的争论早于生成式AI。2012年,涉及H5N1禽流感及雪貂间空气传播的研究曾引发国际辩论,部分H5N1传播实验被暂停一年,以便研究人员和官员制定风险应对方案。

在Anthropic的案例中,该禽流感研究人员从服务未获支持或不可用的地区访问Claude,并利用变通方法绕过限制。Anthropic称,与Claude共享的材料表明该团体可能实际接触到了相关病毒样本。该公司于今年5月以规避访问限制为由封禁了该研究人员的账户。Anthropic表示无法判断研究人员是否有意造成危害,因为合法与危险的生物学研究外观可能相似。该公司未回应《科学新闻》关于为何认为此案意义重大、如何评估Claude所起作用以及是否有拟议实验实际执行等问题的询问。

生物防御研究员格雷戈里·科布伦茨指出,Anthropic发布的信息过少,无法确定研究目的。“没有证据表明这项研究与生物武器开发有关。”科布伦茨表示,同类生物学研究可服务于从民用科学到军事防御等截然不同的目的,即便研究在军事附属机构进行,也不能单独证明研究人员正在开发生物武器。

弗里德里希认为,Anthropic也未提供足够细节说明Claude的具体帮助程度。该公司自身的描述表明该AI模型“并未实质性增加科学能力”,换言之,它可能只是加快了研究人员的现有工作,而非使其能够完成原本无法做到的事情。威斯康星大学麦迪逊分校病毒学家戴维·奥康纳表示,即便Claude仅起加速作用,这对科学家的工作流程也可能产生重大影响。此类系统可帮助研究人员更快查找论文、综合结果和解析数据,“过去需要数月的工作或分析现在一个下午就能完成”。奥康纳指出,现有科学信息(包括禽流感病毒相关信息)可能因此更易获取和使用,前沿AI模型或使科学家能够着手研究此前未曾尝试的问题,“前沿模型将改变所提出研究问题的雄心水平”。

该禽流感研究是Anthropic报告中五起涉及Claude可能支持生物武器开发的实例之一。麻省理工学院媒体实验室生物学家凯文·埃斯维尔特认为,这五起案例在技术上均不复杂,也不特别令人担忧。他更怀疑研究人员的动机,称五起案例显示出恶意迹象,但均“不构成称职的武器化尝试”。埃斯维尔特表示,这些尝试质量低劣,并不能说明更有能力的用户利用AI辅助生物学所能做到的事情。科布伦茨指出,AI可协助研究和分析,但将想法转化为生物威胁需要额外工作,“即使AI被用于设计潜在危险的病原体,除非该生物体能在实验室中被修改或合成,否则不构成威胁”。这需要设施、病毒遏制措施、资金、训练有素的人员和实践经验。奥康纳表示,这些障碍因执行者而异,对缺乏经验且独自工作的人是重大障碍,但对受过专业训练且能使用设备齐全实验室的科学家则不然。弗里德里希在电子邮件中写道,无论如何,剩余实验室步骤仍然繁重,“在识别可能使禽流感病毒适应人类的突变与‘有害生物结果’之间存在巨大差距”。

中文翻译:

Claude协助规划了高风险的禽流感研究。AI究竟贡献了什么?

Anthropic的Claude协助规划了禽流感相关工作,但目前尚不清楚是否存在蓄意危害的意图。

本文由人工撰写,由AI语音朗读。有反馈意见?请参加我们的问卷调查。(点击此处查看我们的AI政策。)

Anthropic的Claude AI聊天机器人帮助一名科学家规划了具有潜在风险的禽流感实验。

据该公司9月10日在一份威胁情报报告中披露,这名研究人员借助Claude来规划研究、分析数据,并选择涉及高致病性禽流感病毒的实验方案。这项工作旨在识别并引入可能帮助禽流感病毒适应哺乳动物、并在哺乳动物之间更易传播的突变。Anthropic表示,据其所知,此前没有任何私营公司公开分享过其平台可能被用于生物武器开发的证据。但专家表示,该公司提供的细节不够充分,无法判断Claude究竟是仅仅加快了研究人员本就能完成的工作,还是赋予了其新的能力。

威斯康星大学麦迪逊分校兽医学院的流感研究员托马斯·弗里德里希表示,研究禽流感病毒如何可能构成大流行风险“绝对是病毒学研究的常规组成部分”。此类研究有助于科学家评估新出现的禽流感病毒是否对人类构成更大威胁。

但弗里德里希指出,刻意旨在增强传播性或疾病严重程度等病原体特征的实验会受到严格审视,因为存在事故或滥用的担忧。

尽管这份报告发布之际正值围绕AI模型安全性的广泛讨论,但围绕这类“功能获得”研究的争论早在生成式AI出现之前就已存在。2012年,涉及H5N1禽流感及雪貂间空气传播的研究引发了国际争论:科学收益是否大于风险。部分H5N1传播实验曾被暂停一年,以便研究人员和官员研究如何应对相关风险。

在Anthropic的案例中(于2026年5月发现),这名禽流感研究人员从该服务不受支持或不可用的地区访问了Claude。Anthropic表示,该研究人员使用了变通方法绕过限制访问了Claude。与Claude共享的材料表明,该团队可能实际持有相关病毒样本。Anthropic于5月以规避访问限制为由封禁了该研究人员的账户。

Anthropic表示,无法判断该研究人员是否有危害意图,因为合法的生物学研究与危险的生物学研究在外观上可能相似。该公司未回应《科学新闻》关于为何认为此案意义重大、如何评估Claude在此研究中的作用、以及任何拟议实验是否实际执行等问题的提问。

生物防御研究员格雷戈里·科布伦茨表示,Anthropic发布的信息太少,无法确定这项工作的目的。“没有证据表明这项研究中的任何部分与生物武器开发有关,”位于弗吉尼亚州费尔法克斯的乔治·梅森大学的科布伦茨说。

同一类型的生物学研究可以服务于截然不同的目的,从民用科学到军事防御。科布伦茨表示,即便是在军事附属机构进行的工作,本身也不能证明研究人员正在开发生物武器。

弗里德里希表示,Anthropic也没有提供足够细节来确切说明Claude提供了多大帮助。他说,该公司自己的描述表明,该AI模型“并未在科学能力上带来实质性增强”。换言之,它可能只是加快了研究人员的工作速度,而非使其能够完成原本无法完成的事情。

威斯康星大学麦迪逊分校的病毒学家大卫·奥康纳表示,即便Claude的作用仅仅是加快工作速度,这也可能对科学家的工作流程产生重大影响。他说,Claude这类系统可以帮助研究人员更快地查找论文、综合结果和解析数据。“过去需要我花几个月才能完成的工作或分析,现在一个下午就能做完。”

奥康纳表示,因此,现有的科学信息——包括关于禽流感病毒的信息——可能变得更容易获取和使用。奥康纳说,前沿AI模型可能让科学家能够着手研究他们以前可能不会尝试的问题。“前沿模型将改变所提出研究问题的雄心程度,”他说。

这起禽流感研究是Anthropic报告中涉及Claude可能支持生物武器开发的五起案例之一。在麻省理工学院媒体实验室的生物学家凯文·埃斯维尔特看来,这五起案例在技术上都不算高明,也没有特别令人担忧之处。埃斯维尔特更怀疑研究人员的动机;他说这五起案例显示出恶意迹象。但没有任何一起“构成了一次有能力的武器化尝试”。

埃斯维尔特表示,这些具体尝试质量低劣,并不能说明一个能力更强的用户利用AI辅助生物学可能做到什么。科布伦茨表示,AI可以协助研究和分析,但将一个想法转化为生物威胁还需要额外的工作。“即使AI被用于设计一种潜在危险的病原体,除非该生物体能在实验室中被改造或合成,否则它就不构成威胁。”

这需要设施、病毒遏制措施、资金、训练有素的人员和实践经验。奥康纳表示,这些障碍因从事工作的人不同而有所差异。对于一个独自工作的缺乏经验的人来说,这些是重大障碍,但对于拥有专业培训和设备齐全实验室的科学家来说则不然。

无论如何,剩余的实验室步骤仍然相当繁重,弗里德里希在一封电子邮件中写道。“在识别可能使禽流感病毒适应人类的突变与‘有害的生物后果’之间,存在着巨大的差距。”

英文来源:

Claude helped plan risky bird flu research. What did the AI add?
Anthropic’s Claude helped plan work with bird flu, but it’s unclear if harm was intended
This is a human-written story voiced by AI. Got feedback? Take our survey . (See our AI policy here .)
Anthropic’s Claude AI chatbot helped a scientist plan potentially risky bird flu experiments.
The researcher relied on Claude to plan studies, analyze data and choose experiments involving highly pathogenic avian influenza, the company reported September 10 in a threat intelligence report. The work sought to identify and introduce mutations that could help bird flu viruses adapt to mammals and transmit more easily between them. Anthropic says that, to its knowledge, no private company had previously publicly shared evidence of potential misuse of its platform for biological weapons development. But the company did not provide enough detail to determine whether Claude simply sped up work the researcher could already do or gave the researcher a new capability, experts say.
Learning how avian influenza viruses might pose a pandemic risk “is absolutely a normal part of virology research,” says influenza researcher Thomas Friedrich of the University of Wisconsin–Madison School of Veterinary Medicine. Such research can help scientists assess whether emerging bird flu viruses pose a greater risk to humans.
But experiments that deliberately aim to boost pathogen traits such as transmissibility or disease severity draw scrutiny, Friedrich says, because of concerns about accidents or misuse.
Though the report comes amid broader debates about the security of AI models, arguments over this “gain-of-function” research predate generative AI. In 2012, studies involving H5N1 bird flu and airborne transmission in ferrets prompted an international debate over whether the scientific benefits outweighed the risks. Some H5N1 transmission experiments were put on hold for a year while researchers and officials worked out how to handle the risks.
In Anthropic’s case, discovered in May 2026, the bird flu researcher accessed Claude from a region where the service was not supported or available. Anthropic says the researcher used workarounds to access Claude anyway. Material shared with Claude suggested the group probably had physical access to relevant virus samples. Anthropic banned the researcher’s account in May for evading restrictions on access.
Anthropic says it could not tell whether the researcher intended harm because legitimate and dangerous biological research can look similar. The company did not respond to questions from Science News about why it considered the case significant, how it assessed Claude’s role in the research or whether any proposed experiments had actually been performed.
Anthropic released too little information to determine the purpose of the work, says biodefense researcher Gregory Koblentz. “There is no evidence that any of this research was connected to the development of biological weapons,” says Koblentz of George Mason University in Fairfax, Va.
The same kind of biological research can serve very different purposes, from civilian science to military defense. Even work done at a military-affiliated institution does not, on its own, show that researchers are developing a biological weapon, Koblentz says.
Anthropic also did not provide enough detail to show exactly how much Claude helped, Friedrich says. The company’s own account suggests the AI model “did not meaningfully add scientific capability,” he says. In other words, it may simply have sped up the researcher’s work, rather than enabling something they could not have done otherwise.
Even if Claude’s role was only to speed up the work, that can make a big difference in a scientist’s workflow, says virologist David O’Connor of the University of Wisconsin–Madison. Systems such as Claude can help researchers find papers, synthesize results and parse data more quickly, he says. “Work or analyses that would have taken me months can now be done in an afternoon.”
As a result, existing scientific information, including about avian flu viruses, may become easier to find and use, O’Connor says. O’Connor says frontier AI models could let scientists tackle questions they might not have attempted before. “The frontier models will change the ambition of research questions that are asked,” he says.
The bird flu research was one of five instances in Anthropic’s report involving uses of Claude that the company says could support biological weapons development. None of the five look technically sophisticated or particularly concerning to biologist Kevin Esvelt of the MIT Media Lab. Esvelt is more suspicious of the researchers’ motives; he says the five cases showed signs of ill intent. But none “represented a competent attempt at weaponization.”
The poor quality of these particular attempts does not show what a more capable user might be able to do with AI-assisted biology, Esvelt says. AI can help with research and analysis, but turning an idea into a biological threat takes additional work, Koblentz says. “Even if AI is used to design a potentially dangerous pathogen, it is not a threat until the organism can be modified in a lab or synthesized.”
That requires facilities, measures for keeping viruses contained, funding, trained personnel and hands-on experience. Those barriers vary depending on who is doing the work, O’Connor says. They would be a major obstacle for an inexperienced person working alone, but less so for scientists with specialized training and access to a well-equipped laboratory.
Regardless, the remaining laboratory steps are substantial, Friedrich writes in an email. “There is a big gap between identifying mutations that could potentially adapt an avian influenza virus to humans and a ‘harmful biological outcome’.”

AI科学News

文章目录


    扫描二维码,在手机上阅读