谷歌地球的AI深度伪造工具仅上线一天便下架了。

qimuai 发布于 阅读:29 一手编译

谷歌地球的AI深度伪造工具仅上线一天便下架了。

内容来源:https://www.theverge.com/tech/973943/google-earth-ai-image-generation-deepfake-tool

内容总结:

谷歌于本周四上线的谷歌地球AI篡改功能在推出仅一天后便被紧急叫停。该功能允许用户通过文字指令直接编辑卫星图像,实际上等同于用文字提示就能生成针对真实世界的AI深度伪造内容。例如,数字挖掘网站专家亨克·范·埃斯就故意利用该功能生成了美墨边境出现难民、加沙医院旁出现炸弹坑等虚假画面。周四时,谷歌对此事的初步回应称,使用“纳米香蕉2”模型在谷歌地球中生成的图像均带有数字水印,且公司已阻止“涉及敏感话题的图像生成”。然而仅隔一天,谷歌便发布新声明表示:“我们深知人们对谷歌地球的信赖,它提供了对世界的可靠视角。我们看到地理空间专业人士将这一功能用于多种有益用途,但同时也发现有人分享疑似违反我们政策的生成图像截图。因此,我们决定在谷歌地球中撤回该功能,以完善更强的防护措施。需要说明的是,生成的图像并未出现在主版谷歌地球界面中供他人查看,且均带有AI生成的数字水印。”范·埃斯指出,他能够利用谷歌地球生成的视频骗过Hive的AI检测工具,这证明即便有水印,生成的媒体内容仍可能扩散。他在测试中还表示:“没有任何提示被拒绝,没有任何内容被淡化,也没有任何建议让我换一种提示词。”

中文翻译:

谷歌已关闭其周四推出的Google Earth功能,该功能允许用户通过文本提示使用AI编辑卫星图像。该工具本质上让用户可以用文字提示对真实世界制造AI深度伪造内容;例如,Digital Digging的亨克·范·埃斯故意生成图像,添加了诸如墨西哥边境附近的难民和加沙医院旁的炸弹坑等内容。周四,谷歌对范·埃斯的最初回应指出,使用Google Earth中的Nano Banana 2生成的图像带有数字水印,且公司已阻止“针对有害主题的图像生成”。

Google Earth的AI深度伪造工具仅存一天

让人们轻松通过AI提示修改图像是个坏主意。

让人们轻松通过AI提示修改图像是个坏主意。

一天后,谷歌的新声明称:“我们知道人们特别信任Google Earth能提供可靠的世界视图。我们看到地理空间专业人士将该功能用于一系列有益目的,但我们也看到有人分享似乎违反我们政策的生成图像截图。因此,我们正在回滚Google Earth中的这一功能,同时努力实施更强的防护措施。需要注意的是,生成的图像并未出现在Google Earth的主体验中供他人查看,且已标记为AI生成的水印。”

范·埃斯指出,他能够用Google Earth生成的视频骗过Hive的AI检测工具,这表明生成的媒体即便带着水印也可能传播开来,并称在他的测试中,“没有任何内容被拒绝,没有任何内容被弱化,也没有任何建议让我换一个提示词。”

英文来源:

Google has shut down Google Earth feature it launched Thursday that allowed users to edit satellite images with text prompts using AI. The tool essentially let users create AI deepfakes of the real world using text prompts; Digital Digging’s Henk van Ess, for example, intentionally generated images adding things like refugees near the Mexican border and a bomb crater by a hospital in Gaza. On Thursday, Google’s initial response to van Ess noted that images generated with Nano Banana 2 in Google Earth included a digital watermark and that the company prevented “image creation on harmful topics.”
Google Earth’s AI deepfake tool only lasted one day
Letting people easily alter images with an AI prompt was a bad idea.
Letting people easily alter images with an AI prompt was a bad idea.
One day later, Google’s new statement says that “We know that people uniquely trust Google Earth for a reliable view of the world. We’ve seen geospatial professionals using this feature for a range of useful purposes, however we’ve also seen people sharing screenshots of generated imagery that appear to violate our policies. So we’re rolling back this feature in Google Earth while we work on implementing stronger guardrails. It’s important to note that generated images didn’t appear in the main Google Earth experience for others to see and were watermarked as AI generated.”
van Ess pointed out that he was able to fool Hive’s AI detection tool with a video generated in Google Earth, showing how the generated media could spread despite the watermarks, and said in his testing, “Nothing was refused, nothing was softened, and nothing suggested I try a different prompt.”

ThevergeAI大爆炸

文章目录


    扫描二维码,在手机上阅读