内容来源：https://research.google/blog/how-diffusion-controller-unifies-and-simplifies-ai-image-generation/

内容总结：

谷歌研究团队发布新型图像生成控制框架

2026年9月29日，谷歌研究软件工程师许志伟与柳文卿宣布推出“扩散控制器”（Diffusion Controller），一种轻量级“转向阻尼”网络，可精确引导图像生成过程，显著提升提示词对齐效果。该技术可直接附加于甚至受限的闭源模型之上，在不破坏基线稳定性的前提下提升图像质量。

当前，Nano Banana、Stable Diffusion和Flux等文本到图像AI模型发展迅速，已从根本上改变创意设计领域，使任何人都能根据文字描述合成逼真的高保真图像。然而，精确引导这些庞大模型以满足用户意图、下游目标或严格视觉约束，仍是一项微妙且不可预测的平衡工作。例如，当用户输入“一只戴墨镜的蜥蜴”时，模型可能生成一只逼真但未戴墨镜的蜥蜴；若强制模型加入墨镜，又可能扭曲蜥蜴面部，破坏图像质量。

现有的图像生成引导与微调方法彼此割裂。一方面，开发者使用推理时技术（如无分类器扩散引导）动态调整文本提示词的影响；另一方面，则依赖LoRA等参数高效适配器、奖励加权回归或策略梯度等重型微调手段来改变模型行为。由于这些工具历来被视为互不相关的独立修补方案，该领域一直缺乏统一的数学语言来整合、分析和优化生成模型的控制方式。这种碎片化方法常迫使工程师在用户偏好对齐与图像质量之间凭猜测取舍。

为解决这一平衡难题，研究团队提出“扩散控制器”框架。该框架不再将图像生成视为孤立的刚性步骤序列，而是将整个去噪过程重新定义为一个平滑、连续的控制问题。结果显示，扩散控制器的轻量级附加网络在匹配人类偏好方面优于行业标准。其完全解锁版本（即拥有“白盒”或无限制访问权限、可修改内部模型权重的微调模型）对基线模型取得了90%的胜率。

扩散控制器框架将图像生成过程（AI模型从随机噪声开始，逐步精炼为清晰图像）视为一段平滑受控的旅程。研究团队将基础预训练模型比作一辆庞大强劲的摩托车：重建其核心引擎来改变行驶方式既低效又冒险。相反，扩散控制器如同附加其上的轻量级转向阻尼器，主模型（摩托车）保持完全冻结、安全不动。

扩散控制器的核心机制（转向阻尼器）并非在每一步猜测如何引导生成，而是在图像创建过程中动态调整生成轨迹。它平滑地重新校准模型的默认行为，对最大化用户定义目标（如实现某种艺术风格或上下文对齐）的方向赋予更高权重。

通过用反馈对生成轨迹中的这些偏移进行数学优化，扩散控制器框架实现了平衡，成功将模型生成过程引向新的用户偏好，同时完整保留基础模型的清晰视觉质量和底层稳定性。回到蜥蜴的例子，这意味着转向阻尼器引导模型确保墨镜被纳入，而惩罚护栏同时介入，防止系统为达目的而扭曲蜥蜴的自然鳞片和比例。

为将这一理论控制问题转化为实用工具，研究团队将抽象且可能难以求解的方程桥接为两种完全基于最终奖励分数的高效微调方法。

扩散控制器框架如同转向阻尼器，解决了一个巨大的现实商业问题。通常，要改变模型行为，需要“白盒”访问权限，深入其核心引擎并更改内部设置。然而，世界上最好的图像生成模型往往是企业机密（被称为黑盒或灰盒）。

转向阻尼器网络依赖完美的图像引导指令——基础模型知识加上少量修正的组合。它观察图像在去噪过程中的变化，注入精确的微观转向修正。这使工程师能够完美控制和定制即使严密锁定的闭源模型，而无需触碰底层代码。

研究团队使用Stable Diffusion v1.4骨干网络，在三种微调模式下评估扩散控制器框架的能力：监督微调（SFT）、奖励加权损失（RWL）和PPO。性能采用标准化人类偏好评分（HPS-v2）衡量，以确定生成图像与用户提示词及美学选择的对齐程度。

团队在扩散控制器框架下实现了四种网络结构。结果表明，扩散控制器在完全可访问的“白盒”环境和高度受限的“灰盒”环境中均表现出色，持续优于相应基线，实现了更优的质量-效率权衡。

在SFT和RWL路径中，灰盒扩散控制器转向阻尼器网络在HPS-v2胜率上超越了LoRA——这一最先进的参数高效白盒方法。考虑到扩散控制器在操纵的内部模型层数远少于LoRA的情况下实现这一成果，这堪称重要里程碑。此外，在综合人类评估中，扩散控制器在复杂的多属性测试提示词上记录了最佳主观质量和提示词匹配结果。

该框架的核心特性是运行时灵活性。通过调整单一推理时引导强度参数，用户可动态调高或调低控制约束强度。这允许在不破坏基线图像稳定性或引发旧式引导方法典型视觉扭曲的情况下，对提示词对齐进行平滑、细粒度的实时调整。

通过将数学控制与图像生成模型相结合，扩散控制器弥合了纯数学与现代创意工具之间的鸿沟。它不再依赖猜测和快速修补的拼凑方式来调优模型，而是提供了一套数学上严谨的统一系统来引导图像生成。最重要的是，它提供了一种实用、轻量的“转向阻尼器”蓝图，即使在访问受限的闭源模型上也能完美运行。

展望未来，这一统一框架为研究开辟了令人兴奋的新路径。由于控制层与模型核心引擎完全分离，未来开发者可将扩散控制器用于远超文本提示词匹配的领域。近期下一步包括：利用该框架构建高级个性化工具、开发稳健的安全机制以帮助减轻有害内容生成，以及将转向阻尼器网络适配于控制复杂的下一代视频模型。

研究团队感谢来自谷歌研究、谷歌DeepMind和学术界的共同作者与合作者为这项工作做出的贡献。

中文翻译：

2026年9月29日
许志伟、柳文卿，谷歌研究院软件工程师

我们推出Diffusion Controller——一种轻量级“转向阻尼器”网络，能够精准引导图像生成，实现显著更优的提示词对齐效果。它甚至可以无缝挂载到访问受限的闭源模型上，在提升图像质量的同时不破坏基线稳定性。

文本到图像AI模型（如Nano Banana、Stable Diffusion和Flux）的飞速发展，已从根本上改变了创意设计领域，让任何人都能根据文字描述合成出照片级逼真、高保真的图像。然而，引导这些庞大的模型精准满足用户意图、下游目标或严格的视觉约束，始终是一项微妙且难以预测的平衡术。举例来说，假设你让模型生成“一只戴着墨镜的蜥蜴”。模型可能会生成一只逼真的蜥蜴，但没戴墨镜。又或者，强行让模型加上墨镜，可能会扭曲蜥蜴的脸部，毁掉整张图像的质量。

现有的引导或微调图像生成的方法彼此非常割裂。一方面，开发者使用推理时技术（如无分类器扩散引导）来调整文本提示词的影响力，在生成过程中实时引导图像生成。另一方面，他们依赖LoRA等参数高效适配器、奖励加权回归或策略梯度等重量级微调手段来改变模型行为。

由于这些工具历来被视为各自独立、互不相关的修补方案，该领域一直缺乏一套统一的、有原则的数学语言来统一、分析和优化我们对生成模型的控制方式。这种碎片化的方法往往迫使工程师在平衡用户偏好对齐与图像质量时只能靠猜。

为了解决这一平衡难题，我们提出了Diffusion Controller框架。Diffusion Controller不将图像生成视为一系列孤立的刚性步骤，而是将整个去噪过程重新构建为一个平滑、连续的控制问题。我们的结果表明，Diffusion Controller的轻量级附加网络在匹配人类偏好方面优于行业标准。此外，其完全解锁版本（即拥有“白盒”或无限制访问权限、可修改模型内部权重的微调模型）相比基线模型取得了90%的胜率。

Diffusion Controller框架将图像生成过程（即AI模型从随机噪声开始，逐步精炼为清晰图像的过程）视为一段平滑受控的旅程。把预训练基础模型想象为一辆庞大而强劲的摩托车；重建其核心引擎来改变行驶方式既低效又冒险。相反，Diffusion Controller就像一个轻量级转向阻尼器挂载其上，而主模型（摩托车）始终保持完全冻结、安全无损。

Diffusion Controller的核心机制（转向阻尼器）并非在每一步猜测如何引导生成，而是在图像创建过程中动态调整生成轨迹。它平滑地重新校准模型的默认标准行为，为那些最大化用户定义目标（如实现某种艺术风格或上下文对齐）的方向赋予更大权重。

通过数学优化这些生成轨迹的偏移并利用反馈，Diffusion Controller框架实现了平衡，成功地将模型的生成过程引导向新的用户偏好，同时完整保留基础模型清晰的视觉图像质量和底层稳定性。回到上面蜥蜴的例子，这意味着转向阻尼器引导模型确保墨镜被加进去，但惩罚护栏会同时介入，防止系统为了加墨镜而扭曲蜥蜴自然的鳞片和比例。

为了将这一理论控制问题转化为实用工具，我们将抽象且可能难以求解的方程转化为两种完全基于最终奖励分数的高效微调方法：

Diffusion Controller框架就像一个转向阻尼器，解决了一个巨大的现实商业问题。通常，要改变模型的行为，你需要“白盒”访问权限，深入其核心引擎并修改内部设置。然而，世界上最优秀的图像生成模型往往是企业机密（被称为黑盒或灰盒）。

转向阻尼器网络依赖于完美的图像引导指令——基础模型知识加上一个小修正量的组合。它在图像被清除噪点的过程中进行观察，并注入精确的、微观的转向修正。这使得工程师能够完美控制和定制即使是被严格锁定的闭源模型，而无需触碰底层代码。

我们使用Stable Diffusion v1.4作为骨干模型，在三种微调范式下评估了Diffusion Controller框架的能力：监督微调（SFT）、奖励加权损失（RWL）和PPO。性能采用标准化的人类偏好评分（HPS-v2）来衡量，以判断生成图像与用户提示词及审美偏好的对齐程度。

我们在Diffusion Controller框架下实现了四种网络结构：

结果表明，Diffusion Controller在完全可访问的“白盒”环境和高度受限的“灰盒”环境中均表现出色，持续超越对应的基线方法，并实现了更优的质量-效率权衡。

在SFT和RWL赛道上，灰盒Diffusion Controller转向阻尼器网络在HPS-v2胜率上超越了LoRA——这一最先进的参数高效白盒方法。这是一个重要的里程碑，因为Diffusion Controller在操纵的内部模型层数远少于LoRA的情况下实现了这一成绩。此外，在全面的人类评估小组中，Diffusion Controller在复杂的多属性测试提示词上记录了最佳的主观质量和提示词匹配结果。

该框架的一个核心特性是其运行时的灵活性。通过调整单个推理时引导强度参数，用户可以动态调高或调低控制约束的强度。这允许在生成过程中平滑、细粒度地调整提示词对齐，而不会破坏基线图像的稳定性，也不会造成旧式引导方法典型的视觉扭曲。

通过将数学控制与图像生成模型相结合，Diffusion Controller弥合了纯数学与现代创意工具之间的鸿沟。它不再依赖猜测和临时修补的拼凑方式来调校模型，而是提供了一套统一的、数学上严谨的系统来引导图像生成。最棒的是，它提供了一份实用、轻量的“转向阻尼器”蓝图，即使在访问受限的闭源模型上也能完美运行。

展望未来，这一统一框架开辟了令人振奋的新研究路径。由于控制层与模型核心引擎完全分离，未来的开发者可以将Diffusion Controller用于远不止匹配文本提示词的用途。近期的下一步包括利用该框架构建高级个性化工具、开发健壮的安全机制以帮助减轻有害内容的生成，以及将转向阻尼器网络适配到控制复杂的下一代视频模型。

我们感谢来自谷歌研究院、谷歌DeepMind和学术界的共同作者与合作者对本工作的贡献。

英文来源：

September 29, 2026
Chih-wei Hsu and Moonkyung Ryu , Software Engineers, Google Research
We introduce Diffusion Controller, a lightweight "steering damper" network that precisely steers image generation to achieve significantly better prompt alignment. It seamlessly attaches to even access-restricted, closed-source models, boosting image quality without breaking baseline stability.
The rapid advancement of text-to-image AI models, such as Nano Banana, Stable Diffusion and Flux, has fundamentally transformed creative design, allowing anyone to synthesize photorealistic, high-fidelity images from textual descriptions. However, steering these massive models to meet precise user intent, downstream goals, or strict visual constraints remains a delicate and unpredictable balancing act. For example, imagine prompting a model for "a lizard wearing sunglasses". The model might generate a realistic lizard that's not wearing sunglasses. Alternatively, forcing the model to include the sunglasses might distort the lizard's face, ruining the image quality.
Existing methodologies that guide or fine-tune image generation are very disconnected. On the one hand, developers use inference-time techniques (e.g., classifier-free diffusion guidance) to adjust the text prompt’s influence and guide the image generation process on the fly. On the other hand, they rely on heavy fine-tuning using parameter-efficient adapters like LoRA, reward-weighted regressions, or policy gradients to alter a model's behavior.
Because these tools have historically been treated as distinct and unrelated fixes, the field has lacked a single, principled mathematical language to unify, analyze, and optimize how we control generative models. This fragmented approach often forces engineers to rely on guesswork when balancing user preference alignment against image quality.
To solve this balancing act, we present the Diffusion Controller framework. Instead of treating image generation as a rigid sequence of isolated steps, Diffusion Controller reframes the entire denoising process as a smooth, continuous control problem. Our results show that Diffusion Controller’s lightweight add-on network outperformed the industry standard for matching human preferences. Moreover, its fully unlocked version (i.e., the fine-tuned model with "white-box" or unrestricted access to alter internal model weights) achieved a 90% win rate over the baseline model.
The Diffusion Controller framework treats the image generation process (where an AI model starts with random noise and gradually refines it into a clear picture) as a smoothly controlled journey. Imagine the base pre-trained model as a massive, powerful motorcycle; rebuilding its core engine to change how it drives is inefficient and risky. Instead, the Diffusion Controller acts as a lightweight steering damper attached to it while the main model (the motorcycle) remains completely frozen and safely untouched.
Rather than guessing how to guide the generation at each step, the Diffusion Controller’s core mechanism (the steering damper) dynamically adjusts the generation trajectory as the image is created. It smoothly recalibrates the model’s standard, default behavior, giving more weight to directions that maximize a user-defined target (such as achieving an artistic style or contextual alignment).
By mathematically optimizing these shifts in the generation trajectory with feedback, the Diffusion Controller framework strikes a balance, successfully steering the model’s generation process toward new user preferences while fully preserving the base model’s crisp visual image quality and underlying stability. Returning to the lizard example above, this means the steering damper steers the model to ensure the sunglasses are included, but the penalty guardrail kicks in to prevent the system from distorting the lizard's natural scales and proportions to make it happen.
To turn this theoretical control problem into a practical tool, we bridged the gap between abstract and possibly intractable equations into two efficient fine-tuning methods based entirely on a final reward score:
The Diffusion Controller framework operates like a steering damper, which solves a massive real-world business problem. Usually, to change how a model behaves, you need "white-box" access to dig into its core engine and change its internal settings. However, the world’s best image-generation models are often corporate secrets (referred to as black boxes or gray boxes).
The steering damper network relies on the perfect image-steering instruction, a combination of the base model’s knowledge plus a small correction. It observes the image as it is being cleared of static, and injects precise, microscopic steering corrections. This allows engineers to perfectly control and customize even tightly locked, closed-source models without ever touching the underlying code.
We evaluated the Diffusion Controller framework’s capabilities using a Stable Diffusion v1.4 backbone across three fine-tuning regimes: supervised fine-tuning (SFT), reward-weighted loss (RWL), and PPO. Performance was measured using the standardized Human Preference Score (HPS-v2) to determine how well generated images aligned with user prompts and aesthetic choices.
We have implemented four network structures under the Diffusion Controller framework:
The results demonstrated that Diffusion Controller excels in both fully accessible "white-box" environments and highly restrictive "gray-box" environments, consistently outperforming its corresponding baselines and achieving a better quality-efficiency trade-off.
In the SFT and RWL tracks, the gray-box Diffusion Controller steering damper network outperformed LoRA — the state-of-the-art parameter-efficient, white-box approach — in HPPS-v2 win rates. This is a significant milestone, considering Diffusion Controller accomplished this while manipulating significantly fewer internal model layers than LoRA. Furthermore, in comprehensive human evaluation panels, Diffusion Controller recorded the best subjective quality and prompt-matching results across complex, multi-attribute test prompts.
A core feature of the framework is its flexibility at runtime. By adjusting a single inference-time guidance strength parameter, users can dynamically dial up or down the intensity of the control constraints. This allows for smooth, granular adjustment of prompt alignment on the fly without breaking baseline image stability or causing the visual distortions typical of older guidance methods.
By combining a mathematical control with an image generation model, Diffusion Controller bridges the gap between pure mathematics and modern creative tools. Instead of relying on a patchwork of guesswork and quick fixes to tune a model, it provides a single, mathematically sound system for steering image generation. Best of all, it offers a practical, lightweight "steering damper" blueprint that works perfectly even on access-restricted, closed-source models.
Looking ahead, this unified framework opens up exciting new paths for research. Because the control layer is completely separated from the model's core engine, future developers can use Diffusion Controller for much more than just matching text prompts. Immediate next steps include using the framework to build advanced personalization tools, developing robust safety mechanisms to help mitigate harmful content generation, and adapting the steering damper network to control complex, next-generation video models.
We would like to thank our co-authors and collaborators from Google Research, Google DeepMind, and academia for their contributions to this work.