谷歌开源全新风格迁移模型RB-Modulation，无需训练即可实现风格控制。 体验地址、代码、论文地址见文末 。
RB-Modulation是一种无需训练即可个性化扩散模型的新型即插即用解决方案。现有的无需训练的方法在以下方面存在困难：
(a) 在没有额外的风格或内容文本描述的情况下从参考图像中提取风格，
(b) 参考风格图像中不必要的内容泄漏，以及
(c) 有效地组合风格和内容。
RB-Modulation 基于一种新颖的随机最优控制器，其中风格描述符通过终端成本编码所需属性。由此产生的漂移不仅克服了上述困难，还确保了对参考风格的高度保真，并遵循给定的文本提示。还引入了一种基于交叉注意力的特征聚合方案，使 RB-Modulation 能够从参考图像中解耦内容和风格。通过理论论证和实证证据，RB-Modulation框架展示了在无需训练的情况下精确提取和控制内容和风格。此外，RB-Modulation的方法允许内容和风格的无缝组合，这标志着摆脱了对外部适配器或 ControlNets 的依赖。
以下请欣赏实践结果：
总 之，RB-Modulation提供了一种强大且灵活的工具，为图像处理和生成艺术开辟了新的道路，让用户能够轻松实现各种独特的风格创造与内容融合。\
附上体验地址：
https://huggingface.co/spaces/fffiloni/RB-Modulation
项目地址：
https://rb-modulation.github.io/
代码：