风格化图像_团队新作（MM 2020）：基于多适应网络的任意图像风格化

任意图像风格化(Arbitrary Style Transfer)是一个具有研究价值和应用前景的重要课题。给定内容图像和风格图片，一个理想的风格化方法可以将风格图片中的色调以及生动的纹理和笔触等迁移到内容图片上，同时保持内容图片中的结构信息。风格化方法将首先学习内容和风格的特征表示，然后根据这些特征表示生成风格化后的图像。在本工作中，我们提出了包含两个自适应(Self-Adaption，SA)模块和一个协同适应(Co-Adaption，CA)模块的多适应网络。SA模块自适应地分离内容和样式表示：内容SA模块使用基于图像位置的自注意机制来增强内容表示，风格SA模块使用基于图像通道(channel)的自注意机制来增强风格表示; CA模块以非局部方式计算解耦之后的内容和风格特征之间的局部相似度，根据内容表示的分布重排风格表示的分布。此外，我们提出一个新的解耦损失函数，可以使我们的网络分别提取出主要的风格模式和精确的内容结构，以适应不同的输入图像。各种定性和定量的实验表明，所提出的多自适应网络比目前最先进的风格化方法有更好的结果。图1为本工作所设计的整体网络结构。图2为使用本工作方法生成的吴冠中风格江南水乡绘画作品的结果。图3展示了本工作与主流方法的图像风格化结果对比。

图1 本工作所设计的整体网络结构

图2 本工作方法所生成的吴冠中风格的艺术图像(红框部分)

图3 本工作与主流方法的图像风格化结果对比

本工作发表于多媒体领域国际顶级会议ACM Multimedia 2020：

Yingying Deng, Fan Tang, Weiming Dong, Wen Sun, Feiyue Huang, Changsheng Xu: Arbitrary Style Transfer via Multi-Adaptation Network. ACM Multimedia 2020.

论文下载：https://arxiv.org/abs/2005.13219