图像风格迁移-Image Style Transfer

简介

图片1中的内容 + 图片2中的风格 = 新图片

难点

  1. 怎样提取出content信息?
  2. 怎样提取出style信息?
  3. 怎样融合content和style?

大佬们围绕这几个点,绞尽脑汁,各显神通。

核心思想

分解

我们先从简单问题的入手,问题1看上去好像比较简单。

怎样提取出content信息?

怎样提取出style信息?

这几年CNN挺火,据说CNN的不同层能学习到不同级别的特征。是不是也能学习到style信息呢?带着这个疑问,我们先来看看CNN学到的是什么。

https://distill.pub/2017/feature-visualization/

细节

网络的高层特征一般是关于输入图像的物体和布局等信息低层特征一般表达输入图像的像素信息。也就是说在提取content特征时,不同层的表达效果是不一样的,本文在后面提取图像的content特征时采用高层特征。

参考文献 | 发展史

2015 A Neural Algorithm of Artistic Style 2016年的CVPR Image Style Transfer Using Convolutional Neural Networks