简介
图片1中的内容 + 图片2中的风格 = 新图片
难点
- 怎样提取出content信息?
- 怎样提取出style信息?
- 怎样融合content和style?
大佬们围绕这几个点,绞尽脑汁,各显神通。
核心思想
分解
我们先从简单问题的入手,问题1看上去好像比较简单。
怎样提取出content信息?
怎样提取出style信息?
这几年CNN挺火,据说CNN的不同层能学习到不同级别的特征。是不是也能学习到style信息呢?带着这个疑问,我们先来看看CNN学到的是什么。
https://distill.pub/2017/feature-visualization/
细节
网络的高层特征一般是关于输入图像的物体和布局等信息,低层特征一般表达输入图像的像素信息。也就是说在提取content特征时,不同层的表达效果是不一样的,本文在后面提取图像的content特征时采用高层特征。
参考文献 | 发展史
2015 A Neural Algorithm of Artistic Style
2016年的CVPR Image Style Transfer Using Convolutional Neural Networks