CNN网络结构可视化

简介

可视化方法

• 传统CNN可视化
  • 对kernel可视化
  • 对中间feature map可视化
  • 对全连接weight可视化
• 反卷积网络 可视化

传统CNN可视化

单层sparse autoencoder在的可视化

对autoencoder的参数W进行可视化。(训练数据STL-10)

sparse autoencoder学习到的参数W

通过可视化可以看到，autoencoder学习到的参数类似边缘检测器(a set of edge detectors)
不同的隐藏单元学会了在图像的不同位置和方向进行边缘检测。

以上来自ufldl

这里sparse autoencoder是在图片88的patch上学习得到的，学到**参数W类似CNN中的88的卷积核**。因此UFLDL的教程中直接把w当做cnn的卷积核，效果也不错。

cnn的可视化

• 传统CNN可视化的缺陷：
  • 传统CNN可视化的一个缺陷是，不能够还原图片，只能单向可视化。例如，给定一个hidden feature。

反卷积网络 可视化

反卷积网络与传统CNN网络采用同样的结构，只不过训练方法不同。反卷积网络采用非监督学习，类似autoencoder的思想。

这样

deep dream 详解

见参考中的deep dream源码

todo

• 可视化梯度消失、梯度爆炸
• 可视化ReLU对梯度消失的影响
• 可视化LSTM对梯度消失的影响

借鉴deep-dream，可视化lstm

• lstm可视化 https://medium.com/asap-report/visualizing-lstm-networks-part-i-f1d3fa6aace7

参考

paper

• Visualizing and Understanding Convolutional Networks | 2014 Zeiler ECCV CNN领域可视化理解的开山之作

博客

• Deep Visualization:可视化并理解CNN | 知乎
• feature-visualization | distill

code

• deep-dream | tensorflow官方