Tensorflow是一个跨平台库。C API之上兼容很多不同的编程语言。

• Client:
  • Defines the computation as a dataflow graph.
  • Initiates graph execution using a session.
• Distributed Master
  • Prunes a specific subgraph from the graph, as defined by the arguments to Session.run().
  • Partitions the subgraph into multiple pieces that run in different processes and devices.
  • Distributes the graph pieces to worker services.
  • Initiates graph piece execution by worker services.
• Worker Services (one for each task)
  • Schedule the execution of graph operations using kernel implementations appropriate to the available hardware (CPUs, GPUs, etc).
  • Send and receive operation results to and from other worker services.
• Kernel Implementations
  • Perform the computation for individual graph operations.

各个模块

-

打个比方，你一共在两台电脑上（A,B）用同一个帐号的Dropbox，一共有三个文件（C，D，E），你在A电脑上删了（或者任意操作后保存）C，只要同步，B上面的C就会执行自行同步你在A上对C 的操作。至于Ipad上的同步，原理是一样。

yskin说

eDonkey2000（好吧，就是大家说的电驴）是这样实现的：把文件按固定大小分成几段，然后每段生成一个Hash码，然后再把所有Hash码合并成一个Hash码表，再对其生成一个Hash码，于是就成为了ed2k链接。下载的时候，先拿ed2k链接找人要到Hash码表，然后再根据码表分别下载每个片段。

Dropbox的增量同步也一样，每4M生成一个Hash码，然后更新的时候把码表和隐藏目录里存储的原码表做一下比较，发现1-10、12-20段都没有改变，只有11段不一样了，于是就只上传了第11段的数据。

dunning说

identity mapping in resnet

$$
y=H(x,W_H)+x
$$

Highway

所谓Highway网络，无非就是输入某一层网络的数据一部分经过非线性变换，另一部分直接从该网络跨过去不做任何转换，就像走在高速公路上一样。
而多少的数据需要非线性变换，多少的数据可以直接跨过去，是由一个权值矩阵和输入数据共同决定的。

$$
y=H(x,W_H)\bigodot T(x,W_T)+x\bigodot C(x,W_C)
$$

简介

可视化方法

• 传统CNN可视化
  • 对kernel可视化
  • 对中间feature map可视化
  • 对全连接weight可视化
• 反卷积网络 可视化

传统CNN可视化

单层sparse autoencoder在的可视化

背景

众所周知，神经网络分为有向网络，无向网络。典型的无向网络有CRF、Autoencoder、RBM等。由于Autoencoder和RBM是层级结构，也叫双向网络。这种是专门设计的双向网络，具有很好的理论依据(特别是RBM)。用的更多的网络，比如NN、CNN等都是单向网络。

PGM

理论好，实践弱

概率图模型，又称有向图模型。
实际上我们是可以通过后验概率，计算图模型的反向。

简介

图片1中的内容 + 图片2中的风格 = 新图片

难点

1. 怎样提取出content信息？
2. 怎样提取出style信息？
3. 怎样融合content和style？

大佬们围绕这几个点，绞尽脑汁，各显神通。

参考

https://www.zhihu.com/question/19578687

简介

前端渲染是在客户端完成字符串替换，后端渲染当然在服务器完成

-「后端渲染」指传统的 ASP、Java 或 PHP 的渲染机制；以及最初的CGI
-「前端渲染」指使用 JS 来渲染页面大部分内容，代表是现在流行的 SPA 单页面应用；

前端渲染

前端渲染的优势

梯度消失

随着网络深度的加深，梯度消失问题会愈加明显。无论cnn，rnn

什么形式会爆炸

f_{t+1}

累加的形式不消失
$f_{t+1} = w * f_{t} + w f_{t-1} + …$

正则表达式实例

Java 正则表达式和 Perl 的是最为相似的。

java.util.regex 包主要包括以下三个类：

Pattern 类

pattern 对象是一个正则表达式的编译表示。Pattern 类没有公共构造方法。要创建一个 Pattern 对象，你必须首先调用其公共静态编译方法，它返回一个 Pattern 对象。该方法接受一个正则表达式作为它的第一个参数。