highway network
identity mapping in resnet
y=H(x,W_H)+xhighway所谓Highway网络，无非就是输入某一层网络的数据一部分经过非线性变换，另一部分直接从该网络跨过去不做任何转换，就像走在高速公路上一样。而多少的数据需要非线性变换，多少的数据可以直接跨过去，是由一个权值矩阵
...
非局部连接网络 Non-local Neural Network
背景
dependencies between spatial or temporal local regions.
通常利用卷积(滤波器)等操作，可以实现局部依赖，但是如何获取图像/视频中的长距离依赖？self-attention给我们提供了一个很好的思路，它能捕获任意距离的依赖。
空间Att
...
BP算法
假设我们有一个固定样本集 $\textstyle { (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) }$，它包含 $\textstyle m$ 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 $\textstyle (x,y)$
...
BERT用于语言模型
背景BERT取得了较大成功，但是原始的模型并不能直接用于对句子打分，也就是常规的语言模型任务。如何利用bert的预训练模型对句子打分？序列掩码的方式应该比较合理。
简介对于一个句子 $S = w_1, w_2,…, w_k$，通常可以这样来表示整个句子的概率
p(S) = \prod_{i=1}^
...
次梯度法
背景次导数、次微分次导数（subderivative）、次微分（subdifferential）
定义
凸函数f:I→R在点x0的次导数，是实数c使得：
f(x)-f(x_{0}) \geq c(x-x_{0})对于所有I内的x。我们可以证明，在点x0的次导数的集合是一个非空闭区间[a, b]，其
...
BERT
简介本文介绍了一种新的语言表征模型 BERT——来自 Transformer 的双向编码器表征。与最近的语言表征模型不同，BERT 旨在基于所有层的左、右语境来预训练深度双向表征。BERT 是首个在大批句子层面和 token 层面任务中取得当前最优性能的基于微调的表征模型，其性能超越许多使用任务特定
...
从hexo到hugo
吐槽 hexo
重量级
node_modules依赖特别大
慢
filter多，
OOM:在服务器端生成目前的700多篇文章占用大量内存，很难生成成功1000+ 会造成OOM1FATAL ERROR: Ineffective mark-compacts near heap limit Al
...
tensorflow高层API -- Estimator
【Hexo插件系列】流程图与时序图
背景有些markdown支持流程图、时序图，比如马克飞象。
实际上，这部分的渲染并非markdown引擎(后端渲染)做的，而是采用的第三方前端渲染引擎。其原理类似公式渲染引擎mathjax。
因此，这种流程图和时序图很容易嵌入到hexo博客中，而且已经有了相关的插件。
流程图
渲染引擎：flow
...