Stanford自然语言推理(SNLI)数据集，全称The Stanford Natural Language Inference (SNLI) Corpus。

https://nlp.stanford.edu/projects/snli/

简介

SNLI1.0包含570，000的人工手写英文句子对。
针对 推理前提(premise)与推理假设(hypothesis)之间是否存在逻辑关系，人工标注了以下三种标签：

UPDATE: 2018-08-08: github markdown已经支持公式，

简介

MathJax 和 Katex

mathjax

训练算法，如Back Propagation Through Time(BPTT)、Real-time Recurrent Learning(RTRL)、Extended Kalman Filter(EKF)等学习算法，以及梯度消失问题(vanishing gradient problem)

3. 详细介绍Long Short-Term Memory(LSTM，长短时记忆网络)；
4. 详细介绍Clockwork RNNs(CW-RNNs，时钟频率驱动循环神经网络)；
5. 基于Python和Theano对RNNs进行实现，包括一些常见的RNNs模型。

GRU - gated recurrent unit

It combines the forget and input gates into a single “update gate.” It
also merges the cell state and hidden state, and makes some other changes. The resulting model is simpler than
standard LSTM models, and has been growing increasingly popular.

SRNN -

架构

模型训练层

服务层

seq2seq缺陷：无论之前的context有多长，包含多少信息量，最终都要被压缩成一个几百维的vector。这意味着context越大，最终的state vector会丢失越多的信息。

Attention based model的核心思想: 一个模型完全可以在decode的过程中利用context的全部信息，而不仅仅是最后一个state。

1. ss
   • global attention
   • local attention
2. ewrw
   • soft
   • hard

各种各样的attention

• 2014年google mind团队的这篇论文《Recurrent Models of Visual Attention》，他们在RNN模型上使用了attention机制来进行图像分类。
• Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中，使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行，他们的工作算是第一个将attention机制应用到NLP领域中。
• 接着attention机制被广泛应用在基于RNN/CNN等神经网络模型的各种NLP任务中。
• 2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attention）机制来学习文本表示。

简介

在2017年5月Facebook发布了ConvSeq2Seq模型吊打了GNMT一个月之后，Google发出了最强有力的反击，发表了一篇论文Attention is all you need，文中提出了一种新的架构叫做Transformer，用以来实现机器翻译。它抛弃了传统的CNN、RNN，只采用attention，取得了很好的效果，激起了工业界和学术界的广泛讨论。

背景，motivation

如何获取context信息

常用的模型架构有RNN、CNN、CRF，详见 序列学习。

最高领导人

中华人民共和国最高领导人是指中华人民共和国政治中具有最终决定和最高地位的政治领导人，是一个“非官方”的称谓。最高领导人在中国共产党和中华人民共和国的权力机构中不一定拥有最高职衔，但均曾担任中共中央军委主席，能有效控制其三大党政军机构——中国共产党、政府和解放军等武装力量。

目前中国官方称呼毛泽东、邓小平、江泽民、习近平为第一、二、三、五代中央领导集体的核心，称呼第四代胡锦涛为以他为总书记的党中央。党主席兼总理华国锋则是过渡时期的领导人。

2017年中共十九大之后，中共中央政治局全体委员和常委都被规定要向总书记述职，形成“总书记绝对领导制”，习近平作为总书记不再只是集体领导的一员，其权威已经达到毛泽东时期中央委员会主席的程度，成为全党全国的最高领袖。

历代领导人

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

var renderFootnotes = require('./src/footnotes');
    util = require('hexo-util');

// Register footnotes filter
hexo.extend.filter.register('before_post_render', function(data) {
  data.content = renderFootnotes(data.content);
  return data;
});

// Add CDN CSS resources
hexo.extend.filter.register('after_post_render', function(data) {
  data.content =
      util.htmlTag('link', {rel: 'stylesheet', type: 'text/css', href: 'https://cdn.jsdelivr.net/hint.css/2.4.1/hint.min.css'}) +
      data.content;
  return data;
});

是不是应该叫filter

API介绍

• Math.random()方法来产生一个随机数，这个产生的随机数是0-1之间的一个double

用法

生成从1到10的int型随机数

1
2
3
4
5
6

// 方式一：
int i = (int)(1+Math.random()*(10-1+1))

// 方式二:
int i = random.nextInt(99)+1;

SemEval 2014 Task 4

Read train 2990, test 973

长度 20以下的，Trimmed to train 2124, test 692

数据量好少，

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

and cheap !
price
1
the staff is n't the friendliest or most competent , and i am stickler for service , but everything else about this place makes up for it .
service
-1
the service is always bad though , do n't expect much of anything from your server , and i would not recommend bringing a date here either .
service
-1
i absolutely love this place ! ! !
miscellaneous
1
a restaurant that does n't try to do anything except serve great food with great service in a pleasant atmosphere .
ambience
1
this place was not all that !
miscellaneous
-1
the food is great .
food
1
highly recommended ! ! ! ! !
miscellaneous
1
the food was really good , i had the onion soup and it was one of the best ever .
food
1
a++ the service was good to excellent along with the attitude .
service
1
we had a 3 hour brunch- they definitely do not rush you- and they kept the unlimited mimosas flowing the whole time .
service
1
i 've been eating at taj mahal for over twenty years and have found them to be the most excellent of the indian eateries on this block of indian restaurants .
miscellaneous
1
anyway , the food is good , the price is right and they have a decent wine list .
price
1