【语言模型】n-gram
本文字数：
|
阅读时长 ≈
简介n-gram模型也称为n-1阶马尔科夫模型，它有一个有限历史假设：当前词的出现概率仅仅与前面n-1个词相关。因此(1)式可以近似为：
当n取1、2、3时，n-gram模型分别称为unigram、bigram和trigram语言模型。n-gram模型的参数就是条件概率
假设词表的大小为100,00
...
优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
参考
为什么说随机最速下降法(SGD)是一个很好的方法？ | 知乎
SGD在两层神经网络上是怎么收敛的？
An overview of gradient descent optimization algorithms | 经典
繁体翻译 - 隨機梯度下降（SGD）優化算法及可視化
知乎翻译
k
...
【机器翻译】对偶学习
|
本文字数：
|
阅读时长 ≈
利用翻译问题的对偶性（duality），使模型能够从源语言到目标语言（Source to Target）和从目标语言到源语言（Target to Source）这两个方向的翻译中学习。同时，这让我们能同时从有监督和无监督的源数据和目标数据中学习。具体而言，我们利用通用的对偶学习（dual learn
...