NNLM(Neural Network Language Model)

神经网络语言模型对理解word2vec模型有很大的帮助, 包括对后期理解CNN,LSTM进行文本分析时有很大的帮助.

 

模型训练数据

是一组词序列w1…wT,wt∈V。其中 V 是所有单词的集合（即训练预料中的词构成的词典）, 词向量把n-gram的离散空间转换为连续空间.

概率函数

$f(w_{t},w_{t-1},...,w_{t-n+2}, w_{t-n+1})=p(w_{t} | {w_{1}}^{t-1})$

在这个模型中，可分为特征映射和计算条件概率分布两部分：

1.  一个 |V|×m映射矩阵C，每一行表示某个单词的特征向量，是m维，共|V|列，即|V|个单词都有对应的特征向量在C中

2.通过一个函数 g （g 是前馈或递归神经网络）将输入的词向量序列(C(wt−n+1),...,C(wt−1)) 转化为一个概率分布,即该函数$p(w_{t} | {w_{1}}^{t-1})$是来估计，其中i有|V|种取值。如果把该网络的参数记作ω，那么整个模型的参数为 θ = (C,ω)。我们要做的就是在训练集上使下面的目标似然函数最大化.

 

目标函数:

 

神经网络语言模型的网络结构图:

 

网络结构:

从下往上依次是:

输入层:window窗口中上下文的每个词one-hot向量

投影矩阵: 紫色虚线表示词语通过投影矩阵Matrix C对词进行映射

投影矩阵也是稠密词向量, 词典维数V，稠密词向量表示维数D

1*|V|*|V|*m = 1*m

 

神经网络输入层: 为经过投影矩阵映射后的词向量的拼接, 输入向量大小为窗口上下文词的数量乘以定义的词向量的长度

神经网络隐藏层: 加激活函数tanh等进行非线性映射

输出层:softmax做归一化，保证概率和为1.

　　$p(w_{t}|w_{t-1},...,w_{t-n+2}, w_{t-n+1}) = \frac{ e^{y_{w_{t}}} }{ \sum_{i}^{ }e^{y_{i}} }$