实际上，我们在评估语言模型时，并不直接使用概率作为衡量标准，而是使用一个叫做困惑度(perplexity)的指标。
在测试集上计算语言模型的困惑度(有时简称为PP)是单词数归一化后的逆概率。对于测试集$W=w_1,w_2,…w_N$来说，困惑度的计算方式如下：
$$
\begin{align}
PP(W)
&=P(w_1 w_2…w_N )^{-1/N} \\
&=\sqrt[N]{\frac{1}{P(w_1 w_2…w_N)}} \\
\end{align}
$$
我们对上式使用链式法则：
$$
PP(W)= \sqrt[N]{\prod_{i=1}^{N}\frac{1}{P(w_i|w_1 w_2…w_{i-1})}}
$$
因此，二元模型的困惑度可按下式计算：
$$
PP(W)= \sqrt[N]{\prod_{i=1}^{N}\frac{1}{P(w_i|w_{i-1})}}
$$
请注意，从公式中很容易看出，困惑度的值与条件概率的值成反比。单词序列的条件概率越大，困惑度就越低，这意味着，最小化困惑度等同于最大化语言模型的测试集概率。在使用中，由于我们测试的内容经常包含多个句子，因此我们需要对每句话添加开始符和结束符，并且将结束符的数量计入单词标记N的总数中(开始符就不需要了)。
对困惑度还有另外一种理解，即将它作为一种语言的加权平均分支因子。语言的分支因子指可以跟随任意单词的下一个单词的数量。比如识别数字的任务，由于每个数字出现的可能均等，都为1/10，因此困惑度为10，计算方法如下：
如果觉得《perplexity 衡量指标_3.2.1.困惑度》对你有帮助，请点赞、收藏，并留下你的观点哦！
