一,详细原理以及代码请看下面博客
1.Imdb数据集情感分析之离散贝叶斯
2.Imdb数据集情感分析之LSTM长短期记忆
3.Imdb数据集情感分析之卷积神经网络-TextCNN
4.Imdb数据集情感分析之BERT
5.Imdb数据集情感分析之Transformer
6.Imdb数据集情感分析之LSTM+Attention
二,贝叶斯, LSTM和TextCNN算法在文本情感分析上对比
三,总结
离散贝叶斯是基于词与词是相互独立的,没有联系的,单是往往它们是有联系的,就比如说“明天是星期一,我要去学校”这句话,如果是按照朴素贝叶斯算法的考量,则认为“我”,“星期一”,“学校”这三个词语之间是没有联系即相互独立的,但是在现实世界中很显然这三个单词之间是有很大联系的。
Text CNN 卷积神经网络是利用固定大小的核,比如我的例子是用三个核(3, 50),(4, 50),(5, 50),但是如果一个字的上下文依赖很远,那么就很难训练到它们的关系了。理论上CNN是可以通过加多的隐层达到RNN一样的效果-解决长期依赖的问题。但是我的这里例子CNN比RNN差一点。还有CNN是可以并行的,单是RNN不能并行的。
LSTM和GRU是RNN的改进版,一定程度上规避了RNN的梯度消失的问题。理论上,它可以训练到词与词之间,句子与句子之间上下文的潜在的联系。一定要加dropout,加了之后就会提高3个百分点。
双向LSTM与双向GRU在这个数据集上没有什么效果。相比与BERT, 它的双向其实是弱一点。
BERT是效果最好的, 第一个epoch就已经是90.78%,后面的epoch有点过拟合了,整个训练过程超级好资源,最好用GPU.不然要用一整天才能执行一个epoch。
如果觉得《[深度学习-NLP]Imdb数据集情感分析之模型对比(贝叶斯 LSTM GRU TextCNN Transformer BERT)》对你有帮助,请点赞、收藏,并留下你的观点哦!