文档名：改进BERT词向量的BiLSTMAttention文本分类模型
摘要：在文本的多分类任务中,基于预训练模型的词向量不能很好地学习到文本多样化信息,降低了文本分类任务的准确率.针对该问题,提出了一种基于残差注意力BERT词向量的BiLSTM-Attention文本分类模型.首先,将输入的文本转化为向量特征,利用残差注意力BERT模型提取更加丰富的语义特征词向量信息.接着,利用BiLSTM模型提取特征的上下文联系信息,将BERT模型"[CLS]"对应的输出与BiLSTM模型的输出进行拼接,对特征信息进行深度融合,从而实现特征有效利用.在THUNews数据集上进行性能评估,实验结果表明:所提模型在准确率和F1值指标上均优于现有深度学习模型的结果,具有更优的分类效果.
作者：杨兴锐 赵寿为 张如学 陶叶辉 杨兴俊 Author：YANGXingrui ZHAOShouwei ZHANGRuxue TAOYehui YANGXingjun
作者单位：上海工程技术大学数理与统计学院,上海201620重庆大学机械与运载工程学院,重庆400044上海工程技术大学管理学院,上海201620
刊名：传感器与微系统 ISTICPKU
Journal：TransducerandMicrosystemTechnologies
年，卷(期)：2023, 42(10)
分类号：TP391
关键词：预训练模型 词向量 注意力机制 双向长短期记忆网络 残差网络
Keywords：pre-trainingmodel wordvector attentionmechanism bi-directionallongshort-termmemorynetwork residualnetwork
机标分类号：TP391TP18H146.3
在线出版日期：2023年11月6日
基金项目：上海工程技术大学科研创新资助项目改进BERT词向量的BiLSTM-Attention文本分类模型[
期刊论文] 传感器与微系统--2023, 42(10)杨兴锐 赵寿为 张如学 陶叶辉 杨兴俊在文本的多分类任务中,基于预训练模型的词向量不能很好地学习到文本多样化信息,降低了文本分类任务的准确率.针对该问题,提出了一种基于残差注意力BERT词向量的BiLSTM-Attention文本分类模型.首先,将输入的文本转化为向...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
改进BERT词向量的BiLSTM-Attention文本分类模型 BiLSTM-Attention text classification model of improved BERT word vector
改进BERT词向量的BiLSTM-Attention文本分类模型.pdf
- 文件大小:
- 634.52 KB
- 下载次数:
- 60
-
高速下载
|
|
