文档名：基于隐含主题协同注意力网络的领域分类方法
基于注意力机制的神经网络模型在文本分类任务中显示出了很好的效果.然而当训练数据的规模有限,或者测试数据的分布与训练数据有较大差异时,一些有价值的信息词很难在训练中被模型捕捉到.为此,该文提出了一种新的基于协同注意力(co-attention)网络的领域分类方法.该文利用隐含主题模型学习隐含主题注意力,并将其引入到文本分类常用的双向长短期记忆网络(BiLSTM)中,与研究进展中的软或硬注意力(soft-orhard-attention)机制一起构成协同注意力.中文话语领域分类基准语料SMP-ECDT的实验结果表明,隐含主题协同注意力网络取得了显著优于注意力机制研究进展的领域分类效果,比基线注意力机制Softatt、Hardatt以及单独的隐含主题注意力机制BTMatt分别提高了2.85％、1.85％和1.74％的分类正确率.此外,实验结果还验证了,在额外的未标记数据上训练隐含主题,可以进一步提高该文方法的领域分类性能.
作者：黄培松黄沛杰丁健德艾文程章锦川
作者单位：华南农业大学数学与信息学院,广东省广州市510642
母体文献：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会论文集
会议名称：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会
会议时间：2019年10月18日
会议地点：昆明
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：领域分类 神经网络 协同注意力 隐含主题
在线出版日期：2021年8月24日
基金项目：
相似文献
相关博文
- 文件大小:
- 923.63 KB
- 下载次数:
- 60
-
高速下载
|
|
