文档名：基于自编码器的通用性文本表征
为了学习文本的语义表征,之前的研究者主要依赖于复杂的循环神经网络(recurrentneuralnetworks,RNNs)和监督式学习方法.本文中,提出了一种门控联合池化自编码器(gatedmean-maxAAE),用于学习通用性的文本语义表征.本文的自编码器完全通过多头自注意力机制(multi-headself-attentionmechanism)来构建编码器和解码器网络.在编码阶段,提出了均值-最大化(mean-max)联合表征策略,即同时运用平均池化(meanpooling)和最大池化(maxpooling)操作来捕获输入文本中更多样性的语义信息.为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注.通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器.在重构文本段落的实验中,本文模型在实验效果和计算效率上均超越了传统的RNNs模型.将公开训练好的文本编码器,使其可以方便地运用于后续的研究.
作者：张明华 吴云芳 李伟康 张仰森
作者单位：北京大学计算语言学教育部重点实验室,北京,100871北京信息科技大学计算机学院,北京,100871
母体文献：第十七届全国计算语言学学术会议暨第六届基于自然标注大数据的自然语言处理国际学术研讨会(CCL2018)论文集
会议名称：第十七届全国计算语言学学术会议暨第六届基于自然标注大数据的自然语言处理国际学术研讨会(CCL2018)
会议时间：2018年10月19日
会议地点：长沙
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：文本表征 通用性 自编码器 多头自注意力机制
在线出版日期：2021年9月13日
基金项目：
相似文献
相关博文
- 文件大小:
- 1007.08 KB
- 下载次数:
- 60
-
高速下载
|
|
