文档名：结合预训练模型和语言知识库的文本匹配方法
针对文本相似性匹配任务,该文提出了一种大规模预训练模型融合外部知识库的方法.该方法分为三阶段:基础语言模型预训练阶段、外部知识库学习任务生成及联合训练阶段、下游任务微调阶段.在该文中探讨了方法的设计原理和原则.面向第二阶段,利用WordNet语言知识库生成学习任务,提升了现有BERT模型的性能.在第三阶段,针对相似度匹配任务进行微调.该文还试验了对知识库生成的学习任务和引入的外部任务进行联合训练,通过在微软公司提出的MT-DNN模型基础上取得进一步的性能提升,证明了知识库学习任务联合强化的可行性.此外,该文还探讨和验证了生成学习任务时结合下游任务任务特定知识,以在下游任务无法微调时改进模型性能的方法.
作者：周烨恒石嘉晗徐睿峰
作者单位：哈尔滨工业大学(深圳)计算机科学与技术学院,广东省深圳市518055
母体文献：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会论文集
会议名称：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会
会议时间：2019年10月18日
会议地点：昆明
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：文本匹配 预训练模型 语言知识库
在线出版日期：2021年8月24日
基金项目：
相似文献
相关博文
- 文件大小:
- 696.26 KB
- 下载次数:
- 60
-
高速下载
|
|
