基于Transformer增强架构的中文语法纠错方法

文档名：基于Transformer增强架构的中文语法纠错方法
语法纠错任务是自然语言处理领域的一项重要任务,近年来受到了广泛关注.该任务旨在自动识别并纠正文本中所包含的语法、拼写以及语序错误等.本文将语法纠错任务看作是翻译任务,即将带有错误表达的文本翻译成正确的文本,采用基于多头注意力机制的Transformer模型作为纠错模型并提出了一种动态残差结构,动态结合不同神经模块的输出来增强模型捕获语义信息的能力.受限于目前训练语料不足的情况,提出了一种数据增强方法,通过对单语语料的腐化从而生成更多的纠错数据,进一步提高模型的性能.实验结果表明,本文所提出的基于动态残差的模型增强以及腐化语料的数据增强方法对纠错性能有着较大的提升,在NLPCC2018中文语法纠错共享评测数据上达到了最优性能.
作者：王辰成 杨麟儿 王莹莹 杜永萍 杨尔弘
作者单位：北京工业大学信息学部,北京100124;北京语言大学语言资源高精尖创新中心,北京100083北京语言大学语言资源高精尖创新中心,北京100083;北京语言大学信息科学学院,北京100083北京工业大学信息学部,北京100124
母体文献：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会论文集
会议名称：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会  
会议时间：2019年10月18日
会议地点：昆明
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：汉语  语法纠错  多头注意力  动态残差结构  数据增强
在线出版日期：2021年8月24日
基金项目：
相似文献
相关博文

2024-12-10 14:18 上传 基于Transformer增强架构的中文语法纠错方法.pdf

文件大小:

601.5 KB

下载次数:

60

高速下载