基于Transformer的AMRtoText生成

文档名：基于Transformer的AMRtoText生成
抽象语义表示到文本(AMR-to-text)生成的任务是给定AMR图,生成相同意义表示的文本.可以把此任务当成一个从源端AMR图到目标端句子的翻译任务.然而,传统的序列到序列(seq2seq,简称S2S)的方法,使用循环递归网络进行编码,并不能很好的解决长短期依赖的问题.当前最好的性能是图到序列(graph2seq,简称G2S)的模型,使用了图模型直接对AMR图结构进行编码,但对于非直接相连的节点依然会损失大量的结构信息.针对上述问题,基于seq2seq框架,提出了一种直接而有效的AMR-to-text生成方法.在这项工作中,引入了当前最优的seq2seq模型Transformer作为基准模型,并且使用字节对编码(简称BPE)和共享词表的方法联合来对未登录词(简称OOV)的问题进行处理.在现有的两份英文标准数据集上,实验结果都取得了显著的提升,达到了新的最高性能.
作者：朱杰李军辉钱龙华
作者单位：计算机科学与技术学院,苏州大学,江苏省苏州市215006
母体文献：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会论文集
会议名称：第十八届中国计算语言学大会暨中国中文信息学会2019学术年会  
会议时间：2019年10月18日
会议地点：昆明
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：抽象语义表示  文本生成  序列到序列模型  字节对编码  共享词表
在线出版日期：2021年8月24日
基金项目：
相似文献
相关博文

2024-12-10 14:18 上传 基于Transformer的AMRtoText生成.pdf

文件大小:

514.94 KB

下载次数:

60

高速下载