文档名：基于可靠词汇语义约束的词语向量表达修正研究
词语向量表达(wordvectorrepresentation)是众多自然语言处理(naturallanguageprocessing,NLP)下游应用的基础.已有研究采用各种词汇分类体系提供的词汇语义约束,对海量语料训练得到的词向量进行修正,改善了词向量的语义表达能力.然而,人工编制或者自动构建的词汇分类体系普遍存在语义约束可靠性不稳定的问题.本文基于词汇分类体系与词向量之间、以及异构词汇分类体系之间的交互确认,研究适用于词语向量表达修正的可靠词汇语义约束提炼方法.具体上,对于词汇分类体系提供的同义词语类,基于词向量计算和评估类内词语的可靠性.在其基础上,通过剔除不可靠语义约束机制避免词语类划分潜在不够准确的词语的错误修正;通过不同词汇分类体系的交互确认恢复了部分误剔除的语义约束;并通过核心词约束传递机制避免原始词向量不够可靠的词语在词向量修正中的不良影响.本文采用NLPCC-ICCPOL2016词语相似度测评比赛中的PKU500数据集进行测评.在该数据集上,将本文提出的方法提炼的可靠词汇语义约束应用到两个轻量级后修正的研究进展方法,修正后的词向量都获得更好的词语相似度计算性能,取得了0.6497的spearman等级相关系数,比NLPCC-ICCPOL2016词语相似度测评比赛第一名的方法的结果提高25.4％.
作者：梁泳诗黄沛杰黄培松杜泽峰
作者单位：华南农业大学数学与信息学院,广东广州510642
母体文献：第十七届全国计算语言学学术会议暨第六届基于自然标注大数据的自然语言处理国际学术研讨会(CCL2018)论文集
会议名称：第十七届全国计算语言学学术会议暨第六届基于自然标注大数据的自然语言处理国际学术研讨会(CCL2018)
会议时间：2018年10月19日
会议地点：长沙
主办单位：中国中文信息学会
语种：chi
分类号：TP3H04
关键词：词语向量表达 错误修正 可靠词汇 语义约束
在线出版日期：2021年9月13日
基金项目：
相似文献
相关博文
- 文件大小:
- 690.68 KB
- 下载次数:
- 60
-
高速下载
|
|
