文档名：基于λ主动学习方法的中文微博分词
由于面向中文微博的分词标注语料相对较少,导致基于传统方法和深度学习方法的中文分词系统在微博语料上的表现效果很差.针对此问题,本文提出一种新的主动学习方法从大规模未标注语料中挑选更具标注价值的微博分词语料.该方法根据微博语料的特点,在主动学习迭代过程中引入参数λ来控制所选的重复样例的个数,确保了所选样例的多样性;同时,根据样例中字标注结果的不确定性和上下文的多样性,采用Max、Avg和AvgMax三种策略衡量样例整体的标注价值;此外,用于主动学习的初始分词器除了使用当前字的上下文作为特征外,还利用字向量自动计算当前字成为停用字的可能性作为模型的特征.实验使用NLPCC2015公开的训练语料和测试语料,结果表明,本文提出的基于主动学习的分词方法,其F值较基线系统提高了0.84％～1.49％,与目前最优的WBA主动学习方法相比提升效果更加显著.
作者：张婧黄德根黄锴宇刘壮孟祥主
作者单位：大连理工大学计算机科学与技术学院,辽宁省大连市116024
母体文献：第十六届全国计算语言学学术会议暨第五届基于自然标注大数据的自然语言处理国际学术研讨会论文集
会议名称：第十六届全国计算语言学学术会议暨第五届基于自然标注大数据的自然语言处理国际学术研讨会
会议时间：2017年10月13日
会议地点：南京
主办单位：中国中文信息学会
语种：chi
分类号：
关键词：中文分词 主动学习 样例多样性 微博语料
在线出版日期：2020年7月21日
基金项目：
相似文献
相关博文
- 文件大小:
- 865.76 KB
- 下载次数:
- 60
-
高速下载
|
|
