文档名：融合人脸表情的手语到汉藏双语情感语音转换
针对聋哑人与正常人之间存在的交流障碍问题,提出了一种融合人脸表情的手语到汉藏双语情感语音转换的方法.首先使用深度置信网络模型得到手势图像的特征信息,并通过深度神经网络模型得到人脸信息的表情特征.其次采用支持向量机对手势特征和人脸表情特征分别进行相应模型的训练及分类,根据识别出的手势信息和人脸表情信息分别获得手势文本及相应的情感标签.同时,利用普通话情感训练语料,采用说话人自适应训练方法,实现了一个基于隐Markov模型的情感语音合成系统.最后,利用识别获得的手势文本和情感标签,将手势及人脸表情转换为普通话或藏语的情感语音.客观评测表明,静态手势的识别率为92.8％,在扩充的Cohn-Kanade数据库和日本女性面部表情(JapaneseFemaleFacialExpression,JAFFE)数据库上的人脸表情识别率为94.6％及80.3％.主观评测表明,转换获得的情感语音平均情感主观评定得分4.0分,利用三维情绪模型(Pleasure-Arousal-Dominance,PAD)分别评测人脸表情和合成的情感语音的PAD值,两者具有很高的相似度,表明合成的情感语音能够表达人脸表情的情感.
作者：宋南吴沛文杨鸿武
作者单位：西北师范大学物理与电子工程学院,甘肃兰州730070
母体文献：2018中国西部声学学术交流会论文集
会议名称：2018中国西部声学学术交流会
会议时间：2018年8月23日
会议地点：兰州
主办单位：中国声学学会微声学分会,四川省声学学会,山东声学学会,上海声学学会,黑龙江省声学学会,陕西省声学学会,浙江省声学学会
语种：chi
分类号：
关键词：手势识别 人脸表情 深度神经网络 汉藏双语 情感语音合成 语音转换
在线出版日期：2020年7月21日
基金项目：
相似文献
相关博文
- 文件大小:
- 1.33 MB
- 下载次数:
- 60
-
高速下载
|
|
