文档名：基于神经网络的视觉语音识别系统
摘要：视觉语音识别(Audio-VisualSpeechRecognition,AVSR)系统结合音频和视觉信息,提供可靠的语音识别功能.为了提高AVSR系统在低信噪比(Signal-to-NoiseRatio,SNR)环境下的识别准确率,提出一种基于循环神经网络(RecurrentNeuralNetwork,RNN)的AVSR系统.该系统由音频特征提取模块、视觉特征提取模块以及音频和视觉特征联合模块3部分组成.特征联合模块利用RNN将基于梅尔频率倒谱系数的音频特征与OpenCV库中的Haar级联检测提取的视觉信息相结合,以提高系统识别率.实验结果表明,在低信噪比条件下,所提系统的正确识别率保持在89%左右.
Abstract：Audio-visualSpeechRecognition(AVSR)systemscombineaudioandvisualinformationtoprovidereliablespeechrecognition.InordertoimprovetherecognitionaccuracyofAVSRsysteminlowSignal-to-NoiseRatio(SNR)environment,aRecurrentNeuralNetwork(RNN)basedAVSRsystemisproposedinthispaper.Thesystemconsistsofthreeparts:audiofeatureextractionmodule,visualfeatureextractionmoduleandaudioandvisualfeaturecombinationmodule.ThefeatureassociationmoduleusesRNNtocombinetheaudiofeaturesbasedontheMelfrequencycepstrumcoefficientwiththevisualinformationextractedfromtheHaarcascadedetectioninOpenCVlibrarytoimprovetherecognitionrateofthesystem.Theexperimentalresultsshowthatthecorrectrecognitionrateoftheproposedsystemisabout89%undertheconditionoflowSNR.
作者：张晋宁Author：ZHANGJinning
作者单位：山西机电职业技术学院,山西长治046000
刊名：电声技术
Journal：AudioEngineering
年，卷(期)：2023, 47(11)
分类号：TP311.5
关键词：视觉语音识别 循环神经网络(RNN) 梅尔频率倒谱系数(MFCC) 信噪比(SNR)
Keywords：audio-visualspeechrecognition RecurrentNeuralNetwork(RNN) Mel-FrequencyCepstralCoefficient(MFCC) Signal-to-NoiseRatio(SNR)
机标分类号：TN912.34TP391.41TP11
在线出版日期：2024年2月1日
基金项目：基于神经网络的视觉语音识别系统[
期刊论文] 电声技术--2023, 47(11)张晋宁视觉语音识别(Audio-VisualSpeechRecognition,AVSR)系统结合音频和视觉信息,提供可靠的语音识别功能.为了提高AVSR系统在低信噪比(Signal-to-NoiseRatio,SNR)环境下的识别准确率,提出一种基于循环神经网络(Recurren...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于神经网络的视觉语音识别系统 Audio-visual Speech Recognition System Based on Neural Network
基于神经网络的视觉语音识别系统.pdf
- 文件大小:
- 618.21 KB
- 下载次数:
- 60
-
高速下载
|
|
