边缘对抗结合层次门控卷积的人脸修复研究

文档摘要：针对目前人脸缺损图像修复存在边缘模糊和失真等问题,提出了一种两阶段层次门控卷积网络(Hierarchicalgatedconvolutionalnetwork,HGCN),并将其与边缘对抗网络相结合用于人脸图像修复.首先,采用边缘对抗网络生成边缘图像.其次,将边缘图、掩模和缺损图像作为输入,训练HGCN的GAN模型以修复缺损人脸图像.HGCN网络采用门控卷积取代传统卷积,并引入了扩张卷积,网络的主体由粗修复模块和精修复模块组成.在粗修复模块中,编码器和解码器网络结构用于粗修复;在精细修复模块中,引入注意力机制来增强特征提取能力,进一步细化修复结果.实验使用Celeba-HQ数据集和NVIDIA不规则掩码数据集作为训练数据集,采用门控卷积网络和注意力机制网络作为实验对比模型,PSNR、SSIM和MAE作为实验评估指标.实验结果表明,对于缺损区域小于20％的人脸图像,所提出的网络在上述三个指标上优于两种比较网络,而对于缺失区域大于20％的图像,所提出的网络与两种比较方法性能指标接近.在视觉效果方面,所提出的方法在细节上也优于两种对比网络.因而,所提出的网络可以明显提高图像修复效果,尤其是对图像细节的修复效果.

Abstract：Aimingattheproblemsofedgebluranddistortioninthecurrentdamagedfaceimageinpainting,atwo-stagehierarchicalgatedconvolutionalnetwork(HGCN)wasproposedandthencombinedwithedgeadversarialnetworkforfaceimageinpainting.Firstly,theedgeadversarialnetworkwasadoptedtogenerateedgeimages.Secondly,theedgeimages,themasksandtheoccludedimageswerecombinedtotrainthegenerativeadversarialnetwork(GAN)modeloftheHGCNtogeneratetheinpaintedfaceimages.IntheHGCN,traditionalconvolutionwasreplacedbygatedconvolutionandthedilatedconvolutionwasintroduced.ThemainstructureoftheHGCNiscomposedofcoarseinpaintingmoduleandfineinpaintingmodule.Inthecoarseinpaintingmodule,theencoderanddecodernetworkstructurewasusedforcoarseinpainting.Inthefineinpaintingmodule,theattentionmechanismwasintroducedtoenhancethefeatureextractionabilitysoastofurtherrefinetheinpaintingresults.Intheexperiment,theCeleba-HQdatasetandNVIDIAirregularmaskdatasetwereusedasthetrainingdatasets,thegatedconvolutionnetworkandattentionmodulewereadoptedascomparingnetworks,andPSNR,SSIMandMAEwereusedasevaluationindicators.Theexperimentalresultsdemonstratedthatforthefaceimageswithmissingareaslessthan20％,theproposednetworkworksbetterthanthetwoothernetworksontheabovethreeindicators,andforthefaceimageswithmissingareasgreaterthan20％,theproposednetworkisclosetothecomparisonnetworksonthreeindicators.Intermsofvisualeffects,theproposedmethodalsosurpassesthetwocontrastingnetworksindetails.Theproposednetworkcanevidentlyimprovetheinpaintingeffect,especiallyimagedetails.

作者：翟凤文  周钊  孙芳林  金静Author：ZHAIFengwen  ZHOUZhao  SUNFanglin  JINJing
作者单位：兰州交通大学电子与信息工程学院,甘肃兰州730070
刊名：测试科学与仪器
Journal：JournalofMeasurementScienceandInstrumentation
年，卷(期)：2024, 15(1)
分类号：
关键词：深度学习  人脸修复  层次门控卷积网络  边缘生成  生成对抗网络  
Keywords：deeplearning  faceinpainting  hierarchicalgatedconvolutionalnetwork(HGCN)  edgeconfrontation  generativeadversarialnetwork(GAN)  
机标分类号：TG249.4TP391.41TG333.17
在线出版日期：2024年4月28日
基金项目：边缘对抗结合层次门控卷积的人脸修复研究[
期刊论文]  测试科学与仪器--2024, 15(1)翟凤文  周钊  孙芳林  金静针对目前人脸缺损图像修复存在边缘模糊和失真等问题,提出了一种两阶段层次门控卷积网络(Hierarchicalgatedconvolutionalnetwork,HGCN),并将其与边缘对抗网络相结合用于人脸图像修复.首先,采用边缘对抗网络生成边缘...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文

关键词：深度学习,人脸修复,层次门控卷积网络,边缘生成,生成对抗网络,

2024-10-3 23:32 上传 边缘对抗结合层次门控卷积的人脸修复研究.pdf

文件大小:

2.49 MB

下载次数:

60

高速下载