文档名：频率引导的双稀疏自注意力单图像去雨算法
摘要：现有基于自注意力网络Transformer的单图像去雨算法尽管在合成雨图上在取得良好效果,但却造成巨大的计算负担,且无法有效处理真实雨图.对此,本文提出一种频率引导的双稀疏自注意力单图像去雨算法(Frequen-cy-guidedDualSparseself-AttentionTransFormer,FDSATFormer).首先,该算法利用空间稀疏因子和通道降维因子在提取准确全局信息的同时减少计算量,进而提出双稀疏自注意力特征学习网络(DualSparseself-attentionFeatureLeran-ing,DSFL)以解决Transformer在高分辨率雨图上难以表征自注意力的问题.其次,该算法通过探究图像去雨前后的频谱变化,提出频率引导的特征增强模块(Frequency-guidedFeatureEnhancer,FFE),其利用频域的全局信息指导特征编码阶段对空域特征的学习.此外,现有去雨网络的编解码结构采用相近的设计,这导致网络的整体计算负担倍增.对此,本文提出层级特征解码重建网络(HierarchicalFeatureDecodingandReconstructingnetwork,HFDR),其利用无参的空间邻域移位操作(SpatialNeighborhoodShift,SNS)构建特征解码网络,在取得良好效果的同时进一步减少整体的计算负担.实验表明,相比表现优秀的Uformer和Restormer,本文算法所得结果的平均峰值信噪比分别提升3.13dB和0.12dB,平均结构相似性分别提升1.39％和1.07％.
Abstract：ExistingTransformer-basedalgorithmsforsingleimagederainingachievestate-of-the-artperformancebutleadingtoreasonablecomputationalloadswhilefailingtoeffectivelyprocessreal-worldrainyimages.Tothisend,wepro-poseafrequency-guideddualsparseself-attentionTransformerforsingleimagederaining(FDSATFormer).Initially,ourproposedmethodutilizesthespatialsparsefactorandthechannelreductionfactortoextractaccurateglobalinformationandsignificantlydecreasestheamountofcomputation.Furthermore,wepresentdualsparseself-attentionfeaturelearningnet-work(DSFL)todealwiththeproblemthatTransformerisdifficulttorepresentself-attentiononhigh-resolutionfeaturemaps.Meanwhile,byexploringthespectralchangesofrainyimagebeforeandafterremovingrainstreaks,wedevelopafrequency-guidedfeatureenhancementmodule(FFE),whichexploitstheglobalinformationfromthefrequencydomaintoguidetheaccuratelearningofspatialfeaturesinnetworkencoders.Inaddition,theencoderanddecoderofmostexistingmethodsfollowthesimilarprinciples,resultinginalmostdoublecomputationalburden.Tohandlewiththisissue,wepro-poseahierarchicalfeaturedecodingandreconstructingnetwork(HFDR),whichusesnon-parametricspatialneighborhoodshift(SNS)toconstructthefeaturedecodingnetworkandachievesfineresultswhilefurtherreducingtheoverallcomputingburden.Experimentalresultsshowthat,ourmethodimprovestheaveragepeaksignalnoiseratioby3.13dBand0.12dB,andachievesperformancegainsof1.39％and1.07％inaveragestructuresimilarityoverthestate-of-the-artUformerandRestormer.
作者：文渊博 高涛 陈婷 张千禧Author：WENYuan-bo GAOTao CHENTing ZHANGQian-xi
作者单位：长安大学信息工程学院,陕西西安710064
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(10)
分类号：TP391.4
关键词：计算机视觉 图像去雨 自注意力网络 稀疏注意力 空间移位 频率引导学习
Keywords：computervision imagederaining Transformer sparseattention spatialshift frequency-guidedlearning
机标分类号：
在线出版日期：2024年1月17日
基金项目：频率引导的双稀疏自注意力单图像去雨算法[
期刊论文] 电子学报--2023, 51(10)文渊博 高涛 陈婷 张千禧现有基于自注意力网络Transformer的单图像去雨算法尽管在合成雨图上在取得良好效果,但却造成巨大的计算负担,且无法有效处理真实雨图.对此,本文提出一种频率引导的双稀疏自注意力单图像去雨算法(Frequen-cy-guidedDua...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
频率引导的双稀疏自注意力单图像去雨算法 Frequency-guided Dual Sparse Self-Attention Algorithm for Single Image Deraining
频率引导的双稀疏自注意力单图像去雨算法.pdf
- 文件大小:
- 11.29 MB
- 下载次数:
- 60
-
高速下载
|
|
