文档名：基于时空交叉感知的实时动作检测方法
摘要：时空动作检测依赖于视频空间信息与时间信息的学习.目前,最先进的基于卷积神经网络(Convolu-tionslNeuralNetworks,CNN)的动作检测器采用2DCNN或3DCNN架构,取得了显著的效果.然而,由于网络结构的复杂性与时空信息感知的原因,这些方法通常采用非实时、离线的方式.时空动作检测主要的挑战在于设计高效的检测网络架构,并能有效地感知融合时空特征.考虑到上述问题,本文提出了一种基于时空交叉感知的实时动作检测方法.该方法首先通过对输入视频进行乱序重排来增强时序信息,针对仅使用2D或3D骨干网络无法有效对时空特征进行建模,提出了基于时空交叉感知的多分支特征提取网络.针对单一尺度时空特征描述性不足,提出一个多尺度注意力网络来学习长期的时间依赖和空间上下文信息.针对时序和空间两种不同来源特征的融合,提出了一种新的运动显著性增强融合策略,对时空信息进行编码交叉映射,引导时序特征和空间特征之间的融合,突出更具辨别力的时空特征表示.最后,基于帧级检测器结果在线计算动作关联性链接.本文提出的方法在两个时空动作数据集UCF101-24和JHMDB-21上分别达到了84.71%和78.4%的准确率,优于现有最先进的方法,并达到73帧/秒的速度.此外,针对JHMDB-21数据集存在高类间相似性与难样本数据易于混淆等问题,本文提出了基于动作表示的关键帧光流动作检测方法,避免了冗余光流的产生,进一步提升了动作检测准确率.
Abstract：Spatiotemporalactiondetectionrequiresincorporationofvideospatialandtemporalinformation.Currentstate-of-the-artapproachesusuallyusea2DCNN(ConvolutionslNeuralNetworks)ora3DCNNarchitecture.However,duetothecomplexityofnetworkstructureandspatiotemporalinformationextraction,thesemethodsareusuallynon-real-timeandoffline.Tosolvethisproblem,thispaperproposesareal-timeactiondetectionmethodbasedonspatiotemporalin-teractionperception.Firstofall,theinputvideoisrearrangedoutofordertoenhancethetemporalinformation.As2Dor3Dbackbonenetworkscannotbeusedtomodelspatiotemporalfeatureseffectively,amulti-branchfeatureextractionnet-workisproposedtoextractfeaturesfromdifferentsources.Andamulti-scaleattentionnetworkisproposedtoextractlong-termtime-dependentandspatialcontextinformation.Then,forthefusionoftemporalandspatialfeaturesfromtwodiffer-entsources,anewmotionsaliencyenhancementfusionstrategyisproposed,whichguidesthefusionbetweenfeaturesbyencodingtemporalandspatialfeaturestohighlightmorediscriminativespatiotemporalfeatures.Finally,actiontubelinksaregeneratedonlinebasedontheframe-leveldetectorresults.Theproposedmethodachievesanaccuracyof84.71%and78.4%ontwospatiotemporalmotiondatasetsUCF101-24andJHMDB-21.Anditprovidesaspeedof73framespersec-ond,whichissuperiortothestate-of-the-artmethods.Inaddition,fortheproblemsofhighinter-classsimilarityandeasyconfusionofdifficultsampledataintheJHMDB-21dataset,thispaperproposesanactiondetectionmethodofkeyframeopticalflowbasedonactionrepresentation,whichavoidsthegenerationofredundantopticalflowandfurtherimprovestheaccuracyofactiondetection.
作者：柯逍 缪欣 郭文忠Author：KEXiao MIAOXin GUOWen-zhong
作者单位：福州大学计算机与大数据学院,福建福州350116;福建省网络计算与智能信息处理重点实验室(福州大学),福建福州350116;空间数据挖掘与信息共享教育部重点实验室,福建福州350003
刊名：电子学报
Journal：ActaElectronicaSinica
年，卷(期)：2024, 52(2)
分类号：TP391
关键词：实时动作检测 多尺度注意力 时空交叉感知
Keywords：real-timeactiondetection multiscaleattention spatio-temporalinteractionperception
机标分类号：TP391.41P208TN911.73
在线出版日期：2024年4月19日
基金项目：基于时空交叉感知的实时动作检测方法[
期刊论文] 电子学报--2024, 52(2)柯逍 缪欣 郭文忠时空动作检测依赖于视频空间信息与时间信息的学习.目前,最先进的基于卷积神经网络(Convolu-tionslNeuralNetworks,CNN)的动作检测器采用2DCNN或3DCNN架构,取得了显著的效果.然而,由于网络结构的复杂性与时空信息感...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于时空交叉感知的实时动作检测方法 Real-Time Action Detection Based on Spatio-Temporal Interaction Perception
基于时空交叉感知的实时动作检测方法.pdf
- 文件大小:
- 2.43 MB
- 下载次数:
- 60
-
高速下载
|
|
