文档名：基于多维动态拓扑学习图卷积的骨架动作识别
摘要：图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动态拓扑学习图卷积用于动态建模具有时序与通道特异性的拓扑结构.多维动态拓扑学习图卷积主要包含三个组成部分:纯粹节点拓扑学习图卷积(pureJointtopologylearningGraphConvolution,J-GC)、动态时序特异性拓扑学习图卷积(DynamicTemporal-WisetopologylearningGraphConvolution,DTW-GC)和通道特异性拓扑学习图卷积(Channel-WisetopologylearningGraphConvolution,CW-GC).特别地,在DTW-GC中使用了动态骨架拓扑建模方法(DynamicSkeletonTopologyLearning,DSTL),以高效地建模富含全局时空拓扑特征的动态骨架拓扑.将多维动态拓扑学习图卷积与多尺度时间卷积(Multi-ScaleTemporalConvolution,MS-TC)相结合,本文构建了具有强大建模能力的图卷积网络.此外,为了对骨架数据的空间信息进行补充,本文额外引入了相对节点数据和相对骨骼数据进行多流网络的融合.本文所提出的方法在NTU-RGB+D与NTU-RGB+D120数据集上分别取得了92.64%和89.29%的准确率,超过了当前最先进方法.
Abstract：Graphconvolutioniswidelyusedinskeleton-basedactionrecognitionbecauseofitseffectivenessofpro-cessinggraphdata.However,theexistinggraphconvolutionmethodsusethesharedgraphtopologyforfeatureaggregationonallframesorchannels,whichgreatlylimitstherepresentationabilityofgraphconvolutionnetwork.Inordertosolvetheseproblems,amulti-dimensionaldynamictopologylearninggraphconvolutionisproposedinthispapertodynamicallymodelthetopologywithtemporalandchannelspecificity.Themulti-dimensionaldynamictopologylearninggraphconvolu-tionmainlyincludesthreeparts:purejointtopologylearninggraphconvolution(J-GC),dynamictemporal-wisetopologylearninggraphconvolution(DTW-GC)andchannel-wisetopologylearninggraphconvolution(CW-GC).Inparticular,inDTW-GC,adynamicskeletontopologymodelingmethod(DSTL)isdesignedtoefficientlymodelthedynamicskeletonto-pologywithrichglobalspatio-temporaltopologicalfeatures.Finally,bycombiningmulti-dimensionaldynamictopologylearninggraphconvolutionwithmulti-scaletemporalconvolution(Muti-ScaleTCN),agraphconvolutionnetworkwithpowerfulmodelingcapabilityisconstructedinthispaper.Inaddition,inordertosupplementthespatialinformationofskel-etondata,therelativejointdataandrelativebonedataareintroducedformulti-streamnetworkfusion.Ourmethodachieves92.64%and89.29%accuracyonNTU-RGB+DandNTU-RGB+D120datasets,respectively,whichissuperiortothecur-rentstate-of-the-artmethods.
作者：罗会兰 曹立京Author：LUOHui-lan CAOLi-jing
作者单位：江西理工大学信息工程学院,江西赣州341000
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2024, 52(3)
分类号：TP391.4
关键词：动作识别 深度学习 图卷积 动态骨架拓扑 数据融合
Keywords：actionrecognition deeplearning graphconvolution dynamicskeletontopology datafusion
机标分类号：TP391.4R338.1G43
在线出版日期：2024年5月16日
基金项目：基于多维动态拓扑学习图卷积的骨架动作识别[
期刊论文] 电子学报--2024, 52(3)罗会兰 曹立京图卷积由于其对图数据的强大表示能力被广泛应用于基于骨架的动作识别任务中.但是现有的图卷积方法在所有帧或通道上都使用共享的图拓扑进行特征聚合,这极大限制了图卷积网络的表示能力.为了解决这些问题,本文提出多维动...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于多维动态拓扑学习图卷积的骨架动作识别 Multi-Dimensional Dynamic Topology Learning Graph Convolution for Skeleton-Based Action Recognition
基于多维动态拓扑学习图卷积的骨架动作识别.pdf
- 文件大小:
- 1.88 MB
- 下载次数:
- 60
-
高速下载
|
|
