|本期目录/Table of Contents|

[1]田秋红,张元奎,潘豪,等.基于全局时空注意力机制和PCA_3DNet的动作识别方法[J].浙江理工大学学报,2023,49-50(自科三):310-317.
　TIAN Qiuhong,ZHANG Yuankui,PAN Hao,et al.Action recognition method based on global spatiotemporal attention mechanism and PCA_3DNet[J].Journal of Zhejiang Sci-Tech University,2023,49-50(自科三):310-317.
点击复制

基于全局时空注意力机制和PCA_3DNet的动作识别方法()
分享到：

浙江理工大学学报[ISSN:1673-3851/CN:33-1338/TS]

卷:
第49-50卷
期数:
2023年自科第三期
页码:
310-317
栏目:
出版日期:
2023-05-31

文章信息/Info

Title:
Action recognition method based on global spatiotemporal attention mechanism and PCA_3DNet
文章编号:
1673-3851 (2023) 05-0310-08
作者:
田秋红; 张元奎; 潘豪; 李赛伟; 施之翔
浙江理工大学计算机科学与技术学院，杭州 310018
Author(s):
TIAN Qiuhong;  ZHANG Yuankui;  PAN Hao;  LI Saiwei;  SHI Zhixiang
School of Computer Science and Technology, Zhejiang Sci- Tech University, Hangzhou 310018, China
关键词:
全局时空注意力机制; PCA_3DNet; 通道注意力机制; 时空特征; 动作识别
分类号:
TP391
文献标志码:
A
摘要:
针对基于3D卷积神经网络的动作识别方法存在参数量过大、无法捕捉时空特征的全局依赖关系等问题，提出了一种基于全局时空注意力机制（Global spatiotemporal attention mechanism，GSTAM）和PCA_3DNet的动作识别方法。该方法引入伪3D卷积结构减少网络参数，在伪3D卷积结构中嵌入通道注意力机制（Channel attention mechanism，CAM）来增强通道特征，并采用全局时空注意力机制来捕捉特征信息的全局依赖关系，加强时空特征的表征能力，从而提高动作识别的准确率。该方法在两个公开数据集UCF101和HMDB51上的识别准确率分别为93.5%和70.5%，模型参数量为13.46 Mi，浮点运算量为8.73 Gi；在准确率、参数量和计算量上的综合表现优于现有的传统方法和深度学习方法。实验结果表明该方法能够获取丰富的时空特征信息，有效提升动作识别的性能。

参考文献/References:

［ 1 ］ Ben Mabrouk A, Zagrouba E. Abnormal behavior recognition for intelligent video surveillance systems ［ J ］ . Expert Systems with Applications: An International Journal, 2018, 91(C):480 - 491.

［2］Wang L, Huynh D Q, Koniusz P. A comparative review of recent kinect-based action recognition algorithms［J］. IEEE Transactions on Image Processing: a Publication of the IEEE Signal Processing Society, 2020, 29: 15-28.

［3］卢修生，姚鸿勋. 视频中动作识别任务综述［J］. 智能计算机与应用, 2020, 10(3): 406-411.［4］Wang H, Klser A, Schmid C, et al. Action recognition by dense trajectories［C］∥CVPR. Colorado Springs, CO, USA. IEEE, 2011: 3169-3176.

［5］Klaeser A, Marszaek M, Schmid C. A spatio-temporal descriptor based on 3D-gradients［C］∥BMVC 2008-19th British Machine Vision Conference. Leeds. British Machine Vision Association, 2008: 1-10.

［6］Brox T, Malik J. Large displacement optical flow: descriptor matching in variational motion estimation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(3): 500-513.

［7］许培振, 余志斌, 金炜东, 等. 基于提高的稠密轨迹人体行为识别［J］. 系统仿真学报, 2017, 29(9): 2053-2058.

［8］Patel C I, Labana D, Pandya S, et al. Histogram of oriented gradient-based fusion of features for human action recognition in action video sequences［J］. Sensors, 2020, 20(24):7299.

［9］Xia L M, Ma W T. Human action recognition using high-order feature of optical flows［J］. The Journal of Supercomputing, 2021, 77(12): 14230-14251.

［10］Heslinga F G, Pluim J P W, Dashtbozorg B, et al. Approximation of a pipeline of unsupervised retina image analysis methods with a CNN［C］∥Medical Imaging 2019: Image Processing. San Diego, USA. SPIE, 2019, 10949: 416-422.

undefined

备注/Memo

备注/Memo:
收稿日期： 2022-10-10
网络出版日期：2023-03-01
基金项目： 国家自然科学基金项目(51405448)；浙江省自然科学基金项目(LY20E050017)
作者简介： 田秋红(1976—)，女，辽宁兴城人，教授，博士，主要从事机器学习、模式识别、图像处理与识别方面的研究。
更新日期/Last Update: 2023-09-08