|本期目录/Table of Contents|

[1]潘海鹏,郝慧,苏雯.基于注意力机制与多尺度特征融合的人脸表情识别[J].浙江理工大学学报,2022,47-48(自科三):382-388.
　PAN Haipeng,HAO Hui,SU Wen.Facial expression recognition based on attention mechanism and multiscale feature fusion[J].Journal of Zhejiang Sci-Tech University,2022,47-48(自科三):382-388.
点击复制

基于注意力机制与多尺度特征融合的人脸表情识别()
分享到：

浙江理工大学学报[ISSN:1673-3851/CN:33-1338/TS]

卷:
第47-48卷
期数:
2022年自科第三期
页码:
382-388
栏目:
出版日期:
2022-05-10

文章信息/Info

Title:
Facial expression recognition based on attention mechanism and multiscale feature fusion
文章编号:
1673-3851 (2022) 05-0382-07
作者:
潘海鹏; 郝慧; 苏雯
浙江理工大学机械与自动控制学院，杭州310018
Author(s):
PAN Haipeng;  HAO Hui;  SU Wen
Faculty of Mechanical Engineering & Automation, Zhejiang  Sci-Tech University, Hangzhou 310018, China
关键词:
人脸表情识别; 注意力机制; 多尺度; 特征融合; 深度学习
分类号:
TP183
文献标志码:
A
摘要:
人脸表情识别一直是人机交互等领域颇为关注的研究，然而当前研究大多忽略了多尺度特征的融合及表情中间特征的改善。针对这一问题，本文提出了一种基于注意力机制与多尺度特征融合学习的人脸表情识别方法，该方法由浅层特征提取模块和多尺度特征融合模块构成，能从深到浅提取更多有价值的信息，并有效改善表情中间特征。首先输入表情图像到浅层网络和骨干网络，分别获取浅层特征和深层特征；然后在浅层特征提取模块中加入注意力机制，对浅层特征进行加强或抑制；最后融合浅层特征与深层特征，构造人脸表情的多尺度融合特征，并通过分类器将人脸表情图像分为7种表情。该方法在两个公开数据集JAFFE和KDEF上的平均识别准确率分别达到了96-67%和89-29%，表现优于现有的深度学习方法和传统方法。实验表明该方法能获取更丰富的人脸表情信息，且具有更强的泛化能力。

参考文献/References:

［1］HynesE,FlynnR,LeeB,etal.AnevaluationoflowerfacialmicroexpressionsasanimplicitQoEMetricforanaugmentedrealityprocedureassistanceapplication［C］∥31stIrishSignalsandSystemsConference.Letterkenny,Ireland:IEEE,2020.https:∥ieeexplore.ieee.org/document/：9180173.
［2］MavridouI,McGheeJT,HamediM,etal.FACETEQinterfacedemoforemotionexpressioninVR［C］∥Proceedingsof2017IEEEVirtualReality.LosAngeles,CA,USA:IEEE,2017:441-442.
［3］VermaB,ChoudharyA.AframeworkfordriveremotionrecognitionusingdeeplearningandGrassmannmanifolds［C］∥21stInternationalConferenceonIntelligentTransportationSystems.Maui,HI,USA:IEEE,2018:1421-1426.
［4］LiX,HuWM,ZhangZF,etal.Heatkernelbasedlocalbinarypatternforfacerepresentation［J］.IEEESignalProcessingLetters,2010,17(3):308-311.
［5］JonesJP,PalmerLA.Anevaluationofthetwo-dimensionalGaborfiltermodelofsimplereceptivefieldsincatstriatecortex［J］.JournalofNeurophysiology,1987,58(6):1233-1258.
［6］DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection［C］∥Proceedingsof2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.SanDiego,USA:IEEE,2005:886-893.
［7］CootesTF,TaylorCJ,CooperDH,etal.Activeshapemodels-theirtrainingandapplication［J］.ComputerVisionandImageUnderstanding,1995,61(1):38-59.
［8］ShiDC,CaiF,DuGY.FacialexpressionrecognitionbasedonGaborwaveletphasefeatures［C］∥Proceedingsof2013InternationalConferenceonImageandGraphics.Qingdao,China:IEEE,2013:520-523.
［9］HanD,MingY.FacialexpressionrecognitionwithLBPandSLPPcombinedmethod［C］∥12thInternationalConferenceonSignalProcessing.Hangzhou,China:IEEE,2014:1418-1422.
［10］DingH,ZhouSK,ChellappaR.FaceNet2ExpNet:Regularizingadeepfacerecognitionnetforexpressionrecognition［C］∥Proceedingsof2017IEEEInternationalConferenceonAutomaticFaceandGestureRecognition.Washington,USA:IEEE:2017:118-126.

相似文献/References:

[1]邓远远,沈炜.基于注意力反馈机制的深度图像标注模型[J].浙江理工大学学报,2019,41-42(自科二):208.
　DENG Yuanyuan,SHEN Wei.Depth image caption model based on  attention feedback mechanism[J].Journal of Zhejiang Sci-Tech University,2019,41-42(自科三):208.
[2]邓远远,沈炜.基于注意力反馈机制的深度图像标注模型[J].浙江理工大学学报,2019,41-42(自科二):208.
　DENG Yuanyuan,SHEN Wei.Depth image caption model based on attention feedback mechanism[J].Journal of Zhejiang Sci-Tech University,2019,41-42(自科三):208.
[3]陈巧红,王磊,孙麒,等.基于混合神经网络的中文短文本分类模型[J].浙江理工大学学报,2019,41-42(自科四):509.
　CHEN Qiaohong,WANG Lei,SUN Qi,et al.Chinese short text classification model based on hybrid neural network[J].Journal of Zhejiang Sci-Tech University,2019,41-42(自科三):509.
[4]王翔,任佳.基于多注意力机制的深度神经网络故障诊断算法[J].浙江理工大学学报,2020,43-44(自科二):224.
　WANG Xiang,REN Jia.Deep neural network fault diagnosis algorithm based on multiattention mechanism[J].Journal of Zhejiang Sci-Tech University,2020,43-44(自科三):224.
[5]陈巧红,于泽源,孙麒,等.基于注意力机制与LSTM的语音情绪识别[J].浙江理工大学学报,2020,43-44(自科六):815.
　CHEN Qiaohong,YU Zeyuan,SUN Qi,et al.Speech emotion recognition based on attention mechanism and LSTM[J].Journal of Zhejiang Sci-Tech University,2020,43-44(自科三):815.
[6]王卓英,童基均,蒋路茸,等.基于U Dense net网络的DSA图像冠状动脉血管分割[J].浙江理工大学学报,2021,45-46(自科三):390.
　WANG Zhuoying,TONG Jijun,JIANG Lurong,et al.Coronary artery segmentation of DSA images based on UDensenet network[J].Journal of Zhejiang Sci-Tech University,2021,45-46(自科三):390.
[7]陈巧红,李妃玉,贾宇波,等.基于自注意力和门控机制的答案选择模型[J].浙江理工大学学报,2021,45-46(自科三):400.
　CHEN Qiaohong,LI Feiyu,JIA Yubo,et al.Answer selection model based on selfattention and gating mechanism[J].Journal of Zhejiang Sci-Tech University,2021,45-46(自科三):400.
[8]潘海鹏,王云涛,马淼.基于注意力机制与多尺度融合学习的车辆重识别方法[J].浙江理工大学学报,2021,45-46(自科五):657.
　PAN Haipeng,WANG Yuntao,MA Miao.Vehicle reidentification methods based on attention mechanism and multiscale fusion learning[J].Journal of Zhejiang Sci-Tech University,2021,45-46(自科三):657.
[9]陈巧红,孙佳锦,孙麒,等.基于多层跨模态注意力融合的图文情感分析[J].浙江理工大学学报,2022,47-48(自科一):85.
　CHEN Qiaohong,SUN Jiajin,SUN Qi,et al.Imagetext sentiment analysis based on multilayer crossmodal attention fusion[J].Journal of Zhejiang Sci-Tech University,2022,47-48(自科三):85.
[10]潘海鹏,刘培敏,马淼.基于语义信息与动态特征点剔除的SLAM算法[J].浙江理工大学学报,2022,47-48(自科五):764.
　PAN Haipeng,LIU Peimin,MA Miao.SLAM algorithm based on semantic information and  the elimination of dynamic feature points[J].Journal of Zhejiang Sci-Tech University,2022,47-48(自科三):764.

备注/Memo

备注/Memo:
收稿日期：2021-10-17
网络出版日期：2021-12-17
基金项目：浙江理工大学科研启动基金项目（18022225-Y）；浙江省自然科学基金项目（LQ20F020001）；浙江理工大学基本科研业务费专项项目（2020Q014）；国家自然科学基金项目（62006209）
作者简介：潘海鹏(1965-)，男，河南濮阳人，教授，主要从事智能检测、智能控制以及图像信息处理方面的研究
通信作者：苏雯，E-mail：wensu@zstu.edu.cn
更新日期/Last Update: 2022-05-27