|本期目录/Table of Contents|

[1]陈巧红,孙佳锦,孙麒,等.基于多层跨模态注意力融合的图文情感分析[J].浙江理工大学学报,2022,47-48(自科一):85-94.
　CHEN Qiaohong,SUN Jiajin,SUN Qi,et al.Imagetext sentiment analysis based on multilayer crossmodal attention fusion[J].Journal of Zhejiang Sci-Tech University,2022,47-48(自科一):85-94.
点击复制

基于多层跨模态注意力融合的图文情感分析()
分享到：

浙江理工大学学报[ISSN:1673-3851/CN:33-1338/TS]

卷:
第47-48卷
期数:
2022年自科第一期
页码:
85-94
栏目:
出版日期:
2022-01-31

文章信息/Info

Title:
Imagetext sentiment analysis based on multilayer crossmodal attention fusion
文章编号:
1673-3851 (2022) 01-0085-10
作者:
陈巧红; 孙佳锦; 孙麒; 贾宇波
浙江理工大学信息学院，杭州310018
Author(s):
CHEN Qiaohong;  SUN Jiajin;  SUN Qi;  JIA Yubo
School of Information Science and Technology, Zhejiang Sci-Tech University, Hangzhou 310018, China
关键词:
图文情感分析; 门控循环网络; 注意力机制; 跨模态融合; 多层图像特征抽取
分类号:
TP181
文献标志码:
A
摘要:
针对现有图文情感分析模型仅考虑图像高层特征与文本特征的联系，而忽视图像低层特征的问题，提出了一种基于多层跨模态注意力融合（Multilevel crossmodal attention fusion, MCAF）的图文情感分析模型。该模型首先将VGG13网络外接多层卷积，以获取不同层次的图像特征，并使用BERT词嵌入与双向门控循环网络(Gated recurrent unit, GRU)网络获取文本情感特征；然后将提取后的多层图像特征与文本特征进行注意力融合，得到多组单层文本图像注意力融合特征，并将其通过注意力网络分配权重；最后将得到的多层文本图像注意力融合特征输入全连接层，得到分类结果。在公开的MVSA和Memotion 7k数据集上进行实验，结果显示：与图文情感分析基线模型相比，基于多层跨模态注意力融合的图文情感分析模型的准确率和F1值在MVSA数据集上分别提升2-61%和3-56%，在Memotion 7k数据集上分别提升3-25%和3-63%。这表明该模型能够有效提高图文情感分类性能。

参考文献/References:

［1］林敏鸿,蒙祖强. 基于注意力神经网络的多模态情感分析［J］.计算机科学,2020,47(S2):508-514.
［2］PérezRosas V, Mihalcea R, Morency L P. Utterancelevel multimodal sentiment analysis［C］//Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics. Sofia, Bulgaria: ACL, 2013: 973-982.
［3］ 范涛, 吴鹏, 曹琪. 基于深度学习的多模态融合网民情感识别研究［J］. 信息资源管理学报,2020, 10(1):39-48.
［4］ Poria S, Chaturvedi I, Cambria E, et al. Convolutional MKL based multimodal emotion recognition and sentiment analysis［C］// 2016 IEEE 16th International Conference on Data Mining (ICDM). Barcelona, Spain: IEEE, 2016: 439-448.
［5］ Cao D L, Ji R R, Lin D Z, et al. A crossmedia public sentiment analysis system for microblog［J］. Multimedia Systems, 2016, 22(4): 479-486.
［6］ 缪裕青, 汪俊宏, 刘同来, 等. 图文融合的微博情感分析方法［J］. 计算机工程与设计, 2019, 40(4): 1099-1105.
［7］ 凌海彬, 缪裕青, 张万桢, 等. 多特征融合的图文微博情感分析［J］. 计算机应用研究, 2020, 37(7): 1935-1939.
［8］ Zhao Z Y, Zhu H Y, Xue Z H, et al. An imagetext consistency driven multimodal sentiment analysis approach for social media［J］. Information Processing & Management, 2019, 56(6): 97-102.
［9］ 谢豪,毛进, 李纲. 基于多层语义融合的图文信息情感分类研究［J］.数据分析与知识发现,2021,5(6):103-114.
［10］ Zadeh A, Chen M H, Poria S, et al. Tensor fusion network for multimodal sentiment analysis［C］//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen, Denmark. Stroudsburg, PA, USA: Association for Computational Linguistics, 2017: 1103-1114.

备注/Memo

备注/Memo:
收稿日期： 2021-05-23
网络出版日期：2021-10-11
基金项目：浙江理工大学中青年骨干人才培养经费项目
作者简介：陈巧红（1978-），女，浙江临海人，副教授，博士，主要从事计算机辅助设计及机器学习方面的研究
更新日期/Last Update: 2022-03-08