基于BiLSTM-VGG16的多模态信息特征分类研究
2021-06-25分类号:TP391.41;TP18
【部门】南京理工大学经济管理学院
【摘要】信息传播正逐渐从文本、图像、音频、视频等单模态形式过渡到相互融合的多模态形式,且数据量飞速扩张。大规模数据需要庞大的存储空间,如何对海量的文本、图像等多模态数据进行有效分类变得至关重要。文章提出一种基于深度学习的多模态语义特征分类模型,解决图像文本形式的多模态数据的分类问题。在该模型中,利用BiLSTM(双向长短期记忆模型)设计文本特征提取模型,利用VGG16卷积神经网络设计图像特征提取模型,将两类深度神经网络提取出的文本特征与图像特征进行特征融合,进而实现多模态信息的分类。在NUS-WIDE公开数据集上的实验结果证明了该方法的有效性。
【关键词】深度学习 VGG16 BiLSTM 多模态 特征提取
【基金】2020年江苏省社会科学基金项目“面向突发事件应急决策的知识服务智能化研究”(项目编号:20TOQ004);; 2021年江苏省研究生科研与实践创新计划项目“面向突发事件的政府应急决策研究”(项目编号:SJCX21_0157)的成果之一
【所属期刊栏目】情报理论与实践
文献传递