标题
  • 标题
  • 作者
  • 关键词

基于SEFusion-MPOR的多模态特征融合舆情表征算法

2024-03-27分类号:TP391.41;TP391.1

【作者】郭小宇   马静
【部门】南京航空航天大学经济与管理学院  
【摘要】[目的/意义]多模态舆情表征是多模态舆情计算与分析的基础。文章探索了一种赋予不同模态特征动态权重的舆情表征算法,可以更精准地捕捉到模态之间的依赖关系,极大降低多模态舆情表征复杂度,减少算力资源消耗。[方法/过程]SEFusion-MPOR算法在预训练模型特征的基础上,通过全连接层、门控机制与激活函数构建了压缩与激活算子,获取各模态的动态权重,使用矩阵相乘将动态权重作用于相应模态,进而构建了多模态特征融合的网络舆情表征算法。[结果/结论]在Memotion 3与MVSA-multiple两个公开的多模态舆情数据集上进行实验,与基线模型的对比表明,文章提出的表征方法在多个子任务中取得了最优结果。该方法仅通过简单操作,就达到了复杂表征算法的效果,且具有可解释性与外推性。其高效和准确的表征方法不仅适用于舆情情报处理,也适合情报分析工作中的通用多模态信息基础表征。[局限]研究验证仅限于双模态数据集,未涉及更广泛模态的数据集。
【关键词】多模态舆情  多模态特征融合  舆情表征  预训练模型  SEFusion-MPOR
【基金】国家自然科学基金面上项目“基于多模态特征融合的网络舆情智能发现与检测及演化研究”的成果,项目编号:72174086
【所属期刊栏目】情报理论与实践
文献传递