标题
  • 标题
  • 作者
  • 关键词

融合多模态数据的中文医学实体识别研究

2024-04-17分类号:R-05;TP391.1

【作者】韩普   陈文祺   顾亮   叶东宇   景慎旗
【部门】南京邮电大学管理学院  江苏省数据工程与知识服务重点实验室  江苏省人民医院数据应用管理中心  
【摘要】[目的/意义]医学实体识别是医疗健康知识挖掘和知识组织的关键环节。深入挖掘多模态数据间语义关联可以提升医学实体识别效果,进而为领域知识补全和知识推理提供支撑。[方法/过程]提出一种基于双线性注意力融合机制的多模态中文医学实体识别模型BAF-MNER。首先通过视觉和文本编码器进行多模态医学数据的语义特征学习;接着利用双线性注意力网络实现图像和文本跨模态语义交互,并引入门控机制过滤视觉噪声;然后融合基于注意力机制的视觉特征和文本特征进而构建多模态特征表示,同时增加批量归一化层优化深度神经网络;最后将多模态特征向量输入CRF层解码获取预测标签。[结果/结论]本模型能够有效提升中文医学实体识别效果,在多模态医学数据集上的F1值较单模态基线模型提升4.07%,较多模态基线模型提升1.65%;在多模态公开数据集上的实验表明模型具有良好的泛化能力。
【关键词】多模态实体识别  多模态学习  多模态融合  残差网络  双线性注意力机制
【基金】国家社会科学基金项目“面向多模态医疗健康数据的知识组织模式研究”的成果,项目编号:22BTQ096
【所属期刊栏目】情报理论与实践
文献传递