面向跨模态检索的自监督深度语义保持Hash
2021-12-21分类号:TP391.1;TP18
【部门】大连民族大学大数据应用技术国家民委重点实验室 北京理工大学计算机科学与技术学院
【摘要】在跨模态媒体检索任务中,如何最大化保持异构媒体数据映射后的语义关联成为跨模态Hash的关键问题,该文提出一种基于自监督学习的深度语义保持Hash网络框架用于生成紧凑的Hash编码.首先,针对图像和文本数据,分别训练2个单一模态的深度Hash网络并生成高层语义特征及各自的Hash编码.同时,利用跨模态注意力机制度量不同模态高层语义特征之间的相似性,最大化异构媒体数据间的局部语义关联性.其次,利用训练数据的多标签语义信息建立深度语义Hash网络,并以自监督对抗学习的方式同时监督指导2个单一模态的深度Hash网络的训练过程,从而在全局角度保持不同模态数据之间的语义关联,提高生成Hash编码的区分能力.最后,在3个被广泛使用的大规模多模态媒体数据集上验证了提出框架的有效性.
【关键词】深度跨模态Hash 对抗学习 语义Hash 跨模态注意力机制
【基金】国家自然科学基金青年项目(61602085)
【所属期刊栏目】清华大学学报(自然科学版)
文献传递