【摘要】在跨模态媒体检索任务中,如何最大化保持异构媒体数据映射后的语义关联成为跨模态Hash的关键问题,该文提出一种基于自监督学习的深度语义保持Hash网络框架用于生成紧凑的Hash编码.首先,针对图像和文本数据,分别训练2个单一模态的深度Hash网络并生成高层语义特征及各自的Hash编码.同时,利用跨模态注意力机制度量不同模态高层语义特征之间的相似性,最大化异构媒体数据间的局部语义关联性.其次,利用训练数据的多标签语义信息建立深度语义Hash网络,并以自监督对抗学习的方式同时监督指导2个单一模态的深度Hash网络的训练过程,从而在全局角度保持不同模态数据之间的语义关联,提高生成Hash编码的区分能力.最后,在3个被广泛使用的大规模多模态媒体数据集上验证了提出框架的有效性.