基于深度学习的跨语言词汇对齐模型研究
2020-04-10分类号:TP18;TP391.1
【部门】中南财经政法大学信息与安全工程学院 武汉大学信息管理学院
【摘要】由于能够捕捉语言的内在规律,词向量在自然语言处理任务中得到广泛应用,通过跨语言词汇对齐能够将词向量的应用推广到跨语言情境中。文章在词汇深度表示学习的基础上通过改进生成对抗网络结构,提出一种新的词汇对齐模型(Word Alignment Model, WAM)。为验证模型的有效性,在三组跨语言语料数据集上进行对比实验。与最好的无监督方法相比,WAM模型在P@1上提升0.25%,在P@10上提升0.46%。实验结果表明,通过改进生成对抗网络,能够以无监督的方式更好地实现词汇的跨语言对齐。研究结果对完成领域知识的跨语言迁移,解决跨语言情感分析、信息检索和问答系统等跨语言信息处理任务有重要意义。
【关键词】词汇对齐 跨语言词向量 生成对抗网络 深度学习 无监督学习
【基金】国家自然科学基金面上项目“面向跨语言观点摘要的领域知识表示与融合模型研究”(项目编号:71974202);; 国家自然科学基金重大课题“国家安全大数据综合信息集成与分析方法”(项目编号:71790612)
【所属期刊栏目】情报理论与实践
文献传递