基于双语句对覆盖度的维汉机器翻译语料选取技术
2017-04-15分类号:TP391.2
【部门】中国科学院新疆理化技术研究所 新疆民族语音语言信息处理重点实验室 中国科学院大学
【摘要】在进行语料的选取时,语料中的冗余信息包括词汇和句子层面的冗余.目前的方法主要集中在词汇层次的语料覆盖度进行选取,这种方法可以有效地降低词或者短语的信息冗余,但是没有考虑句子层次的覆盖度.为了从大规模的双语语料中选取较小规模的训练语料,得到与大规模训练相同甚至更优的翻译系统,基于双语句对覆盖度进行平行语料的选取,提出一种将unseen n-grams和编辑距离相结合进行语料的选取的方法.实验结果表明,该方法可以在使用较少训练语料的情况下,得到与原始训练翻译效果相同的翻译系统.
【关键词】统计机器翻译 双语句对 语料选取
【基金】国家自然科学基金(61473001,71071045,71131002)资助
【所属期刊栏目】中国科学技术大学学报
文献传递