基于N-gram的双向匹配中文分词方法
2020-05-13分类号:TP391.1
【部门】天津财经大学统计学系 中国联合网络通信有限公司青岛分公司
【摘要】针对基础词更能表达中文文本所包含的基本信息,更适合于后续的文本挖掘,提出一种基于N-gram的双向匹配中文分词方法。充分挖掘训练语料的词频信息,给出一种组合词迭代切分方法,解决最大匹配分词中长词歧义切分问题,并基于N-gram语言模型,实现最优分词序列的选择。此外,为弥补准确率P这一评价指标受词条长度影响较大而不稳健的问题,在刻画分词方法性能时引入正确切分词条总字数这一因素,提出一个新的测评指标P_n,有效规避了词条长度对分词准确率评价的影响。最后在SIGHAN组织的国际中文自然语言处理竞赛的两个语料上进行实验表明,相较于传统N-gram中文分词方法,本文方法在保证分词效率的前提下,有效地提高了准确率P、召回率R、P_n和F_1值。
【关键词】N-gram模型 分词歧义 评测指标 双向匹配
【基金】国家社会科学基金项目青年项目(18CTJ008);; 天津市自然科学基金项目青年项目(18JCQNJC69600);; 国家自然科学基金项目面上项目(11471239);; 全国统计科学研究计划重点项目(2017LZ25,2017LZ05);; 全国统计科学研究一般项目(2018LY50)
【所属期刊栏目】数理统计与管理
文献传递