基于数据分布的标签噪声过滤
2018-12-21分类号:TP181
【部门】山西大学计算机与信息技术学院 山西大学计算智能与中文信息处理教育部重点实验室
【摘要】在监督学习中,标签噪声对模型建立有较大的影响。目前对于标签噪声的处理方法主要有基于模型预测的过滤方法和鲁棒性建模方法,然而这些方法存在过滤效果差或者过滤效率低等问题。针对该问题,该文提出一种基于数据分布的标签噪声过滤方法。首先对于数据集中的每一个样本,根据其近邻内样本的分布,将其及邻域样本形成的区域划分为高密度区域和低密度区域,然后针对不同的区域采用不同的噪声过滤规则进行过滤。与已有方法相比,该方法从数据分布角度出发,使得噪声过滤更具有针对性从而提高过滤效果;此外,使用过滤规则对噪声数据进行处理而非建立噪声预测模型,因而可以提高过滤效率。在15个UCI标准多分类数据集上的实验结果表明:该方法在噪声低于30%时,噪声检测效率和分类精度均有很好的表现。
【关键词】标签噪声 噪声过滤 模型鲁棒性 数据分布
【基金】国家自然科学基金资助项目(61673249);; 山西省回国留学人员科研基金资助项目(2016-004);; 赛尔网络下一代互联网技术创新项目(NGII20170601)
【所属期刊栏目】清华大学学报(自然科学版)
文献传递