标题
  • 标题
  • 作者
  • 关键词

不平衡数据下模型评价指标的有效性探讨

2022-09-29分类号:F224.7

【作者】刘赛可  何晓群  夏利宇  
【部门】浙大宁波理工学院计算机与数据工程学院  中国人民大学应用统计科学研究中心  国网能源研究院有限公司管理咨询研究所  
【摘要】模型评价指标对于衡量模型的表现尤为关键,只有正确合理的评价指标才能更好地反映模型的性能优劣。由于AUC和KS指标在被用于评价信用评级模型时,均存在忽视了数据的不平衡性和类别误判代价不等价性的不足,故文章从代价敏感矩阵出发计算总损失,进而提出新的评价指标——AKS指标。进一步地,模拟分析的结果表明,由AKS指标确定的阈值较KS指标更合理,且不同情形下AUC、KS和AKS指标的有效性分析结果表明AKS指标可以较好地衡量模型的分类性能。
【关键词】不平衡数据  评价指标  AKS  信用评级模型
【基金】教育部人文社会科学重点研究基地重大项目(15JJD910002);; 国家社会科学基金资助项目(13BTJ004)
【所属期刊栏目】统计与决策
文献传递