不平衡数据下模型评价指标的有效性探讨
2022-09-29分类号:F224.7
【部门】浙大宁波理工学院计算机与数据工程学院 中国人民大学应用统计科学研究中心 国网能源研究院有限公司管理咨询研究所
【摘要】模型评价指标对于衡量模型的表现尤为关键,只有正确合理的评价指标才能更好地反映模型的性能优劣。由于AUC和KS指标在被用于评价信用评级模型时,均存在忽视了数据的不平衡性和类别误判代价不等价性的不足,故文章从代价敏感矩阵出发计算总损失,进而提出新的评价指标——AKS指标。进一步地,模拟分析的结果表明,由AKS指标确定的阈值较KS指标更合理,且不同情形下AUC、KS和AKS指标的有效性分析结果表明AKS指标可以较好地衡量模型的分类性能。
【关键词】不平衡数据 评价指标 AKS 信用评级模型
【基金】教育部人文社会科学重点研究基地重大项目(15JJD910002);; 国家社会科学基金资助项目(13BTJ004)
【所属期刊栏目】统计与决策
文献传递