标题
  • 标题
  • 作者
  • 关键词

基于SHAP值惩罚特征的集成分类方法研究

2023-03-26分类号:TP181

【作者】曹玉茹  高洋洋  
【部门】上海对外经贸大学统计与信息学院  
【摘要】在回归问题中,惩罚特征即正则化是特征处理的常用方式。但在集成分类问题中,惩罚特征以改善训练效果的研究较少。文章提出一种基于GBDT模型训练的SHAP值对各样本特征惩罚加权,进而提升分类精度的集成模型;其中,对于测试样本的SHAP值估计,通过其与训练集的样本距离权重结合训练集的SHAP矩阵近似得到。实验结果表明:选择GBDT_SHAP值惩罚特征后,模型的预测精度均有显著提升,验证了该算法的有效性。以GBDT_SHAP_GBDT模型为例,其在多组经典数据集上的分类效果良好,且在不平衡数据集上性能突出;若干组仿真实验表明,该方法能使模型快速达到较优且较为稳定的拟合效果,鲁棒性较强。
【关键词】分类问题  SHAP值  特征惩罚  GBDT  集成学习
【基金】
【所属期刊栏目】统计与决策
文献传递