基于零模正则的神经网络剪枝方法
2023-10-25分类号:TP183;TP391.41
【部门】华南理工大学数学学院
【摘要】本文提出一种有效的神经网络剪枝方法。该方法对神经网络训练模型引入零模正则项来促使模型权重稀疏,并通过删减取值为零的权重来压缩模型。对所提出的零模正则神经网络训练模型,文中通过建立其等价MPEC形式的全局精确罚得到其等价的局部Lipschitz代理,然后通过用交替方向乘子法求解该Lipschitz代理模型对网络进行训练、剪枝。最后,对MLP和LeNet-5网络模型进行测试,分别在误差2.2%和1%下,取得97.43%和99.50%的稀疏度,达到很好的剪枝效果。
【关键词】神经网络剪枝 零模正则 交替方向乘子法
【基金】国家自然科学基金面上项目(11971177)
【所属期刊栏目】运筹与管理
文献传递