标题
  • 标题
  • 作者
  • 关键词

基于权重复用的训练加速算法

2024-05-28分类号:TP391.41;TP183

【作者】应仰威   章洛铭   齐炜   郑楷   周泓
【部门】浙江大学生物医学工程与仪器科学学院  
【摘要】深度学习已广泛应用在科研教学、工业生产等各领域,但因其数据量庞大和模型结构复杂,在模型训练阶段要依赖大量的计算资源。为了能在实验教学环节提升资源利用效率,让学生更加熟练地掌握数据搜集和模型参数调整优化的能力,提出了一种基于权重复用的训练加速方法,分别对VGG和ResNet网络结构的深度和宽度进行伸缩拓展,允许模型复用结构相似但不需要完全一致的网络权重。实验结果表明,在CIFAR10数据集上测试,采用权重复用方法进行初始化的训练更快收敛,而且在训练结束时与随机化训练的准确率相近,实现拓展后的网络加速训练,是一种更加灵活的知识迁移方法,有助于培养学生对复杂模型的理解与优化能力。
【关键词】卷积神经网络  知识迁移  训练加速  权重复用
【基金】国家重点研发计划项目(2022YFC3602601);; 教育部产学合作协同育人项目(220600656141412)
【所属期刊栏目】实验技术与管理
文献传递