标题
  • 标题
  • 作者
  • 关键词

基于AVX2指令集的深度学习混合运算策略

2020-01-09分类号:TP18;TP332

【作者】蒋文斌  王宏斌  刘湃  陈雨浩  
【部门】华中科技大学计算机科学与技术学院大数据技术与系统国家工程研究中心服务计算技术与系统教育部重点实验室  
【摘要】由于图形处理器(GPU)内存容量有限,其所能承载的深度学习网络模型规模受到很大限制。该文提出了一种深度学习混合运算策略,借助于Intel新的单指令多数据AVX2指令集,充分挖掘CPU对GPU的辅助支撑潜力。为节省GPU内存,将中间数据规模较大的网络层放在CPU端计算,并通过AVX2指令集提高CPU端的计算效率。核心技术点包括网络模型的切分与协调、基于AVX2指令的应用代码矢量化等。上述策略最终在Caffe上实现。在包括CIFAR-10、 ImageNet在内的典型数据集上的实验结果表明:采用混合运算策略后,Caffe能够正常运行更大型神经网络模型,并保持较高的执行效率。
【关键词】混合运算  深度学习  AVX2指令集  图形处理器(GPU)内存  Caffe
【基金】国家自然科学基金项目(61672250)
【所属期刊栏目】清华大学学报(自然科学版)
文献传递