基于自适应时序运动聚合的动作识别实验设计
2023-11-16分类号:TP391.41
【部门】中国矿业大学信息与控制工程学院
【摘要】视频动作识别是电子信息类学科的重要前沿应用领域。该文针对现有算法存在的参数量庞大及时空尺度固定问题,提出一种基于自适应时序运动聚合网络(ATMA-Net)的动作识别实验设计。引入多尺度运动注意力模块MMA和自适应时序聚合模块ATA,实现了对不同视频动作的多尺度运动特征提取及自适应时序建模。MMA通过拆分的大核卷积注意力关注有利于时序建模的运动特征;ATA根据输入视频的运动加权特征自适应地生成特定的时间卷积核,有利于灵活地进行时序运动特征聚合;将这两种模块嵌入到2D ResNet50残差模块中,并对具体的嵌入方式和嵌入位置进行了实验研究,确定了最佳网络结构。该实验设计网络在复杂动作识别数据集Something-Something V1上的大量实验结果表明,ATMA-Net在低FLOPs的情况下优于其他动作识别方法,证实了其对于复杂动作时序建模的有效性。
【关键词】视频理解 动作识别 注意力机制 自适应卷积 时序建模
【基金】国家自然科学基金青年项目(62001475);; 煤炭协会教改课题(2021MXJG146);; 江苏省高教学会评估委员会课题(2021-C158)
【所属期刊栏目】实验技术与管理
文献传递