标题
  • 标题
  • 作者
  • 关键词

基于可见光和近红外图像跨模态交互的田间杂草分割方法

2024-07-03分类号:S451;TP391.41

【作者】葛春磊   张九于   胡春华   杨绪兵   范习健
【部门】南京林业大学信息科学技术学院人工智能学院  自然资源部南方丘陵区自然资源监测监管重点实验室  
【摘要】[目的]针对田间杂草目标存在分布不均匀、尺度不一以及边缘重叠等问题,提出一种基于可见光和近红外图像跨模态交互的双分支分割模型CMFNet-Lite。[方法]首先,基于Transformer模型构建了双分支特征提取网络,分别从近红外和可见光输入中提取光谱和视觉特征;其次,建立基于交叉注意力机制的特征融合模块,将两种特征进行跨模态交互并通过残差网络进行拼接融合,以充分利用不同模态各自的信息,形成优势互补;最后将融合后的特征图送入多层感知机进行杂草分割掩码预测。此外,本文进一步利用可分离卷积替代常规卷积,以降低模型参数量和提升推理速度。[结果]在Sugar Beets 2016数据集上的试验结果表明,所提方法较基于卷积神经网络和近年来采用混合CNN和Transformer架构的分割模型有较大提升,mIoU和mAcc分别为92.73%和95.52%。轻量化模型的参数量为8.5 M,单幅图像检测速率为6.3帧/秒。同时,消融试验表明,本方法比未融合特征的Segformer分割模型,mIoU和mAcc分别提高了6.22%和4.1%。[结论]本文方法验证了融合多模态信息相比于仅使用单模态输入更有助于田间杂草区域的精细化感知,可为精确除草作业提供技术支持。
【关键词】杂草分割  多模态融合  注意力机制  轻量化
【基金】江苏省重点研发计划项目(BE2023352);; 自然资源部重点实验室开放课题(NRMSSHR2023Y-07);; 江苏省双创人才计划项目
【所属期刊栏目】南京农业大学学报
文献传递