复杂背景下草莓点云语义分割优化方法
2024-05-08分类号:S668.4;TP391.41
【部门】南京农业大学人工智能学院 南京农业大学国家信息农业工程技术中心
【摘要】[目的]以草莓为代表的浆果果实收获方式仍然以人力为主,随着近年来农业生产人员老龄化及人工费用的激增,机器(人)全自动采摘已是必然趋势,目前的难点在于机器视觉的识别与定位,相比2D视觉,3D视觉不仅具有更丰富的语义信息,而且在空间定位上有着明显的优势。本文旨在利用3D视觉技术实现草莓的准确识别和定位,为机器人自动采摘提供技术支持。针对田间背景噪声干扰、草莓果实体积小且伴随遮挡的难点,本文采用点云滤波技术进行点云降噪,利用3D视觉技术实现了草莓与复杂背景的语义分割。[方法] 使用IntelRealsenseD435i深度相机采集了不同光照、不同季节和遮挡条件下的草莓点云数据,构建了一个包含三个类别的数据集,分别为无遮挡、低遮挡、高遮挡。首先结合多阈值统计滤波和ROI提取技术对点云数据进行预处理,过滤噪声;以PointNet++为基础模型,对点云数据直接提取特征,并在PointNet++的基础上提出了一种针对复杂背景下小尺度目标的语义分割模型SS-PointNet++,利用点云的多种特征信息作为网络的输入特征,构建采样层、分组层,并通过PointNet提取局部特征,使用最远点采样法对点云取样并最大程度的覆盖到整个点集,针对小尺度目标设计了三种不同半径的球查询(BallQuery)来获取局部特征,改进了SA层和FP 层的结构,使其能够适应低密度点云。[结果]对未经预处理的点云进行分割时,有 0.74%的概率出现离群点的误判问题,而对预处理后的单张点云图像进行语义分割的用时平均减少了 3.47 s。点云图像测试结果表明,SS-PointNet++模型的平均准确率达到了 86.95%,比优化前提升了 19.54百分点,平均交并比为 0.740。在光照充足且无遮挡的草莓上,该模型的语义分割准确率高达 95.36%,而在暗光环境下,该模型的平均准确率也能达到 81.34% 。[结论] SS-Pointnet++模型提升了小尺度目标点云的语义分割效果,对不同光照条件具有较强的鲁棒性,为基于 3D 点云的小物体和遮挡物体的分割提供了一种有效的方法;本文提出的草莓遮挡类型的划分,对后续草莓遮挡问题提供了数据分析支持,对其他基于3D点云的小尺度物体的目标检测和遮挡问题也起到借鉴作用。
【关键词】草莓 点云 采摘机器人 计算机视觉 语义分割 深度相机
【基金】
【所属期刊栏目】南京农业大学学报
文献传递