CN115937314A - 一种油茶果生长姿态检测方法 - Google Patents

Abstract

本发明公开了一种油茶果生长姿态检测方法，其步骤：使用双目相机获取油茶果的RGB图像和三维点云；标注出图像中每个果实的外接矩形框及对应的生长姿态类别，构建图像数据集；采用所述图像数据集训练基于深度学习目标检测方法的油茶果位置及姿态识别模型；使用训练好的模型计算图像中油茶果外接矩形框及其粗略的生长姿态表述；采用椭圆拟合算法和自适应阈值分割算法，在外接矩形框内精确提取果实区域，并获取对应三维子数据点集中代表果实的点集P；根据果实粗略生长姿态表述及所述点集P中的特征点计算精炼的果实生长姿态表述。该方法数据处理量小，步骤相对简单，检测效率高，且能够为实现低花苞损伤率的自动化油茶果采摘提供技术支持。

Description

一种油茶果生长姿态检测方法

技术领域

本发明涉及机器视觉及人工智能领域，具体地说，涉及一种油茶果生长姿态检测方法。

背景技术

油茶是一种木本油料树种，是世界四大油源树种之一，其果实被视为健康食用油原料，在中国南方丘陵地区种植。油茶枝条分布错乱、花果同期、果实密集生长且方向不规则等问题使得油茶的高效采收成为难题。

传统的油茶果采收主要靠人工操作，费时费力、成本高。随着机器人技术和先进农林机械设备的发展，其在油茶果采收中得到了广泛应用。现阶段已有振摇式油茶果采摘机器人、梳刷式油茶果采摘机器人等装备得以运用，且取得良好的采摘效果；但由于分离果实与果柄的需要，大范围的梳刷或对整棵油茶树的机械振动同时会对枝条上与果实同其存在的大量花苞、花朵、叶片等部位产生损伤，可能导致油茶果产量的显著降低；上述问题使得振摇式油茶果采摘机器人、梳刷式油茶果采摘机器人在实际应用中收到一些限制。

随着机器视觉技术的发展，出现了基于油茶果视觉定位的采摘方法。采用普通相机或深度相机拍摄油茶果图像，使用智能图像处理方法计算油茶果位置，引导机械臂对果实进行精确抓取。此类方法虽可以实现精准采摘，然而油茶果生长方向不规则，叶片、花朵对果实的遮挡等问题将导致使用扭转、剪切等方式采摘果实时可能严重损伤周围枝条及花苞。

人工智能技术的发展给果实采收带来了新方法。深度学习和机器视觉的结合，可实现果实、果柄空间位置的识别。此类方法在苹果、葡萄等果柄长而明显、果实随重力向地面方向生长的水果的采摘中得到了初步应用。但是油茶果果柄短，生长角度不确定，上述智能果柄识别方法较难直接运用。

发明内容

本发明的目的为提供一种油茶果生长姿态检测方法，可以克服现有智能果实姿态检测方法数据处理步骤复杂、效率低、人工标注成本高的问题，该方法可以为实现低花苞损伤率的自动化油茶果采摘提供技术基础。

为了实现上述目的，本发明提供的油茶果生长姿态检测方法，包括以下步骤：

(1)使用双目相机获取油茶果的RGB图像和三维点云数据；

(2)对油茶果RGB图像进行人工标注，标注出图像中每个果实的外接矩形框及对应的类别：“上”，“下”，“左”，“右”，“前”五种生长姿态类别q，不标注向后方生长的果实，构建图像数据集；

(3)采用所述图像数据集训练深度学习目标检测模型FasterRCNN，训练后得到油茶果位置及姿态识别模型。

(4)使用所述油茶果位置及姿态识别模型直接处理油茶果RGB图像，输出油茶果在RGB图像中的外接矩形框的像素坐标及其粗略的生长姿态表述；

(5)提取一个检测得到的果实目标的矩形区域，获取RGB图像对应区域内的子图像(获取RGB图像中果实目标的矩形区域内的子图像)，并获取三维点云数据中对应区域内的子数据点集；

(6)采用椭圆拟合算法和自适应阈值分割算法，精确提取子图像中的果实覆盖的像素点，并获取对应子数据点集中代表果实的点集P。

(7)使用果实目标的外接矩形区域中心点像素坐标对应的点云子集中的数据点空间坐标(X,Y,Z)表述果实的实际位置，再根据式F(P,q)计算精炼的果实生长姿态表述(E,S)，并组合成(X,Y,Z,E,S)：

(8)重复步骤(5)～(7)，得到图像中所有果实的位置及姿态表述。

(9)根据果实的空间位置及生长姿态表述(X,Y,Z,E,S)，调整机械臂及末端机械手爪的位置及方向，使手爪沿着油茶果中轴线方向移动并抓取，减少对枝条和花苞的损伤。

作为优选，步骤(2)中，不标注向后方生长的果实，具体判定依据为：与相机成像平面夹角大于20°且生长方向指向远离相机镜头方向的果实，不采摘；其余生长状态的果实区分为“上”，“下”，“左”，“右”，“前”五种生长姿态类别，见图3。步骤(3)中，FasterRCNN模型的输出配置为每个油茶果的在图像中的外接矩形框左上角和右下角的坐标，以及对应的生长姿态类别，具体见图5.

本发明的有益效果：该油茶果生长姿态检测方法，数据处理量小，步骤相对简单，检测效率高，该方法能够为实现低花苞损伤率的自动化油茶果采摘提供技术支持。

附图说明

图1是本发明实施例中油茶果生长姿态检测方法的***框架图；

图2是本发明实施例中油茶果生长姿态检测方法的工作流程图；

图3是本发明实施例中所采用的果实粗略生长姿态类别标注方法的示意图；其中a为5种生长姿态类别q的示意图，b为对具体的RGB图像人工标注生长姿态类别的示意图；

图4是本发明实施例中所采用的果实精炼的生长姿态计算方法的示意图；其中a为(E,S)指示方向为前的油茶果，b为(E,S)指示方向为右的油茶果；

图5是本发明实施例中所采用的油茶果位置及姿态识别模型结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

实施例

参见图1和图2，本实施例的油茶果生长姿态检测方法包括以下步骤：

第一步：采集油茶果图像和三维点云，构建油茶果数据集。使用双目相机5采集大量的油茶果RGB图像和三维点云数据。对RGB图像进行人工标注，标出RGB图像中每个果实的外接矩形及对应的粗略的生长姿态类别q，具体判定法则见图3，“上”：沿着重力方向向上，与重力方向夹角<20°的果实；“下”：沿着重力方向向下，与重力方向夹角<20°的果实；“左”：在相机成像平面、与重力方向垂直方向向左，夹角<20°的果实；“右”：在相机成像平面、与重力方向垂直方向向右，夹角<20°的果实；“前”：垂直于相机成像平面、沿着果实指向成像设备方向，夹角<20°的果实。

第二步：建立深度学习目标检测网络模型。将构建油茶果数据集存储到计算机端，而后采用训练数据集训练FasterRCNN网络，其结构参见图5。FasterRCNN中的ResNet-50骨干网络用于自动学习提取图像中的深度特征，区域推荐网络和ROI池化模块从提取得到的深度特征获取与图中果实信息相关的特征，而后采用多层感知机头部及两路全连接层将果实相关特征与期望的输出建立映射关系，分别用于果实姿态类别和位置坐标的预测。基于上述过程建立以RGB图像为输入、以油茶果外接矩形框及对应的粗略生长姿态类别q为输出的端到端的映射关系。

第三步：检测油茶果的空间位置及粗略生长姿态类别。在PC端训练好模型后，将模型的结构和权重参数移植固化到控制器上。使用双目相机5采集一组油茶果的RGB图像4及对应三维点云数据。利用训练好的模型分析处理RGB图像4，得到油茶果3的外接矩形框6及对应的粗略生长姿态类别q。

第四步：计算精炼的油茶果生长姿态信息。在所述外接矩形框6内，采用椭圆拟合算法和自适应阈值分割算法，精确提取子图像中的果实覆盖的像素区域7，并获取对应子数据点集中代表果实的三维点云子集P。根据式F(P,q)计算精炼的果实生长姿态表述8，定义为(E,S)，表示E点指向S点方向：

第五步：根据果实空间位置及生长姿态信息确定机械手爪采摘方向。在三维点云子集P中，检索所述外接矩形框6的中心点像素坐标对应的三维空间坐标，定义为(X,Y,Z)，即得到油茶果的实际空间位置。将计算得到的油茶果的实际空间位置(X,Y,Z)及果实生长姿态表述(E,S)信息融合，控制机械手爪2的运动。令(X,Y,Z)信息为机械手爪中心点的目标位置，(E,S)指示的矢量方向作为机械手爪中轴线1的目标朝向，控制机械手爪2的到指定位置、根据指定角度采摘油茶果。

本发明公开了一种油茶果生长姿态检测方法，属于机器视觉及人工智能领域，包括以下步骤：使用双目相机获取油茶果的RGB图像和三维点云；标注出图像中每个果实的外接矩形框及对应的生长姿态类别，构建图像数据集；采用所述图像数据集训练基于深度学习目标检测方法的油茶果位置及姿态识别模型；使用训练好的模型计算图像中油茶果外接矩形框及其粗略的生长姿态表述；采用椭圆拟合算法和自适应阈值分割算法，在外接矩形框内精确提取果实区域，并获取对应三维子数据点集中代表果实的点集P；根据果实粗略生长姿态表述及所述点集P中的特征点计算精炼的果实生长姿态表述；根据果实的空间位置及生长姿态表述，控制机械手爪移动到目标果实位置、沿着目标果实中轴线方向移动并抓取。通过该方法可以克服现有智能果实姿态检测方法数据处理步骤复杂、效率低、人工标注成本高的问题，且该方法可以为实现低花苞损伤率的自动化油茶果采摘提供技术基础。

Claims (4)

1.一种油茶果生长姿态检测方法，其特征是：包括以下步骤：

(1)使用双目相机获取油茶果的RGB图像和三维点云数据；

(2)对油茶果RGB图像进行人工标注，标注出图像中每个果实的外接矩形框及对应的类别：“上”，“下”，“左”，“右”，“前”五种生长姿态类别q，不标注向后方生长的果实，构建图像数据集；

(3)采用所述图像数据集训练深度学习目标检测模型FasterRCNN，训练后得到油茶果位置及姿态识别模型；

(4)使用所述油茶果位置及姿态识别模型直接处理油茶果RGB图像，输出油茶果在RGB图像中的外接矩形框的像素坐标及其粗略的生长姿态表述；

(5)提取一个检测得到的果实目标的矩形区域，获取RGB图像对应区域内的子图像，并获取三维点云数据中对应区域内的子数据点集；

(6)采用椭圆拟合算法和自适应阈值分割算法，精确提取子图像中的果实覆盖的像素点，并获取对应子数据点集中代表果实的点集P；

(7)使用果实目标的外接矩形区域中心点像素坐标对应的点集P中的数据点空间坐标(X,Y,Z)表述果实的实际位置，再根据式F(P,q)计算精炼的果实生长姿态表述(E,S)，并组合成(X,Y,Z,E,S)：

(8)重复步骤(5)～(7)，得到图像中所有果实的位置及姿态表述。

2.如权利要求1所述的油茶果生长姿态检测方法，其特征是：步骤(2)中，不标注向后方生长的果实，具体判定依据为：与相机成像平面夹角大于20°且生长方向指向远离相机镜头方向的果实。

3.如权利要求1所述的油茶果生长姿态检测方法，其特征是：步骤(3)中，FasterRCNN模型的输出配置为每个油茶果的在图像中的外接矩形框左上角和右下角的坐标，以及对应的生长姿态类别。

4.如权利要求1所述的油茶果生长姿态检测方法，其特征是：步骤(8)后有步骤：

(9)根据果实的空间位置及生长姿态表述(X,Y,Z,E,S)，调整用于采摘油茶果的机械臂及末端机械手爪的位置及方向，(X,Y,Z)信息为机械手爪中心点的目标位置，(E,S)指示的矢量方向作为机械手爪轴线的目标朝向，使机械手爪沿着油茶果中轴线方向移动。

Images