CN110110687B - 基于颜色信息和三维轮廓信息的树上水果自动识别方法 - Google Patents

Abstract

本发明公开了一种基于颜色信息和三维轮廓信息的树上水果自动识别方法，涉及机器视觉技术领域，该方法利用三维点云数据的颜色信息去除背景得到果实区域的水果点云数据，通过融合距离差异和颜色差异的欧式聚类算法聚类为点云团，在三维空间，利用距离信息和水果的三维轮廓信息实现对点云团中每个水果的逐一分割，可以提高水果识别的准确性，降低水果检测过程中的漏检率。

Description

基于颜色信息和三维轮廓信息的树上水果自动识别方法

技术领域

本发明涉及机器视觉技术领域，尤其是一种基于颜色信息和三维轮廓信息的树上水果自动识别方法。

背景技术

传统的水果采摘主要采用人工采摘的方式，不仅效率低，还存在需要雇佣大量劳动力而带来的高成本问题，同时，高强度的作业也会给劳动工人的身体带来伤害。利用水果采摘机器人实现自动采摘是改善果园生产管理效率的一个有效途径，水果采摘机器人的采摘动作依赖于其对水果的准确检测与定位，因此要求水果采摘机器人能够在果园复杂环境下快速准确地检测树上水果，从而实现准确采摘。

传统的基于机器视觉的水果检测方法主要是在二维空间，利用彩色图像进行水果的检测与计数。虽然也取得了不错的效果，但是彩色图像容易受到自然光照的影响，所提供的颜色、纹理等信息有限。随着对水果检测要求的提高，仅通过彩色图像已难以满足人们的需求。在二维空间进行水果检测也不能反映水果的真实大小、尺寸及其与周围其他水果之间的相对位置关系，也不能满足水果定位的要求。

近年来，通过融入距离信息，即利用彩色图像和深度图像的水果检测方法已逐渐展开研究。获取深度信息的方式主要有立体视觉技术、激光扫描仪和RGB-D相机等。立体视觉技术计算量大，难以满足水果检测的实时性要求。激光扫描仪价格昂贵，且操作复杂。RGB-D相机是一款消费级深度相机，其成本低、操作简单、可同时获取彩色图像和深度图像，近年来已得到广泛应用。然而，现有的利用彩色图像和深度图像的水果检测方法往往只是利用深度信息来进行水果辅助定位，为解决复杂环境下的水果成簇和水果遮挡问题，还是依赖于彩色图像，深度信息并没有得到充分利用，因此还是存在检测准确性低、漏检率高的问题。

发明内容

本发明人针对上述问题及技术需求，提出了一种基于颜色信息和三维轮廓信息的树上水果自动识别方法，该方法利用颜色信息去除背景，利用距离信息和水果的三维轮廓信息实现对每个水果的逐一分割，可以降低水果检测过程中的漏检率。

本发明的技术方案如下：

一种基于颜色信息和三维轮廓信息的树上水果自动识别方法，该方法包括：

利用RGB-D相机获取果树的三维点云数据并利用色差法从三维点云数据中提取出水果点云数据，水果点云数据是水果所在的区域的三维点云数据；

利用各个水果点云数据的位置信息和颜色信息对水果点云数据进行条件欧式聚类为若干个点云团，每个点云团中都包括水果；

对于每个点云团，根据点云团中的水果点云数据的位置信息确定点云团在空间三个方向上的最大长度，根据点云团在空间三个方向上的最大长度预估点云团为多水果点云团或单水果点云团，多水果点云团是预估包含至少两个水果的点云团，单水果点云团是预估仅包含一个水果的点云团；

对于每个多水果点云团，利用随机采样一致性算法基于多水果点云团中的水果点云数据的位置信息对多水果点云团进行球形分割提取得到多水果点云团中的各个水果；

对于每个单水果点云团，将单水果点云团中的水果点云数据投影到二维平面并提取出边界点云数据，利用渐近采样一致性算法基于边界点云数据的位置信息对单水果点云团进行圆形分割提取得到单水果点云团中的水果。

其进一步的技术方案为，利用色差法从三维点云数据中提取出水果点云数据，包括对于每一个三维点云数据：

利用伽马变换图像增强方法对三维点云数据的颜色信息的R通道颜色灰度值进行变换：R′＝A·R^γ，R表示三维点云数据的颜色信息的R通道颜色灰度值，R′表示变换后的R通道颜色灰度值，A为增益系数，γ为伽马系数，γ略大于1；

当R′-G≥0时确定三维点云数据属于水果点云数据，G表示三维点云数据的颜色信息的G通道颜色灰度值。

其进一步的技术方案为，利用各个水果点云数据的位置信息和颜色信息对水果点云数据进行条件欧式聚类为若干个点云团，包括：

对于任意一个水果点云数据及其邻近点，计算水果点云数据与邻近点之间的欧式距离D为：

(x₁,y₁,z₁)是水果点云数据的位置信息，(x₂,y₂,z₂)是邻近点的位置信息；

计算水果点云数据与邻近点之间的颜色差异CD为

(R₁,G₁,B₁)是水果点云数据的颜色信息，(R₂,G₂,B₂)是邻近点的颜色信息；

若水果点云数据与邻近点之间的欧式距离小于距离阈值，且水果点云数据与邻近点之间的颜色差异小于颜色差异阈值，则确定水果点云数据与邻近点属于同一个点云团，否则确定水果点云数据与邻近点属于不同的点云团；

遍历空间内所有水果点云数据完成聚类，将所有水果点云数据划分为若干个点云团。

其进一步的技术方案为，利用随机采样一致性算法基于多水果点云团中的水果点云数据的位置信息对多水果点云团进行球形分割提取得到多水果点云团中的各个水果，包括：

将多水果点云团中的水果点云数据作为采样数据集，通过对采样数据集进行随机采样迭代得到球形模型，利用球形模型分割得到多水果点云团中的一个水果；

将球形模型对应的水果点云数据从采样数据集中去除，并检测剩余的水果点云数据的数量是否达到数量最低阈值，若是，则结束流程；

若剩余的水果点云数据的数量未达到数量最低阈值，则将采样数据集更新为剩余的水果点云数据，并再次执行对采样数据集进行随机采样的步骤。

其进一步的技术方案为，提取出边界点云数据，利用渐近采样一致性算法基于边界点云数据的位置信息对单水果点云团进行圆形分割提取得到单水果点云团中的水果，包括：

对于单水果点云团中的任意一个水果点云数据，确定水果点云数据及其所有邻近点组成的角度集合为θ＝{θ₁,θ₂,…,θ_n}，其中，θ_i表示水果点云数据与其第i个邻近点之间的角度，i为参数且1≤i≤n；

若max(θ_i+1-θ_i)≥α_th，则确定水果点云数据属于边界点云数据，其中，α_th为角度阈值；

将边界点云数据作为采样数据集，通过对采样数据集进行渐近采样迭代得到圆形模型，利用圆形模型分割得到单水果点云团中的水果。

本发明的有益技术效果是：

本申请公开了一种基于颜色信息和三维轮廓信息的树上水果自动识别方法，该方法利用三维点云数据的颜色信息去除背景得到果实区域，在三维空间中，利用距离信息和水果的三维轮廓信息实现对每个水果的逐一分割识别，该识别方法充分利用了深度信息进行水果检测，可以提高水果识别的准确性，降低水果检测过程中的漏检率，可用于水果采摘机器人的实时目标检测和果园的产量估计，操作简单、成本低、可靠性和识别准确性好。

附图说明

图1是本申请公开的树上水果自动识别方法的流程图。

图2是本申请对多水果点云团的分割流程图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本申请公开了一种基于颜色信息和三维轮廓信息的树上水果自动识别方法，请参考图1，该方法包括如下步骤：

步骤S1，利用RGB-D相机获取果树的三维点云数据，然后对获取到的三维点云数据进行预处理，并根据三维点云数据的颜色信息利用色差法从三维点云数据中提取出水果点云数据，其中水果点云数据指的是水果所在的区域的三维点云数据，这一步骤实际是去除了背景区域，本申请利用水果区域和背景区域的颜色差异来实现，主要用到了颜色信息的R通道和G通道的值，具体做法为，对于每一个三维点云数据：

1、利用伽马变换图像增强方法对该三维点云数据的颜色信息的R通道颜色灰度值进行变换，将的R通道颜色灰度值稍微降低，采用如下公式：R′＝A·R^γ，其中R表示三维点云数据的颜色信息的R通道颜色灰度值，R′表示变换后的R通道颜色灰度值，A为预设的增益系数，γ为伽马系数，γ的取值决定了变换的幅度，在本申请中γ略大于1，从而可以将R通道颜色灰度值R稍微降低但幅度不是很大，γ的具体取值根据实际需要的变换幅度而设定，通常在1.05±0.05，申请人在实际实验时使用γ＝1.09。

2、计算R′-G，其中G表示该三维点云数据的颜色信息的G通道颜色灰度值。由于水果区域的三维点云数据的R值和G值之间的差值较大，而背景区域的三维点云数据的R值和G值之间的差值较小，因此当对R值进行伽马变换稍微降低为R′值后，水果区域的三维点云数据的R′值和G值之间的差值仍然大于等于0，但背景区域的三维点云数据的R值和G值之间的差值会小于0，根据这一差异利用色差法即能去除背景。也即，当三维点云数据对应R′-G≥0时，确定该三维点云数据位于水果区域，属于水果点云数据；当三维点云数据对应R′-G<0时，确定该三维点云数据位于背景区域，需要去除。

步骤S2，利用各个水果点云数据的位置信息和颜色信息对水果点云数据进行条件欧式聚类，以水果点云数据之间的距离差异和颜色差异作为判断是否属于同一类别的基本条件，从而将所有水果点云数据划分为若干个不同的点云团，每个点云团中都包括水果。具体的：

1、任取一个水果点云数据P₁及其任意一个邻近点P₂，计算该水果点云数据P₁与该邻近点P₂之间的欧式距离D和颜色差异CD：

其中，(x₁,y₁,z₁)是该水果点云数据P₁的位置信息，(x₂,y₂,z₂)是该邻近点P₂的位置信息。(R₁,G₁,B₁)是该水果点云数据P₁的颜色信息，(R₂,G₂,B₂)是该邻近点P₂的颜色信息。

2、若水果点云数据P₁与其邻近点P₂之间的欧式距离D小于距离阈值T_d，同时，水果点云数据P₁与其邻近点P₂之间的颜色差异CD小于颜色差异阈值T_c，那么确定水果点云数据P₁与其邻近点P₂属于同一类别，也即属于同一个点云团，否则属于不同的点云团。其中，距离阈值T_d和颜色差异阈值T_c都是预设的值。

3、遍历空间内所有的水果点云数据并执行上述步骤1和2从而完成对所有水果点云数据的聚类，从而将所有水果点云数据划分为若干个点云团。

步骤S3，步骤S2中聚类得到的每个点云团中可能包括一个水果也可能包括多个水果，因此在完成聚类后，对于每个点云团，根据该点云团中的水果点云数据的位置信息计算该点云团在空间三个方向上坐标的最大值和最小值的差值，从而确定该点云团在空间三个方向上的最大长度，将该点云团在空间三个方向上的最大长度与预设的阈值进行比较，当该点云团在至少一个方向上的最大长度超出了预设的阈值时，预估该点云团中包含多个水果，则预估该点云团是多水果点云团；若该点云团在空间三个方向上的最大长度都没有超出预设的阈值，那么预估该点云团中只含有一个水果，则预估该点云团为单水果点云团。

步骤S4，对于每个多水果点云团，利用随机采样一致性算法基于多水果点云团中的水果点云数据的位置信息对多水果点云团进行球形分割提取得到多水果点云团中的各个水果，具体流程请参考图2：

1、将多水果点云团中的水果点云数据作为采样数据集，通过对采样数据集进行随机采样迭代得到球形模型，迭代得到一个球形模型的具体做法与现有的随机采样一致性算法(RANSAC算法)中的常规做法相似，本申请简单介绍如下：

(1)、从采样数据集中随机采样得到一个子集，假设抽取出来的子集为局内点，利用抽取出来的子集中的数据估计模型的参数。

(2)、利用步骤(1)估计得到的模型测试采样数据集中的其他数据，若某一数据与估计得到的模型之间的距离在预设范围内，则确定该数据适应于该估计得到的模型，该数据为该估计得到的模型的局内点，否则为局外点。图2中以该预设范围为0.01m为例。

(3)、若有足够多的点被认为是局内点，则认为估计的模型是合理的。

(4)、用所有局内点重新评估模型的参数。

(5)、通过局内点和模型的错误率来评价该模型。

(6)、以上过程重复执行一定次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用，直到最终确定出最佳模型。

在确定出最佳模型后，并不是直接将最佳模型确定为球形模型，而是判断该最佳模型对应的水果点云数据的数量是否达到数量阈值，如果未达到，则认为得到的最佳模型不是水果的模型；如果达到该数量阈值，则认为得到的最佳模型是水果的模型，将其作为球形模型分割得到多水果点云团中的一个水果。该数量阈值为预设值，是满足一个球形模型所需要的最少的点云数据的数量，其具体数量通常取决于设备获取的点云数量。

2、由于一次只能分割出一个球形模型，因此在分割出第一个水果后，将该球形模型对应的水果点云数据从采样数据集中去除，并检测剩余的水果点云数据的数量N是否达到数量最低阈值，若是，则表示此时剩余的水果点云数据的数量N已经太少而不能再分割出球形模型，则结束流程。该数量最低阈值为预设的经验值，可以是N的值的阈值，也可以是N在该多水果点云团中的水果点云数据的原始的总数量M中所占的比例的阈值，比如该数量最低阈值为0.08M，图2以此为例。另外，若上述步骤1中迭代得到的最佳模型对应的水果点云数据的数量未达到数量阈值，则在该步骤中同样需要将最佳模型对应的水果点云数据从多水果点云团中去除。

3、若剩余的水果点云数据的数量N未达到数量最低阈值，则表示剩余的水果点云数据的数量N足够再分割出球形模型，则将采样数据集更新为剩余的水果点云数据，并再次执行对采样数据集进行随机采样的步骤，也即执行上述1，从而得到下一个球形模型分割出下一个水果。

步骤S5，对于每个单水果点云团，将单水果点云团中的水果点云数据投影到二维平面，比如投影到xoy平面，使所有的水果点云数据都处于同一平面上。然后提取该点云团的边界并确定边界点云数据，具体的：对于单水果点云团中的任意一个水果点云数据，确定该水果点云数据及其所有邻近点组成的角度集合为θ＝{θ₁,θ₂,…,θ_n}，其中，θ_i表示水果点云数据与其第i个邻近点之间的角度，i为参数且1≤i≤n。若max(θ_i+1-θ_i)≥α_th，则确定该水果点云数据属于边界点云数据，其中，α_th为角度阈值，通常设置为π/2。遍历所有点，确定出所有边界点云数据。

利用渐近采样一致性算法基于边界点云数据的位置信息对单水果点云团进行圆形分割提取得到单水果点云团中的水果，具体的：将边界点云数据作为采样数据集，对采样数据集进行渐近采样，从不断增大的最佳对应点集合中进行采样，最终迭代得到圆形模型，通过采样并迭代得到模型的具体做法与上述步骤S4中的步骤1相同，本申请不再赘述。迭代得到圆形模型后，利用圆形模型提取到单水果点云团中的水果。

在本申请中，对多水果点云团和单水果点云团采用的处理方式是不同的，这是因为：多水果点云团含有的点数多，因此适合于球形分割；在分割多水果点云团采用随机采样一致性球形分割，是在三维空间，利用的是空间中点的位置信息，也是轮廓信息，相较于传统的基于机器视觉的水果检测方法在二维空间的分割是一个优势，传统做法在二维空间分割圆的时候依靠的是像素点的个数，这样不够准确，因为远处的水果占的像素点较少，在三维空间中依靠的是点的位置信息，即使水果较远，其位置信息也较大，分割的时候依赖的是实际的位置信息，所以分割更准确。

单水果点云团由于遮挡等原因，点数量较少，不适宜用球形分割，所以提取边界拟合圆效果更佳，虽然投影到了同一个平面，但是用到的还是距离信息，提取边界的原理和传统的二维图形中的做法也是不一样的。所以无论是对多水果点云团和单水果点云团分割时，都是在三维空间中，依赖的还是点的位置信息，这样在水果分割阶段就完全、充分地使用了深度信息。

同时在本申请中，对多水果点云团和单水果点云团采用不同的采样方式，对多水果点云团进行均匀随机的采样，鲁棒性较好，用于分割多个水果时效果较好。对单水果点云团从不断增大的点集中进行渐近采样，可以提高分割速度，由于处理单水果点云团时需要先进行投影并提取边界，这一过程需要消耗处理时间，再加上单水果点云团中含有水果数量少，因此采用渐近采样可以在保证对于单水果点云团的分割效果的前提下补偿时间的消耗。

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (5)

1.一种基于颜色信息和三维轮廓信息的树上水果自动识别方法，其特征在于，所述方法包括：

利用RGB-D相机获取果树的三维点云数据并利用色差法从所述三维点云数据中提取出水果点云数据，所述水果点云数据是水果所在的区域的三维点云数据；

利用各个所述水果点云数据的位置信息和颜色信息对所述水果点云数据进行条件欧式聚类为若干个点云团，每个所述点云团中都包括水果；

对于每个所述点云团，根据所述点云团中的水果点云数据的位置信息确定所述点云团在空间三个方向上的最大长度，根据所述点云团在空间三个方向上的最大长度预估所述点云团为多水果点云团或单水果点云团，所述多水果点云团是预估包含至少两个水果的点云团，所述单水果点云团是预估仅包含一个水果的点云团；

对于每个所述多水果点云团，利用随机采样一致性算法基于所述多水果点云团中的水果点云数据的位置信息对所述多水果点云团进行球形分割提取得到所述多水果点云团中的各个水果；

对于每个所述单水果点云团，将所述单水果点云团中的水果点云数据投影到二维平面并提取出边界点云数据，利用渐近采样一致性算法基于所述边界点云数据的位置信息对所述单水果点云团进行圆形分割提取得到所述单水果点云团中的水果。

2.根据权利要求1所述的方法，其特征在于，所述利用色差法从所述三维点云数据中提取出水果点云数据，包括对于每一个三维点云数据：

利用伽马变换图像增强方法对所述三维点云数据的颜色信息的R通道颜色灰度值进行变换：R′＝A·R^γ，R表示所述三维点云数据的颜色信息的R通道颜色灰度值，R′表示变换后的R通道颜色灰度值，A为增益系数，γ为伽马系数，γ略大于1；

当R′-G≥0时确定所述三维点云数据属于所述水果点云数据，G表示所述三维点云数据的颜色信息的G通道颜色灰度值。

3.根据权利要求1所述的方法，其特征在于，所述利用各个所述水果点云数据的位置信息和颜色信息对所述水果点云数据进行条件欧式聚类为若干个点云团，包括：

对于任意一个所述水果点云数据及其邻近点，计算所述水果点云数据与所述邻近点之间的欧式距离D为：

(x₁,y₁,z₁)是所述水果点云数据的位置信息，(x₂,y₂,z₂)是所述邻近点的位置信息；

计算所述水果点云数据与所述邻近点之间的颜色差异CD为

(R₁,G₁,B₁)是所述水果点云数据的颜色信息，(R₂,G₂,B₂)是所述邻近点的颜色信息；

若所述水果点云数据与所述邻近点之间的欧式距离小于距离阈值，且所述水果点云数据与所述邻近点之间的颜色差异小于颜色差异阈值，则确定所述水果点云数据与所述邻近点属于同一个点云团，否则确定所述水果点云数据与所述邻近点属于不同的点云团；

遍历空间内所有水果点云数据完成聚类，将所有水果点云数据划分为若干个点云团。

4.根据权利要求1所述的方法，其特征在于，所述利用随机采样一致性算法基于所述多水果点云团中的水果点云数据的位置信息对所述多水果点云团进行球形分割提取得到所述多水果点云团中的各个水果，包括：

将所述多水果点云团中的水果点云数据作为采样数据集，通过对所述采样数据集进行随机采样迭代得到球形模型，利用所述球形模型分割得到所述多水果点云团中的一个水果；

将所述球形模型对应的水果点云数据从所述采样数据集中去除，并检测剩余的水果点云数据的数量是否达到数量最低阈值，若是，则结束流程；

若剩余的水果点云数据的数量未达到所述数量最低阈值，则将所述采样数据集更新为剩余的水果点云数据，并再次执行所述对所述采样数据集进行随机采样的步骤。

5.根据权利要求1所述的方法，其特征在于，所述提取出边界点云数据，利用渐近采样一致性算法基于所述边界点云数据的位置信息对所述单水果点云团进行圆形分割提取得到所述单水果点云团中的水果，包括：

对于所述单水果点云团中的任意一个水果点云数据，确定所述水果点云数据及其所有邻近点组成的角度集合为θ＝{θ₁,θ₂,…,θ_n}，其中，θ_i表示所述水果点云数据与其第i个邻近点之间的角度，i为参数且1≤i≤n；

若max(θ_i+1-θ_i)≥α_th，则确定所述水果点云数据属于所述边界点云数据，其中，α_th为角度阈值；

将所述边界点云数据作为采样数据集，通过对所述采样数据集进行渐近采样迭代得到圆形模型，利用所述圆形模型分割得到所述单水果点云团中的水果。

Images