CN115841668A - 一种双目视觉苹果识别以及精准定位的方法 - Google Patents

Abstract

本发明公开了一种双目视觉苹果识别以及精准定位的方法，步骤为：对由两个单目相机组成的双目相机进行标定；建立用于苹果识别的模型；对SGBM立体视觉匹配算法中的参数进行优化；步骤四、通过计算得到一个苹果的实际质心位置；本方法能在苹果无遮挡的情况下，准确获得苹果在空间中的三维坐标，同时在更一般的情况下如存在树叶树枝等遮挡的情况下，仍能准确获得苹果的空间三维坐标，在保证苹果定位精度的同时提高了算法的效率。

Description

一种双目视觉苹果识别以及精准定位的方法

技术领域

本发明涉及一种双目视觉下成熟红苹果的识别与定位方法，尤其涉及一种在有树叶等的遮挡下成熟红苹果的精准定位的方法。

背景技术

在苹果识别上，有很多基于苹果的颜色与形状特征的识别，但是这种基于苹果的纹理与颜色特征的识别算法局限性较大无法找到通用的识别模型且鲁棒性较低，而深度学***面上的苹果形心处的位置信息代替苹果的位置信息，则采集到的为树叶的三维位置信息，从而导致苹果的定位失败，因此简单利用苹果图像坐标系的矩形边界框上的部分点作为苹果的位置信息是十分不可靠的。

发明内容

本发明的目的在于克服已有技术的缺点，提供一种成熟红苹果的识别以及精准定位的方法，使得苹果在树叶遮挡以及立体视觉匹配中无效匹配点和随机误差点的影响下仍有很高的定位精度。

本发明的一种双目视觉苹果识别以及精准定位的方法，包括以下步骤：

一种双目视觉苹果识别以及精准定位的方法，其特征在于包括以下步骤：

步骤一、对由左相机和右相机组成的双目相机进行标定，得到左相机和右相机的内参矩阵与畸变向量以及左相机和右相机之间的平移旋转位姿变换矩阵：

第一步，将双目相机连接在电脑上，然后使用左相机和右相机分别拍摄预先准备的棋盘格样式标定板，在拍摄的过程中旋转标定板，使标定板处于双目相机中视场的不同位置且标定板上的棋盘格角点能够完整显示，得到左相机拍摄的多张标定板图片以及右相机拍摄的多张标定板图片，同一时刻左相机拍摄的标定板图片和右相机拍摄的标定板图片组成一对标定板图片；

第二步，将采集到的多对标定板图片导入到python中，在python的OpenCV库中采用张正友标定法对左相机和右相机进行单目标定以及对双目相机进行双目标定，得到左相机和右相机的内参矩阵与畸变向量以及左相机和右相机之间的旋转矩阵以及平移向量：

步骤二、建立用于苹果识别的模型：

步骤三、对SGBM立体视觉匹配算法中的参数进行优化，当步骤一中的每一对标定板图片的视差图中的标定板清晰时，记录此时SGBM算法对应的参数作为对苹果的深度测量过程中将畸变校正后左相机二维苹果图片转化为三维苹果图片时的优化后参数使用；

步骤四、准备一个没有树叶遮挡的苹果作为第一苹果通过计算得到第一苹果的实际质心位置，具体计算过程如下：

第一步、将第一苹果放置在左相机的视野中，使得第一苹果估计的质心在左相机坐标系中的z坐标与步骤一中拍摄标定板图片时标定板中心在左相机坐标系中的z坐标相近；

第二步、采用左相机和右相机分别拍摄一张第一苹果图片，然后对左相机和右相机拍摄到的第一苹果图片进行畸变校正；

第三步、在python中导入OpenVINO的模型推理核心库IECore对步骤二中获取的苹果识别的模型进行模型推理，获得深度学习神经网络的网络结构和权重参数，然后将畸变校正后的左相机拍摄的第一苹果图片传入Yolov4目标检测算法中，识别图片中的苹果，并生成与第一苹果外轮廓相切的矩形边界框；

第四步、采用步骤三中已完成参数优化的SGBM立体视觉匹配算法对畸变校正后的左相机拍摄的第一苹果图片和畸变校正后的右相机拍摄的第一苹果图片进行立体视觉匹配，将第一苹果的二维图片扩展为第一苹果的三维深度图片：

第五步、沿矩形边界框裁剪第二步中畸变校正后的左相机拍摄的第一苹果图片得到第一苹果图片中矩形边界框中的彩色图像，并对彩色图像中的红色区域进行提取获得红色区域提取后的二值化图像；

第六步、采用python的random库中的randint函数对第一苹果三维深度图片中矩形边界框内的三维点进行随机粗采样得到三维粗样本点集，所述的三维粗样本点集经过筛选用于苹果球面的拟合；

第七步、对第六步中获取的粗样本点集进行精筛选，具体的步骤如下：

步骤701：计算粗样本点集中粗样本点的z轴的坐标值的均值和方差：

步骤702：对于粗样本点集{P_i}，i＝1…n中每个粗样本点P_i(x_i,y_i,z_i)设置筛选区间[z_i-σ_z,z_i+σ_z]，判断粗样本点集中每一个粗样本点的z坐标值是否落在粗样本点P_i(x_i,y_i,z_i)的筛选区间内，记落在区间内的样本点总数为score[i]，score[i]即为第i个点的得分；其中，σ_z—粗样本点集中粗样本点z轴坐标值的方差；z_i—粗样本点集中第i个粗样本点的z坐标值；

步骤703：比较所有粗样本点的得分，得分最高的粗样本点所筛选得到的点集则为精筛选得到的新的样本点集{P_j}(j＝1…N)，记为I_k，N为I_k内新的样本点的个数；

第八步、使用RANSAC算法对I_k进一步筛选得到用于苹果球面拟合的最佳内点；

第九步、从最佳内点集中随机选取8个样本，使用最小二乘法的矩阵形式进行第一苹果球面拟合得到第一苹果的质心在左相机坐标系中的坐标以及第一苹果球面模型的半径。

本方法与其他现有技术相比，具有以下效益：

1.适用性广：本方法能在苹果无遮挡的情况下，准确获得苹果在空间中的三维坐标，同时在更一般的情况下如存在树叶树枝等遮挡的情况下，仍能准确获得苹果的空间三维坐标，这在复杂的果园环境之中更具有普适性与实用性，同时只要能通过苹果识别确定苹果在图片中的矩形边界框的位置，都可以通过本方法进行苹果的精确定位，而不局限于使用yolov4目标检测算法作为识别苹果的方法；

2.效率与精度高：本方法没有提取苹果上所有三维点绘制点云来进行苹果的拟合，而是选择采样苹果上少量的三维点，通过算法的筛选与优化，剔除了立体视觉匹配中没有匹配成功的错误点和苹果前景遮挡和背景干扰造成的错误点，同时在苹果分割中使用苹果识别获得的矩形框进行伪分割代替完全分割出苹果，在保证苹果定位精度的同时提高了算法的效率。

附图说明

图1为畸变校正后的左相机图片中识别到无树叶遮挡的第一苹果的图像。

图2为畸变校正后的左相机图片中识别到有树叶遮挡的第二苹果的图像。

图3为裁剪出的第一苹果的矩形边界框中红色区域提取后获得的二值图像。

图4为裁剪出的第二苹果的矩形边界框中红色区域提取后获得的二值图像。

图5为苹果识别及精准定位的程序流程图。

图6为上述步骤四第七步的程序流程图。

图7为上述步骤四第八步的程序流程图。

具体实施方式

下面结合附图对本发明的具体实施例进行详细描述。

本发明的一种双目视觉苹果识别以及精准定位的方法，包括以下步骤：

步骤一、对由左相机和右相机组成的双目相机进行标定，得到左相机和右相机的内参矩阵与畸变向量以及左相机和右相机之间的平移旋转位姿变换矩阵：

第一步，将双目相机连接在电脑上，然后使用左相机和右相机分别拍摄预先准备的棋盘格样式标定板，在拍摄的过程中旋转标定板，使标定板处于双目相机中视场的不同位置且标定板上的棋盘格角点能够完整显示，得到左相机拍摄的多张标定板图片以及右相机拍摄的多张标定板图片，同一时刻左相机拍摄的标定板图片和右相机拍摄的标定板图片组成一对标定板图片，如可以拍摄15对标定板图片；

本发明在具体实施时用到的硬件设备有工业双目相机、电脑以及两个用于识别定位的苹果；

预先准备的棋盘格标定板的制造方法可以如下：

将棋盘格纸平整的贴合在亚克力基板上得到用于单目相机标定和双目相机标定的棋盘格样式标定板：

所述的标定板上的棋盘格尺寸、每个格的尺寸可以根据应用场景选择，选择的原则是先确定在左相机的相机坐标系下左相机的光心至苹果梗上设定点的工作距离，然后计算该距离上左相机视场的X轴和Y轴长度，标定板的尺寸选择X轴和Y轴长度的1/4至1/3即可；如：棋盘格尺寸选择7行x10列的棋盘格，每个方格的尺寸为25mmx25mm,打印精度为300DPI情况下打印在A4纸上；

第二步，将采集到的多对标定板图片导入到python中，在python的OpenCV库(OpenCV是一个基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学***移向量：

单目相机标定与双目相机的标定通过python的OpenCV库实现(具体参见2021年9月人民邮电出版社出版的《OpenCV4详解基于Python》第291至309页)，OpenCV提供了丰富的用于棋盘格角点检测以及单目双目相机标定的API，可以很方便的实现相机的标定，若选择以下设备：工业双目相机选择蓝天科技的相机，型号为LT-USB1080P,相机的镜头的型号为LT-C146MM-3MP，焦距为6mm,使用的电脑的CPU型号为AMD Ryzen 7 5800H,显卡型号为NVIDIA GeForce GTX 1650,使用的苹果半径约为40mm；软件部分主要包括苹果识别程序、图像处理程序以及SGBM算法立体视觉匹配程序。

则经过单目标定和双目标定后获得的两个相机各自的内参矩阵与畸变向量以及两个相机之间的旋转矩阵以及平移向量如下：

左相机的内参矩阵：

右相机的内参矩阵：

左相机的畸变向量：dist1＝[-0.52 0.5974 0 0 0]

右相机的畸变向量：dist2＝[-0.5178 0.4581 0 0 0]

两相机之间的旋转矩阵：

两相机之间的平移向量：T＝[-129.2953 -0.6675 1.0062]

步骤二、建立用于苹果识别的模型：

所述的苹果识别的模型采用现有的公开的模型即可，该模型的作者为AlexeyAB，模型公开在他的Github仓库中，具体网址为https://github.com/AlexeyAB/darknet/ releases。

步骤三、对SGBM立体视觉匹配算法中的参数进行优化(SGBM算法具体可参见Hirschmuller H.Stereo processing by semiglobal matching and mutualinformation[J].IEEE Transactions on pattern analysis and machineintelligence,2007,30(2):328-341.(基于半全局匹配和互信息的立体处理)中所述的方法)，当步骤一中的每一对标定板图片的视差图中的标定板清晰时，记录此时SGBM算法对应的参数作为对苹果的深度测量过程中将畸变校正后左相机二维苹果图片转化为三维苹果图片时的优化后参数使用；

作为本发明的一种实施方式，所述的对SGBM立体视觉匹配算法中的参数进行优化的具体过程可以包括：

步骤301：读取步骤一中拍摄的每对标定板图片；

步骤302：对每对标定板图片分别进行畸变校正(畸变校正方法具体方法参见2021年9月人民邮电出版社出版的《OpenCV4详解基于Python》第298页)，获得校正后的无畸变标定板图片，所述的标定板图片的畸变校正通过OpenCV实现，使用步骤一中获得左相机和右相机的内参矩阵和畸变向量，通过OpenCV提供的API计算出校正图像需要的映射矩阵，再利用映射矩阵去除原始图像中的畸变；

步骤303：初始化SGBM算法，对上述步骤302畸变校正后的每对标定板图片中左相机拍摄的标定板图片和右相机拍摄的标定板图片进行视差计算和深度计算，获取多个视差图；

步骤304：不断改变SGBM算法的参数，观察每个视差图的效果，当全部视差图清晰时记录下此时的SGBM算法的参数，用于后续的深度测量。

步骤四、具体流程如图5所示，准备一个没有树叶遮挡的苹果作为第一苹果通过计算得到第一苹果的实际质心位置，具体计算过程如下：

第一步、将第一苹果放置在左相机的视野中，使得第一苹果估计的质心在左相机坐标系中的z坐标与步骤一中拍摄标定板图片时标定板中心在左相机坐标系中的z坐标相近，通常相差的z坐标在200mm之内即可，如：将第一苹果按照估计的质心位置放在左相机坐标系中，该估计的质心位置在左相机坐标系中的坐标为(0mm，0mm，1000mm)，可以将苹果长度宽度高度的一半处作为苹果质心的估计位置；

第二步、采用左相机和右相机分别拍摄一张第一苹果图片，然后对左相机和右相机拍摄到的第一苹果图片进行畸变校正；

第三步、在python中导入OpenVINO的模型推理核心库IECore对步骤二中获取的苹果识别的模型进行模型推理，获得深度学习神经网络的网络结构和权重参数，然后将畸变校正后的左相机拍摄的第一苹果图片传入Yolov4目标检测算法中(Yolov4算法可以具体参见Bochkovskiy A,Wang C Y,Liao H Y M.Yolov4:Optimal speed and accuracy ofobject detection[J].arXiv preprint arXiv:2004.10934,2020.(Yolov4:目标检测的最佳速度和精度))，识别图片中的苹果，并生成与第一苹果外轮廓相切的矩形边界框，识别到的第一苹果的图片如图1所示；

第四步、采用步骤三中已完成参数优化的SGBM立体视觉匹配算法对畸变校正后的左相机拍摄的第一苹果图片和畸变校正后的右相机拍摄的第一苹果图片进行立体视觉匹配，将第一苹果的二维图片扩展为第一苹果的三维深度图片：

本步骤中对校正后的左相机图片和右相机图片进行立体匹配使用SGBM算法，SGBM算法作为一种半全局匹配算法，立体匹配效果明显好于局部匹配算法BM算法，可以实现很高的精度，满足苹果精确定位的要求；由于SGBM算法获得的不是最优结果，因此需要调整参数以获得足够好的算法效果，此处的参数使用步骤三中经过优化获得的参数，并对步骤四第二步畸变校正后的左相机和右相机拍摄的第一苹果图片进行视差计算，进一步可以获得三维深度图，三维深度图中的z轴即为深度信息；

第五步、沿矩形边界框裁剪第二步中畸变校正后的左相机拍摄的第一苹果图片得到第一苹果图片中矩形边界框中的彩色图像，并对彩色图像中的红色区域进行提取获得红色区域提取后的二值化图像；

作为本发明的一种实施方式，获得该二值化图像的具体过程如下：

步骤501：裁剪出矩形边界框内的彩色图像，并将该彩色图像转化到HSV颜色空间；

步骤502：步骤501所述的HSV颜色空间中，H分量(色调)受光照影响较小，所以在果园中复杂的光照条件下，设置H分量的阈值来分割出彩色图像中的红色区域的方法更加可靠，红色区域对应的H分量有两个范围，为0-10和156-180，设置好阈值，筛选得到两个二值图像；

步骤503：将步骤502获得的两个二值图像叠加，获得一个新的二值图像，新的二值图像中的白色(像素值为255)对应为步骤501中裁剪出的彩色图像中的红色，二值图像的黑色(像素值为0)对应为步骤501中裁剪出的彩色图像中的其他颜色，图1中识别到的第一苹果的矩形边界框进行红色区域提取后的二值图如图3所示。

第六步、采用python的random库中的randint函数对第一苹果三维深度图片中矩形边界框内的三维点进行随机粗采样得到三维粗样本点集，所述的三维粗样本点集经过筛选用于苹果球面的拟合。

所述的随机粗采样的具体步骤可以如下：

步骤601：从图3中红色区域提取后获得的二值图像中随机取样得到取样点在像素坐标系下的x坐标和y坐标；

步骤602：判断该取样点的坐标对应的二值图像的像素值，如果为255则选中的为红色的区域，继续判断立体视觉匹配获得的三维深度图片上该像素点对应的z轴坐标值是否在设定区间之间，这个设定区间的选择由苹果识别的工作距离决定，如：苹果识别的工作距离为500～2000mm，则判断立体视觉匹配获得的三维深度图片上该像素点对应的z轴坐标值是否在500～2000mm之间，若满足条件，则将三维坐标点保存为苹果球面拟合的三维粗样本点P_i，否则舍弃该样本点，然后执行下一步；

步骤603：返回步骤601获取像素坐标系中的二维坐标，然后继续执行步骤602至603得到三维粗样本点P_i(x_i,y_i,z_i)直至采集足够数量的粗样本点后停止采样，得到三维粗样本点集{P_i}(i＝1…n)，考虑算法的精度和效率，举例说明：本实例中采样了100个粗样本点后停止继续采样，得到粗样本点集{P_i}(i＝1…100)；粗采样获得的样本点可以有效避免采样到矩形边界框内的非红色区域对应的三维点和SGBM算法中因错误匹配而产生的空洞处的错误的三维点(三维坐标的z值为无穷大)。

第七步、对第六步中获取的粗样本点集进行精筛选：

所述的对粗样本点集进行精筛选即通过算法筛选剔除一些由于裁剪出的矩形图片四个角呈现出的背景上的红色区域的三维点，这些红色区域经过颜色分割也会成为二值图像中的白色区域，因此粗样本点集中可能会有此类错误的样本点，这类错误样本点与正确样本点的z轴的坐标值相对于x和y轴坐标值有较大离群特性，因此对z轴坐标值的筛选可以有效剔除这类错误样本点，因此筛选针对z轴的坐标值进行，具体的步骤如下：

步骤701：计算粗样本点集中粗样本点的z轴的坐标值的均值和方差：

/>

μ_z——粗样本点集中粗样本点z轴坐标值的均值

σ_z——粗样本点集中粗样本点z轴坐标值的方差

z_i——粗样本点集中第i个粗样本点的z坐标值

n——粗样本点集中粗样本点的个数

步骤702：对于粗样本点集{P_i}，i＝1…n(如：{P_i}(i＝1…100))中每个粗样本点P_i(x_i,y_i,z_i)设置筛选区间[z_i-σ_z,z_i+σ_z]，判断粗样本点集中每一个粗样本点的z坐标值是否落在粗样本点P_i(x_i,y_i,z_i)的筛选区间内，记落在区间内的样本点总数为score[i]，score[i]即为第i个点的得分；

步骤703：比较所有粗样本点的得分，得分最高的粗样本点所筛选得到的点集则为精筛选得到的新的样本点集{P_j}(j＝1…N)，记为I_k，N为I_k内新的样本点的个数；

第八步、使用RANSAC算法((具体参见Choi S，Kim T，YuW.Performanceevaluation of RANSAC family[J].Journal of Computer Vision,1997,24(3):271-300.(RANSAC算法类的性能评估)))对I_k进一步筛选得到用于苹果球面拟合的最佳内点；

作为本发明的一种实施方式，所述的采用RANSAC算法获取最佳内点具体步骤如下：

步骤801：从第七步中获取的I_k中随机选取4个样本点，由于要求解的模型共有4个未知参数，故初始化模型需要的最少样本点个数为4个，使用最小二乘法的矩阵形式对第一苹果球面进行拟合，获得第一苹果的质心坐标(a,b,c)和第一苹果的半径r；

步骤802：遍历I_k中所有样本点，计算每个样本点到球面的最近距离，得到d_j(j＝1…N)；

步骤803：进行判断，若d_j≤10(mm)，则将对应的样本点P_j作为内点保存在样本一致集S中；

步骤804：经步骤803获得的样本一致集S中的内点个数为l；若l＞0.9N，则获得样本一致集S，其中的内点{T_i}(i＝1…l)即为最佳拟合内点集，否则返回步骤801再随机选取4个样本点继续进行迭代，直到获得样本一致集S。

第九步、考虑精度与效率，从最佳内点集中随机选取8个样本，使用最小二乘法的矩阵形式进行第一苹果球面拟合得到第一苹果的质心在左相机坐标系中的坐标以及第一苹果球面模型的半径。

所述的使用最小二乘法的矩阵形式进行球面拟合的具体原理为：

假设第一苹果模型为空间球面，其方程为：

(x-a)²+(y-b)²+(z-c)²＝r²

(x,y,z)——球面上的坐标点；

(a,b,c)——第一苹果的质心在左相机坐标系中的坐标

r——第一苹果球面模型的半径；

对其展开得：

-2xa-2yb-2zc+(a²+b²+c²-r²)＝-x²-y²-z²

转化成矩阵形式得到：

A₁＝-2x,A₂＝-2y,A₃＝-2z,A₄＝1,d＝a²+b²+c²-r²,e＝-x²-y²-z²；

当有8个样本(x_i,y_i,z_i)(i＝1…8)进行球面拟合时，就转化成了Aβ＝e的形式，其中：

进一步左右同时左乘A^T得：

A^TAβ＝A^Te

最后两边同时左乘(A^TA)^-1得：

β＝(A^TA)^-1*(A^Te)

根据步骤603的举例:经过第七步计算第一苹果的样本点的均值和方差为μ_z＝964.0626mmσ_z＝10.8990mm，筛选后的精样本点个数为68个。通过第八步计算获得第一苹果的最佳内点集中有66个样本点。采用第九步进行苹果球面拟合，当第一苹果的估计质心放置在左相机坐标系中(0mm 0mm 1000mm)处时，计算得到的第一苹果的质心坐标为(2.3428mm-5.7377mm 995.1694mm)，半径为r＝44.4725mm，定位精度均能满足苹果采摘的需求，能够实现苹果质心的精准定位。

验证实施例：

将第一步中的第一苹果更换为一个有树叶遮挡的苹果，有树叶遮挡的苹果记为第二苹果，重复步骤四的第二步至第九步，第三步中识别到的第二苹果的图片如图2所示，第五步中获得的二值图如图4所示，第七步中第二苹果样本点的均值和方差为μ_z＝977.8539mmσ_z＝19.0748mm，最终获得的第二苹果的质心坐标为(6.48mm-1.14mm997.9085mm)，半径为r＝44.3907mm，同样能够实现有树叶遮挡的情况下的精准定位，能够满足苹果采摘的精度要求。

Claims (5)

1.一种双目视觉苹果识别以及精准定位的方法，其特征在于包括以下步骤：

步骤一、对由左相机和右相机组成的双目相机进行标定，得到左相机和右相机的内参矩阵与畸变向量以及左相机和右相机之间的平移旋转位姿变换矩阵：

第一步，将双目相机连接在电脑上，然后使用左相机和右相机分别拍摄预先准备的棋盘格样式标定板，在拍摄的过程中旋转标定板，使标定板处于双目相机中视场的不同位置且标定板上的棋盘格角点能够完整显示，得到左相机拍摄的多张标定板图片以及右相机拍摄的多张标定板图片，同一时刻左相机拍摄的标定板图片和右相机拍摄的标定板图片组成一对标定板图片；

第二步，将采集到的多对标定板图片导入到python中，在python的OpenCV库中采用张正友标定法对左相机和右相机进行单目标定以及对双目相机进行双目标定，得到左相机和右相机的内参矩阵与畸变向量以及左相机和右相机之间的旋转矩阵以及平移向量：

步骤二、建立用于苹果识别的模型：

步骤三、对SGBM立体视觉匹配算法中的参数进行优化，当步骤一中的每一对标定板图片的视差图中的标定板清晰时，记录此时SGBM算法对应的参数作为对苹果的深度测量过程中将畸变校正后左相机二维苹果图片转化为三维苹果图片时的优化后参数使用；

步骤四、准备一个没有树叶遮挡的苹果作为第一苹果通过计算得到第一苹果的实际质心位置，具体计算过程如下：

第一步、将第一苹果放置在左相机的视野中，使得第一苹果估计的质心在左相机坐标系中的z坐标与步骤一中拍摄标定板图片时标定板中心在左相机坐标系中的z坐标相近；

第二步、采用左相机和右相机分别拍摄一张第一苹果图片，然后对左相机和右相机拍摄到的第一苹果图片进行畸变校正；

第三步、在python中导入OpenVINO的模型推理核心库IECore对步骤二中获取的苹果识别的模型进行模型推理，获得深度学习神经网络的网络结构和权重参数，然后将畸变校正后的左相机拍摄的第一苹果图片传入Yolov4目标检测算法中，识别图片中的苹果，并生成与第一苹果外轮廓相切的矩形边界框；

第四步、采用步骤三中已完成参数优化的SGBM立体视觉匹配算法对畸变校正后的左相机拍摄的第一苹果图片和畸变校正后的右相机拍摄的第一苹果图片进行立体视觉匹配，将第一苹果的二维图片扩展为第一苹果的三维深度图片：

第五步、沿矩形边界框裁剪第二步中畸变校正后的左相机拍摄的第一苹果图片得到第一苹果图片中矩形边界框中的彩色图像，并对彩色图像中的红色区域进行提取获得红色区域提取后的二值化图像；

第六步、采用python的random库中的randint函数对第一苹果三维深度图片中矩形边界框内的三维点进行随机粗采样得到三维粗样本点集，所述的三维粗样本点集经过筛选用于苹果球面的拟合；

第七步、对第六步中获取的粗样本点集进行精筛选，具体的步骤如下：

步骤701：计算粗样本点集中粗样本点的z轴的坐标值的均值和方差：

步骤702：对于粗样本点集{P_i}，i＝1…n中每个粗样本点P_i(x_i,y_i,z_i)设置筛选区间[z_i-σ_z,z_i+σ_z]，判断粗样本点集中每一个粗样本点的z坐标值是否落在粗样本点P_i(x_i,y_i,z_i)的筛选区间内，记落在区间内的样本点总数为score[i]，score[i]即为第i个点的得分；其中，σ_z—粗样本点集中粗样本点z轴坐标值的方差；z_i—粗样本点集中第i个粗样本点的z坐标值；

步骤703：比较所有粗样本点的得分，得分最高的粗样本点所筛选得到的点集则为精筛选得到的新的样本点集{P_j},j＝1…N，记为I_k，N为I_k内新的样本点的个数；

第八步、使用RANSAC算法对I_k进一步筛选得到用于苹果球面拟合的最佳内点；

第九步、从最佳内点集中随机选取8个样本，使用最小二乘法的矩阵形式进行第一苹果球面拟合得到第一苹果的质心在左相机坐标系中的坐标以及第一苹果球面模型的半径。

2.根据权利要求1所述的双目视觉苹果识别以及精准定位的方法，其特征在于，所述的对SGBM立体视觉匹配算法中的参数进行优化的具体过程包括：

步骤301：读取步骤一中拍摄的每对标定板图片；

步骤302：使用步骤一中获得左相机和右相机的内参矩阵和畸变向量，通过OpenCV提供的API计算出校正图像需要的映射矩阵，再利用映射矩阵去除每对标定板图片中的畸变，获得校正后的无畸变标定板图片；

步骤303：初始化SGBM算法，对上述步骤302畸变校正后的每对标定板图片中左相机拍摄的标定板图片和右相机拍摄的标定板图片进行视差计算和深度计算，获取多个视差图；

步骤304：不断改变SGBM算法的参数，观察每个视差图的效果，当全部视差图清晰时记录下此时的SGBM算法的参数。

3.根据权利要求1或者2所述的双目视觉苹果识别以及精准定位的方法，其特征在于，获得该二值化图像的具体过程如下：

步骤501：裁剪出矩形边界框内的彩色图像，并将该彩色图像转化到HSV颜色空间；

步骤502：步骤501所述的HSV颜色空间中，设置H分量的阈值分割出彩色图像中的红色区域，红色区域对应的H分量有两个范围，为0-10和156-180，然后筛选得到两个二值图像；

步骤503：将步骤502获得的两个二值图像叠加，获得一个新的二值图像，新的二值图像中的白色对应为步骤501中裁剪出的彩色图像中的红色，二值图像的黑色对应为步骤501中裁剪出的彩色图像中的其他颜色。

4.根据权利要求3所述的双目视觉苹果识别以及精准定位的方法，其特征在于：所述的随机粗采样的具体步骤如下：

步骤601：从红色区域提取后获得的二值图像中随机取样得到取样点在像素坐标系下的x坐标和y坐标；

步骤602：判断该取样点的坐标对应的二值图像的像素值，如果为255则选中的为红色的区域，继续判断立体视觉匹配获得的三维深度图片上该像素点对应的z轴坐标值是否在设定区间之间，若在设定区间之间，则将三维坐标点保存为苹果球面拟合的三维粗样本点P_i，否则舍弃该样本点，然后执行下一步；

步骤603：返回步骤601获取像素坐标系中的二维坐标，然后继续执行步骤602至603得到三维粗样本点P_i(x_i,y_i,z_i)直至采集足够数量的粗样本点后停止采样，得到三维粗样本点集{P_i},i＝1…n。

5.根据权利要求4所述的双目视觉苹果识别以及精准定位的方法，其特征在于：所述的采用RANSAC算法获取最佳内点具体步骤如下：

步骤801：从步骤四第七步中获取的I_k中随机选取4个样本点，使用最小二乘法的矩阵形式对第一苹果球面进行拟合，获得第一苹果的质心坐标(a,b,c)和第一苹果的半径r；

步骤802：遍历I_k中所有样本点，计算每个样本点到球面的最近距离，得到d_j,j＝1…N；

步骤803：进行判断，若d_j≤10(mm)，则将对应的样本点P_j作为内点保存在样本一致集S中；

步骤804：经步骤803获得的样本一致集S中的内点个数为l；若l>0.9N，则获得样本一致集S，其中的内点{T_i},i＝1…l即为最佳拟合内点集，否则返回步骤801再随机选取4个样本点继续进行迭代，直到获得样本一致集S；

第九步、从最佳内点集中随机选取8个样本，使用最小二乘法的矩阵形式进行第一苹果球面拟合。

Images