CN112337810B - 一种视觉引导分拣珍珠机器人及其分拣方法 - Google Patents

Abstract

本发明公开了一种视觉引导分拣珍珠机器人，其特征在于，包括自动下料模块、机器视觉图像采集模块、分拣模块以及控制模块，所述自动下料模块、机器视觉图像采集模块和分拣模块均与控制模块连接；本发明还公开了分拣珍珠机器人的分拣方法，改进的分水岭分割算法，避免珍珠过分割现象；根据珍珠分级的国家标准构建珍珠形状参数数学模型，实现对分散、粘连等不同状态下的珍珠进行识别和形状参数的计算，通过运用质心法并对机械臂进行手眼标定，确定珍珠质心位置，从而驱动机械臂对不同形状等级的珍珠进行分拣。

Description

一种视觉引导分拣珍珠机器人及其分拣方法

技术领域

本发明属于分拣机器人技术领域，涉及一种视觉引导分拣珍珠机器人，本发明还涉及上述分拣珍珠机器人的分拣方法。

背景技术

珍珠具有瑰丽的色彩、高雅的气质及美好的寓意，是我国农业的一个特殊产品。经过几十年的发展，我国珍珠年产量已达到世界珍珠总产量的73％，但产值与庞大的产量不相匹配，目前不到全球总产值的10％，形成了高产低值的现象。数量与价格的严重失衡，对整个行业的发展带来了不利影响。为确保珍珠的品质从而提高珍珠产值，可对珍珠进行分选。现阶段珍珠分选仍以人工分拣为主，珍珠的人工分拣虽具有柔性高、可以全方位评判等优势，但也存在不足：①劳动强度大，耗时费力，效率不高；②劳动者疲劳会影响判断正确性，造成漏检、误检；③容易由于主观因素导致分级质量参差不齐；④检测人员长时间目测耀眼的珍珠，对眼睛伤害大。人工分拣在一定程度上限制了珍珠产值的提高。

发明内容

本发明的目的是提供一种视觉引导分拣珍珠机器人，解决了现有技术中存在的人工分拣费时费力，效率低，分拣人员长时间目测耀眼的珍珠，对眼睛伤害大的问题。

本发明的另一目的是提供上述分拣珍珠机器人的分拣方法。

本发明所采用的技术方案是，一种视觉引导分拣珍珠机器人，包括自动下料模块、机器视觉图像采集模块、分拣模块以及控制模块，自动下料模块、机器视觉图像采集模块和分拣模块均与控制模块连接；

自动下料模块包括支架，支架上连接有上下开口的料箱，料箱底部插接有挡板，挡板一端连接电磁铁一端，电磁铁另一端与支架连接，支架上还连接有斜面板；

机器视觉图像采集模块包括相机支架，相机支架上滑动连接相机，相机上设有定焦镜头，相机下方设有灯箱，灯箱内设有LED灯光贴片，灯箱一边连接斜面板；

分拣模块包括底座和分拣盒，底座连接机械臂一端，机械臂内设有步进电机和角度传感器，机械臂另一端连接舵机一端，舵机另一端连接吸盘，吸盘通过吸管连接气泵，底座内还设有与气泵连接的电磁阀，分拣盒设于灯箱异于斜面板一侧。

本发明的特点还在于：

支架包括垂直连接的底板和立板，立板上连接有L型板，料箱与斜面板均与立板连接，电磁铁另一端与L型板连接。

灯箱的横切面为四边形，灯箱一边连接斜面板、其他三边均设有用于防止珍珠滚落的凸台，凸台高5cm。

机械臂包括与底座转动连接的腰部，腰部通过腰关节连接大臂，大臂通过大关节连接小臂，小臂通过小关节连接舵机。

腰关节、大关节和小关节内均设有步进电机和角度传感器，步进电机的输出轴分别与大臂、小臂和舵机连接，底座内还设有用于驱动腰关节转动的步进电机。

本发明所采用的另一种技术方案是，一种视觉引导分拣珍珠机器人的分拣方法，采用分拣珍珠机器人，具体按照以下步骤实施：

步骤1、利用相机采集掉落于灯箱上的珍珠的图像并传输给计算机；

步骤2、使用MATLAB图像处理软件对相机采集到的原始图像进行处理；

步骤3、运用改进的分水岭算法分割珍珠图像中接触的珍珠颗粒区域；

步骤4、再次使用MATLAB图像处理软件处理经步骤2分割后的珍珠图像，平滑处理珍珠轮廓区域并提取珍珠轮廓；

步骤5、通过构建珍珠形状参数模型，测量珍珠轮廓形状并定位；

步骤6、对机械臂进行手眼标定，确定坐标转换系数；

步骤7、将信号传输给机械臂控制器，机械臂控制器控制步进电机、角度传感器和气泵，根据珍珠不同形状级别，将珍珠分拣至分拣盒中。

本发明另一技术方案的特点还在于：

步骤3具体包括以下步骤：

步骤3.1、基于步骤2.1处理后的图像，计算珍珠图像的梯度图像；

步骤3.2、在步骤3.1获取的梯度图像基础上对珍珠图像进行前景标记和背景标记；

步骤3.3、运用分水岭算法分割在步骤3.2获取的标记后珍珠图像中的粘连区域。

步骤4具体包括以下步骤：

步骤4.1、建立圆形结构元素，对步骤3获取的分割后的珍珠图像进行闭运算操作；

步骤4.2、使用连通域标记，将图像中的不同区域标记为不同的颜色；

步骤4.3、使用Canny算子边缘检测方法提取珍珠轮廓特征。

步骤5具体包括以下步骤：

步骤5.1、构建珍珠形状参数模型，测量步骤4获取的珍珠轮廓形状参数；

步骤5.2、采用质心法计算珍珠质心位置。

步骤5.2采用质心法计算珍珠的质心位置，其表达式为：

式中，(x_c,y_c)为质心位置，I_ij为珍珠图像上每个像素点位置的灰度值。

本发明的有益效果是：本发明方案中提出的改进的分水岭算法，是在传统分水岭算法的基础上进行了前后背景的标记，避免了使用传统分水岭算法分割时产生的珍珠过分割现象；并根据珍珠分级的国家标准，构建了基于图像的珍珠形状参数数学模型，对珍珠形状进行量化表达。

附图说明

图1是本发明一种视觉引导分拣珍珠机器人的结构示意图；

图2是本发明一种视觉引导分拣珍珠机器人采集的珍珠原图；

图3是本发明一种视觉引导分拣珍珠机器人的分拣方法的流程图。

图中，1.相机支架，2.相机，3.定焦镜头，4.舵机，5.吸盘，6.料箱，7.挡板，8.斜面板，9.电磁铁，10.支架，11.吸管，12.气泵，13.计算机，14.灯箱，15.珍珠，16.凸台，17.小臂，18.大关节，19.大臂，20.腰部，21.底座，22.分拣盒。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种珍珠形状分拣机器人，如图1所示，包括自动下料模块、机器视觉图像采集模块、分拣模块以及控制模块，机器视觉图像采集模块和分拣模块均与控制模块连接，控制模块具体为计算机13；

自动下料模块包括支架10，支架10包括垂直连接的底板和立板，立板一侧连接有L型板，立板上连接有上下开口的料箱6，料箱6下端开口大小允许3-4颗珍珠同时落下，料箱6底部插接有挡板7，挡板7一端连接电磁铁9磁芯一端，电磁铁9另一端与L型板连接，电磁铁9连接电源，电源开关与计算机13连接，电磁铁9通电并进行往复运动，立板上还连接有斜面板8，斜面板8通过料箱6下端，珍珠15从料箱6下端开口经斜面板8掉落至设于料箱6下端的灯箱14上；

机器视觉图像采集模块包括设于灯箱一侧的T型相机支架1，相机支架1包括横杆和立杆，横杆与立杆滑动连接，相机支架1上滑动连接相机2，相机2上设有定焦镜头3，灯箱14位于相机2下方，灯箱14内设有LED灯光贴片，灯箱14的横切面为四边形，灯箱14一边连接斜面板8、其他三边均设有用于防止珍珠滚落的凸台16，凸台16高5cm，相机2与计算机连接；

分拣模块包括底座21和分拣盒22，底座21连接机械臂一端，机械臂内设有步进电机和角度传感器，机械臂另一端连接舵机4一端，舵机4另一端连接吸盘5，吸盘5通过舵机4驱动完成指定任务，吸盘5通过吸管11连接气泵12，气泵12连接设置于底座21内的电磁阀，电磁阀连接机械臂控制器，分拣盒22设于灯箱14异于斜面板8一侧，机械臂包括与底座21转动连接的腰部20，腰部20通过腰关节连接大臂19，大臂19通过大关节18连接小臂17，小臂17通过小关节连接舵机4，腰关节、大关节18、小关节内均设有步进电机和角度传感器，步进电机的输出轴分别与大臂19、小臂17和舵机4连接，底座21内还设有用于控制腰关节转动的步进电机，步进电机和角度传感器均与设置于底座内的机械臂控制器连接，机械臂控制器与计算机连接。

本发明一种珍珠形状分拣机器人，其工作原理如下：电磁铁通电后进行往复运动，珍珠从料箱下端经斜面板掉落至灯箱上，通过设置调整相机上的定焦镜头，同时调整相机位置对掉落在灯箱上珍珠进行拍照，如图2所示，并将照片传输给计算机，计算机对珍珠图像进行处理，通过分水岭算法实现对粘连珍珠的分割，运用Canny算子边缘检测方法提取珍珠轮廓特征，根据珍珠分级的国家标准构建珍珠形状参数数学模型，实现对分散、粘连等不同状态下的珍珠进行识别和形状参数的计算，通过运用质心法并对机械臂进行手眼标定，确定珍珠质心位置，然后发出驱动机械臂对不同形状等级的珍珠进行分拣指令，启动步进电机驱动大臂与腰部之间的腰关节旋转、大关节和小关节摆动，这样，在三个关节的动作下，舵机上的吸盘能跟随机械臂的摆动而移动位置，机械臂控制器向电磁阀发出指令控制吸盘的吸合，进而使得吸盘可以吸取灯箱上的珍珠至分拣盒内。

本发明一种视觉引导分拣珍珠机器人的分拣方法，采用上述分拣珍珠机器人，具体按照以下步骤实施：

步骤1、利用CMOS相机采集掉落于在灯箱上的珍珠的图像，具体为，在避免各种光线干扰的情况下，调节CMOS相机的焦距和光圈，使灯箱上的珍珠轮廓清晰，采集珍珠图像，如图2所示；

步骤2、使用MATLAB图像处理软件对相机采集到的原始图像进行处理，具体为，对步骤1获取的珍珠原始图像进行灰度化处理、滤波处理、图像分割，提取图像中珍珠目标区域；

更具体的说，一般情况下，成像***获取的原始图像由于种种限制和干扰，导致原始图像不能直接使用，需要对原始图像的视觉信息进行处理；

图像预处理包括图像灰度化和图像滤波，对珍珠形状提取时，不考虑珍珠表面的颜色与纹理等信息，因此对原始珍珠图像进行灰度化处理，为减少采集的图像数据中的噪声等干扰，对图像进行滤波处理，中值滤波不仅具有单一的快速性，而且具有明显的去噪效果，能够突出图像的边缘特征信息，因此采用中值滤波法，中值滤波是使用点场中其他点的中间值来替换图像中每个像素的灰度值，中位数作为坐标点(x,y)的灰度输出值为：

式中，A为滤波窗口；

为了识别和分析图像中目标部分，需要将目标从背景中提取出来；基于概率统计原理和最小二乘法，最大类间方差法根据图形中灰色阴影的分布特性将目标与背景分离，得到理想的二值化图像；设ω₀为图像的前景点占图像的比例，u₀为平均灰度，ω₁为背景点占图像的比例，u₁为平均灰度，u为图像的平均灰度，则：

u＝ω₀×u₀+ω₁×u₁ (2)

则前景和背景的方差为：

g＝ω₀×(u₀-u)²+ω×(u₁-u)² (3)

联立上两式可得：

当前景和背景的差异g最大时，灰度T为最佳分割阈值；

步骤3、运用改进的分水岭算法分割珍珠图像中接触的珍珠颗粒区域；具体包括以下步骤：

3.1、基于步骤2获取的目标与背景分割图像，计算珍珠图像的梯度图像；

3.2、在步骤3.1获取的梯度图像基础上对珍珠图像进行前景标记和背景标记；

3.3、运用分水岭算法分割在步骤3.2获取的标记后珍珠图像中的粘连区域；

具体的说，由于原图像中存在大量的接触目标，运用最大类间方差法不能直接分割粘连颗粒，所以要用图像分割算法实现对接触珍珠颗粒的正确分割；由于腐蚀膨胀法和凹点检测分割算法都对珍珠目标边缘产生破坏，所以选择分水岭方法分割接触的珍珠颗粒区域；

首先进行形态学梯度计算，设β_i为不同尺度结构元素的权值，T_j(x,y)为各尺度下滤波后的图像，则形态学滤波结果为：

为了抑制算法的过分割现象，把梯度图像作为输入图像，形态学梯度定义为：

式中f为输入图像，b_j(1≤j≤m)为结构元素，m为尺度参数；

然后进行图像标记，使用形态学腐蚀算法标记前景珍珠区域，计算腐蚀图像的欧氏距离，标记背景的连通区域，对梯度图像进行修改，将前景标记和背景标记设置为局部最小值，然后再使用分水岭算法分割图像，其表达式为：

g(x,y)＝grad(f(x,y))＝{[f(x-1,y)]²[f(x,y)-1]²}^0.5 (7)

式中，f(x,y)表示原始图像，grad{.}表示梯度运算；

步骤4、再次使用MATLAB图像处理软件处理分割好的珍珠图像，平滑处理珍珠轮廓区域并提取珍珠轮廓，具体包括以下步骤：

4.1、建立圆形结构元素，对在步骤3.3获取的分割后的珍珠图像进行闭运算操作；

4.2、使用连通域标记，将图像中的不同区域标记为不同的颜色；

4.3、使用Canny算子边缘检测方法提取珍珠轮廓特征；

具体的说，通过分水岭算法能够对粘连的珍珠进行分割，但是珍珠边缘比较粗糙，珍珠轮廓区域存在孔洞等问题，故采用形态学进行处理；

由于珍珠为类圆形的形状，因此建立圆形的结构元素，对分割后的珍珠图像进行闭运算操作，平滑其边界；

以4或8邻域对平滑边缘后的珍珠进行标记，得到的连通域颜色标记图像，不同颜色代表不同的区域，每个区域都是独立的部分；

使用Canny算子边缘检测方法提取珍珠轮廓特征，Canny算子可以通过对信噪比、定位精度、单边缘响应三个指标的运算得到最后的轮廓，其中信噪比公式为：

定位精度指标公式为：

单边缘响应应满足的条件为：

步骤5、通过构建珍珠形状参数模型，测量珍珠轮廓形状并定位；具体包括以下步骤：

5.1、构建珍珠形状参数模型，测量在步骤4.4获取的珍珠轮廓形状参数；

5.2、采用质心法计算珍珠质心位置；

具体的说，珍珠的形状以圆形为主，还有椭圆类、扁圆形类和异形等不规则形状，通过构建珍珠形状参数模型，测量珍珠形状参数，确定珍珠形状的不同级别，珍珠形状参数模型为：

式中，d_max为珍珠的最大直径，d_min为珍珠的最小直径，为最大直径和最小直径的平均值，d_i为任意直径，i珍珠轮廓上像素数直径百分比越小，珍珠形状越接近圆形；反之则越不圆，根据国家标准规定，按珍珠轮廓形状参数将珍珠划分为不同等级；

然后采用质心法计算珍珠的位置，其表达式为：

式中，(x_c,y_c)为质心位置，I_ij为珍珠图像上每个像素点位置的灰度值；

步骤6、对机械臂进行手眼标定，确定坐标转换系数；

具体的说，对相机中心建立空间直角坐标系，Z_c轴方向与相机光轴方向一致，并且正方向为自上而下；X_c轴和Y_c轴平行于工作平面；珍珠坐标原点为O_w，X_w轴、Y_w轴和Z_w轴三个坐标轴的方向与相机的坐标轴方向相同；在工作平面上，珍珠的坐标为(x_w,y_w,0)，d到珍珠平面的距离，则珍珠在相机坐标系下的坐标为：

手眼标定方法是通过求解标定过程中的一系列坐标矩阵，将其作为转换公式，最终推导出相机坐标系到机械臂末端坐标系的转换矩阵^camH_base；坐标变换公式为：

式中，表示机械臂第i次姿态调整后所获得的相机坐标系到标定板坐标系的转换矩阵，/>表示机械臂基坐标系到工具坐标系的转换矩阵，^toolH_cal可以看作不同姿态下，求解相机相对于标定板外参的任务；

步骤7、将信号传输给机械臂控制器，机械臂控制器控制步进电机、角度传感器和气泵，根据珍珠不同形状级别，将珍珠分拣至分拣盒中。

本发明一种珍珠形状分拣机器人，其优点在于：珍珠形状分拣机器人采用了机器视觉图像采集***，通过计算机图像识别，对珍珠的形状、位置进行自动识别，通过计算机传输信号给机械臂控制***，驱动机械手臂对珍珠进行分拣，实现将不同形状等级珍珠分拣至不同分拣盒内，减少人工劳动，提高分拣效率；一种视觉引导分拣珍珠机器人的分拣方法，提出的改进的分水岭算法，是在传统分水岭算法的基础上进行了前后背景的标记，避免了使用传统分水岭算法分割时产生的珍珠过分割现象；并根据珍珠分级的国家标准，构建了基于图像的珍珠形状参数数学模型，对珍珠形状进行量化表达。

Claims (3)

1.一种视觉引导分拣珍珠机器人的分拣方法，其特征在于，包括自动下料模块、机器视觉图像采集模块、分拣模块以及控制模块，所述自动下料模块、机器视觉图像采集模块和分拣模块均与控制模块连接；

所述自动下料模块包括支架（10），所述支架（10）上连接有上下开口的料箱（6），所述料箱（6）底部插接有挡板（7），所述挡板（7）一端连接电磁铁（9）一端，所述电磁铁（9）另一端与支架（10）连接，所述支架（10）上还连接有斜面板（8）；

所述机器视觉图像采集模块包括相机支架（1），所述相机支架（1）上滑动连接相机（2），所述相机（2）上设有定焦镜头（3），所述相机（2）下方设有灯箱（14），所述灯箱（14）内设有LED灯光贴片，所述灯箱（14）一边连接所述斜面板（8）；

所述分拣模块包括底座（21）和分拣盒（22），所述底座（21）连接机械臂一端，所述机械臂内设有步进电机和角度传感器，所述机械臂另一端连接舵机（4）一端，所述舵机（4）另一端连接吸盘（5），所述吸盘（5）通过吸管（11）连接气泵（12），所述底座（21）内还设有与气泵（12）连接的电磁阀，所述分拣盒（22）设于灯箱（14）异于斜面板（8）一侧；

具体按照以下步骤实施：

步骤1、利用相机采集掉落于灯箱上的珍珠的图像并传输给计算机；

步骤2、使用MATLAB图像处理软件对相机采集到的原始图像进行处理；

步骤3、运用改进的分水岭算法分割珍珠图像中接触的珍珠颗粒区域；

步骤4、再次使用MATLAB图像处理软件处理经步骤2分割后的珍珠图像，平滑处理珍珠轮廓区域并提取珍珠轮廓；

步骤5、通过构建珍珠形状参数模型，测量珍珠轮廓形状并定位；

步骤6、对机械臂进行手眼标定，确定坐标转换系数；

步骤7、将信号传输给机械臂控制器，机械臂控制器控制步进电机、角度传感器和气泵，根据珍珠不同形状级别，将珍珠分拣至分拣盒中；

所述步骤4具体包括以下步骤：

步骤4.1、建立圆形结构元素，对步骤3获取的分割后的珍珠图像进行闭运算操作；

步骤4.2、使用连通域标记，将图像中的不同区域标记为不同的颜色；

步骤4.3、使用Canny算子边缘检测方法提取珍珠轮廓特征；

所述步骤5具体包括以下步骤：

步骤5.1、构建珍珠形状参数模型，测量步骤4获取的珍珠轮廓形状参数；

步骤5.2、采用质心法计算珍珠质心位置；

珍珠形状参数模型为：

式中，为珍珠的最大直径，/>为珍珠的最小直径，/>为最大直径和最小直径的平均值，/>为任意直径，/>珍珠轮廓上像素数直径百分比越小，珍珠形状越接近圆形；反之则越不圆。

2.根据权利要求1所述的一种视觉引导分拣珍珠机器人的分拣方法，其特征在于，所述步骤3具体包括以下步骤：

步骤3.1、基于步骤2.1处理后的图像，计算珍珠图像的梯度图像；

步骤3.2、在步骤3.1获取的梯度图像基础上对珍珠图像进行前景标记和背景标记；

步骤3.3、运用分水岭算法分割在步骤3.2获取的标记后珍珠图像中的粘连区域。

3.根据权利要求1所述的一种视觉引导分拣珍珠机器人的分拣方法，其特征在于，所述步骤5.2采用质心法计算珍珠的质心位置，其表达式为：

式中，为质心位置，/>为珍珠图像上每个像素点位置的灰度值。