CN107945192B - 一种托盘纸箱垛型实时检测方法 - Google Patents

Abstract

本发明涉及一种托盘纸箱垛型实时检测方法，其步骤：由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；提取边缘轮廓，并利用二值图像得到直线的边缘轮廓，提取边缘轮廓的所有坐标得到最上层纸箱的边缘点；把深度图像上面的边缘点的坐标映射到RGB图像上；对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息；根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测。

Description

一种托盘纸箱垛型实时检测方法

技术领域

本发明涉及一种物流领域垛型检测方法，特别是关于一种托盘纸箱垛型实时检测方法。

背景技术

在工业4.0的大时代和互联网大时代下，越来越多的智能产品也在不断地增长，物流就越来越多的成为了人们生活的主题。京东、阿里巴巴以及亚马逊等一个一个的物流公司也逐渐的出现。但由于中国的国情和人口的因素，物流的压力越来越大。所以，无人仓库的概念也由此产生，通过人工智能和视觉相结合，最终实现即使仓库里没有工业，也能实现仓库的快速分拣和装运。

目前，关于垛形的检测方法还不是非常成熟，大多都是人工拆垛，费时费力。而且和现在的快速物流联动性不强，因为垛形的样式实在太多，而且堆放方式非常灵活。机器视觉在识别剁形上往往存在一个很大的问题就是仓库为了节约空间，堆垛的箱子都是紧密摆放的，中间缝隙非常小，难以完成垛型的自动识别。

发明内容

针对上述问题，本发明的目的是提供一种托盘纸箱垛型实时检测方法，该方法用于实时测量堆垛箱的顶层分布，为机械手实现自动拆垛提供实时数据，进而实现由操作机械手的运动完成无人仓库的拆垛。

为实现上述目的，本发明采取以下技术方案：一种托盘纸箱垛型实时检测方法，其特征在于包括以下步骤：1)由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；2)采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；3)提取边缘轮廓，通过opencv中的边缘提取并且利用二值图像得到直线的边缘轮廓，再将边缘轮廓的所有坐标提取出来，得到最上层纸箱的边缘点；4)把深度图像上面的边缘点的坐标映射到RGB图像上，并进行形态学处理；5)对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息，从而得到箱子摆放的垛型；6)根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测。

进一步，所述步骤2)中，递进找阈值过程如下：采用初始设定阈值进行二值化图像，并判断二值化之后的像素为255的像素数量是否大于预先设定数量，如果没有则对深度图像再进行一次二值化；以此类推，向下递进搜索，开始递增灰度阈值，不断地取阈值判断，如果在当前灰度阈值下发现最上层纸箱的轮廓，则停止递进，当前递进出来的灰度阈值则为最终用于提取箱子轮廓的灰度阈值。

进一步，所述步骤4)中，具体映射过程如下：4.1)提取边缘轮廓：在二值图像上，通过阈值的变化，利用二值图像得到箱子的边缘轮廓，再将边缘轮廓的坐标一个一个的提取出来，得到最上层纸箱的边缘点；4.2)建立彩色空间坐标的映射集，大小是424*512个，把深度图像的每个点在RGB空间里面的对应位置信息都存在的彩色空间坐标映射集中；4.3)提取RGB轮廓中的感兴区域，首先由得到的边缘轮廓，通过得到由深度图像映射到RGB图像的轮廓线的内边缘像素点和外边缘像素点，采用内边像素点的坐标，对全图做轮廓内外点判断，提取在轮廓内的所有点坐标，再通过这些点坐标去RGB采集的原始数据中找到相应的彩色通道的坐标值，再对其进行复制，映射。

进一步，所述步骤5)中，彩色图像分割步骤如下：5.1)对由坐标映射得到的只含有垛上纸箱的彩色图像进行预处理，使彩色图像灰度化，并且用平滑的方法去掉图像区域边上的毛刺部分；5.2)用Canny边缘检测提取纸箱边缘像素，并进行膨胀处理，将膨胀后的图像作为纸箱之间分割的依据来分割纸箱区域，之后再二值化纸箱区域；5.3)此时得到的纸箱区域为白色区域，方便提取纸箱轮廓，设置阈值去除轮廓干扰，并依次采用非极大值抑制方法和基于长宽比统计的方法，得到的边框通过计算中点即为纸箱的抓取点。

本发明由于采取以上技术方案，其具有以下优点：1、本发明用于实时测量堆垛箱的顶层分布，获得各个箱子的顶部中心坐标(X，Y，Z)和箱子的方向角，为机械手实现自动拆垛提供实时数据。从而操作机械手的运动，去实现无人仓库的拆垛。2、本发明通过深度相机和彩色图像的识别，实现了对垛形的准确识别，把数据传输给机械手去拆垛和进行下一步工作，有效解决了现有技术中存在的拆垛问题。3、本发明采用深度图像和彩色图像相结合的方法完成垛型的识别，如果单独用彩色图像，因为仓库的环境比较复杂，会出现很多干扰，如果单独用深度图像，因为摆放紧密，便又无法准确的逐个把箱子分割开，所以本发明采用深度相机和彩色相机相结合实现了对垛形的准确识别，把数据传输给机械手去拆垛和进行下一步工作。

附图说明

图1是本发明的整体流程示意图；

图2是本发明将深度轮廓点映射到RGB轮廓点的效果图；

图3是本发明提获取的垛型最终效果图。

具体实施方式

由于深度图像和RGB图像像素和各方面应用不一样，所以采取分别的处理，因为kinect采集的图像存在一些噪声，所以首先对图像进行预处理，例如彩色图像高斯滤波后，提高对比度，并且因为深度图像中存在一些红外线得到的视野盲点，所以要在模糊后，并且二值化后进行一些开运算来去掉由于红外线引起的视野盲点，之后再进行闭运算把箱子间的缝隙填满，得到一个完整的垛型最外层轮廓。下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明提供一种托盘纸箱垛型实时检测方法，其包括以下步骤：

1)由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；

因为深度图像和RGB图像像素和各方面应用不一样，所以采取分别的处理，因为深度相机和彩色相机采集的图像存在一些噪声，所以首先对深度图像进行预处理，例如彩色图像高斯滤波后，提高对比度，并且因为深度图像中存在一些红外线得到的视野盲点，所以要在模糊后，并且二值化后进行一些开运算来去掉由于红外线引起的视野盲点，之后再进行闭运算把箱子间的缝隙填满，得到一个完整的垛型最外层轮廓。

2)采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；

因为在深度相机的深度图像中像素的灰度值就是深度相机与检测物体的距离，所以设置灰度阈值的作用是能只获得某一层纸箱的像素点，这样可以避免很多没有必要的干扰，并且可以准确的得到某一层箱子的轮廓。但为了得到最上面一层的纸箱，采用递进方式来找阈值。

3)提取边缘轮廓，通过opencv中的边缘提取并且利用二值图像得到直线的边缘轮廓，这样就得到了所有的边缘坐标，再将边缘轮廓的所有坐标提取出来，得到最上层纸箱的边缘点。

4)把深度图像上面的边缘点的坐标映射到RGB图像上，并进行形态学处理；

5)对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息，从而得到箱子摆放的垛型。

6)根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测。

上述步骤2)中，递进找阈值过程如下：采用初始设定阈值进行二值化图像，并判断二值化之后的像素为255的像素数量是否大于预先设定数量，如果没有则对深度图像再进行一次二值化。以此类推，向下递进搜索，开始递增灰度阈值，不断地取阈值判断，如果在当前灰度阈值下发现最上层纸箱的轮廓，则停止递进，当前递进出来的灰度阈值则为最终用于提取箱子轮廓的灰度阈值。

在一个优选的实施例中，经过多次的实验可知一个箱子至少会占据深度图像上10000个以上的像素，因此，在本实施例中，预先设定数量为10000。由于kinect距离最上层的箱子至少有60cm，所以将初始设定阈值设置为60，从初始阈值60开始递进寻找灰度阈值。因为不光要保证准确，而且还有保证运行速度，故把步长设定为5，最大叠加设置为13次，此种方法的识别范围为60cm到125cm。如果递进了13次仍然没有得到轮廓的话，直接返回到整个处理的初始状态，重新查找，进入下一帧，直到找到箱子轮廓为止。

上述步骤4)中，由于在kinect上，彩色相机与红外相机具有一定平移距离，故两种相机观察的视角也就不相同，再加上深度图和彩色图的分辨率不同因此得到的图像也就不能按像素直接对应。因此，具体映射过程如下：

4.1)提取边缘轮廓：在二值图像上，通过阈值的变化，比如二值图像上所有像素的灰度值都是0或1组成，二值化之后就会出现若干块连通的0区域或者是1区域，在0和1变化的交界处标记为边缘坐标，所以就可以利用二值图像得到箱子的边缘轮廓，这样就得到了所有的边缘坐标，再将边缘轮廓的坐标一个一个的提取出来，得到最上层纸箱的边缘点。

4.2)建立彩色空间坐标的映射集，大小是424*512个，把深度图像的每个点在RGB空间里面的对应位置信息都存在的彩色空间坐标映射集中。

因为在深度相机和彩色相机中深度空间和RGB空间的像素尺寸是不一样的，并且深度图像的长宽比例和RGB图像的长宽比例也是不一样的，所以在映射的时候，十分困难，因为两个图像的视野范围也是不一样的，经过多次实验的标定，初步实现了深度相机和彩色相机的坐标映射，但是只能是单一坐标的映射。本发明采用一个循环依次访问上一步找的所有边缘像素，依次映射到RGB图像上，但由于深度图像尺寸小，RGB图像尺寸大，这样小尺寸映射大尺寸是像素点是离散的，所以要进行形态学处理，对其进行膨胀腐蚀，使离散的边缘点连接成一个连通的边缘，深度图像和RGB图像的映射，相当于识别物体，从传统的二维彩色，变成了三维彩色，更进一步的准确的进行了垛形的识别。

4.3)提取RGB轮廓中的感兴区域，首先由步骤3)得到的边缘轮廓，通过4.1)得到由深度图像映射到RGB图像的轮廓线的内边缘像素点和外边缘像素点(如图2所示)。采用内边像素点的坐标，对全图做轮廓内外点判断，提取在轮廓内的所有点坐标，再通过这些点坐标去RGB采集的原始数据中找到相应的彩色通道的坐标值，再对其进行复制，映射。再通过映射之后的彩色图像进行彩色空间分割，得到最终的效果图。

如图2所示，是由深度轮廓点映射到RGB轮廓点的效果截图，可见整个区域成为了一个连通区域。

上述步骤5)中需要进行彩色图像分割，具体步骤如下：

5.1)对由坐标映射得到的只含有垛上纸箱的彩色图像进行预处理，使彩色图像灰度化，并且用平滑的方法去掉图像区域边上的毛刺部分。

5.2)用Canny边缘检测提取纸箱边缘像素，因为Canny方法提取的边缘是离散的，所以要膨胀边缘这样可以使边缘成为连通的，并且将膨胀后的图像作为纸箱之间分割的依据来分割纸箱区域，之后再二值化纸箱区域。

5.3)此时得到的纸箱区域为白色区域，方便提取纸箱轮廓，为了去除那些周长和面积小的区域，设置阈值去除轮廓干扰，并采用非极大值抑制方法进一步提高定位准确性，这种方法能够去除纸箱轮廓所在边框内部的小边框得到外部的大边框，并采用基于长宽比统计的方法，进一步排除纸箱外部边框，最终得到的边框通过计算中点即为纸箱的抓取点。采用选择排序和冒泡法排序分别在x，y方向上进行排序，通过排序法也可以从多个箱子中找到边角处的一个，方便机械手作业。同时，为确保从下到上从右向左的依次抓取顺序将曼哈顿距离作为排序的评价指标。

其中，基于长宽比统计的方法是通过预先设定的长宽之比的范围，去掉比例不协调的误分区域。

如图3所示，最终箱子的垛型被清晰的识别出来并且标上的序号，可以方便拆垛的机械手来进行抓取。

上述各实施例仅用于说明本发明，各部件的结构、尺寸、设置位置及形状都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部件进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (3)

1.一种托盘纸箱垛型实时检测方法，其特征在于包括以下步骤：

1)由深度相机和彩色相机获取到垛内所有箱子的深度图像和RGB图像，并对深度图像进行预处理，得到一个只包含箱子深度映射出来的二值图像；

2)采用递进方式找出箱垛最上面一层箱子的灰度阈值，进行二值化得到一个只包含最上层纸箱的最外层轮廓；

3)提取边缘轮廓，通过opencv中的边缘提取并且利用二值图像得到直线的边缘轮廓，再将边缘轮廓的所有坐标提取出来，得到最上层纸箱的边缘点；

4)把深度图像上面的边缘点的坐标映射到RGB图像上，并进行形态学处理；

5)对坐标映射得到的RGB图像进行分割处理，获得RGB图像上最上层纸箱子整体区域的所有像素点信息，从而得到箱子摆放的垛型；

6)根据箱子的垛型和箱子摆放的轮廓得到每个箱子4个角的坐标，再由中心点定理计算出每个箱子的中心坐标，完成对托盘垛型的实时检测；

所述步骤4)中，具体映射过程如下：

4.1)提取边缘轮廓：在二值图像上，通过阈值的变化，利用二值图像得到箱子的边缘轮廓，再将边缘轮廓的坐标一个一个的提取出来，得到最上层纸箱的边缘点；

4.2)建立彩色空间坐标的映射集，大小是424*512个，把深度图像的每个点在RGB空间里面的对应位置信息都存在的彩色空间坐标映射集中；

4.3)提取RGB轮廓中的感兴区域，首先由得到的边缘轮廓，通过得到由深度图像映射到RGB图像的轮廓线的内边缘像素点和外边缘像素点，采用内边像素点的坐标，对全图做轮廓内外点判断，提取在轮廓内的所有点坐标，再通过这些点坐标去RGB采集的原始数据中找到相应的彩色通道的坐标值，再对其进行复制，映射。

2.如权利要求1所述的一种托盘纸箱垛型实时检测方法，其特征在于：所述步骤2)中，递进找阈值过程如下：采用初始设定阈值进行二值化图像，并判断二值化之后的像素为255的像素数量是否大于预先设定数量，如果没有则对深度图像再进行一次二值化；以此类推，向下递进搜索，开始递增灰度阈值，不断地取阈值判断，如果在当前灰度阈值下发现最上层纸箱的轮廓，则停止递进，当前递进出来的灰度阈值则为最终用于提取箱子轮廓的灰度阈值。

3.如权利要求1所述的一种托盘纸箱垛型实时检测方法，其特征在于：所述步骤5)中，彩色图像分割步骤如下：

5.1)对由坐标映射得到的只含有垛上纸箱的彩色图像进行预处理，使彩色图像灰度化，并且用平滑的方法去掉图像区域边上的毛刺部分；

5.2)用Canny边缘检测提取纸箱边缘像素，并进行膨胀处理，将膨胀后的图像作为纸箱之间分割的依据来分割纸箱区域，之后再二值化纸箱区域；

5.3)此时得到的纸箱区域为白色区域，方便提取纸箱轮廓，设置阈值去除轮廓干扰，并依次采用非极大值抑制方法和基于长宽比统计的方法，得到的边框通过计算中点即为纸箱的抓取点。

Images