CN106097331B - 一种基于锁孔识别的集装箱定位方法 - Google Patents

Abstract

本发明公开了一种基于锁孔识别的集装箱定位方法。它用摄像头分别拍摄下方集装箱两侧的图像，粗定位上下锁孔区域，新建标记矩阵b₁,b₂，用不同的值标记前景区域、背景区域和剩余区域，根据上下锁孔粗定位图像和对应的标记矩阵，利用分水岭算法得到粗定位锁孔的边缘，利用形心计算公式获得锁孔中心点，基于双目立体视觉技术将中心点的像素坐标转换为世界坐标，将世界坐标点与吊具的锁头坐标对齐，实现集装箱定位。本发明能有效排除在光线不好的条件下，分割算法效果不佳的问题，即使在前景背景区分度较低的情况下，根据事先设置的前景背景也可以得到较好的分割效果。

Description

一种基于锁孔识别的集装箱定位方法

技术领域

本发明属于计算机视觉技术和图像处理技术领域，具体涉及一种基于锁孔识别的集装箱定位方法。

背景技术

随着贸易运输量的不断增长，货物集装箱化的比例不断提高，集装箱的运输量也呈现不断增长趋势。从航次经济核算分析，通过缩短集装箱船舶的停泊时间可以降低停泊成本，提高集装箱运输船舶的航行效率并充分发挥船舶单位运输成本的优势，提高经济效益，这就对集装箱装卸作业的效率提出更高的要求。传统的手动控制抓取集装箱主要是通过人工观察识别集装箱锁孔的位置，然后控制吊具对准集装箱角件锁孔完成整个流程。这个过程要求操作精度高，劳动强度大，是比较耗时耗力的环节，同时容易造成人员伤亡。所以提高装卸自动化的程度是提高集装箱效率的有效途径，其关键内容就是起吊阶段的锁孔与吊具能否快速准确地对准连接；

为了解决集装箱锁孔定位的问题，国内外学术界、工业界提出了很多方案，其中与本发明较为接近的技术方案包括：宓超等(基于视觉***的集装箱锁孔识别算法研究[C].第七届全国机械工程博士论坛论文集.2015)对集装箱HSV图像的H通道进行二值化、闭运算和去噪操作，然后把图像的灰度值在x,y方向上投影分析出集装箱锁孔的大致位置，最后通过边缘检测和Hough圆检测算法将锁孔识别出来。该方法存在的问题是，光线的变化以及拍摄角度的问题导致锁孔发生形变，所以Hough圆检测算法可能无法检测出锁孔的具***置。包起帆等(激光测距技术在桥吊下集装箱卡车定位的研究与实现[J].港口科技,2007(10):4-8)利用安装在桥吊上的可旋转的激光扫描器对下方集装箱进行立体扫描，获得集装箱外侧轮廓的信息，以此指导吊具司机进行操作。该方法存在的问题是，集装箱吊具的锁头和集装箱的制造可能存在误差导致在锁头与锁孔对齐的时候存在坐标的偏差。发明专利(申请号：CN201510447232.6，名称：集装箱锁孔自动辨识定位方法和***)中利用摄像机采集集装箱的图像，然后基于锁孔所在的大致位置识别锁孔并获得其图像坐标，最后将图像坐标转换为抓取设备的设备坐标并以此定位。该方法没有考虑到光线的影响以及集装箱的磨损问题。

综上所述，既要实现集装箱锁孔的准确定位，又要能很好地适应新旧集装箱是集装箱锁孔定位的难点，当前方法存在如下不足：(1)用Hough圆检测锁孔的边缘效果并不稳定(2)集装箱外轮廓与锁头坐标存在一定偏差(3)对磨损的锁孔效果不好、光线不足条件下识别率低等等。本发明针对这些问题提出了一种基于锁孔识别的集装箱定位方法。

发明内容

为解决上述问题，本发明提供了一种基于锁孔识别的集装箱定位方法。

所述的一种基于锁孔识别的集装箱定位方法，其特征在于包括如下步骤：

步骤1：首先利用安装在集装箱吊具上的摄像头拍摄下方集装箱某一侧的图像；

步骤2：利用集装箱锁孔粗定位和跟踪方法从步骤1得到的集装箱图像中获得集装箱上下锁孔的粗定位区域并得到区域内图像I₁,I₂，其中高度为height，宽度为width，单位为像素；

步骤3：新建标记矩阵b₁,b₂或掩膜矩阵m₁,m₂，在标记矩阵b₁,b₂或掩膜矩阵m₁,m₂中用不同的值标记出前景区域、背景区域和剩余区域，其中b₁和m₁与图像I₁的大小一样，b₂和m₂与图像I₂的大小一样：

步骤4：得到锁孔粗定位图像中锁孔的边缘，具体为：根据上下锁孔粗定位图像I₁,I₂和对应的标记矩阵b₁,b₂，利用分水岭算法进行处理；或上下锁孔粗定位图像I₁,I₂和对应的掩膜矩阵m₁,m₂，利用Grabcut算法进行处理；

步骤5：根据步骤4得到的锁孔边缘提取点集P＝{(x_j,y_j)|j＝1,2...N}，N为点的数量，利用公式(1)、(2)获得上下锁孔的锁孔中心点C₁,C₂：

式中，表示点C₁,C₂的坐标，(x_j,y_j)表示点集P中点的坐标；

步骤6：通过安装在集装箱吊具上的摄像头拍摄集装箱另一侧的图像，然后重复步骤2～5，获得另一侧的锁孔中心点C₃,C₄；

步骤7：基于双目立体视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将转换得到的四个世界坐标点与吊具的锁头坐标对齐，可以实现集装箱的抓取。

所述的一种基于锁孔识别的集装箱定位方法，其特征在于步骤3中在标记矩阵b₁,b₂用不同的值标记前景区域、背景区域和剩余区域，其中前景区域、背景区域设置为不同的值，剩余区域的值设置为0，具体方法为：

步骤3.1：首先在b₁中的上侧和左侧设置两条值为f的线段作为背景区域，然后在b₁中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

0＜d＜min(width,height) (4)

式中，(x,y)表示b₁上的坐标，d为线段的宽度并且满足式(4)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值；

步骤3.2：首先在b₂中的下侧和左侧设置两条值为f的线段作为背景区域，然后在b₂中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

式中，(x,y)表示b₂上的坐标，d为线段的宽度并且满足式(4)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度。

所述的一种基于锁孔识别的集装箱定位方法，其特征在于步骤3中在掩膜矩阵m₁,m₂中用不同的值设置前景、背景和可剩余区域，其中背景设置为0，前景设置为1，剩余区域设置为2：

步骤3.1：首先在m₁中的上侧和左侧设置两条值为0的线段作为背景区域，然后在m₁中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

0＜d＜min(width,height) (7)

式中，(x,y)表示m₁上的坐标，d为线段的宽度并且满足式(7)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值；

步骤3.2：首先在m₂中的下侧和左侧设置两条值为0的线段作为背景区域，然后在m₂中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

式中，(x,y)表示m₂上的坐标，d为线段的宽度并且满足式(7)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度。

本发明的优点是：本发明能有效排除在光线不好的条件下，分割算法效果不佳的问题。即使在前景背景区分度较低的情况下，根据事先设置的前景背景也可以得到较好的分割效果，提高分割算法的准确率。

附图说明

图1为本发明实施例步骤1采集到的集装箱图像；

图2a为本发明实施例步骤2得到的上锁孔粗定位图像；

图2b为本发明实施例步骤2得到的下锁孔粗定位图像；

图3a为本发明实施例经过步骤4得到的上锁孔中锁孔边缘图；

图3b为本发明实施例经过步骤4得到的下锁孔中锁孔边缘图；

图4a为本发明实施例经过步骤5得到的上锁孔中锁孔的中心点；

图4b为本发明实施例经过步骤5得到的上锁孔中锁孔的中心点。

图中：1-上锁孔粗定位图像中锁孔边缘，2-下锁孔粗定位图像中锁孔边缘，3-上锁孔中心点C₁，4-下锁孔中心点C₂。

具体实施方式

下面结合实施例来详细阐述本发明一种基于锁孔识别的集装箱定位方法的具体实施方式。

本发明的一种基于锁孔识别的集装箱定位方法，包括如下步骤：

步骤1：首先利用安装在集装箱吊具上的摄像头拍摄下方集装箱某一侧的图像；在本实施例中，如图1所示；

步骤2：利用集装箱锁孔粗定位和跟踪方法从步骤1得到的集装箱图像中获得集装箱上下锁孔的粗定位区域并得到区域内图像I₁,I₂，其中高度为height，宽度为width，单位为像素；在本实施例中，上锁孔粗定位图像如图2a、下锁孔粗定位图像如图2b，本发明实施例中，height＝120、width＝120，所述的集装箱锁孔粗定位和跟踪方法在申请号为201610273182.9的文件中已公开，在此不再详述；；

步骤3：新建标记矩阵b₁,b₂或掩膜矩阵m₁,m₂，在标记矩阵b₁,b₂或掩膜矩阵m₁,m₂中用不同的值标记出前景区域、背景区域和剩余区域，其中b₁和m₁与图像I₁的大小一样，b₂和m₂与图像I₂的大小一样，其中前景区域、背景区域设置为不同的值，剩余区域的值设置为0：

步骤3.1：首先在b₁中的上侧和左侧设置两条值为f的线段作为背景区域，然后在b₁中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

0＜d＜min(width,height) (2)

式中，(x,y)表示b₁上的坐标，d为线段的宽度并且满足式(2)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值；在本实施例中，d＝30、f＝100、g＝200、l＝30、k＝20；

步骤3.2：首先在b₂中的下侧和左侧设置两条值为f的线段作为背景区域，然后在b₂中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

式中，(x,y)表示b₂上的坐标，d为线段的宽度并且满足式(2)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度；在本实施例中，d＝30、f＝100、g＝200、l＝30、k＝20；

本发明步骤3可以用Grabcut算法代替分水岭法，Grabcut算法具体为：新建一个和图像I₁,I₂大小一样的掩膜矩阵m₁,m₂，在m₁,m₂中用不同的值设置前景、背景和剩余区域，其中背景设置为0，前景设置为1，剩余区域设置为2：

1)首先在m₁中的上侧和左侧设置两条值为0的线段作为背景区域，然后在m₁中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

0＜d＜min(width,height) (5)

式中，(x,y)表示m₁上的坐标，d为线段的宽度并且满足式(5)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值；

2)首先在m₂中的下侧和左侧设置两条值为0的线段作为背景区域，然后在m₂中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

式中，(x,y)表示m₂上的坐标，d为线段的宽度并且满足式(6)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度；

步骤4：根据上下锁孔粗定位图像I₁,I₂和对应的标记矩阵b₁,b₂，利用分水岭算法进行处理，或根据上下锁孔粗定位图像I₁,I₂和对应的掩膜矩阵m₁,m₂，利用Grabcut算法进行处理，得到上锁孔粗定位图像中锁孔边缘1和下锁孔粗定位图像中锁孔边缘2；在本实施例中，如附图3a、3b；

步骤5：根据步骤4得到的锁孔边缘提取点集P＝{(x_j,y_j)|j＝1,2...N}，N为点的数量，利用公式(7)、(8)计算上下锁孔的上锁孔中心点C₁3和下锁孔中心点C₂4：

式中，表示上锁孔中心点C₁3,下锁孔中心点C₂4的坐标，(x_j,y_j)表示点集P中点的坐标；在本实施例中，如附图4a、4b；

步骤6：通过安装在集装箱吊具上的摄像头拍摄集装箱另一侧的图像，然后重复步骤2～5，获得另一侧的锁孔中心点C₃,C₄；

步骤7：基于双目立体视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将转换得到的四个世界坐标点与吊具的锁头坐标对齐，可以实现集装箱的抓取。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (3)

1.一种基于锁孔识别的集装箱定位方法，其特征在于包括如下步骤：

步骤1：首先利用安装在集装箱吊具上的摄像头拍摄下方集装箱某一侧的图像；

步骤2：利用集装箱锁孔粗定位和跟踪方法从步骤1得到的集装箱图像中获得集装箱上下锁孔的粗定位区域并得到区域内图像I₁,I₂，其中高度为height，宽度为width，单位为像素；

步骤3：新建标记矩阵b₁,b₂或掩膜矩阵m₁,m₂，在标记矩阵b₁,b₂或掩膜矩阵m₁,m₂中用不同的值标记出前景区域、背景区域和剩余区域，其中b₁和m₁与图像I₁的大小一样，b₂和m₂与图像I₂的大小一样；

步骤4：得到锁孔粗定位图像中锁孔的边缘，具体为：根据上下锁孔粗定位图像I₁,I₂和对应的标记矩阵b₁,b₂，利用分水岭算法进行处理；或上下锁孔粗定位图像I₁,I₂和对应的掩膜矩阵m₁,m₂，利用Grabcut算法进行处理；

步骤5：根据步骤4得到的上下锁孔边缘提取点集，上锁孔边缘点集为P＝{(x_j,y_j)|j＝1,2...N}，N为点的数量，下锁孔点集为Q＝{(x_i,y_i)|i＝1,2...M}，M为点的数量，利用公式(1)、(2)获得上下锁孔的锁孔中心点C₁,C₂：

式中，(x_Ci,y_Ci),i＝1,2表示点C₁,C₂的坐标，(x_j,y_j)表示点集P中点的坐标，(x_i,y_i)表示点集Q中点的坐标；

步骤6：通过安装在集装箱吊具上的摄像头拍摄集装箱另一侧的图像，然后重复步骤2～5，获得另一侧的锁孔中心点C₃,C₄；

步骤7：基于双目立体视觉技术将C₁,C₂,C₃,C₄点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标，然后将转换得到的四个世界坐标点与吊具的锁头坐标对齐，可以实现集装箱的抓取。

2.根据权利要求1所述的一种基于锁孔识别的集装箱定位方法，其特征在于步骤3中在标记矩阵b₁,b₂用不同的值标记前景区域、背景区域和剩余区域，其中前景区域、背景区域设置为不同的值，剩余区域的值设置为0，具体方法为：

步骤3.1：首先在b₁中的上侧和左侧设置两条值为f的线段作为背景区域，然后在b₁中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

0＜d＜min(width,height) (4)

式中，(x,y)表示b₁上的坐标，d为线段的宽度并且满足式(4)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值；

步骤3.2：首先在b₂中的下侧和左侧设置两条值为f的线段作为背景区域，然后在b₂中心位置设置一个值为g的矩形作为前景区域，最后将其他部分的值设置为0作为剩余区域：

式中，(x,y)表示b₂上的坐标，d为线段的宽度并且满足式(4)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度。

3.根据权利要求1所述的一种基于锁孔识别的集装箱定位方法，其特征在于步骤3中在掩膜矩阵m₁,m₂中用不同的值设置前景、背景和剩余区域，其中背景设置为0，前景设置为1，剩余区域设置为2：

步骤3.1：首先在m₁中的上侧和左侧设置两条值为0的线段作为背景区域，然后在m₁中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

0＜d＜min(width,height) (7)

式中，(x,y)表示m₁上的坐标，d为线段的宽度并且满足式(7)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度，min表示求较小值；

步骤3.2：首先在m₂中的下侧和左侧设置两条值为0的线段作为背景区域，然后在m₂中心位置设置一个值为1的矩形作为前景区域，最后将其他部分的值设置为2作为剩余区域：

式中，(x,y)表示m₂上的坐标，d为线段的宽度并且满足式(7)，width、height表示图像I₁,I₂的宽度和高度，l、k表示设置的矩形的宽度和高度。