CN108090895B - 一种基于图像处理的集装箱锁孔轮廓提取方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的集装箱锁孔轮廓提取方法，实现集装箱锁孔轮廓精确提取，提高集装箱定位精度；实现自动集装箱定位，具有精度高、速度快、操作简单和实时处理的特点，减少了效率低操作复杂的人工定位过程，减少因人工定位造成的错误问题和时间成本，解决了人工操作劳动强度大、效率低和可靠性差的问题。

Description

一种基于图像处理的集装箱锁孔轮廓提取方法

技术领域

本发明涉及一种基于图像处理的集装箱锁孔轮廓提取方法，尤其涉及利用图像识别技术对集装箱角件图像进行处理，获取锁孔轮廓的方法。

背景技术

由于全球化贸易的不断发展，海运集装箱货运量不断上升。从航次经济核算分析，缩减船舶在港口的停留时间，可以降低船舶停泊成本，提高港口的货物吞吐量，进而提高经济效益。而靠工人通过视觉观察控制吊具抓取集装箱的传统方法，严重影响了货物的装卸速度，且人工操作存在效率低、易疲劳、准确率不高等问题，已无法满足实际生产与工作需求。提高装卸自动化的程度是提高集装箱货运效率的有效途径，其关键问题在于集装箱位置的精确定位，因此基于图像处理的集装箱锁孔轮廓提取方法成为了一个较好的解决方案。

为了解决集装箱锁孔定位问题，国内外学术界、工业界提出了很多方案。其中与本发明较为接近的技术方案包括：张洪波(基于图像的集装箱锁孔定位技术[J].起重运输机械,2015(10):67-69.)该方法通过双目立体视觉技术对集装箱锁孔进行检测和定位，但其主要针对双目立体视觉技术的思路实现和数学论证，在实际场景中应用较为困难，而且关于锁孔定位和识别相关内容介绍不够完善，并不能很好的应用在外界干扰明显的场景中；宓为建(基于机器视觉的集装箱锁孔识别算法研究[J].中国工程机械学报,2016,14(05).)该研究通过颜色空间直方图，识别集装箱箱体的大致位置，再通过投影得到箱体的具体边缘，根据已识别的箱体边缘进一步检测边缘交点处的锁孔位置，最后通过陷波定位集装箱锁孔位置。该算法在运行时间较低的情况下，对集装箱在图中占很大位置且图中集装箱较新的图像能有较好的识别度；但在实际应用场景中，受集装箱工作条件影响，集装箱上有较多的锈斑和灰尘，通过箱体颜色定位集装箱位置较为困难，且由于光照不均的问题，部分角件和锁孔颜色难以区分，致使通过陷波定位集装箱锁孔精确度不高；宓超(基于视觉***的集装箱锁孔识别算法研究[C]//全国机械工程博士论坛.2015.)该方法通灰度直方图均衡化处理集装箱图像，利用HSV通道中H通道信息进行二值化操作，得到箱体的大致区域，然后根据箱体边缘区域的陷波位置定位，利用Hough算法对陷波区域的圆形边缘进行检测，实现对锁孔进行精确定位；但是在实际场景中，锁孔轮廓是圆角矩形，针对锁孔区域进行Hough圆形检测效果并不明显，且容易受外界光照情况影响，造成识别精度下降甚至识别不出锁孔区域，该***并不能很好的达到集装箱锁孔精确识别的要求

综上所述，当前集装箱锁孔轮廓提取处理方案中存在如下不足：

(1)多数方法首先对集装箱箱体进行识别，之后根据集装箱边缘估计锁孔大致区域，但集装箱由于长时间受日晒风吹，表面容易出现污损的情况，容易造成集装箱识别有误而影响锁孔精确定位；

(2)上述方法中并未真正识别出集装箱锁孔的准确轮廓，而识别***的精确度不够，容易造成集装箱抓取失败，导致集装箱吊具和集装箱的损坏，造成不必要的损失；

(3)受光照条件影响，集装箱锁孔位置光照不均，容易出现锁孔中部分区域明亮，部分区域被角件阴影遮挡，导致锁孔识别精度下降；

集装箱运输在全球贸易事业中有着重要的作用，自动化港口的建设是促进国际贸易发展的重要途径，而集装箱锁孔精确定位正是集装箱自动抓取功能的重要基础。但是由于光照条件影响，部分锁孔光照不均匀，容易导致锁孔定位精确度不高，造成较大的***误差。而本发明中的锁孔轮廓提取策略，针对光照不均，角件表面污损的图像，能较好的识别出图像中锁孔的准确轮廓，实现集装箱锁孔的精确定位。

发明内容

为了实现集装箱锁孔定位问题，本发明提供了一种基于图像处理的集装箱锁孔轮廓提取方法；为了解决其技术问题所采用的方案包含如下步骤：

步骤1：用安装在吊具上的摄像头采集下方集装箱的图像；

步骤2：利用基于HOG+SVM的集装箱锁孔粗定位方法获得上下锁孔的粗定位范围，该锁孔粗定位区域的宽度为width，高度为height，单位为像素，记为锁孔粗定位图像F₁，图像大小为A_keyhole：

A_keyhole＝width×height (1)步骤3：通过区域分割方法Graph-BasedSegmentation对图像F₁进行超像素分割，将图像分割为n₁个超像素区域，记超像素区域集合S＝{R_i(x_i,y_i)|i＝1,2,3,…,n₁}，其中R_i是由m_i个像素组成的超像素区域，x_i和y_i分别表示区域R_i中心点的横坐标和纵坐标，R_i＝{p_j|j＝1,2,3,…,m_i}，p_j表示区域R_i中的像素；

步骤4：利用直方图对比度显著性计算方法HC计算集合S中所有超像素区域的显著性值，得到超像素的显著值集合S_sal＝{v_i|i＝1,2,3,…,n₁}，v_i为超像素区域R_i的显著值；将S_sal中显著值最高的超像素区域，记为R_sal＝{p_j|j＝1,2,3,…,n_sal}，其中n_sal表示R_sal中的像素数量；

步骤5：计算集合S中所有超像素中心点到超像素R_sal中心点的曼哈顿距离，并根据距离从小到大排序，得超像素集合S₁＝{R_w|w＝1,2,3,…,n₁}；

步骤6：进行锁孔区域拼凑，锁孔区域集合

区域填充度c_old＝0，具体如下：

步骤6.1：从超像素集合S₁中取出元素R₁，加入到集合S₂中，在S₂中记为R_n；并将元素R₁从S₁中删除，对集合S₁根据距离从小到大重新排序；

步骤6.2：计算集合S₂中的像素数量N：

其中n为集合S₂中超像素的数量，m_n为S₂中超像素的像素数量；

步骤6.3：提取集合S₂中像素横坐标中的最小值和最大值分别记为x₁和x₂，集合S₂中像素纵坐标中的最小值和最大值分别记为y₁和y₂；计算得集合S₂中像素组成图像的最小外接矩形R(w,h)，其中w表示矩形R的宽度，h表示矩形R的高度，矩形面积为A：

w＝x₂-x₁ (4)

h＝y₂-y₁ (5)

A＝w×h (6)

步骤6.4：计算区域合并后的区域填充度c_new：

步骤6.5：若满足条件c_new≥c_old，则将c_new的值赋予c_old；反之，将元素R_n从S₂中删除；重复步骤6.1到6.5，直至

或迭代次数大于λ₁，其中λ₁表示事先给定的最大迭代次数；

步骤7：计算得锁孔区域集合S₂＝{p_u|u＝1,2,3,…,n₂}，区域集合S₂的外接矩形为R_box(x_box,y_box,w_box,h_box)，其中p_u表示集合S₂中的像素，n₂表示S₂中的像素数量，x_box和y_box分别表示矩形R_box左上角的横坐标和纵坐标，w_box和h_box分别表示矩形R_box的宽度和高度；

步骤8：采用式(8)或(9)计算锁孔外接矩形R_hole(x_hole,y_hole,w_hole,h_hole)，x_hole和y_hole分别表示锁孔外接矩形左上角的横坐标和纵坐标，w_hole和h_hole分别表示锁孔外接矩形的宽度和高度；

步骤9：采用GrubCut图割算法对图像F₁进行处理，设置图像大致的前景和背景区域；将外接矩形内区域设置为可能的前景区域，矩形外区域设置为背景区域，须满足条件n₂≥λ₂，其中λ₂为事先给定的锁孔大小阈值；反之，设置集合S₂中像素为可能的前景区域，区域R_sal中像素为前景区域，图像F₁中的其余部分为背景区域；

步骤10：将GrubCut图割算法迭代λ₃次，λ₃为事先给定的图割迭代次数，可得锁孔轮廓图像F₂。

本发明的优点

实现集装箱锁孔轮廓精确提取，提高集装箱定位精度；实现自动集装箱定位，具有精度高、速度快、操作简单和实时处理的特点，减少了效率低操作复杂的人工定位过程，减少因人工定位造成的错误问题和时间成本，解决了人工操作劳动强度大、效率低和可靠性差的问题。

附图说明

图1为本发明的实施样例选取的集装箱上方部分拍摄图像。

图2为本发明的经过步骤2进行HOG+SVM处理后得到的锁孔粗定位图像。

图3为本发明的经过步骤3进行区域分割后的超像素区域图像。

图4为本发明的经过步骤4进行显著性计算后的显著性区域图像。

图5为本发明的经过步骤6锁孔区域拼凑的锁孔区域图像。

图6为本发明的经过步骤10得到的锁孔精确轮廓图像。

具体实施方式

下面结合实施实例来详细阐述本发明集装箱锁孔轮廓提取方法的具体实施方式。步骤如下：

步骤1：用安装在吊具上的摄像头采集下方集装箱的图像；

步骤2：利用基于HOG+SVM的集装箱锁孔粗定位方法获得上下锁孔的粗定位范围，该锁孔粗定位区域的宽度为width，高度为height，单位为像素，记为锁孔粗定位图像F₁，图像大小为A_keyhole：

A_keyhole＝width×height (1)

步骤3：通过区域分割方法Graph-Based Segmentation对图像F₁进行超像素分割，将图像分割为n₁个超像素区域，记超像素区域集合S＝{R_i(x_i,y_i)|i＝1,2,3,…,n₁}，其中R_i是由m_i个像素组成的超像素区域，x_i和y_i分别表示区域R_i中心点的横坐标和纵坐标，R_i＝{p_j|j＝1,2,3,…,m_i}，p_j表示区域R_i中的像素；

步骤4：利用直方图对比度显著性计算方法HC计算集合S中所有超像素区域的显著性值，得到超像素的显著值集合S_sal＝{v_i|i＝1,2,3,…,n₁}，v_i为超像素区域R_i的显著值；将S_sal中显著值最高的超像素区域，记为R_sal＝{p_j|j＝1,2,3,…,n_sal}，其中n_sal表示R_sal中的像素数量；

步骤5：计算集合S中所有超像素中心点到超像素R_sal中心点的曼哈顿距离，并根据距离从小到大排序，得超像素集合S₁＝{R_w|w＝1,2,3,…,n₁}；

步骤6：进行锁孔区域拼凑，锁孔区域集合

区域填充度c_old＝0，具体如下：

步骤6.1：从超像素集合S₁中取出元素R₁，加入到集合S₂中，在S₂中记为R_n；并将元素R₁从S₁中删除，对集合S₁根据距离长度从小到大重新排序；

步骤6.2：计算集合S₂中的像素数量N：

其中n为集合S₂中超像素的数量，m_n为S₂中超像素的像素数量；

步骤6.3：提取集合S₂中像素横坐标的最小值和最大值分别记为x₁和x₂，集合S₂中像素纵坐标的最小值和最大值分别记为y₁和y₂；计算得集合S₂中像素组成图像的最小外接矩形R(w,h)，其中w表示矩形R的宽度，h表示矩形R的高度，矩形面积为A：

w＝x₂-x₁ (4)

h＝y₂-y₁ (5)

A＝w×h (6)

步骤6.4：计算区域合并后的区域填充度c_new：

步骤6.5：若满足条件c_new≥c_old，则将c_new的值赋予c_old；反之，将元素R_n从S₂中删除；重复步骤6.1到6.5，直至

或迭代次数大于λ₁，其中λ₁表示事先给定的最大迭代次数，在本实例中，λ₁＝10；步骤7：计算得锁孔区域集合S₂＝{p_u|u＝1,2,3,…,n₂}，区域集合S₂的外接矩形为R_box(x_box,y_box,w_box,h_box)，其中p_u表示集合S₂中的像素，n₂表示S₂中的像素数量，x_box和y_box分别表示区域集合S₂外接矩形左上角的横坐标和纵坐标，w_box和h_box分别表示区域集合S₂外接矩形的宽度和高度；

步骤8：采用式(8)或(9)计算锁孔外接矩形R_hole(x_hole,y_hole,w_hole,h_hole)，x_hole和y_hole分别表示锁孔外接矩形左上角的横坐标和纵坐标，w_hole和h_hole分别表示锁孔外接矩形的宽度和高度；

步骤9：利用GrubCut图割算法对图像F₁进行处理，设置图像大致的前景和背景区域；将外接矩形内区域设置为可能的前景区域，矩形外区域设置为背景区域，须满足条件n₂≥λ₂，其中λ₂为事先给定的锁孔大小阈值，在本实例中，λ₂＝1000；反之，设置集合S₂中像素为可能的前景区域，区域R_sal中像素为前景区域，图像F₁中的其余部分为背景区域；

步骤10：将GrubCut图割算法迭代λ₃次，可得锁孔轮廓图像F₂，λ₃为事先给定的图割迭代次数，在本实例中，λ₃＝3。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于图像处理的集装箱锁孔轮廓提取方法，包括如下步骤：

步骤1：用安装在吊具上的摄像头采集下方集装箱的图像；

步骤2：利用基于HOG+SVM的集装箱锁孔粗定位方法获得上下锁孔的粗定位范围，该锁孔粗定位区域的宽度为width，高度为height，单位为像素，记为锁孔粗定位图像F₁，图像大小为A_keyhole：

A_keyhole＝width×height (1)；

步骤3：通过区域分割方法Graph-Based Segmentation对图像F₁进行超像素分割，将图像分割为n₁个超像素区域，记超像素区域集合S＝{R_i(x_i,y_i)|i＝1,2,3,…,n₁}，其中R_i是由m_i个像素组成的超像素区域，x_i和y_i分别表示区域R_i中心点的横坐标和纵坐标，R_i＝{p_j|j＝1,2,3,…,m_i}，p_j表示区域R_i中的像素；

步骤4：利用直方图对比度显著性计算方法HC计算集合S中所有超像素区域的显著性值，得到超像素的显著值集合S_sal＝{v_i|i＝1,2,3,…,n₁}，v_i为超像素区域R_i的显著值；将S_sal中显著值最高的超像素区域，记为R_sal＝{p_j|j＝1,2,3,…,n_sal}，其中n_sal表示R_sal中的像素数量；

步骤5：计算集合S中所有超像素中心点到超像素R_sal中心点的曼哈顿距离，并根据距离从小到大排序，得超像素集合S₁＝{R_w|w＝1,2,3,…,n₁}；

步骤6：进行锁孔区域拼凑，锁孔区域集合

区域填充度c_old＝0；

步骤7：计算得锁孔区域集合S₂＝{p_u|u＝1,2,3,…,n₂}，区域集合S₂的外接矩形为R_box(x_box,y_box,w_box,h_box)，其中p_u表示集合S₂中的像素，n₂表示S₂中的像素数量，x_box和y_box分别表示区域集合S₂外接矩形左上角的横坐标和纵坐标，w_box和h_box分别表示区域集合S₂外接矩形的宽度和高度；

步骤8：采用式(8)或(9)计算锁孔外接矩形R_hole(x_hole,y_hole,w_hole,h_hole)，x_hole和y_hole分别表示锁孔外接矩形左上角的横坐标和纵坐标，w_hole和h_hole分别表示锁孔外接矩形的宽度和高度；

步骤9：利用GrubCut图割算法对图像F₁进行处理，设置图像的前景和背景区域；将外接矩形内区域设置为可能的前景区域，矩形外区域设置为背景区域，须满足条件n₂≥λ₂，其中λ₂为事先给定的锁孔大小阈值；若不满足条件n₂≥λ₂，设置集合S₂中像素为可能的前景区域，区域R_sal中像素为前景区域，图像F₁中的其余部分为背景区域；

步骤10：将GrubCut图割算法迭代λ₃次，可得锁孔轮廓图像F₂，λ₃为事先给定的图割迭代次数；

步骤6具体如下：

步骤6.1：从超像素集合S₁中取出元素R₁，加入到集合S₂中，在S₂中记为R_n；并将元素R₁从S₁中删除，对集合S₁根据距离长度从小到大重新排序；

步骤6.2：计算集合S₂中的像素数量N：

其中n为集合S₂中超像素的数量，m_n为S₂中超像素的像素数量；

步骤6.3：提取集合S₂中像素横坐标的最小值和最大值分别记为x₁和x₂，集合S₂中像素纵坐标的最小值和最大值分别记为y₁和y₂；计算得集合S₂中像素组成图像的最小外接矩形R(w,h)，其中w表示矩形R的宽度，h表示矩形R的高度，矩形面积为A：

w＝x₂-x₁ (4)

h＝y₂-y₁ (5)

A＝w×h (6)

步骤6.4：计算区域合并后的区域填充度c_new：

步骤6.5：若满足条件c_new≥c_old，则将c_new的值赋予c_old；反之，将元素R_n从S₂中删除；重复步骤6.1到6.5，直至

或迭代次数大于λ₁，其中λ₁表示事先给定的最大迭代次数。

Images