CN105956619A - 一种集装箱锁孔粗定位和跟踪方法 - Google Patents

Abstract

本发明公开了一种集装箱锁孔粗定位和跟踪方法，该方法包括使用安装在吊具上的工业摄像机采集一系列用于训练的集装箱图像，手动提取部分集装箱图像中的正负样本，对正负样本图像归一化，使用安装在吊具上的工业摄像机实时采集待检测集装箱的图像，计算近似锁孔图像区域的面积，并将图像按照面积大小排序，计算图像区域，根据锁孔图像区域，更新检测区域，重复上述步骤实现集装箱锁孔位置的跟踪检测。本发明的优点是：通过采用本发明限定的方法，用于集装箱锁孔的粗定位和跟踪，可以快速识别和跟踪锁孔的位置便于小车司机随时调整吊具的位置，同时准确地保留锁孔完整的图像，解决环境中干扰的光线、干扰点以及Hough直线效果不佳等不足。

Description

一种集装箱锁孔粗定位和跟踪方法

技术领域

本发明属于计算机视觉技术和图像处理技术领域，具体涉及一种集装箱锁孔粗定位和跟踪方法。

背景技术

自我国加入WTO以来，出口贸易量快速增长，集装箱运输作为国际通用运输方式，需求量呈急剧上升趋势，国际贸易逐渐进入了集装箱时代。集装箱运输商品具有成本低、安全性高、运输速度快、便于管理等优点，因而在国际贸易中得到了普遍应用。在如今的运输贸易中，由于产品包装材料及技术的快速发展，大部分商品几乎都已经开始采用集装箱运输，而集装箱在贸易运输中的比重也得到了明显提升。随着自动化运输***的开发及应用，集装箱运输环节效率得到大大提高，但装卸作业部分仍处于人工操作阶段，而贸易的不断增长对集装箱装卸作业的效率提出更高要求。在装卸作业中，起吊阶段的锁孔与吊具能否快速高效地对准连接往往起着至关重要的作用。如何实现锁孔与吊具的快速高效对准连接，关键是快速准确的对锁孔进行定位。

为了解决集装箱定位的问题，国内外学术界、工业界提出了很多方案，其中与本发明较为接近的技术方案包括：马蕾(基于双目立体视觉的集装箱识别与定位技术研究[D].西南交通大学,2013)将原始图片经过平均灰度和中值滤波处理得到质量较好的图片，再使用Canny算子边缘检测算法将图像进行分割，提取部分感兴趣的区域。由此可知不同的图片需要应用不同预处理方法，得到的效果也不好控制。然后该文使用了模板匹配算法从图中获得集装箱的区域，再用Hough变换提取圆形锁孔。由此可知，模板匹配算法运行速度较慢无疑是降低了自动化效率，同时由于相机角度的问题锁孔并不会呈圆形，使用Hough变换检测圆并不能很好的识别锁孔。谢丁龙(基于计算机视觉的集装箱定位***的研究[D].天津科技大学,2006)通过将摄像机拍摄的图像轮廓化再采用最小二乘法对轮廓边线进行拟合，计算出轮廓对象的尺寸，对目标对象进行识别、定位。但是由于光照和噪声的影响，实际轮廓并不会这么理想。而且该文采用的是模拟环境，并不能真实反映集装箱的具体情况，更接近于理论研究。发明专利(申请号：201510447232.6，名称：集装箱锁孔自动辨识定位方法和***)中提出利用双目摄像机采集图像，和摄像***相连的锁孔识别模块从图像中识别出锁孔所在位置，再利用图像坐标获得模块获取锁孔的图像坐标，设备坐标转换模块和图像坐标获得模块连接，将图像坐标转换成抓取设备的设备坐标，控制器基于设备坐标对抓取设备进行定位操作，但是该方法更多的是对集装箱锁孔定位***的描述，在锁孔识别模块上并没有说明采用的方法，所以最后得到的效果难以评估。发明专利(申请号：201210035473.6，名称：一种港口集装箱定位装置和方法)公开了一种港口集装箱定位装置，在载具的水平面上同向相互平行放置两台激光测长器，利用同步连续发射激光脉冲串获得垂直于吊具的集装箱卡车位置偏差信息，计算出在集装箱卡车上的第一激光测长器和第二激光测长器的激光照射点和定位线的垂线的最小值，让显示屏显示集装箱卡车距定位线最小距离值，指导集装箱卡车司机进行前进、后退、左转、右转或者停止的指令。这种集装箱激光定位装置由于是单点扫描，获得的集装箱定位信息仅仅是几个给定着箱点位置的垂直距离，检测点过少，精度不高，因此不能应用于自动化装卸，同时还需要卡车司机的介入，无疑为装卸增加了难度。

综上所述，在实现集装箱定位时，现有方法无法存在如下不足：(1)用角点代表锁孔降低识别准确性(2)对磨损的锁孔效果不好(3)光线不足条件下识别率低等等。本发明针对这些问题提出了一种基集装箱锁孔粗定位和跟踪方法。

发明内容

为解决上述问题，本发明提供了一种集装箱锁孔粗定位和跟踪方法。

所述的一种集装箱锁孔粗定位和跟踪方法，其特征在于具体方法如下：

步骤1：使用安装在吊具上的工业摄像机采集一系列用于训练的集装箱图像，该图像的宽度为W₀，高度为H₀，单位为像素，每张图片只包含集装箱的一侧，即只包含2个锁孔；

步骤2：手动提取部分集装箱图像中的锁孔区域作为正样本pos_i(i＝1,2,…N)，图像其他区域为负样本neg_j(j＝1,2,…M)，正负样本图像没有重合部分，N、M表示正负样本的数量；

步骤3：首先对正负样本图像归一化到高度为height，宽度为width，然后提取其HOG特征，最后使用SVM分类器训练HOG特征；

步骤4：初始化检测区域C，(x_c,y_c)表示检测区域C左上角的坐标，W_c和H_c分别表示该区域的宽度和高度，x_c＝0,y_c＝0,W_c＝W₀,H_c＝H₀；

步骤5：使用安装在吊具上的工业摄像机实时采集待检测集装箱的图像，将检测区域C所对应的子图像放入HOG描述子的多尺度检测函数中进行处理，得到近似锁孔图像区域R_a(a＝1,2,…n)，n表示检测到的近似锁孔图像区域的数量；

步骤6：计算近似锁孔图像区域的面积，并将图像按照面积大小排序，获得面积最大的前3个近似锁孔图像区域

步骤7：计算图像区域两两之间中心点在垂直方向上的距离和连线的角度：

D_ij＝|y_i-y_j| (1)

式中，(x_i,y_i),(x_j,y_j)分别表示第i个图像区域中心点和第j个图像区域中心点的坐标，D_ij表示第i个图像区域中心点和第j个图像区域中心点在垂直方向上的距离，α_ij表示第i个图像区域中心点和第j个图像区域中心点的连线与水平方向的夹角，i＝1,2,3,j＝1,2,3且i≠j；

保留满足条件D_ij≤T且|α_ij-90°|≤ε的两个图像区域，分别命名为R₁和R₂，若是第一次执行步骤5到步骤7，则R₁和R₂是粗定位得到的集装箱锁孔位置；否则，R₁和R₂是跟踪得到的集装箱锁孔位置，其中T表示垂直距离阈值，ε表示夹角阈值；

步骤8：根据步骤7得到的锁孔图像区域R₁,R₂，更新检测区域C：

x_c＝min(x₁,x₂)-max(w₁,w₂)/2 (3)

y_c＝min(y₁,y₂)-max(h₁,h₂)/2 (4)

W_c＝max(x₁+w₁,x₂+w₂)-min(x₁,x₂)+max(w₁,w₂) (5)

H_c＝max(y₁+h₁,y₂+h₂)-min(y₁,y₂)+max(h₁,h₂) (6)

式中，(x₁,y₁)表示锁孔图像区域R₁左上角坐标，w₁和h₁表示锁孔图像区域R₁的宽度和高度，(x₂,y₂)表示锁孔图像区域R₂左上角坐标，w₂和h₂表示锁孔图像区域R₂的宽度和高度，min和max分别表示求最小值和最大值；

步骤9：重复步骤5～8，则可实现集装箱锁孔位置的跟踪检测；否则，直接退出，最后得到的R₁和R₂即为最终的集装箱锁孔位置。

所述的一种集装箱锁孔粗定位和跟踪方法：其特征在于步骤3)中使用SVM分类器训练HOG特征的具体步骤如下：

步骤3.1：将正负样本图像划分成多个cell(p*p像素)，统计每个cell的梯度方向直方图，然后把q*q个cell组合成更大的block，block内所有cell的特征为该block的HOG特征；

步骤3.2：设置SVM分类器，用获取的正负样本的HOG特征向量进行训练，得到分类器的参数并以此设置HOG描述子。

本发明的优点是：通过采用本发明限定的方法，用于集装箱锁孔的粗定位和跟踪，可以快速识别和跟踪锁孔的位置便于小车司机随时调整吊具的位置，同时准确地保留锁孔完整的图像，解决环境中干扰的光线、干扰点以及Hough直线效果不佳等不足。

附图说明

图1为本发明实施例步骤1采集的集装箱图像；

图2为本发明实施例步骤2提取的正负样本图像；

图3为本发明实施例步骤4初始化的检测区域图像；

图4为本发明实施例步骤5得到的近似锁孔图像；

图5为本发明实施例步骤6排序后的近似锁孔图像；

图6为本发明实施例步骤7得到的粗定位上锁孔图像和下锁孔图像；

图7为本发明实施例步骤8更新的检测区域图像。

图中：1-检测区域C，2-近似锁孔图像区域A，3-近似锁孔图像区域B，4-近似锁孔图像区域C，5-集装箱锁孔A，6-集装箱锁孔B，7-更新后的检测区域。

具体实施方式

下面结合实施例来详细阐述本发明基于计算机视觉的集装箱锁孔粗定位方法的具体实施方式。

如图1-7所示，本发明的一种集装箱锁孔粗定位和跟踪方法，具体方法如下：

步骤1：使用安装在吊具上的工业摄像机采集一系列用于训练的集装箱图像，该图像的宽度为W₀，高度为H₀，单位为像素，每张图片只包含集装箱的一侧，即只包含2个锁孔；在本实施例中，如附图1，W₀＝3264,H₀＝2448；

步骤2：手动提取部分集装箱图像中的锁孔区域作为正样本pos_i(i＝1,2,…N)，图像其他区域为负样本neg_j(j＝1,2,…M)，N、M表示正负样本的数量，正负样本图像没有重合部分；在本实施例中，如附图2，N＝173,M＝1299；

步骤3：首先对正负样本图像归一化到高度height，宽度为width，然后提取其HOG特征，最后使用SVM分类器训练HOG特征，具体步骤如下：

步骤3.1：将正负样本图像划分成多个cell(p*p像素)，统计每个cell的梯度方向直方图，然后把q*q个cell组合成更大的block，block内所有cell的特征为该block的HOG特征；在本实施例中，p＝3,q＝2；

步骤3.2：设置SVM分类器，用获取的正负样本的HOG特征向量进行训练，得到分类器的参数并以此设置HOG描述子；在本实施例中，heig＝h3t0,width＝30；

步骤4：初始化检测区域C1，(x_c,y_c)表示检测区域C左上角的坐标，W_c和H_c分别表示该区域的宽度和高度，x_c＝0,y_c＝0,W_c＝W₀,H_c＝H₀；在本实施例中，如附图3所示；

步骤5：使用安装在吊具上的工业摄像机实时采集待检测集装箱的图像，将检测区域C所对应的子图像放入HOG描述子的多尺度检测函数中进行处理，得到近似锁孔图像区域R_a(a＝1,2,…n)，n表示检测到的近似锁孔图像区域的数量；在本实施例中，如附图4，n＝18；

步骤6：计算近似锁孔图像的面积，并将图像按照面积大小排序，获得面积最大的前3个近似锁孔图像区域在本实施例中，如附图5所示，获得的3个近似锁孔图像区域A2、近似锁孔图像区域B3和近似锁孔图像区域C4；

步骤7：计算图像区域两两之间中心点在垂直方向上的距离和连线的角度：

D_ij＝|y_i-y_j| (1)

${\mathrm{\α}}_{ij}={\tan }^{-1}\left(\frac{y_i-y_j}{x_i-x_j}\right)---\left(2\right)$

式中，(x_i,y_i),(x_j,y_j)分别表示第i个和第j个图像区域中心点的坐标，D_ij表示第i个和第j个图像区域中心点在垂直方向上的距离，α_ij表示第i个和第j个图像区域中心点的连线与水平方向的夹角，i＝1,2,3,j＝1,2,3且i≠j；

保留满足条件D_ij≤T且α_ij-90°|≤ε的两个图像区域，分别命名为R₁和R₂，若是第一次执行步骤5到步骤7，则R₁和R₂是粗定位得到的集装箱锁孔位置；否则，R₁和R₂是跟踪得到的集装箱锁孔位置，其中T表示垂直距离阈值，ε表示夹角阈值；在本实施例中，粗定位得到的集装箱锁孔A 5和集装箱锁孔B6位置如附图6所示，其中T＝1200,ε＝5°；

步骤8：根据步骤7得到的锁孔图像区域R₁,R₂，更新检测区域C：

x_c＝min(x₁,x₂)-max(w₁,w₂)/2 (3)

y_c＝min(y₁,y₂)-max(h₁,h₂)/2 (4)

W_c＝max(x₁+w₁,x₂+w₂)-min(x₁,x₂)+max(w₁,w₂) (5)

H_c＝max(y₁+h₁,y₂+h₂)-min(y₁,y₂)+max(h₁,h₂) (6)

式中，(x₁,y₁)表示锁孔图像区域R₁左上角坐标，w₁和h₁表示锁孔图像区域R₁的宽度和高度，(x₂,y₂)表示锁孔图像区域R₂左上角坐标，w₂和h₂表示锁孔图像区域R₂的宽度和高度，min和max分别表示求最小值和最大值；在本实施例中，更新后的检测区域7如附图7所示；

步骤9：重复步骤5～8，则可实现集装箱锁孔位置的跟踪检测；否则，直接退出，最后得到的R₁和R₂即为最终的集装箱锁孔位置。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种集装箱锁孔粗定位和跟踪方法，其特征在于具体方法如下：

步骤1：使用安装在吊具上的工业摄像机采集一系列用于训练的集装箱图像，该图像的宽度为W₀，高度为H₀，单位为像素，每张图片只包含集装箱的一侧，即只包含2个锁孔；

步骤2：手动提取部分集装箱图像中的锁孔区域作为正样本pos_i(i＝1,2,…N)，图像其他区域为负样本neg_j(j＝1,2,…M)，正负样本图像没有重合部分，N、M表示正负样本的数量；

步骤3：首先对正负样本图像归一化到高度为height，宽度为width，然后提取其HOG特征，最后使用SVM分类器训练HOG特征；

步骤4：初始化检测区域C，(x_c,y_c)表示检测区域C左上角的坐标，W_c和H_c分别表示该区域的宽度和高度，x_c＝0,y_c＝0,W_c＝W₀,H_c＝H₀；

步骤5：使用安装在吊具上的工业摄像机实时采集待检测集装箱的图像，将检测区域C所对应的子图像放入HOG描述子的多尺度检测函数中进行处理，得到近似锁孔图像区域R_a(a＝1,2,…n)，n表示检测到的近似锁孔图像区域的数量；

步骤6：计算近似锁孔图像区域的面积，并将图像按照面积大小排序，获得面积最大的前3个近似锁孔图像区域k＝1,2,3；

步骤7：计算图像区域k＝1,2,3，两两之间中心点在垂直方向上的距离和连线的角度：

D_ij＝|y_i-y_j| (1)

式中，(x_i,y_i),(x_j,y_j)分别表示第i个图像区域中心点和第j个图像区域中心点的坐标，Di_j表示第i个图像区域中心点和第j个图像区域中心点在垂直方向上的距离，α_ij表示第i个图像区域中心点和第j个图像区域中心点的连线与水平方向的夹角，i＝1,2,3,j＝1,2,3且i≠j；

保留满足条件D_ij≤T且|α_ij-90°|≤ε的两个图像区域，分别命名为R₁和R₂，若是第一次执行步骤5到步骤7，则R₁和R₂是粗定位得到的集装箱锁孔位置；否则，R₁和R₂是跟踪得到的集装箱锁孔位置，其中T表示垂直距离阈值，ε表示夹角阈值；

步骤8：根据步骤7得到的锁孔图像区域R₁,R₂，更新检测区域C：

x_c＝min(x₁,x₂)-max(w₁,w₂)/2 (3)

y_c＝min(y₁,y₂)-max(h₁,h₂)/2 (4)

W_c＝max(x₁+w₁,x₂+w₂)-min(x₁,x₂)+max(w₁,w₂) (5)

H_c＝max(y₁+h₁,y₂+h₂)-min(y₁,y₂)+max(h₁,h₂) (6)

式中，(x₁,y₁)表示锁孔图像区域R₁左上角坐标，w₁和h₁表示锁孔图像区域R₁的宽度和高度，(x₂,y₂)表示锁孔图像区域R₂左上角坐标，w₂和h₂表示锁孔图像区域R₂的宽度和高度，min和max分别表示求最小值和最大值；

步骤9：重复步骤5～8，则可实现集装箱锁孔位置的跟踪检测；否则，直接退出，最后得到的R₁和R₂即为最终的集装箱锁孔位置。

2.根据权利要求1所述的一种集装箱锁孔粗定位和跟踪方法：其特征在于步骤3)中使用SVM分类器训练HOG特征的具体步骤如下：

步骤3.1：将正负样本图像划分成多个cell(p*p像素)，统计每个cell的梯度方向直方图，然后把q*q个cell组合成更大的block，block内所有cell的特征为该block的HOG特征；

步骤3.2：设置SVM分类器，用获取的正负样本的HOG特征向量进行训练，得到分类器的参数并以此设置HOG描述子。