CN110197499A - 一种基于计算机视觉的集装箱安全起吊监测方法 - Google Patents

一种基于计算机视觉的集装箱安全起吊监测方法 Download PDF

Info

Publication number
CN110197499A
CN110197499A CN201910443526.XA CN201910443526A CN110197499A CN 110197499 A CN110197499 A CN 110197499A CN 201910443526 A CN201910443526 A CN 201910443526A CN 110197499 A CN110197499 A CN 110197499A
Authority
CN
China
Prior art keywords
container
lock
car
car body
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910443526.XA
Other languages
English (en)
Other versions
CN110197499B (zh
Inventor
印杰
张慧明
刘莉
郭延文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIANGSU POLICE INSTITUTE
Original Assignee
JIANGSU POLICE INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU POLICE INSTITUTE filed Critical JIANGSU POLICE INSTITUTE
Priority to CN201910443526.XA priority Critical patent/CN110197499B/zh
Publication of CN110197499A publication Critical patent/CN110197499A/zh
Application granted granted Critical
Publication of CN110197499B publication Critical patent/CN110197499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于计算机视觉的集装箱安全起吊监测方法，本发明并行处理头尾摄像头拍摄到的视频数据，其中每个线程处理步骤如下：1.获取初始化数据，设置监测信号的初始值。2.获取待检测区域。3.对待检测区域用滑动窗口方法提取固定大小区域特征。4.对集装箱锁扣检测进行训练，并用训练好的模型对测试图片进行检测,保留是正样本的概率值大于阈值的区域。5.筛选保留下的区域，取最有可能是锁扣的区域作为跟踪目标。6.跟踪锁扣和车体的运动。7.分析锁扣和车体的运动关系,给出集装箱是否被安全吊起结果。8.结合两个线程处理的结果，给出最终的检测结果。本发明为集装箱起吊监测提供了实时的、高效的监测方法。

Description

一种基于计算机视觉的集装箱安全起吊监测方法
技术领域
本发明涉及集装箱起吊监测技术、图像处理、计算机视觉等领域，具体涉及一种基于计算机视觉的集装箱安全起吊监测方法。
背景技术
在集装箱起吊作业中，存在多种安全隐患。其中发生概率最高的是在集装箱起吊的 过程中，集装箱和运输车的锁扣未被解开，导致运送集装箱的车体也被吊起，锁扣未解锁会对运输车以及驾驶员带来严重的生命和财产损失。现有的方法需要地面人工配合， 进行人工示警，人工的方法效率低而且成本高。文献“港口集装箱起吊的自动监控[J]. 机械制造,2009,47(06):72-75.”中提出将激光扫描技术应用到集装箱起吊的安全监控 中，但是采用激光技术这种解决方案的成本高，不经济。随着计算机视觉处理技术的不 断发展，以及基于视觉目标检测算法的不断完善，越来越多应用把基于视觉的检测技术 应用于实际应用中，例如基于计算机视觉的车辆检测，车牌检测等等。
发明内容
发明目的：在集装箱起吊作业过程中，需要对集装箱和运输车连接的锁扣进行检查 是否已被解开来确保集装箱被正确的起吊，防止意外发生。本发明基于此应用，提出了一种基于锁扣检测和跟踪的集装箱起吊监测方法。该方法通过相机获取视频数据，通过 目标检测算法对集装箱的锁扣进行定位并跟踪锁扣和车体，然后对锁扣和运输车的运动 进行分析，对运输车被吊起的情况进行报警，防止车体被吊起导致事故发生。
本发明具体包括如下步骤：
步骤1：获取初始化数据，设置监测信号的初始值；
步骤2：根据初始信号以及先验知识人为设定第一帧图像需要检测的感兴趣区域Roidetect；由于集装箱起吊时，吊塔所在位置固定，卡车停靠的位置固定，所以相同尺 寸的集装箱和相同位置的摄像头检测的区域固定。为了节省检测的时间提高效率，根据 吊车控制***给出的集装箱尺寸和摄像头位置信息，可以设置不同的待检测区域 Roidetect，该区域为检测***进行锁扣检测的区域，即其他区域不进行锁扣的检测。
步骤3：对感兴趣区域Roidetect提取方向直方图HOG特征；根据初始化信号，在 感兴趣Roidetect内用滑动窗口方法提取固定大小的区域，对每个区域有都计算HOG特 征。方向直方图(Histogram of oriented gradient,HOG)特征是一种在计算机视觉与图像处 理中进行物体检测的特征描述子。它通过计算和同济图像局部区域的梯度方向直方图来 构成特征。
步骤4：进行集装箱锁扣检测；
步骤5：获取锁扣所在位置；
步骤6：跟踪锁扣和车体的运动；
步骤7：分析锁扣和车体的运动关系，给出集装箱是否被安全起吊结果；
步骤8：对两个摄像头采集的视频数据进行并行处理，分别执行步骤1～步骤7，得到两个结果，如果其中一个检测结果是危险起吊，则给出最终的检测结果危险信号，如 果两个结果都表示危险起吊，则给出最终的检测结果为安全信号，否则继续读取下一帧 视频图像，执行步骤1～步骤7。
步骤1包括如下步骤：
步骤1-1：获取初始化数据：通过吊车控制***获取集装箱的尺寸信息和摄像头的位置信息，初始化摄像头位置和集装箱尺寸大小；
集装箱的尺寸包括两种型号：6.1m和12.2m；
摄像头位置分为头部摄像头和尾部摄像头，分别表示为HEAD_CAM和END_CAM，
则一共分为四种视频数据，分别为头部摄像头6.1m集装箱、尾部摄像头6.1m集装箱、头部摄像头12.2米集装箱和尾部摄像头12.2m集装箱，分别记为HEAD_6、END_6、 HEAD_12和END_12；
集装箱大小以及摄像头位置的不同具体反映对检测模块的影响为检测的位置和待 检测锁扣的大小不同，需要对不同摄像头和不同集装箱尺寸给出不同的初始化数据。
步骤1-2：初始化监测信号，监测信号包括起吊信号signal1，检测信号signal2，跟踪信号signal3，结束信号signal4；
起吊信号signal1为监测开始的激发信号，初始化为false，即只有当起吊信号signal1 为true时才进行集装箱安全起吊的监测；集装箱被吊起一定高度(20cm左右)后，确 保相抵锁位置能被摄像头捕捉后，吊车控制***给出起吊信号，然后再设置起吊信号为true，开始检测；
检测信号signal2为图像进行检测的激发信号，初始为true，本方法只进行一次集装箱锁扣的检测，一旦检测到集装箱锁扣就将检测信号signal2设置为false，之后不再 对视频进行集装箱锁扣的检测操作；
跟踪信号signal3为跟踪集装箱锁扣的激发信号，初始化为false，只有当检测锁扣 得到的概率值大于设定阈值(0.8)时，才将跟踪信号signal3设置为true，进行跟踪操作，否则不进行跟踪操作；
结束信号signal4为监测结束的激发信号，一旦给出危险或者安全信号，则激发结束信号signal4，结束该视频的监测。
步骤3包括如下步骤：
步骤3-1，将第一帧图像灰度化(将图像看做一个x,y,z(灰度)的三维图像)；
步骤3-2，采用Gamma校正法对图像进行颜色空间的标准化，即归一化；目的是 调节图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音 的干扰；
步骤3-3，在感兴趣Roidetect内用滑动窗口方法生成N个固定大小的区域，对每个区域通过步骤3-4～3-9计算方向直方图HOG特征；
步骤3-4，计算图像每个像素的梯度，包括大小和方向：主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。
d1(x,y)＝I(x1,y1)-I(x0,y0)
…
dn(x,y)＝I(xn,yn)-I(x0,y0)
将单元格的梯度方向360°均匀划分为9个方向块，其中I(x0,y0)表示要计算的点的像素值，I(x0,y0)…I(xn,yn)表示9个方向的像素值，dn(x,y)表示像素点(x0,y0)处9 个方向的梯度，其中n的取值范围是1～9。
每个像素的梯度g表示为：
步骤3-5，将图像划分成小单元格(例如6*6像素/单元格)；
步骤3-6，统计每个单元格的梯度直方图(不同梯度的个数)，即形成每个单元格的描述子；
步骤3-7，将每Z1个单元格组成一个图像块(例如3*3个单元格/图像块，即Z1取 值为9)，一个图像块内所有单元格的特征描述串联起来便得到该图像块的方向直方图 HOG特征描述子；
步骤3-8，将图像内的所有图像块的方向直方图HOG特征描述子串联起来就能够得到要检测的目标的方向直方图HOG特征，所述要检测的目标的方向直方图HOG特 征就是最终的可供分类使用的特征向量；
HOG特征构建梯度直方图是在单元格中完成，方向块的个数决定了方向的范围。在本发明中采用的9个方向块的直方图来统计单元格中的梯度信息，即将梯度方向 0～360分为9个方向块。
步骤3-9，最后将计算得到的每个区域的方向直方图HOG特征作为该区域的局部特征。
步骤4包括：
步骤4-1：训练分类器：采集大量集装箱检测的样本图像(3000张)，并通过人工 标记的方法标记出集装箱锁扣的位置，生成集装箱锁扣的正样本，在样本图像中除锁扣 位置外随机生成负样本，同时控制正负样本比例为1:3，提取正样本和负样本的方向直 方图HOG特征，通过线性支持向量机SVM训练分类器；因为集装箱锁扣边缘特征明 显，所以HOG特征可以有效的捕捉锁扣的特征。
步骤4-2：分类：通过步骤2～3得到的每个区域的HOG特征，然后输入到训练好 的线性支持向量机SVM分类得到每个区域是正样本的概率值F，只保留概率值大于设 定值(0.8)的M个区域SM，对于四种视频数据HEAD_6、END_6、HEAD_12和END_12 中的是正样本的概率值大于设定值的区域，用白色框表示。
步骤5包括：对保留下的M个概率值大于阈值的区域SM，为防止产生误检，计算 概率值前k(一般取3)个区域中心之间的像素欧式距离z，若z小于或等于阈值(20 个像素)，则判定k个区域检测的是同一个锁扣区域，取k个区域中概率值F最大的区 域作为锁扣所在位置；若z大于设定阈值(20个像素)，则通过投票法，对概率值为前 j(一般取5)个进行投票，并取投票个数最多的区域作为锁扣所在位置。
步骤6包括：若集装箱锁扣检测结果的概率值大于设定阈值(0.8)，则对集装箱锁扣和车体进行跟踪，首先根据锁扣的位置，设定集装箱锁扣下面一定距离(25个像素) 的区域为车体，通过核相关滤波算法KCF(High-Speed Tracking with KernelizedCorrelation Filters)***跟踪锁扣和车体运动；否则不进行跟踪。KCF***对光照变化，遮挡，非刚性形变，运动模糊，背景杂乱和旋转等视频均能跟踪良好，比较适合 跟踪目标。
步骤7包括：
在步骤6中，通过***分别得到集装箱和车体在图像中的实时位置信息，从而得到集装箱和车体相对于原位置的运动方向和距离：记车体的初始位置为Carori，集装箱 初始位置为Containerori，车体的实时位置信息为Carpos，集装箱的实时位置信息为Containerpos；
集装箱起吊有两种情况，一种是危险起吊，另一种是安全起吊；
集装箱被危险起吊分为如下四种情况：
第一种情况，若集装箱的视频检测的锁扣被锁住，例如视频是12m头部视频，头 部检测的锁扣被锁住，在视频中反应为车体和集装箱一起被吊起，一起向上运动。若根 据步骤6跟踪得到的车体被起吊向上运动超过上升阈值thresoldris(例如40个像素)， 即Carpos-Carori>thresoldris，则为危险起吊；
第二种情况，若集装箱的视频检测端的另一端锁扣被锁住，由于另一端被吊起，所以检测端在视频中反应为车体和集装箱一起向下运动。若根据步骤6跟踪得到的车体向 下运动超过下降阈值thtesolddown(例如15个像素)，即Carori-Carpos> thresolddown，则很可能是检测端的另一端锁扣被锁住，则为危险起吊；
第三种情况，在集装箱被吊起一定像素距离(25个像素)之后车子还有下降量， 此策略为了应对车体被吊起之后有一定反弹，在吊起一定高度之后再去判断，如果有下 降量，则判定是车子另外一端被吊起导致检测端车体下降，为危险起吊；
第四种情况，车子在起吊过程中开走情况：为了应对车子开走的情况，加入一个新的判断。当车体被吊起一定高度(25个像素)之后，若检测到车体有下降量，则检测 是否是由车子开走而导致车体下降的，若由步骤6跟踪车体运动判定车体未开走，则为 危险信号；
集装箱安全起吊分为如下两种情况：
第一种情况，集装箱以及被吊起到特定高度(120个像素)且没有检测到危险情况，则判定集装箱被安全起吊；
第二种情况，在集装箱吊起的过程中，根据如下公式计算tanθ：
其中，θ表示车体在视频中的移动角度，如果tanθ<thresh(一般取值为0.36)， 则判定车子移动，则输出安全信号，否则输出危险信号。
车体可能会发生移动，在视频的所反映的是车体按照斜上方的方向上运动，所以这 种情况容易导致车体向上运动超过阈值，导致误检。所以，本方法通过分析车体的运动角度，若角度低于给定阈值，则判定车子移动，则输出安全信号。
所述检测是否是由车子开走而导致车体下降的，具体包括：
计算f帧之后视频中y轴方向上的变化量Δy＝Carpos.y-Carori.y，以及x轴方 向上的变化量Δx＝Carpos.x-Carori.x，其中x，y分别表示图像中的像素横坐标、纵 坐标，计算tanθ：
其中，θ表示车体在视频中的移动角度，如果tanθ大于阈值thresh(一般取值为0.36)， 说明y轴方向变化很大，表示车子另外一端被吊起导致检测端下降，则输出危险信号， 否则输出安全信号。
车子开走会导致车体的移动，大部分是在图像的x轴方向上的移动，不过有少部分是在图像的y轴方向上的移动。头部车子在图像上显示是斜上方向开的，x轴方向和y 轴方向值都是变大的。而尾部看到的是斜下方向，x轴方向值增大，y轴方向值减小。 本发明是通过车体在视频中的移动角度θ来判断是否是车开走的情况。
本发明并行对头部和尾部摄像头采集的视频数据进行处理，分别对集装箱锁扣进行 检测，跟踪和运行分析，最后反馈集装箱是否被安全起吊的结果。一旦其中一个检测结果给出的信号是危险信号，那么就立即反馈给吊塔，集装箱被危险的吊起。若两个线程 处理视频都未给出危险信号，则认为集装箱起吊是安全的。
基于视觉的集装箱监测方法主要分别三个模块，检测模块、跟踪模块和报警模块。检测模块负责定位集装箱锁扣位置和车***置。跟踪模块负责跟踪集装箱锁扣和车体。 报警模块通过分析集装箱车车体的运动关系，然后结合头尾视频输出结果，输出车体是 否被安全的信号。
有益效果：本发明实现了基于计算机视觉的集装箱安全起吊监测方法。在集装箱起 吊过程中，可能因为锁扣未打开导致车体被危险的起吊，本方法实现了实时的集装箱起吊监测，可以对危险的起吊情况进行及时报警。相对于传统的人工报警或者用激光进行 报警的方法，本方法可能大大的降低成本。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其 他方面的优点将会变得更加清楚。
图1为本发明基于计算机视觉集装箱安全期待哦监测方法对每个摄像头采集到的图像 数据进行处理的流程图。
图2a是长为6m的集装箱尾部摄像头拍摄的图像，白色框为待检测区域。
图2b为长为6m的集装箱头部摄像头拍摄的图像，白色框为待检测区域。
图2c为长为12m的集装箱尾部摄像头拍摄的图像，白色框为待检测区域。
图2d为长为12m的集装箱头部摄像头拍摄的图像，白色框为待检测区域。
图3a是长为6m的集装箱尾部摄像头拍摄的图像，其中检测结果只保留了大于设定阈 值的框，用白色框框出。
图3b是长为6m的集装箱头部摄像头拍摄的图像，其中检测结果只保留了大于设定阈 值的框，用白色框框出。
图3c是长为12m的集装箱尾部摄像头拍摄的图像，其中检测结果只保留了大于设定阈 值的框，用白色框框出。
图3d是长为12m的集装箱头部摄像头拍摄的图像，其中检测结果只保留了大于设定阈 值的框，用白色框框出。
图4a是长为6m的集装箱尾部摄像头拍摄的图像，通过步骤5处理之后，筛选出的最大概率的区域作为集装箱锁扣的位置，用黑色框框出。
图4b是长为6m的集装箱头部摄像头拍摄的图像，通过步骤5处理之后，筛选出的最大概率的区域作为集装箱锁扣的位置，用黑色框框出。
图4c是长为12m的集装箱尾部摄像头拍摄的图像，通过步骤5处理之后，筛选出的最 大概率的区域作为集装箱锁扣的位置，用黑色框框出。
图4d是长为12m的集装箱头部摄像头拍摄的图像，通过步骤5处理之后，筛选出的最 大概率的区域作为集装箱锁扣的位置，用黑色框框出。
图5a为视频检测端集装箱锁扣未解锁，运输处被吊车的情况。
图5b为视频检测端的另一端集装箱锁扣未解锁，运输车被吊起的情况。
图6a为安全起吊的情况。
图6b为集装箱被起吊的过程中，车子开走的情况，这种情况直接反馈安全信号。
图7为考虑到运输车在起吊的过程中开走的情况可能会导致误检，通过分析运输车的运 动方向判断是否是危险吊起的示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明并行对头部和尾部摄像头采集的视频数据进行处理，分别进行集装箱锁扣检 测和跟踪，然后分别反馈集装箱是否被安全起吊的结果。一旦其中一个线程的检测结果给出的信号是危险信号，那么就立即反馈集装箱被危险吊起的信号，若头尾两个视频数 据监测的结果都是安全的，认为集装箱是安全的。
具体地说，如图1所示，本发明公开了基于计算机视觉处理方法的港口集装箱起吊安全监测方法，并行对头尾两个摄像头采集的视频数据进行处理。基于视觉的集装箱监 测方法主要分别三个模块，检测模块、跟踪模块和报警模块。
(1)检测模块负责定位集装箱锁扣位置和车***置。
(2)跟踪模块负责跟踪集装箱锁扣和车体。
(3)报警模块通过分析集装箱车车体的运动关系，然后结合头尾视频输出结果，输出车体是否被安全的信号。
其中对每个摄像头的处理步骤如下：
步骤1：获取初始化数据，设置监测信号的初始值。监测信号包括起吊信号signal1， 检测信号signal2，跟踪信号signal3，结束信号signal4。
步骤1-1：初始化数据。
集装箱的尺寸主要有两种型号：6.1m和12.2m。
摄像头位置分为头部和尾部摄像头，分别表示为HEAD_CAM和END_CAM。
所以一共分为四种视频数据，分别为头部摄像头6.1m集装箱、尾部摄像头6.1m集装箱、头部摄像头12.2米集装箱和尾部摄像头12.2m集装箱，分别记为HEAD_6、END_6、HEAD_12和END_12。
如图2a，图2b，图2c和图2d所示，分别是END_6、HEAD_6、END_12和HEAD_12 拍摄的集装箱的图片，其中待检测的区域已经用框框出。集装箱大小以及摄像头位置的 不同具体反映对检测模块的影响为检测的位置和待检测锁扣的大小不同，需要对不同摄 像头和不同集装箱尺寸给出不同的初始化数据。
通过吊车控制***获取集装箱的尺寸信息和摄像头的位置信息，初始化摄像头位置 和集装箱尺寸大小。
步骤1-2：初始化监测信号。
起吊信号signal1为集装箱监测***开始的激发信号，初始化为false，即只有当起 吊信号signal1为true时才进行集装箱安全起吊的监测。集装箱被吊起一定高度(20cm左右)后，确保相抵锁位置能被摄像头捕捉后，吊车控制***给出起吊信号，然后在设 置起吊信号为true，开始检测。
检测信号signal2为图像进行检测的激发信号，初始也为true，本方法只进行一次集装箱锁扣的检测，一旦检测到集装箱锁扣就将检测信号signal2设置为false，之后不 再对视频进行集装箱锁扣的检测操作。
跟踪信号signal3为跟踪集装箱锁扣的激发信号，初始化为false。只有当检测锁扣 得到的概率值大于一定阈值(0.8)时，才将跟踪信号signal3设置为true，进行跟踪操作，否则不进行跟踪操作。
结束信号signal4为集装箱监测***的结束的激发信号。一旦***给出危险或者安 全信号，则激发结束信号signal4，结束该视频的监测。
步骤2：获得检测区域，根据初始信号获得第一帧图像需要检测的感兴趣区域Roidetect，如图3所示。由于集装箱起吊时，吊塔所在位置固定，卡车停靠的位置固定， 所以相同尺寸的集装箱和相同位置的摄像头检测的区域固定。为了节省检测的时间提高 效率，根据吊车控制***给出的集装箱尺寸和摄像头位置信息，可以设置不同的待检测 区域Roidetect，该区域为检测***进行锁扣检测的区域，即其他区域不进行锁扣的检测。
步骤3：对感兴趣区域Roidetect提取特征。根据初始化信号，在感兴趣Roidetect内 用滑动窗口方法提取固定大小的区域，对每个区域有都计算HOG特征。方向直方图(Histogram of oriented gradient,HOG)特征是一种在计算机视觉与图像处理中进行物体 检测的特征描述子。它通过计算和同济图像局部区域的梯度方向直方图来构成特征。提取HOG特征步骤：
1)灰度化(将图像看做一个x,y,z(灰度)的三维图像)；
2)采用Gamma校正法对输入图像进行颜色空间的标准化(归一化)；目的是调节 图像的对比度，降低图像局部的阴影和光照变化所造成的影响，同时可以抑制噪音的干 扰；
3)在感兴趣Roidetect内用滑动窗口方法生成N个固定大小的区域，对每个区域通过步骤4～9计算HOG特征。
4)计算图像每个像素的梯度(包括大小和方向)；主要是为了捕获轮廓信息，同时进一步弱化光照的干扰。
d1(x,y)＝I(x1,y1)-I(x0,y0)
…
dn(x,y)＝I(xn,yn)-I(x0,y0)
将单元格的梯度方向360°均匀划分为9个方向块，其中I(x0,y0)表示要计算的点的像素值，I(xn,yn)表示9个方向的像素值，dn(x,y)表示像素点(x0,y0)处9个方向的 梯度，其中n的取值范围是1～9。
每个像素的梯度g表示为：
5)将图像划分成小单元格(例如6*6像素/单元格)；
6)统计每个单元格的梯度直方图(不同梯度的个数)，即可形成每个单元格的描述子；
7)将每几个单元格组成一个图像块(例如3*3个单元格/图像块)，一个图像块内所有单元格的特征描述子串联起来便得到该图像块的HOG特征描述子。
8)将图像image内的所有图像块的HOG特征描述子串联起来就可以得到该image(要检测的目标)的HOG特征描述子了。这个就是最终的可供分类使用的特征向量。
HOG特征构建梯度直方图是在单元格中完成，方向块的个数决定了方向的范围。在实验中采用的9个方向块的直方图来统计单元格中的梯度信息，即将梯度方向0～360 分为9个方向块。
9)最后将计算得到的每个区域的HOG特征作为该区域的局部特征。
步骤4：集装箱锁扣检测是一个机器学习的过程，可以分为训练阶段和测试阶段；
步骤4-1：训练阶段，采集大量集装箱检测的样本图像(3000张)，并通过人工标 记的方法标记出集装箱锁扣的位置，生成集装箱锁扣的正样本。在样本图像中除锁扣位 置外随机生成负样本，同时控制正负样本比例为1:3。提取正样本和负样本的HOG特 征，通过线性支持向量机SVM训练分类器。因为集装箱锁扣边缘特征明显，所以HOG 特征可以有效的捕捉锁扣的特征。
步骤4-2：分类阶段。通过步骤2～3得到的每个区域的HOG特征，然后输入到训 练好的线性支持向量机SVM分类得到每块区域是正样本的概率值，只保留阈值大于设 定值的区域SM，如图3a、图3b、图3c和图3d所示，分别是END_6、HEAD_6、END_12 和HEAD_12是正样本的概率值大于设定值的区域，用白色框表示。
步骤5：对保留下的M个概率值大于阈值的区域SM，为防止产生误检，本方法计 算概率值前k(3)个区域中心之间的像素欧式距离，若具体在设定阈值内，则认为他 们检测的同一个锁扣区域，取概率值最大的区域作为锁扣所在位置。若它们中心的像素 欧式距离大于设定阈值(20个像素)，则通过投票法，对概率值为前j(一般取5)个进 行投票，并取投票个数最多的区域作为锁扣所在位置，如图4a、图4b、图4c和图4d 所示，分别为END_6、HEAD_6、END_12和HEAD_12筛选的最终结果用黑色的框框 出。
步骤6：跟踪锁扣和车体的运动。若集装箱锁扣检测结果的概率值大于一定阈值(0.8)，则对集装箱锁扣和车体进行跟踪，否则不进行跟踪。首先通过检测阶段检测出 集装箱锁扣的位置，然后设定集装箱锁扣下面一定距离(25个像素)的区域为车体， 分别通过核相关滤波算法KCF(High-Speed Tracking with Kernelized Correlation Filters) ***跟踪锁扣和车体运动。KCF***对光照变化，遮挡，非刚性形变，运动模糊， 背景杂乱和旋转等视频均能跟踪良好，比较适合我们的跟踪目标。
步骤7：分析锁扣和车体的运动关系，给出集装箱是否被安全起吊结果。通过***可以分别得到集装箱和车体的是在图像中的实时位置信息，进而可以得到集装箱和车体相对于原位置的运动方向和距离。记车体的初始位置为Carori，集装箱初始位置为Containerori，车体的实时位置信息为Carpos，集装箱的实时位置信息为Containerpos。
集装箱起吊有两种情况，一种是危险起吊，另一种是安全起吊。
集装箱被危险起吊一般分为四种情况：
(1)若集装箱的视频检测的锁扣被锁住，例如视频是12m头部视频，头部检测的 锁扣被锁住，在视频中反应为车体和集装箱一起被吊起，一起向上运动。若根据步骤6 跟踪得到的车体被起吊向上运动超过上升阈值即Carpos-Carori>thresoldris(40像 素)，则很有可能是被危险起吊，如图5a所示。
(2)若集装箱的视频检测端的另一端锁扣被锁住，由于另一端被吊起，所以检测端在视频中反应为车体和集装箱一起向下运动。若根据步骤6跟踪得到的车体向下运动 距离超过下降阈值即Carori-Carpos>thresolddown(15个像素)，则很可能是检测端 的另一端锁扣被锁住，则为危险起吊，如图5b所示。
(3)在集装箱被吊起一定像素距离之后车子还有下降量。此策略为了应对车体被吊起之后有一定反弹，在吊起一定高度之后再去判断，如果有下降量，则认为是车子另 外一端被吊起导致检测端车体下降，为危险起吊。
(4)车子在起吊过程中开走情况。为了应对车子开走的情况，加入一个新的判断。当车体被吊起一定高度(25个像素)之后，若检测到车体有下降量，那么进入下一个 判断，检测是否是由车子开走而导致车体下降的。
检测是否是由车子开走而导致车体下降。车子开走会导致车体的移动，大部分 是在x方向上的移动，不过有少部分是在y方向上的移动。头部车子在图像上显示是斜 上方向开的，x方向和y方向值都是变大的。而尾部看到的是斜下方向，x方向值增大， y方向值减小。本方法通过车体在视频中的移动角度θ来判断是否是车开走的情况。通 过计算f帧之后视频中y方向上的变化量Δy＝Carpos.y-Carori.y，以及x方向上的 变化量Δx＝Carpos.x-Carori.x。其中x，y分别表示图像中的像素横纵坐标。
求变化的斜率是否在一定阈值内，如果大于这个阈值(0.36)，说明y方向变化很大，是否车子另外一端被吊起导致检测端下降。如图7所示，
集装箱安全起吊分为两种情况：
(1)集装箱以及被吊起到特定高度即Containerpos-Containerori>liftup(120 个像素)，且没有检测到危险情况，则认为集装箱被安全起吊，如图6a所示。
(2)在集装箱吊起的过程中，车体可能会发生移动，在视频的所反映的是车体按照斜上方的方向上运动，所以这种情况容易导致车体向上运动超过阈值，导致误检。所 以，本方法通过分析车体的运动角度，若角度低于给定阈值(20°)，则认为车子移动， 则输出安全信号，如图6b所示。
步骤8：结合两个线程处理的结果：如果其中一个线程检测结果是危险，那么 给出最终的检测结果危险信号，如果两个线程都未给出危险信号，则给出最终的检测结 果为安全信号。
否则继续读取下一帧，执行步骤6。
本发明提供了一种基于计算机视觉的集装箱安全起吊监测方法，具体实现该技术方 案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰， 这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现 有技术加以实现。

Claims (8)

1.一种基于计算机视觉的集装箱安全起吊监测方法，其特征在于，包括如下步骤：
步骤1：获取初始化数据，设置监测信号的初始值；
步骤2：根据初始信号设定第一帧图像需要检测的感兴趣区域Roidetect；
步骤3：对感兴趣区域Roidetect提取方向直方图HOG特征；
步骤4：进行集装箱锁扣检测；
步骤5：获取锁扣所在位置；
步骤6：跟踪锁扣和车体的运动；
步骤7：分析锁扣和车体的运动关系，给出集装箱是否被安全起吊结果；
步骤8：对两个摄像头采集的视频数据进行并行处理，分别执行步骤1～步骤7，得到两个结果，如果其中一个检测结果是危险起吊，则给出最终的检测结果危险信号，如果两个结果都表示危险起吊，则给出最终的检测结果为安全信号，否则继续读取下一帧视频图像，执行步骤1～步骤7。
2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：
步骤1-1：获取初始化数据：获取集装箱的尺寸信息和摄像头的位置信息，初始化摄像头位置和集装箱尺寸大小，集装箱的尺寸包括两种型号：6.1m和12.2m；
摄像头位置分为头部摄像头和尾部摄像头，分别表示为HEAD_CAM和END_CAM，
则一共分为四种视频数据，分别为头部摄像头6.1m集装箱、尾部摄像头6.1m集装箱、头部摄像头12.2米集装箱和尾部摄像头12.2m集装箱，分别记为HEAD_6、END_6、HEAD_12和END_12；
步骤1-2：初始化监测信号，监测信号包括起吊信号signal1，检测信号signal2，跟踪信号signal3，结束信号signal4；
起吊信号signal1为监测开始的激发信号，初始化为false，即只有当起吊信号signal1为true时才进行集装箱安全起吊的监测；集装箱被吊起一定高度后，确保相抵锁位置能被摄像头捕捉后，吊车控制***给出起吊信号，然后再设置起吊信号为true，开始检测；
检测信号signal2为图像进行检测的激发信号，初始为true，一旦检测到集装箱锁扣就将检测信号signal2设置为false，之后不再对视频进行集装箱锁扣的检测操作；
跟踪信号signal3为跟踪集装箱锁扣的激发信号，初始化为false，只有当检测锁扣得到的概率值大于一定阈值时，才将跟踪信号signal3设置为true，进行跟踪操作，否则不进行跟踪操作；
结束信号signal4为监测结束的激发信号，一旦给出危险或者安全信号，则激发结束信号signal4，结束该视频的监测。
3.根据权利要求2所述的方法，其特征在于，步骤3包括如下步骤：
步骤3-1，将第一帧图像灰度化；
步骤3-2，采用Gamma校正法对图像进行颜色空间的标准化，即归一化；
步骤3-3，在感兴趣Roidetect内用滑动窗口方法生成N个固定大小的区域，对每个区域通过步骤3-4～3-9计算方向直方图HOG特征；
步骤3-4，计算图像每个像素的梯度，包括大小和方向：
d1(x，y)＝I(x1，y1)-I(x0，y0)
…
dn(x，y)＝I(xn，yn)-I(x0，y0)
将单元格的梯度方向360°均匀划分为9个方向块，其中I(x0，y0)表示要计算的点的像素值，I(x0，y0)...I(xn，yn)表示9个方向的像素值，dn(x，y)表示像素点(x0，y0)处9个方向的梯度，其中n的取值范围是1～9；
每个像素的梯度g表示为：
步骤3-5，将图像划分成小单元格；
步骤3-6，统计每个单元格的梯度直方图，即形成每个单元格的描述子；
步骤3-7，将每Z1个单元格组成一个图像块，一个图像块内所有单元格的特征描述子串联起来便得到该图像块的方向直方图HOG特征描述子；
步骤3-8，将图像内的所有图像块的方向直方图HOG特征描述子串联起来就能够得到要检测的目标的方向直方图HOG特征，所述要检测的目标的方向直方图HOG特征就是最终的可供分类使用的特征向量；
步骤3-9，最后将计算得到的每个区域的方向直方图HOG特征作为该区域的局部特征。
4.根据权利要求3所述的方法，其特征在于，步骤4包括：
步骤4-1：训练分类器：采集大量集装箱检测的样本图像，并标记出集装箱锁扣的位置，生成集装箱锁扣的正样本，在样本图像中除锁扣位置外随机生成负样本，同时控制正负样本比例为1∶3，提取正样本和负样本的方向直方图HOG特征，通过线性支持向量机SVM训练分类器；
步骤4-2：分类：通过步骤2～3得到的每个区域的HOG特征，然后输入到训练好的线性支持向量机SVM分类得到每个区域是正样本的概率值F，只保留概率值大于设定值的M个区域SM。
5.根据权利要求4所述的方法，其特征在于，步骤5包括：对保留下的M个概率值大于阈值的区域SM，计算概率值前k个区域中心之间的像素欧式距离z，若z小于或等于阈值，则判定k个区域检测的是同一个锁扣区域，取k个区域中概率值F最大的区域作为锁扣所在位置；若z大于设定阈值，则通过投票法，对概率值为前j个进行投票，并取投票个数最多的区域作为锁扣所在位置。
6.根据权利要求5所述的方法，其特征在于，步骤6包括：若由步骤4-2得到的集装箱锁扣检测结果的概率值大于设定阈值，则对集装箱锁扣和车体进行跟踪，首先根据锁扣的位置，设定集装箱锁扣下面一定距离的区域为车体，通过核相关滤波算法KCF***跟踪锁扣和车体运动；否则不进行跟踪。
7.根据权利要求6所述的方法，其特征在于，步骤7包括：
在步骤6中，通过***分别得到集装箱和车体在图像中的实时位置信息，从而得到集装箱和车体相对于原位置的运动方向和距离：记车体的初始位置为Carori，集装箱初始位置为Containerori，车体的实时位置信息为Carpos，集装箱的实时位置信息为Containerpos；
集装箱起吊有两种情况，一种是危险起吊，另一种是安全起吊；
集装箱被危险起吊分为如下四种情况：
第一种情况，若集装箱的视频检测的锁扣被锁住，在视频中反应为车体和集装箱一起被吊起，一起向上运动；若根据步骤6跟踪车体得到的车体起吊向上运动距离超过上升阈值thresoldris，即Carpos-Carori＞thresoldris，则为危险起吊；
第二种情况，若集装箱的视频检测端的另一端锁扣被锁住，由于另一端被吊起，所以检测端在视频中反应为车体和集装箱一起向下运动；若根据步骤6跟踪车体得到的车体向下运动距离超过下降阈值thresolddown，即Carori-Carpos＞thresolddown，则很可能是检测端的另一端锁扣被锁住，为危险起吊；
第三种情况，在集装箱被吊起一定像素距离之后车子还有下降量，则判定是车子另外一端被吊起导致检测端车体下降，为危险起吊；
第四种情况，车子在起吊过程中开走情况：当车体被吊起一定高度之后，若检测到车体有下降量，则检测是否是由车子开走而导致车体下降的，若由步骤6跟踪车体运动判定车体未开走，则为危险起吊；
集装箱安全起吊分为如下两种情况：
第一种情况，集装箱以及被吊起到特定高度且没有检测到危险情况，则判定集装箱被安全起吊；
第二种情况，在集装箱吊起的过程中，根据如下公式计算tanθ：
其中，θ表示车体在视频中的移动角度，如果tanθ<thresh，则判定车子移动，则输出安全信号，否则输出危险信号。
8.根据权利要求7所述的方法，其特征在于，所述检测是否是由车子开走而导致车体下降的，具体包括：
计算f帧之后视频中y轴方向上的变化量Δy＝Carpos.y-Carori.y，以及x轴方向上的变化量Δx＝Carpos.x-Carori.x，其中x，y分别表示图像中的像素横坐标、纵坐标；计算tanθ：
其中，θ表示车体在视频中的移动角度，如果tanθ大于阈值thresh，说明y轴方向变化很大，表示车子另外一端被吊起导致检测端下降，则输出危险信号，否则输出安全信号。
CN201910443526.XA 2019-05-27 2019-05-27 一种基于计算机视觉的集装箱安全起吊监测方法 Active CN110197499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910443526.XA CN110197499B (zh) 2019-05-27 2019-05-27 一种基于计算机视觉的集装箱安全起吊监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910443526.XA CN110197499B (zh) 2019-05-27 2019-05-27 一种基于计算机视觉的集装箱安全起吊监测方法

Publications (2)

Publication Number Publication Date
CN110197499A true CN110197499A (zh) 2019-09-03
CN110197499B CN110197499B (zh) 2021-02-02

Family

ID=67753120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910443526.XA Active CN110197499B (zh) 2019-05-27 2019-05-27 一种基于计算机视觉的集装箱安全起吊监测方法

Country Status (1)

Country Link
CN (1) CN110197499B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420646A (zh) * 2021-06-22 2021-09-21 天津港第二集装箱码头有限公司 一种基于深度学习的锁站连接锁检测***及方法
CN114155438A (zh) * 2021-12-07 2022-03-08 南京飞衍智能科技有限公司 一种集装箱装卸安全检测方法和***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956619A (zh) * 2016-04-27 2016-09-21 浙江工业大学 一种集装箱锁孔粗定位和跟踪方法
US20170349084A1 (en) * 2016-06-06 2017-12-07 The Heil Co. Locking Mechanism For Roll Off Hoist Containers
CN107527347A (zh) * 2017-10-11 2017-12-29 南京大学 基于计算机视觉图像处理的港口集装箱起吊安全监测方法
CN107680092A (zh) * 2017-10-12 2018-02-09 中科视拓（北京）科技有限公司 一种基于深度学习的集装箱锁扣检测及预警方法
CN108090895A (zh) * 2017-11-28 2018-05-29 浙江工业大学 一种基于图像处理的集装箱锁孔轮廓提取方法
CN108491851A (zh) * 2018-01-29 2018-09-04 江苏大学 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法
CN108792951A (zh) * 2018-07-06 2018-11-13 上海振华重工(集团)股份有限公司 图像识别技术的集卡防吊起方法、***、设备及存储介质
CN208516809U (zh) * 2018-07-06 2019-02-19 上海振华重工(集团)股份有限公司 图像识别技术的集卡防吊起***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956619A (zh) * 2016-04-27 2016-09-21 浙江工业大学 一种集装箱锁孔粗定位和跟踪方法
US20170349084A1 (en) * 2016-06-06 2017-12-07 The Heil Co. Locking Mechanism For Roll Off Hoist Containers
CN107527347A (zh) * 2017-10-11 2017-12-29 南京大学 基于计算机视觉图像处理的港口集装箱起吊安全监测方法
CN107680092A (zh) * 2017-10-12 2018-02-09 中科视拓（北京）科技有限公司 一种基于深度学习的集装箱锁扣检测及预警方法
CN108090895A (zh) * 2017-11-28 2018-05-29 浙江工业大学 一种基于图像处理的集装箱锁孔轮廓提取方法
CN108491851A (zh) * 2018-01-29 2018-09-04 江苏大学 一种基于机器视觉的集装箱锁孔快速识别与吊具纠偏方法
CN108792951A (zh) * 2018-07-06 2018-11-13 上海振华重工(集团)股份有限公司 图像识别技术的集卡防吊起方法、***、设备及存储介质
CN208516809U (zh) * 2018-07-06 2019-02-19 上海振华重工(集团)股份有限公司 图像识别技术的集卡防吊起***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420646A (zh) * 2021-06-22 2021-09-21 天津港第二集装箱码头有限公司 一种基于深度学习的锁站连接锁检测***及方法
CN113420646B (zh) * 2021-06-22 2023-04-07 天津港第二集装箱码头有限公司 一种基于深度学习的锁站连接锁检测***及方法
CN114155438A (zh) * 2021-12-07 2022-03-08 南京飞衍智能科技有限公司 一种集装箱装卸安全检测方法和***

Also Published As

Publication number Publication date
CN110197499B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
Liu et al. Learning visual similarity for inspecting defective railway fasteners
Wang et al. Surface defect detection via entity sparsity pursuit with intrinsic priors
CN107680092B (zh) 一种基于深度学习的集装箱锁扣检测及预警方法
CN109359536B (zh) 基于机器视觉的乘客行为监控方法
CN104573659B (zh) 一种基于svm的驾驶员接打***控方法
KR102611224B1 (ko) 전처리를 포함하는 선 결함 감지 시스템 및 방법
CN105447503B (zh) 基于稀疏表示lbp和hog融合的行人检测方法
CN110197499A (zh) 一种基于计算机视觉的集装箱安全起吊监测方法
CN109335964B (zh) 一种集装箱旋锁检测***及检测方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN205788226U (zh) 基于图像处理的集装箱箱号及集卡车号识别***
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量***及方法
CN110197166A (zh) 一种基于图像识别的车体装载状态识别装置及方法
CN108275530A (zh) 一种基于机器学习的电梯安全预警方法
Beltrán-González et al. External and internal quality inspection of aerospace components
CN106548131A (zh) 一种基于行人检测的施工人员安全帽实时检测方法
CN107798688A (zh) 运动目标识别方法、预警方法以及汽车防追尾预警装置
Prasongpongchai et al. A vision-based method for the detection of missing rail fasteners
CN108009574A (zh) 一种轨道扣件检测方法
CN110415221A (zh) 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法
CN107200274A (zh) 一种基于机器视觉的防集装箱卡车被吊起方法
CN108508023A (zh) 一种铁路接触网中接触端部顶紧螺栓的缺陷检测***
CN115082850A (zh) 基于计算机视觉的模板支架安全风险识别方法
CN105989600A (zh) 基于特征点分布统计的配电网设备外观检测方法及***
Li et al. Integrating deformable convolution and pyramid network in cascade R-CNN for fabric defect detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant