CN109534177A - 一种基于机器视觉的集卡防吊起装置及集卡防吊起方法 - Google Patents

Abstract

一种基于机器视觉的集卡防吊起装置及集卡防吊起方法，至少四个数据采集模块设置在轮胎吊底部支架上，数据采集模块的设置位置能够保证集装箱和集卡的全部轮廓都处于数据采集模块的采集范围之内，该数据采集模块用于采集集装箱和集卡的图像数据；信号处理模块设置在轮胎吊的电气房内，连接数据采集模块，用于对数据采集模块采集的图像数据进行处理，根据集装箱和集卡的位置变化来判断集卡是否被吊起；报警模块设置在轮胎吊的驾驶室内，连接信号处理模块，用于在集卡被吊起时发出警告，提醒司机停止起吊。本发明利用机器视觉技术智能识别集装箱与集卡是否完全脱离，及时进行报警，实现智能化、无人化、动态化的监控及管理。

Description

一种基于机器视觉的集卡防吊起装置及集卡防吊起方法

技术领域

本发明涉及集装箱装吊安全技术领域，尤其涉及一种基于机器视觉的集卡防吊起装置及集卡防吊起方法。

背景技术

大部分集装箱码头无论是传统码头或者智能化码头，对于作业过程中集卡锁头未解锁被吊起存在一定安全隐患。目前，传统码头较多依靠现场人员巡检，凭借人工观察及作业设备司机经验进行判断，需要在作业通道中要配备专人巡检，增加人工成本；自动化码头现阶段一种通过安装远程监控摄像头形式，将集装箱起吊画面接入司机室，司机通过不断观察实时画面了解集卡起吊情况从而避免危险发生，这种方式徒增了司机本人的工作强度和复杂度，安全隐患有增无减。自动化码头另一种预防方式是利用激光雷达对集卡和集装箱进行扫描判断是否分离，此种方式一方面成本过高，另一方面激光雷达仅可判别扫描面的分离情况，无法应对未扫描面出现未分离的情况。

发明内容

本发明提供一种基于机器视觉的集卡防吊起装置及集卡防吊起方法，利用机器视觉技术智能识别集装箱与集卡是否完全脱离，及时进行报警，实现智能化、无人化、动态化的监控及管理。

为了达到上述目的，本发明提供一种基于机器视觉的集卡防吊起装置，包含：

至少四个数据采集模块，其设置在轮胎吊底部支架上，数据采集模块的设置位置能够保证集装箱和集卡的全部轮廓都处于数据采集模块的采集范围之内，该数据采集模块用于采集集装箱和集卡的图像数据；

信号处理模块，其设置在轮胎吊的电气房内，连接数据采集模块，用于对数据采集模块采集的图像数据进行处理，根据集装箱和集卡的位置变化来判断集卡是否被吊起；

报警模块，其设置在轮胎吊的驾驶室内，连接信号处理模块，用于在集卡被吊起时发出警告，提醒司机停止起吊。

所述的数据采集模块采用高清检测相机。

所述的信号处理模块包含：

PLC模块，其连接计算板卡和报警模块，用于提供当前作业的集装箱箱型信息、吊具的位置信息、以及吊具的开闭锁信息给计算板卡并根据计算板卡的处理结果发送报警信号给报警信号；

计算板卡，其连接PLC模块，用于根据数据采集模块采集的集装箱和集卡的图像数据来判断集卡是否被吊起。

所述的报警模块包含：

报警器，其连接PLC模块，用于根据计算板卡的处理结果发出警报；

显示屏，其连接PLC模块，用于显示数据采集模块采集的实时图像数据。

本发明还提供一种基于机器视觉的集卡防吊起方法，包含以下步骤：

信号处理模块从数据采集模块采集的集装箱和集卡的实时图像数据中获取集装箱和集卡的位置，根据集装箱和集卡的位置变化来判断集卡是否被吊起，并控制报警模块在集卡被吊起时发出警告；

所述的数据采集模块判断集卡是否被吊起的方法至少包含：

根据集卡的车架实时位置和车轮实时位置与集卡的车架初始位置和车轮初始位置之间的距离变化来判断集卡是否被吊起；

根据集卡的车架边缘位置和集装箱的边缘位置之间的距离和角度变化来判断集卡是否被吊起；

根据检测识别到的集装箱的锁头数量来判断集卡是否被吊起。

所述的数据采集模块根据集卡的车架实时位置和车轮实时位置与集卡的车架初始位置和车轮初始位置之间的距离变化来判断集卡是否被吊起的方法包含：从集装箱和集卡的实时图像数据中获取集卡的车架实时位置和车轮实时位置，与集卡的车架初始位置和车轮初始位置进行对比；

如果实时位置与初始位置的距离变化超过设定阈值，则判定为集卡被吊起；

如果实时位置与初始位置的距离变化未超过设定阈值，则判定为集卡未被吊起；

所述的数据采集模块根据集卡的车架边缘位置和集装箱的边缘位置之间的距离和角度变化来判断集卡是否被吊起的方法包含：从集装箱和集卡的实时图像数据中获取集卡的车架边缘位置和集装箱的边缘位置，判断车架边缘位置与集装箱的边缘位置之间的距离和角度是否发生变化；

如果集卡的车架边缘位置不变，而集装箱的边缘位置逐渐升高，且集卡的车架边缘位置和集装箱的边缘位置之间的角度不变，则判定集装箱完全脱离集卡，集卡未被吊起；

如果集卡的车架边缘位置和集装箱的边缘位置之间的距离不变或集卡的车架边缘位置和集装箱的边缘位置之间的角度逐渐增大，则判定集装箱未脱离集卡，集卡被吊起。

所述的数据采集模块根据检测识别到的集装箱的锁头数量来判断集卡是否被吊起的方法包含：从集装箱和集卡的实时图像数据中获取集装箱的锁头数量；

如果锁头数量达到四个，则判定集装箱完全脱离集卡，集卡未被吊起；

如果锁头数量少于四个，则判定集装箱未脱离集卡，集卡被吊起。

所述的计算板卡对数据采集模块采集的集装箱和集卡的图像数据进行图像灰度化处理和二值化处理。

所述的计算板卡采用边缘检测获取集卡的车架位置、集卡的车架边缘位置和集装箱的边缘位置，采用霍夫变换椭圆检测获取集卡的车轮位置和集装箱的锁头位置。

本发明针对港口作业过程，利用机器视觉技术智能识别集装箱与集卡是否完全脱离，及时进行报警，实现智能化、无人化、动态化的监控及管理。

附图说明

图1是本发明提供的一种基于机器视觉的集卡防吊起装置的主视图。

图2是本发明提供的一种基于机器视觉的集卡防吊起装置的侧视图。

具体实施方式

以下根据图1～图2，具体说明本发明的较佳实施例。

本发明提供一种基于机器视觉的集卡防吊起装置，包含：

至少四个数据采集模块，其设置在轮胎吊底部支架上，数据采集模块的设置位置能够保证集装箱和集卡的全部轮廓都处于数据采集模块的采集范围之内，该数据采集模块用于采集集装箱和集卡的图像数据；

信号处理模块，其设置在轮胎吊的电气房内，连接数据采集模块，用于对数据采集模块采集的图像数据进行处理，根据集装箱和集卡的位置变化来判断集卡是否被吊起；

报警模块，其设置在轮胎吊的驾驶室内，连接信号处理模块，用于在集卡被吊起时发出警告，提醒司机停止起吊。

在本发明的实施例中，如图1和图2所示，所述的数据采集模块采用高清检测相机，一共安装4台高清检测相机1、11、12、13，将高清检测相机1、11、12、13安装到轮胎吊7底部支架上的最佳拍摄位置，安装的高度略高于集卡9的车架，使四台高清检测相机1、11、12、13的视场垂直于集卡9的行驶方向，一般集装箱8与集卡9之间通过四个锁头锁定在一起，四个锁头分别位于集装箱8的四角，4台高清检测相机1、11、12、13分别用于拍摄40尺大集装箱8两端的锁头以及20尺小集装箱8两端的锁头。

所述的信号处理模块设置在轮胎吊7的电气房内，其包含：

交换机2，其连接数据采集模块、计算板卡3和PLC(可编程逻辑控制器)模块4，用于实现数据传输；

PLC模块4，其通过交换机2连接计算板卡3和报警模块，用于提供PLC闭锁信息给计算板卡3并根据计算板卡3的处理结果发送报警信号给报警信号；所述的PLC闭锁信息包含：当前作业的集装箱箱型信息、吊具10的位置信息、以及吊具10的开闭锁信息；集装箱箱型信息决定启动识别对应的相机：20尺小集装箱8启动相机11和相机12，40/45尺大集装箱8启动相机1和相机13；吊具10位置信息和吊具10开闭锁信息用来判断集卡9是否到达指定车道；吊具10一旦闭锁则启动相应的相机进行抓拍，标记为初始图像。

计算板卡3，其通过交换机2连接PLC模块4，用于根据数据采集模块采集的集装箱和集卡的图像数据来判断集卡是否被吊起。

所述的报警模块设置在轮胎吊7的驾驶室内，其包含：

报警器6，其连接PLC模块4，用于根据计算板卡3的处理结果发出警报；

显示屏5，其连接PLC模块4，用于显示数据采集模块采集的实时图像数据；显示屏则实时显示当前作业情况以及警报状态下的问题端位置的视频图像，以供司机实时查看与确认。

在本发明的实施例中，显示屏5需要安装在驾驶室内司机视线容易看到的地方，声音报警器6则可以安装在驾驶员身后位置给予及时提醒及警报。

本发明还提供一种基于机器视觉的集卡防吊起方法，包含以下步骤：

信号处理模块从数据采集模块采集的集装箱和集卡的实时图像数据中获取集装箱和集卡的位置，根据集装箱和集卡的位置变化来判断集卡是否被吊起，并控制报警模块在集卡被吊起时发出警告。

所述的数据采集模块判断集卡是否被吊起的方法包含：

根据集卡的车架实时位置和车轮实时位置与集卡的车架初始位置和车轮初始位置之间的距离变化来判断集卡是否被吊起：从集装箱和集卡的实时图像数据中获取集卡的车架实时位置和车轮实时位置，与集卡的车架初始位置和车轮初始位置进行对比；如果实时位置与初始位置的距离变化超过设定阈值，则判定为集卡被吊起；如果实时位置与初始位置的距离变化未超过设定阈值，则判定为集卡未被吊起；

或者，根据集卡的车架边缘位置和集装箱的边缘位置之间的距离和角度变化来判断集卡是否被吊起：从集装箱和集卡的实时图像数据中获取集卡的车架边缘位置和集装箱的边缘位置，判断车架边缘位置与集装箱的边缘位置之间的距离和角度是否发生变化；如果集卡的车架边缘位置不变，而集装箱的边缘位置逐渐升高，且集卡的车架边缘位置和集装箱的边缘位置之间的角度不变，则判定集装箱完全脱离集卡，集卡未被吊起；如果集卡的车架边缘位置和集装箱的边缘位置之间的距离不变或集卡的车架边缘位置和集装箱的边缘位置之间的角度逐渐增大，则判定集装箱未脱离集卡，集卡被吊起；在本实施例中，集卡被吊起的情况又包含三种情况：1、如果集卡的车架边缘位置和集装箱的边缘位置距离不变且都逐渐升高，则说明集装箱正面(规定高清检测相机拍摄的一面为集装箱正面，对面则为背面，连接正面和背面的则分别为箱头和箱尾)一侧的两对锁头锁孔未脱离，或者至少有三对锁头锁孔未脱离；2、如果集卡的车架边缘位置先略微下降后逐渐升高，且集装箱的边缘位置一直上升，则说明集装箱背面一侧的两对锁头锁孔未脱离；3、如果集卡的车架边缘位置和集装箱的边缘位置之间的角度逐渐增大，则说明集装箱箱门或箱尾一侧的锁头锁孔未完全脱离；

或者，根据检测识别到的集装箱的锁头数量来判断集卡是否被吊起：从集装箱和集卡的实时图像数据中获取集装箱的锁头数量；如果锁头数量达到四个，则判定集装箱完全脱离集卡，集卡未被吊起；如果锁头数量少于四个，则判定集装箱未脱离集卡，集卡被吊起。

所述的计算板卡对集装箱和集卡的实时图像数据进行图像灰度化处理和二值化处理，采用边缘检测获取集卡的车架位置、集卡的车架边缘位置和集装箱的边缘位置，采用霍夫变换椭圆检测获取集卡的车轮位置和集装箱的锁头位置，集卡的车轮对应两个直径较大的椭圆(轮胎区域，以下简称大椭圆)，集装箱的锁头对应于直径较小的椭圆(锁头区域，以下简称小椭圆)，小椭圆数量对应锁头的数量，且小椭圆位于大椭圆的上方。

在本发明的一个实施例中，根据集卡的车架实时位置和车轮实时位置与集卡的车架初始位置和车轮初始位置之间的距离变化来判断集卡是否被吊起，具体包含以下步骤：

1、计算板卡根据PLC模块提供的吊具位置信息和吊具开闭锁信息，当吊具在一定的位置范围内闭锁信号触发时，立即启动摄像机抓拍，获取集卡和集装箱未被吊起时的初始图像；

2、计算板卡对初始图像进行灰度化处理和二值化处理，进行边缘检测获取集卡的车架初始位置，进行霍夫变换椭圆检测获取集卡的车轮初始位置；

3、集卡到达检测区域后，高清检测相机开始采集集装箱和集卡的实时图像数据；

4、计算板卡对集装箱和集卡的实时图像数据进行灰度化处理和二值化处理，进行边缘检测获取集卡的车架实时位置，进行霍夫变换椭圆检测获取集卡的车轮实时位置；

5、计算板卡将集卡的车架实时位置和车轮实时位置与集卡的车架初始位置和车轮初始位置进行对比；

如果实时位置与初始位置的距离变化超过设定阈值，则判定为集卡被吊起，此时计算板卡发送错误处理结果给PLC模块，PLC模块向警报器发送警报信号，司机停止吊起操作，将集卡缓慢降落到初始位置，然后发送解除警报给PLC模块；

如果实时位置与初始位置的距离变化未超过设定阈值，则判定为集装箱被完全吊起，而集卡未被吊起，计算板卡发送正确处理结果给PLC模块，吊车司机按照程序完成正常起吊。

在本发明的第二个实施例中，根据集卡的车架边缘位置和集装箱的边缘位置之间的距离和角度变化来判断集卡是否被吊起，具体包含以下步骤：

1、根据PLC模块中吊具位置信息和吊具开闭锁信号判断集卡是否到达检测区域，如集卡到达检测区域，高清检测相机开始采集集装箱和集卡的实时图像数据；

2、计算板卡对集装箱和集卡的实时图像数据进行灰度化处理和二值化处理，进行边缘检测获取集卡的车架边缘位置和集装箱的边缘位置；

3、计算板卡判断车架边缘位置与集装箱的边缘位置之间的距离和角度是否发生变化；

如果集卡的车架边缘位置不变，而集装箱的边缘位置逐渐升高，且集卡的车架边缘位置和集装箱的边缘位置之间的角度基本不变(始终处于较小的变动范围内)，则判定集装箱完全脱离集卡，集卡未被吊起，计算板卡发送正确处理结果给PLC模块，吊车司机按照程序完成正常起吊；

如果集卡的车架边缘位置和集装箱的边缘位置距离不变且都逐渐升高，则说明集装箱正面(规定高清检测相机拍摄的一面为集装箱正面，对面则为背面，连接正面和背面的则分别为箱头和箱尾)一侧的两对锁头锁孔未脱离，或者至少有三对锁头锁孔未脱离，计算板卡发送错误处理结果给PLC模块，PLC模块向警报器发送警报信号，司机停止吊起操作，将集卡缓慢降落到初始位置，然后发送解除警报给PLC模块；

如果集卡的车架边缘位置先略微下降后逐渐升高，且集装箱的边缘位置一直上升，则说明集装箱背面一侧的两对锁头锁孔未脱离，计算板卡发送错误处理结果给PLC模块，PLC模块向警报器发送警报信号，司机停止吊起操作，将集卡缓慢降落到初始位置，然后发送解除警报给PLC模块；

如果集卡的车架边缘位置和集装箱的边缘位置之间的角度逐渐增大，则说明集装箱箱门或箱尾一侧的锁头锁孔未完全脱离，计算板卡发送错误处理结果给PLC模块，PLC模块向警报器发送警报信号，司机停止吊起操作，将集卡缓慢降落到初始位置，然后发送解除警报给PLC模块。

在本发明的第三个实施例中，根据检测识别到的集装箱的锁头数量来判断集卡是否被吊起，具体包含以下步骤：

1、根据PLC模块中吊具位置信息和吊具开闭锁信号判断集卡是否到达检测区域，如集卡到达检测区域，高清检测相机开始采集集装箱和集卡的实时图像数据；

2、计算板卡对集装箱和集卡的实时图像数据进行灰度化处理和二值化处理，进行霍夫变换椭圆检测获取集装箱的锁头数量；

如果轮胎吊上升至极限高度时，检测到的锁头数量没有达到四个，则说明四对锁头锁孔未完全脱离，计算板卡发送错误处理结果给PLC模块，PLC模块向警报器发送警报信号，司机停止吊起操作，将集卡缓慢降落到初始位置，然后发送解除警报给PLC模块；

如果轮胎吊上升至极限高度之前已经检测到四个锁头，则说明四对锁头锁孔完全脱离，集装箱被完全吊起，计算板卡发送正确处理结果给PLC模块，吊车司机按照程序完成正常起吊。

数据采集模块判断集卡是否被吊起的上述三种方法互为冗余且相互独立。

本发明针对港口作业过程，利用机器视觉技术智能识别集装箱与集卡是否完全脱离，及时进行报警，实现智能化、无人化、动态化的监控及管理。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种基于机器视觉的集卡防吊起装置，其特征在于，包含：

至少四个数据采集模块，其设置在轮胎吊底部支架上，数据采集模块的设置位置能够保证集装箱和集卡的全部轮廓都处于数据采集模块的采集范围之内，该数据采集模块用于采集集装箱和集卡的图像数据；

信号处理模块，其设置在轮胎吊的电气房内，连接数据采集模块，用于对数据采集模块采集的图像数据进行处理，根据集装箱和集卡的位置变化来判断集卡是否被吊起；

报警模块，其设置在轮胎吊的驾驶室内，连接信号处理模块，用于在集卡被吊起时发出警告，提醒司机停止起吊。

2.如权利要求1所述的基于机器视觉的集卡防吊起装置，其特征在于，所述的数据采集模块采用高清检测相机。

3.如权利要求1所述的基于机器视觉的集卡防吊起装置，其特征在于，所述的信号处理模块包含：

PLC模块，其连接计算板卡和报警模块，用于提供当前作业的集装箱箱型信息、吊具的位置信息、以及吊具的开闭锁信息给计算板卡并根据计算板卡的处理结果发送报警信号给报警信号；

计算板卡，其连接PLC模块，用于根据数据采集模块采集的集装箱和集卡的图像数据来判断集卡是否被吊起。

4.如权利要求1所述的基于机器视觉的集卡防吊起装置，其特征在于，所述的报警模块包含：

报警器，其连接PLC模块，用于根据计算板卡的处理结果发出警报；

显示屏，其连接PLC模块，用于显示数据采集模块采集的实时图像数据。

5.一种利用如权利要求1所述的基于机器视觉的集卡防吊起装置进行的基于机器视觉的集卡防吊起方法，其特征在于，包含以下步骤：

信号处理模块从数据采集模块采集的集装箱和集卡的实时图像数据中获取集装箱和集卡的位置，根据集装箱和集卡的位置变化来判断集卡是否被吊起，并控制报警模块在集卡被吊起时发出警告；

所述的数据采集模块判断集卡是否被吊起的方法至少包含：

根据集卡的车架实时位置和车轮实时位置与集卡的车架初始位置和车轮初始位置之间的距离变化来判断集卡是否被吊起；

根据集卡的车架边缘位置和集装箱的边缘位置之间的距离和角度变化来判断集卡是否被吊起；

根据检测识别到的集装箱的锁头数量来判断集卡是否被吊起。

6.如权利要求5所述的基于机器视觉的集卡防吊起方法，其特征在于，所述的数据采集模块根据集卡的车架实时位置和车轮实时位置与集卡的车架初始位置和车轮初始位置之间的距离变化来判断集卡是否被吊起的方法包含：从集装箱和集卡的实时图像数据中获取集卡的车架实时位置和车轮实时位置，与集卡的车架初始位置和车轮初始位置进行对比；

如果实时位置与初始位置的距离变化超过设定阈值，则判定为集卡被吊起；

如果实时位置与初始位置的距离变化未超过设定阈值，则判定为集卡未被吊起。

7.如权利要求5所述的基于机器视觉的集卡防吊起方法，其特征在于，所述的数据采集模块根据集卡的车架边缘位置和集装箱的边缘位置之间的距离和角度变化来判断集卡是否被吊起的方法包含：从集装箱和集卡的实时图像数据中获取集卡的车架边缘位置和集装箱的边缘位置，判断车架边缘位置与集装箱的边缘位置之间的距离和角度是否发生变化；

如果集卡的车架边缘位置不变，而集装箱的边缘位置逐渐升高，且集卡的车架边缘位置和集装箱的边缘位置之间的角度不变，则判定集装箱完全脱离集卡，集卡未被吊起；

如果集卡的车架边缘位置和集装箱的边缘位置之间的距离不变或集卡的车架边缘位置和集装箱的边缘位置之间的角度逐渐增大，则判定集装箱未脱离集卡，集卡被吊起。

8.如权利要求5所述的基于机器视觉的集卡防吊起方法，其特征在于，所述的数据采集模块根据检测识别到的集装箱的锁头数量来判断集卡是否被吊起的方法包含：从集装箱和集卡的实时图像数据中获取集装箱的锁头数量；

如果锁头数量达到四个，则判定集装箱完全脱离集卡，集卡未被吊起；

如果锁头数量少于四个，则判定集装箱未脱离集卡，集卡被吊起。

9.如权利要求6-8中任意一项所述的基于机器视觉的集卡防吊起方法，其特征在于，所述的计算板卡对数据采集模块采集的集装箱和集卡的图像数据进行图像灰度化处理和二值化处理。

10.如权利要求9所述的基于机器视觉的集卡防吊起方法，其特征在于，所述的计算板卡采用边缘检测获取集卡的车架位置、集卡的车架边缘位置和集装箱的边缘位置，采用霍夫变换椭圆检测获取集卡的车轮位置和集装箱的锁头位置。