CN114170252A - 一种基于机器视觉的集卡车头防砸保护***及方法 - Google Patents

一种基于机器视觉的集卡车头防砸保护***及方法 Download PDF

Info

Publication number
CN114170252A
CN114170252A CN202111496462.3A CN202111496462A CN114170252A CN 114170252 A CN114170252 A CN 114170252A CN 202111496462 A CN202111496462 A CN 202111496462A CN 114170252 A CN114170252 A CN 114170252A
Authority
CN
China
Prior art keywords
truck
head
module
container
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111496462.3A
Other languages
English (en)
Inventor
张俊阳
吴翔
江灏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhenghua Heavy Industries Co Ltd
Original Assignee
Shanghai Zhenghua Heavy Industries Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhenghua Heavy Industries Co Ltd filed Critical Shanghai Zhenghua Heavy Industries Co Ltd
Priority to CN202111496462.3A priority Critical patent/CN114170252A/zh
Publication of CN114170252A publication Critical patent/CN114170252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于机器视觉的集卡车头防砸保护***，包括：标定模块，用于拍摄集卡的车头的识别区域，并对所述集卡的停车点的特征点进行选取与标定；采集模块，用以获取所述标定模块的实时视频流解码成图片，并对所述图片进行预处理；算法模块，将预处理后的所述图片输入至所述算法模块，得到所述集卡的车头后边缘中心点在起重机坐标系下的坐标；判断模块，用以计算判断所述集卡的停车点的特征点与所述集卡的车头后边缘中心点在大车方向上的距离；数据记录模块，用以记录各模块的历史记录，状态信息及故障信息、数据存储。本发明还公开了一种基于机器视觉的集卡车头防砸保护方法。本发明实现对集卡车头的实时检测、识别、分割和跟踪定位。

Description

一种基于机器视觉的集卡车头防砸保护***及方法
技术领域
本发明涉及集卡车头防砸保护技术，更具体地说，涉及一种基于机器视觉的集卡车头防砸保护***及方法。
背景技术
集装箱卡车(以下简称集卡)是港口集装箱运输、装卸的重要物流工具。集卡车头防砸保护***主要用于防止码头起重机设备在装卸集装箱时车头砸撞事故的发生。
通常情况下，集装箱在进行装卸前需要集卡按既定车道停在指定区域位置，集装箱卡车在引导到位后，起重机设备行驶至集卡上方，起重机吊具开始对集卡进行装箱、卸箱作业。如果在装卸作业过程中，起重机吊具下的集卡发生移动，起重机司机又无法及时发现，不仅影响集装箱起重机的作业效率和抓放对箱精确性，更重要的是会发生吊具或者集装箱砸车头的安全事故，关系到集卡司机的生命安全。
现有技术中，大都采用传统人工参与或激光扫描检测定位防砸的方式，这种方案缺点是，前者效率较低，影响港口整体效率；后者需要激光扫描设备，价格昂贵，功能单一，维护复杂且成本高，精度难以提升。
发明内容
针对现有技术中存在的上述缺陷，本发明的目的是提供一种基于机器视觉的集卡车头防砸保护***及方法，实现对集卡车头的实时检测、识别、分割和跟踪定位。
为实现上述目的，本发明采用如下技术方案：
一方面，一种基于机器视觉的集卡车头防砸保护***，包括：
标定模块，用于拍摄集卡的车头的识别区域，并对所述集卡的停车点的特征点进行选取与标定；
采集模块，用以获取所述标定模块的实时视频流解码成图片，并对所述图片进行预处理；
算法模块，将预处理后的所述图片输入至所述算法模块，得到所述集卡的车头后边缘中心点在起重机坐标系下的坐标；
判断模块，用以计算判断所述集卡的停车点的特征点与所述集卡的车头后边缘中心点在大车方向上的距离；
数据记录模块，用以记录各模块的历史记录，状态信息及故障信息、数据存储。
较佳的，所述标定模块为工业相机。
较佳的，所述标定模块还用以进行相机内参标定、相机外参标定。
较佳的，所述算法模块包括：
检测算法模块，用以实现所述集卡的车头粗定位；
分割算法模块，用以实现所述集卡的车头轮廓的像素级高精定位；
跟踪算法模块，用以实现所述集卡的车头实时稳定的定位跟踪；
坐标系转换算法模块，用以得到所述集卡的车头后边缘中心点在起重机坐标系下的坐标。
另一方面，一种基于机器视觉的集卡车头防砸保护方法，通过所述的基于机器视觉的集卡车头防砸保护***执行以下步骤：
S1、通过所述标定模块执行相机内参标定，去畸变校正；执行相机外参标定，获得相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T；执行集卡停车点的特征参考点选择与标定，所述集卡在引导到位后，利用画图工具和相机标定的内参矩阵M、外参旋转矩阵R及平移矩阵T进行坐标转换得到特征参考点集装箱箱顶面中心点Co和车头后边缘中心点To在起重机坐标系下坐标，通过计算可得特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S；
S2、通过所述采集模块获取所述标定模块去畸变后的相机实时视频流，解码成图片，并对所述图片进行预处理；
S3、将预处理后的所述图片输入所述算法模块中得到所述集卡的车头后边缘中心点Ti在起重机坐标系下的坐标，通过所述判断模块获取的集卡停车点的特征参考点的箱上顶面中心点Co与所述算法模块的车头后边缘中心点Ti在大车方向上的距离Si，若距离Si大于所述标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm且小于所述标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则所述集卡的车头处于安全区域内，则继续步骤S2；若距离Si小于所述标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm，则所述集卡的车头向后移动且处于砸车头的危险区域内，所述判断模块向PLC发送警报，停止吊具抓放箱作业；若距离Si大于所述标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则所述集卡的车头向前移动导致对箱不准，所述判断模块向PLC发送警报，停止吊具抓放箱作业。
较佳的，所述步骤S1中，执行相机内参标定进一步包括：
利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正。
较佳的，所述步骤S1中，执行相机外参标定进一步包括：
利用标定板角点在起重机坐标系下的坐标和在相机像素坐标系下的坐标，通过PnP算法得到相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T。
较佳的，所述步骤S2中，预处理包括滤波去燥、灰度化或直方图均衡化处理算法。
较佳的，所述步骤S3中，所述算法模块采用YOLOv3神经网络算法模型。
较佳的，所述YOLOv3神经网络算法模型的训练过程包括以下步骤：
S31、建立集卡车头数据库；
S32、制作集卡车头训练、验证及测试数据集；
S33、搭建所述YOLOv3神经网络算法模型。
较佳的，所述步骤S31中，建立集卡车头数据库进一步包括：
获取所述标定模块的去畸变后的视频流，通过解码获取集卡车头图像，并利用标注工具对所述集卡车头图像进行标注。
较佳的，所述步骤S32中，制作集卡车头训练、验证及测试数据集进一步包括：
从所述集卡车头数据库中提取训练集、验证集、测试集。
较佳的，所述步骤S33中，搭建所述YOLOv3神经网络算法模型进一步包括：
使用所述训练集进行所述集卡车头检测模型的训练，通过所述验证集评判所述YOLOv3神经网络算法模型是否符合要求，再通过所述测试集进行测试，得到训练好的所述YOLOv3神经网络算法预训练模型。
较佳的，所述步骤S3中，将预处理后的所述图片输入所述的算法模块得到车头后边缘中心点在起重机坐标系下的坐标，具体如下：
设定每n帧图片作为一个周期，将第一帧预处理后的所述图片输入YOLO v3神经网络的预训练目标检测算法模型中得到所述集卡车头检测图像，然后对车头ROI区域进行剪切提取车头粗定位图；将得到的车头粗定位图经过灰度二值化分割或Canny边缘分割或AI分割算法获取车头轮廓的像素级高精定位图，并通过车头轮廓最小面积外接框算法得到车头轮廓外接框及框的左上角和右下角像素坐标，通过检测算法模块剪切的车头ROI区域图像与原始图像的比例关系还原到原始图像上得到原始图像上车头轮廓外接框及框的左上角和右下角高精像素坐标；基于第一帧原始图像和车头轮廓外接框初始化***，将设定每n帧图片作为一个周期的其余n-1帧执行跟踪算法，并在循环周期中不断更新***以获取当前周期车头轮廓的新边界框；将车头轮廓外接框的左上角和右下角高精像素坐标通过标定的相机内参矩阵M和外参旋转矩阵R与平移矩阵T换算得到集卡车头的左上角和右下角在起重机坐标系下的坐标，通过计算可得车头后边缘中心点Ti在起重机坐标系下的坐标。
较佳的，所述步骤S3中，警报以光报警或声报警形式呈现。
本发明所提供的一种基于机器视觉的集卡车头防砸保护***及方法，具有以下几点有益效果：
1)在使用前只需在起重机上安装一台工业相机，安装前，对相机进行内参的标定，安装后，对相机进行外参的标定，建立相机坐标系与起重机坐标系的转换关系，集卡在作业车道上的位置导引结束后，预先通过相机进行集卡停车点的特征参考点的选择与标定，标定过程简单、使用方便、成本较低；
2)采用训练好的YOLOv3神经网络算法模型进行车头粗定位检测和车头ROI剪切，然后对ROI图进行高精度的车头定位分割，并通过最小面积外接框和剪切的ROI区域图像与原始图像的比例关系还原到原始图像上，得到原始图像上车头轮廓的左上角和右下角的高精度像素坐标，是一种像素级的高精度分割定位，在识别不重叠物体的速度上更快，准确度更高，有效地提高了检测定位精度；
3)采用跟踪模块使得整个***的检测速度更快更高效，检测框也更稳定，通常跟踪算法比检测算法快，设定每n帧图片作为一个周期，只需对第一帧执行目标检测算法，得到一个包含检测对象的边界框，并用第一帧和边界框初始化***，其余n-1帧执行跟踪算法。当检测失败时，跟踪可以提供帮助，且保留跟踪标识的ID，以防对闯入的其他车辆车头的误检；
4)在实际应用中，随着数据记录模块存储新的数据样本，标定数据集的增加，可定期训练AI算法模型，使***定位精度可不断提升。
附图说明
图1是本发明集卡车头防砸保护***的框架结构示意图；
图2是本发明集卡车头防砸保护***的现场布置示意图；
图3是图2的右视示意图；
图4是本发明集卡车头防砸保护方法中集卡车头移动位置的情况示意图；
图5是本发明集卡车头防砸保护方法的流程示意图。
具体实施方式
为了能更好地理解本发明的上述技术方案，下面结合附图和实施例进一步说明本发明的技术方案。
结合图1所示，本发明所提供的一种基于机器视觉的集卡车头防砸保护***，包括：
标定模块100，相机内参标定，利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正；相机外参标定，利用标定板角点在起重机坐标系下的坐标和在相机像素坐标系下的坐标，通过PnP算法得到相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T；集卡停车点的特征参考点选择与标定，集装箱卡车在引导到位后，利用去畸校正后的相机拍摄一张图片，对集卡的停车点的特征参考点进行选择与标定，特征参考点设定为抓放箱位置的集装箱箱顶面中心点Co和车头后边缘中心点To，通过画图工具得到特征参考点集装箱箱顶面中心点Co和车头后边缘中心点To的像素坐标，利用相机标定的内参矩阵M和外参旋转矩阵R与平移矩阵T进行坐标转换得到特征参考点集装箱箱顶面中心点Co和车头后边缘中心点To在起重机坐标系下坐标，通过计算可得特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S；
采集模块101，用以获取标定模块的实时视频流解码成图片，并对图片进行预处理；
算法模块102，通常跟踪算法比检测算法快，在设计高效实时检测***时，设定每n帧图片作为一个周期，第一帧执行目标检测算法，得到一个包含检测对象的边界框，并用第一帧和边界框初始化***，其余n-1帧执行跟踪算法，并在循环周期中不短更新***以获取当前周期每一帧的新边界框。当检测失败时，跟踪可以提供帮助，且保留跟踪标识的ID，以防对闯入的其他车辆车头的误检。算法模块主要包含：检测算法模块、分割算法模块、跟踪算法模块、坐标系转换算法模块四个算法处理流程。检测算法模块实现车头粗定位，将设定每n帧图片作为一个周期的第一帧预处理后的图片输入YOLO v3等卷积神经网络的预训练目标检测算法模型中得到集卡车头检测图像，然后对车头ROI区域进行剪切提取车头粗定位图；分割算法模块实现车头轮廓的像素级高精定位，将得到的车头粗定位图经过灰度二值化分割或Canny等边缘分割或AI分割，如FCN、U-Net等语义分割或Mask-RCNN等实例分割算法获取车头轮廓的像素级高精定位图，并通过车头轮廓最小面积外接框算法得到车头轮廓外接框及框的左上角和右下角像素坐标，通过检测算法模块剪切的车头ROI区域图像与原始图像的比例关系还原到原始图像上得到原始图像上车头轮廓外接框及框的左上角和右下角高精像素坐标；跟踪算法模块实现车头实时稳定的定位跟踪，基于第一帧原始图像和车头轮廓外接框初始化***，将设定每n帧图片作为一个周期的其余n-1帧执行跟踪算法，并在循环周期中不短更新***以获取当前周期车头轮廓的新边界框。坐标系转换算法模块，将车头轮廓外接框的左上角和右下角高精像素坐标通过标定的相机内参矩阵M和外参旋转矩阵R与平移矩阵T换算得到集卡车头的左上角和右下角在起重机坐标系下的坐标，通过计算可得车头后边缘中心点Ti在起重机坐标系下的坐标；
判断模块103，获取标定模块的集卡停车点的特征参考点的箱上顶面中心点Co在起重机坐标系下坐标及箱上顶面中心点Co与车头后边缘中心To在大车方向的距离S、算法模块的车头后边缘中心点Ti在起重机坐标系下坐标，计算标定的集卡停车点的特征参考点的箱上顶面中心点Co与算法模块的车头后边缘中心点Ti在大车方向上的距离Si；
数据记录模块104，用以记录各模块的历史记录，状态信息及故障信息、数据存储等。
标定模块100为工业相机。
判断模块计算标定的集卡停车点的特征参考点的箱上顶面中心点Co与算法模块的车头后边缘中心点Ti在大车方向上的距离Si，若距离Si大于标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm且小于标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则集卡的车头处于安全区域内；若距离Si小于标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm，则集卡的车头向后移动且处于砸车头的危险区域内，判断模块向PLC发送警报，停止吊具抓放箱作业；若距离Si大于标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则集卡的车头向前移动导致对箱不准，判断模块向PLC发送警报，停止吊具抓放箱作业。
结合图5所示，本发明还提供了一种基于机器视觉的集卡车头防砸保护方法，通过本发明基于机器视觉的集卡车头防砸保护***执行以下步骤：
S1、通过标定模块执行相机内参标定，去畸变校正；执行相机外参标定，获得相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T；执行集卡停车点的特征参考点选择与标定，集卡在引导到位后，利用画图工具和相机标定的内参矩阵M、外参旋转矩阵R及平移矩阵T进行坐标转换得到特征参考点集装箱箱顶面中心点Co和车头后边缘中心点To在起重机坐标系下坐标，通过计算可得特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S；
S2、通过采集模块获取标定模块去畸变后的相机实时视频流，解码成图片，并对图片进行预处理；
S3、将预处理后的图片输入算法模块中得到集卡的车头后边缘中心点Ti在起重机坐标系下的坐标，通过判断模块获取的集卡停车点的特征参考点的箱上顶面中心点Co与算法模块的车头后边缘中心点Ti在大车方向上的距离Si，若距离Si大于标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm且小于标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则集卡的车头处于安全区域内，则继续步骤S2；若距离Si小于标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm，则集卡的车头向后移动且处于砸车头的危险区域内，判断模块向PLC发送警报，停止吊具抓放箱作业；若距离Si大于标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则集卡的车头向前移动导致对箱不准，判断模块向PLC发送警报，停止吊具抓放箱作业。
步骤S1中，执行相机内参标定进一步包括：
利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正。
步骤S1中，执行相机外参标定进一步包括：
利用标定板角点在起重机坐标系下的坐标和在相机像素坐标系下的坐标，通过PnP算法得到相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T。
步骤S2中，预处理包括滤波去燥、灰度化或直方图均衡化处理算法。
步骤S3中，算法模块采用YOLOv3神经网络算法模型。
YOLOv3神经网络算法模型的训练过程包括以下步骤：
S31、建立集卡车头数据库；
S32、制作集卡车头训练、验证及测试数据集；
S33、搭建YOLOv3神经网络算法模型。
步骤S31中，建立集卡车头数据库进一步包括：
获取标定模块的去畸变后的视频流，通过解码获取集卡车头图像，并利用标注工具对集卡车头图像进行标注。
步骤S32中，制作集卡车头训练、验证及测试数据集进一步包括：
从集卡车头数据库中提取训练集、验证集、测试集。
步骤S33中，搭建YOLOv3神经网络算法模型进一步包括：
使用训练集进行集卡车头检测模型的训练，通过验证集评判YOLOv3神经网络算法模型是否符合要求，再通过测试集进行测试，得到训练好的YOLOv3神经网络算法预训练模型。
步骤S3中，将预处理后的图片输入的算法模块得到车头后边缘中心点在起重机坐标系下的坐标，具体如下：
设定每n帧图片作为一个周期，将第一帧预处理后的图片输入YOLO v3神经网络的预训练目标检测算法模型中得到集卡车头检测图像，然后对车头ROI区域进行剪切提取车头粗定位图；将得到的车头粗定位图经过灰度二值化分割或Canny边缘分割或AI分割算法获取车头轮廓的像素级高精定位图，并通过车头轮廓最小面积外接框算法得到车头轮廓外接框及框的左上角和右下角像素坐标，通过检测算法模块剪切的车头ROI区域图像与原始图像的比例关系还原到原始图像上得到原始图像上车头轮廓外接框及框的左上角和右下角高精像素坐标；基于第一帧原始图像和车头轮廓外接框初始化***，将设定每n帧图片作为一个周期的其余n-1帧执行跟踪算法，并在循环周期中不断更新***以获取当前周期车头轮廓的新边界框；将车头轮廓外接框的左上角和右下角高精像素坐标通过标定的相机内参矩阵M和外参旋转矩阵R与平移矩阵T换算得到集卡车头的左上角和右下角在起重机坐标系下的坐标，通过计算可得车头后边缘中心点Ti在起重机坐标系下的坐标。
步骤S3中，警报以光报警或声报警形式呈现。
实施例
再结合图1至图3所示，本实施例一种集卡车头防砸保护***，包括：
标定模块100，选用工业相机1安装前预先进行内参标定和畸变矫正，集卡2在作业车道上的位置导引结束，再通过工业相机1进行一次集卡停车点的特征参考点的选取与标定。工业相机1用于拍摄集卡车头的识别区域，其安装位置不唯一；
采集模块101，获取工业相机1的实时视频流，解码成图片，并对图片进行预处理；
算法模块102，将预处理后的图片输入到算法模块，得到集卡2的车头后边缘中心点在起重机3坐标系下的坐标；
判断模块103，获取标定模块100的标定的集卡停车点特征参考点、算法模块102的车头后边缘中心点，标定集卡1的停车点的特征参考点的箱上顶面中心点Co与算法模块102的车头后边缘中心点Ti在大车方向上的距离Si，若距离Si大于标定模块100计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm且小于标定模块100计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则集卡1的车头处于安全区域内；若距离Si小于标定模块100计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm，则集卡的车头向后移动且处于砸车头的危险区域内，判断模块103向PLC发送警报，停止吊具抓放箱作业；若距离Si大于标定模块100计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则集卡1的车头向前移动导致对箱不准，判断模块103向PLC发送警报，停止吊具抓放箱作业。
数据记录模块104，主要用于记录各模块的历史记录，状态信息及故障信息、数据存储等，主要包括部分原始图像数据，一方面可以定期训练检测***，训练数据越多，网络的参数就被优化得越好，整个算法最终识别率也会越高，另一方面留档备用。
再结合图2至图5所示，本实施例一种集卡车头防砸保护方法，包括以下步骤：
1)集卡1在作业车道上的位置导引结束，预先安装标定好内参且去畸校正的工业相机1在起重机3上拍摄车道视频。本实施例中，对相机标定的数据有集卡停车点的特征参考点，集卡车头在车道上占用的像素点等。
集卡停车点的特征参考点标定，即集卡导引结束停在车道准确位置时，标定拍摄的图片中的集装箱上顶面中心点与车头后边缘中心点分别在起重机坐标系的坐标值Co(Xc,Yc)与To(Xt,Yt)，箱上顶面中心点与车头后边缘中心点在大车方向上的距离S：
S＝|Xc-Xt|
2)采集模块读取工业相机1的实时视频流，解码成图片，对图片进行预处理；具体的，可采用C++和第三方OpenCV开源库读取工业相机1基于RTSP(实时流协议)的流，得到图片流。其中，对图片进行预处理包括滤波去燥算法、灰度化、直方图均衡化等算法，便于后续的检测识别；
3)将处理后的图片输入算法模块进行检测、分割、定位、跟踪和坐标系转换，得到集卡2的车头后边缘中心点在起重机坐标系下的坐标Ti(Xi,Yi)，计算该点与标定的集卡2停车点的特征参考点的集装箱上顶面中心点在大车方向的距离Si：
Si＝|Xc-Xi|
若S-15cm≤Si≤S+15cm，则集卡1车头在安全区域内，继续步骤2)；若Si≤S-15cm，则集卡2车头在危险区域内，向PLC发送警报；若Si≥S+15cm，则集卡2车头向前移动，向PLC发送警报；该步骤中，YOLOv3的神经网络训练过程如下：
a)建立车头数据库：获取工业相机1的视频流，通过目标检测算法识别出集卡2车头，获取带有集卡2车头的图像，并利用labeling标注工具进行集卡2车头的标注工作，从而建立集卡2车头的数据库；
b)制作数据集：从车头数据库中提取训练集、验证集、测试集；
c)搭建YOLOv3神经网络算法模型，使用训练集进行集卡2车头检测模型训练，通过验证集来评判YOLOv3神经网络算法模型是否符合要求，并通过测试集进行测试，最终得到训练好的YOLOv3神经网络算法模型。
在步骤3)中，判断模块向PLC发送警报，警报以光报警或声报警形式呈现。
在步骤3)中，将处理后的图片输入算法模块进行定位，即可得到集卡2车头后边缘中心点，通过计算即可得该点与标定的集卡2停车点的特征参考点的集装箱上顶面中心点在大车方向的距离Si。
综上所述，起重机机身通常安装有CCTV监控相机，利用实时视频手段监控车头在大车方向的位移量来判断车辆是否发生移动，是一种简单高效可行的方案。如果位移量超出报警阈值15cm，检测***就向PLC发送报警信号，起重机可以及时中断作业流程起到车头防砸的安全保护的作用，本发明利用相机和机器视觉技术实现车头的自动实时检测、识别、分割和跟踪定位，检测速度快、实时性好、定位精度高，适用于集卡车头实时检测跟踪定位和防砸保护的要求。
本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (15)

1.一种基于机器视觉的集卡车头防砸保护***，其特征在于，包括：
标定模块，用于拍摄集卡的车头的识别区域，并对所述集卡的停车点的特征点进行选取与标定；
采集模块，用以获取所述标定模块的实时视频流解码成图片，并对所述图片进行预处理；
算法模块，将预处理后的所述图片输入至所述算法模块，得到所述集卡的车头后边缘中心点在起重机坐标系下的坐标；
判断模块，用以计算判断所述集卡的停车点的特征点与所述集卡的车头后边缘中心点在大车方向上的距离；
数据记录模块，用以记录各模块的历史记录，状态信息及故障信息、数据存储。
2.根据权利要求1所述的基于机器视觉的集卡车头防砸保护***，其特征在于：所述标定模块为工业相机。
3.根据权利要求2所述的基于机器视觉的集卡车头防砸保护***，其特征在于：所述标定模块还用以进行相机内参标定、相机外参标定。
4.根据权利要求1所述的基于机器视觉的集卡车头防砸保护***，其特征在于，所述算法模块包括：
检测算法模块，用以实现所述集卡的车头粗定位；
分割算法模块，用以实现所述集卡的车头轮廓的像素级高精定位；
跟踪算法模块，用以实现所述集卡的车头实时稳定的定位跟踪；
坐标系转换算法模块，用以得到所述集卡的车头后边缘中心点在起重机坐标系下的坐标。
5.一种基于机器视觉的集卡车头防砸保护方法，其特征在于，通过如权利要求1-4之一所述的基于机器视觉的集卡车头防砸保护***执行以下步骤：
S1、通过所述标定模块执行相机内参标定，去畸变校正；执行相机外参标定，获得相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T；执行集卡停车点的特征参考点选择与标定，所述集卡在引导到位后，利用画图工具和相机标定的内参矩阵M、外参旋转矩阵R及平移矩阵T进行坐标转换得到特征参考点集装箱箱顶面中心点Co和车头后边缘中心点To在起重机坐标系下坐标，通过计算可得特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S；
S2、通过所述采集模块获取所述标定模块去畸变后的相机实时视频流，解码成图片，并对所述图片进行预处理；
S3、将预处理后的所述图片输入所述算法模块中得到所述集卡的车头后边缘中心点Ti在起重机坐标系下的坐标，通过所述判断模块获取的集卡停车点的特征参考点的箱上顶面中心点Co与所述算法模块的车头后边缘中心点Ti在大车方向上的距离Si，若距离Si大于所述标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm且小于所述标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则所述集卡的车头处于安全区域内，则继续步骤S2；若距离Si小于所述标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S-15cm，则所述集卡的车头向后移动且处于砸车头的危险区域内，所述判断模块向PLC发送警报，停止吊具抓放箱作业；若距离Si大于所述标定模块计算出的特征参考点集装箱箱顶面中心点Co与车头后边缘中心点To在大车方向的距离S+15cm，则所述集卡的车头向前移动导致对箱不准，所述判断模块向PLC发送警报，停止吊具抓放箱作业。
6.根据权利要求5所述的基于机器视觉的集卡车头防砸保护方法，其特征在于，所述步骤S1中，执行相机内参标定进一步包括：
利用标定板和张氏标定法获取相机内参矩阵M和畸变参数K1、K2、K3、P1和P2，并通过内参矩阵M和畸变参数K1、K2、K3、P1和P2对相机进行去畸变校正。
7.根据权利要求5所述的基于机器视觉的集卡车头防砸保护方法，其特征在于，所述步骤S1中，执行相机外参标定进一步包括：
利用标定板角点在起重机坐标系下的坐标和在相机像素坐标系下的坐标，通过PnP算法得到相机坐标系到起重机坐标系的旋转矩阵R和平移矩阵T。
8.根据权利要求5所述的基于机器视觉的集卡车头防砸保护方法，其特征在于：所述步骤S2中，预处理包括滤波去燥、灰度化或直方图均衡化处理算法。
9.根据权利要求5所述的基于机器视觉的集卡车头防砸保护方法，其特征在于：所述步骤S3中，所述算法模块采用YOLOv3神经网络算法模型。
10.根据权利要求9所述的基于机器视觉的集卡车头防砸保护方法，其特征在于，所述YOLOv3神经网络算法模型的训练过程包括以下步骤：
S31、建立集卡车头数据库；
S32、制作集卡车头训练、验证及测试数据集；
S33、搭建所述YOLOv3神经网络算法模型。
11.根据权利要求10所述的基于机器视觉的集卡车头防砸保护方法，其特征在于，所述步骤S31中，建立集卡车头数据库进一步包括：
获取所述标定模块的去畸变后的视频流，通过解码获取集卡车头图像，并利用标注工具对所述集卡车头图像进行标注。
12.根据权利要求10所述的基于机器视觉的集卡车头防砸保护方法，其特征在于，所述步骤S32中，制作集卡车头训练、验证及测试数据集进一步包括：
从所述集卡车头数据库中提取训练集、验证集、测试集。
13.根据权利要求12所述的基于机器视觉的集卡车头防砸保护方法，其特征在于，所述步骤S33中，搭建所述YOLOv3神经网络算法模型进一步包括：
使用所述训练集进行所述集卡车头检测模型的训练，通过所述验证集评判所述YOLOv3神经网络算法模型是否符合要求，再通过所述测试集进行测试，得到训练好的所述YOLOv3神经网络算法预训练模型。
14.根据权利要求9所述的基于机器视觉的集卡车头防砸保护方法，其特征在于：所述步骤S3中，将预处理后的所述图片输入所述的算法模块得到车头后边缘中心点在起重机坐标系下的坐标，具体如下：
设定每n帧图片作为一个周期，将第一帧预处理后的所述图片输入YOLO v3神经网络的预训练目标检测算法模型中得到所述集卡车头检测图像，然后对车头ROI区域进行剪切提取车头粗定位图；将得到的车头粗定位图经过灰度二值化分割或Canny边缘分割或AI分割算法获取车头轮廓的像素级高精定位图，并通过车头轮廓最小面积外接框算法得到车头轮廓外接框及框的左上角和右下角像素坐标，通过检测算法模块剪切的车头ROI区域图像与原始图像的比例关系还原到原始图像上得到原始图像上车头轮廓外接框及框的左上角和右下角高精像素坐标；基于第一帧原始图像和车头轮廓外接框初始化***，将设定每n帧图片作为一个周期的其余n-1帧执行跟踪算法，并在循环周期中不断更新***以获取当前周期车头轮廓的新边界框；将车头轮廓外接框的左上角和右下角高精像素坐标通过标定的相机内参矩阵M和外参旋转矩阵R与平移矩阵T换算得到集卡车头的左上角和右下角在起重机坐标系下的坐标，通过计算可得车头后边缘中心点Ti在起重机坐标系下的坐标。
15.根据权利要求5所述的基于机器视觉的集卡车头防砸保护方法，其特征在于：所述步骤S3中，警报以光报警或声报警形式呈现。
CN202111496462.3A 2021-12-09 2021-12-09 一种基于机器视觉的集卡车头防砸保护***及方法 Pending CN114170252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111496462.3A CN114170252A (zh) 2021-12-09 2021-12-09 一种基于机器视觉的集卡车头防砸保护***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111496462.3A CN114170252A (zh) 2021-12-09 2021-12-09 一种基于机器视觉的集卡车头防砸保护***及方法

Publications (1)

Publication Number Publication Date
CN114170252A true CN114170252A (zh) 2022-03-11

Family

ID=80484699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111496462.3A Pending CN114170252A (zh) 2021-12-09 2021-12-09 一种基于机器视觉的集卡车头防砸保护***及方法

Country Status (1)

Country Link
CN (1) CN114170252A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690061A (zh) * 2022-11-08 2023-02-03 北京国泰星云科技有限公司 一种基于视觉的集装箱码头集卡车检测方法
CN116704467A (zh) * 2023-08-04 2023-09-05 哪吒港航智慧科技(上海)有限公司 一种车辆防砸自动识别方法、装置、设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115690061A (zh) * 2022-11-08 2023-02-03 北京国泰星云科技有限公司 一种基于视觉的集装箱码头集卡车检测方法
CN115690061B (zh) * 2022-11-08 2024-01-05 北京国泰星云科技有限公司 一种基于视觉的集装箱码头集卡车检测方法
CN116704467A (zh) * 2023-08-04 2023-09-05 哪吒港航智慧科技(上海)有限公司 一种车辆防砸自动识别方法、装置、设备和存储介质
CN116704467B (zh) * 2023-08-04 2023-11-03 哪吒港航智慧科技(上海)有限公司 一种车辆防砸自动识别方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN110245663B (zh) 一种用于钢卷信息识别的方法
CN114170252A (zh) 一种基于机器视觉的集卡车头防砸保护***及方法
CN111461107A (zh) 用于识别感兴趣区的材料搬运方法、装置和***
US10944958B2 (en) Method and device for detecting height-limiting rod, and automatic driving system
CN111126165B (zh) 黑烟车检测方法、装置及电子设备
CN112967283A (zh) 基于双目摄像头的目标识别方法、***、设备及存储介质
CN112465706A (zh) 一种闸口集装箱自动验残方法
CN112784814A (zh) 车辆倒车入库的姿态识别方法及输送车倒车入库引导***
CN111767780A (zh) 一种ai与视觉结合的智能集卡定位方法和***
CN112819894A (zh) 一种集卡引导定位***及方法、计算机存储介质、龙门吊
Kortli et al. Efficient implementation of a real-time lane departure warning system
CN110415221B (zh) 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法
CN113850872A (zh) 一种基于高位视频的服务区停车压线检测方法
CN113724322B (zh) 一种用于无人叉车的货物托盘定位方法及***
CN112766046B (zh) 一种目标检测方法及相关装置
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN112489125A (zh) 一种堆场行人自动检测方法及装置
CN110322508A (zh) 一种基于计算机视觉的辅助定位方法
CN116309371A (zh) 列车零部件异常检测方法、装置及电子设备、介质
Saha et al. Analysis of Railroad Track Crack Detection using Computer Vision
EP4177694A1 (en) Obstacle detection device and obstacle detection method
Bubeníková et al. The ways of streamlining digital image processing algorithms used for detection of lines in transport scenes video recording
CN112560606B (zh) 挂车角度识别方法及装置
CN114724119A (zh) 车道线提取方法、检测设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination