CN112418103B - 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法 - Google Patents

一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法 Download PDF

Info

Publication number
CN112418103B
CN112418103B CN202011334558.5A CN202011334558A CN112418103B CN 112418103 B CN112418103 B CN 112418103B CN 202011334558 A CN202011334558 A CN 202011334558A CN 112418103 B CN112418103 B CN 112418103B
Authority
CN
China
Prior art keywords
image
dynamic
crane
load
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011334558.5A
Other languages
English (en)
Other versions
CN112418103A (zh
Inventor
何祯鑫
王欣
于传强
陈珊
冯永保
李良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN202011334558.5A priority Critical patent/CN112418103B/zh
Publication of CN112418103A publication Critical patent/CN112418103A/zh
Application granted granted Critical
Publication of CN112418103B publication Critical patent/CN112418103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/06—Arrangements or use of warning devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供的一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法，基于双目视觉测量***，包括以下步骤：步骤1，构建目标的三维点云信息；步骤2，重建起重机工作场景中的静态障碍物，得到参照样本集；步骤3，采集起重机转运负载过程的图像信息，与步骤2中得到的基准样本进行比对，分别得到负载和动态障碍物的三维坐标；步骤4，根据步骤3中分别得到的负载和动态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞；步骤5，根据判断结果控制起重机的运行；本发明将双目视觉应用于桥式起重机吊装安全防撞，具有非接触性，强鲁棒性，能够很大程度上降低防碰撞***的复杂程度，提高了***工作的可靠性。

Description

一种基于动态双目视觉的桥式起重机吊装安全防撞***及 方法
技术领域
本发明属起重机自动控制领域，特别涉及一种基于图像处理的桥式起重机吊装安全防撞***及方法。
背景技术
桥式起重机在吊装运行过程中，操作人员当发现吊装对象周围出现可能的危险人员物品时，会按下起重机紧急停止按钮，以实现起重机运行的紧急应急停止。但这种常规操作方式容易受操作人员的操作状态影响，紧急停止时机不易把握，安全风险高。
发明内容
本发明的目的在于提供一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法，解决了现有的桥式起重机在吊装运行过程中存在紧急停止时机不易把握，安全风险高的缺陷。
为了达到上述目的，本发明采用的技术方案是：
本发明提供的一种基于动态双目视觉***的桥式起重机吊装安全防撞方法，包括以下步骤：
步骤1，通过动态双目视觉***采集起重机吊装工作场景的图像信息，得到两张图像信息，之后分别对两张图像信息进行处理，获得两张图像中的静态障碍物对应的特征点对，根据特征点对构建图像中的静态障碍物的三维点云信息；
步骤2，根据步骤1中得到的静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本；
步骤3，通过动态双目视觉***采集起重机转运负载过程的图像信息，并对每帧图像信息进行处理，之后与步骤2中得到的基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标；
步骤4，根据步骤3中分别得到的负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，得到预测结果；
步骤5，根据预测结果控制起重机的运行，其中，若预测结果为会发生碰撞，则起重机开启语音报警提示；若预测出不会发生碰撞，则起重机继续正常运行。
优选地，步骤1中，对每帧图像信息进行处理，获得特征点，具体方法是：
S201，对采集到的起重机吊装工作场景的图像依次进行去噪、均衡化、匹配法和锐化法处理，得到预处理后的图像；
S202，利用SURF算法对S201中得到的预处理后图像进行特征点检测，得到特征点。
优选地，
步骤1中，根据特征点构建图像中的静态障碍物的三维点云信息，具体方法是：
采用三维重建SFM算法，获得静态障碍物的三维点云信息。
优选地，步骤2中，根据步骤1中得到的静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本集，具体方法是：
S201，获取左图像的视差图；
S202，将视差图上每一行的具有相同水平视差的所有像素个数进行累加，同时，从每一行的具有相同水平视差的所有像素点中选择X坐标值最大的像素点作为新的像素点坐标；之后将所有像素点个数的累加值作为该新的像素点的灰度值，得到V-视差图；
S203，将视差图上每一列的具有相同水平视差的所有像素个数进行累加，同时，从每一列的具有相同水平视差的所有像素点中选择Y坐标值最大的像素点作为新的像素点坐标；之后将所有像素个数的累加值作为该新的像素点的灰度值，得到U-视差图；
S204，利用Hough变换直线检测算法分别从V-视差图和U-视差图中提取直线，分别得到障碍物的高度、宽度和触地点；
S205，将得到的障碍物的高度、宽度和触地点和步骤1中得到的目标的三维点云信息相结合，得到起重机工作场景中的静态障碍物，进而得到基准样本。
优选地，步骤3中，对每帧图像信息进行处理，之后与步骤2中得到的基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标，具体方法是：
S301，采用全局运动模型参数估计算法分别对左相机拍摄的第k帧图像与第k-1帧图像进行处理，得到参数估计结果；
利用全局运动补偿算法结合参数估计结果对左相机拍摄的第k-1帧图像进行运动补偿，得到左摄像机第k-1帧校正后的图像；
将左摄像机第k-1帧校正后的图像与左摄像机第k帧图像的对应像素点的灰度值相减，得到连续帧间的灰度差分图；
S302，对左摄像机的第k-1帧图像和右摄像机的第k-1帧图像进行立体匹配，得到第k-1帧图像立体匹配后的视差图；
利用全局运动补偿算法结合S301中得到的参数估计结果对第k-1帧图像立体匹配后的视差图进行运动补偿，得到第k-1帧图像校正后的视差图；
对左摄像机的第k帧图像和右摄像机的第k帧图像进行立体匹配，得到第k帧图像立体匹配后的视差图；
将第k帧图像立体匹配后的视差图与第k-1帧图像立体匹配后的视差图的对应像素点的视差值进行相减，得到连续帧之间的视差差分图；
S303，再将连续帧间的灰度差分图和连续帧之间的视差差分图直接相乘，进而得到结合灰度和视差的连续帧间差分图像；
S304，在每新拍摄一帧图像的同时，利用S301中得到的参数估计结果对步骤3中得到的基准样本进行运动补偿，得到更新后的基准样本；
S305，将S303得到的结合灰度和视差的连续帧间差分图像与S304中得到的更新后的基准样本的对应像素点的灰度值相减，得到运动目标所在区域；对动目标所在区域的全图依次进行二值化处理、形态学滤波、连通性分析处理，得到负载和动态障碍物的三维坐标；
同时，对更新后的基准样本进行处理，获得特征点，根据特征点得到静态障碍物的三维坐标。
优选地，步骤4中，根据步骤3中分别得到的负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，具体方法是：
S401，利用CamShift跟踪算法对对步骤3中分别得到负载和动态障碍物的三维坐标进行跟踪，分别得到负载和动态障碍物的当前位置信息；
S402，利用Kalman滤波算法结合S401中分别得到的负载和动态障碍物的当前位置信息预测负载和动态障碍物下一刻的位置信息；
S403，利用基于方向包围盒碰撞检测算法结合S402中预测得到的负载和动态障碍物下一刻的位置信息，实时预测负载是否与动态障碍物或静态障碍物发生碰撞。
一种基于动态双目视觉的桥式起重机吊装安全防撞***，该***能够用于实现权利要求1-6中任一项所述的基于动态双目视觉***的桥式起重机吊装安全防撞方法，包括采集模块、重建模块、处理模块、预测模块以及报警模块；其中，
采集模块用于通过动态双目视觉***采集起重机吊装工作场景的图像信息，得到两张图像信息，之后分别对两张图像信息进行处理，获得两张图像中的静态障碍物对应的特征点对，根据特征点对构建图像中的静态障碍物的三维点云信息；
重建模块用于根据静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本；
处理模块用于通过动态双目视觉***采集起重机转运负载过程的图像信息，并对每帧图像信息进行处理，之后与基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标；
预测模块用于根据负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，得到预测结果；
报警模块用于根据判断结果控制起重机的运行，其中，若预测结果为会发生碰撞，则起重机开启语音报警提示；若预测出不会发生碰撞，则起重机继续正常运行。
优选地，所述动态双目视觉***包括双目相机和二维旋转云台，其中，所述双目相机安装在二维旋转云台上；所述二维旋转云台通过隔振悬挂支架下挂在起重机横梁的一端。
优选地，所述报警单元包括PLC控制模块，其中，所述PLC控制模块连接桥式起重机电铃、起重机大车变频器、起重机小车变频器和起重机起升变频器。
与现有技术相比，本发明的有益效果是：
本发明提供的一种基于动态双目视觉的桥式起重机吊装安全防撞***，通过双目视觉***完成运动物体检测、吊装空间的三维重建，在线计算出负载与障碍物的运行信息、位置信息、尺度信息，来进行碰撞预测，决定是否采用减速、转向或者紧急制动，实现起重机的安全运行；将双目视觉应用于桥式起重机吊装安全防撞，具有非接触性，强鲁棒性，能够很大程度上降低防碰撞***的复杂程度，提高了***工作的可靠性。
进一步的，双目视觉摄像机安装在横梁一端，能随大车运行而移动，形成动态双目视觉***，并安装于具有隔振效果的二维旋转云台上，离线建立静态障碍物模型，摄像机运动条件下采集动态障碍物和负载信息，确保精度的同时，有效增大负载尺度和作业采集区域，适应性强。
附图说明
图1是***基本工作流程；
图2是基于双目视觉的吊装防碰撞***组成；
图3是双目视觉***安装示意图；
图4是多圆标定板；
图5是标定自动化流程图；
图6是基于运动双目视觉***的负载和移动人物动态目标检测示意框图；
图7是基于OBB模型的负载移动虚拟体建立；
图8是全局运动补偿算法流程图；
图9是全局运动模型参数估计算法流程图。
具体实施方式
下面结合附图，对本发明进一步详细说明。
随着计算机视觉技术的不断发展，视觉传感器在各类机电***中得到了越来越广泛的应用，双目视觉传感具有效率高、精度合适、***结构简单、成本低等优点，广泛应用于制造现场的在线、非接触产品检测和质量控制。在对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，是一种有效的测量方法。在桥式起重机运行过程中，通过双目视觉***完成运动物体检测、吊装空间的三维重建，在线计算出负载与障碍物的运行信息、位置信息、尺度信息，来进行碰撞预测，决定是否采用减速、转向或者紧急制动，实现起重机的安全运行。
如图1所示，本发明提供的一种基于动态双目视觉的桥式起重机吊装安全防撞***，针对桥式起重机大场景和大尺度负载吊装情况，本***将双目相机安装在起重机桥架上，形成移动的动态双目视觉测量***。利用双目视觉***进行工作环境中负载、静动态物体的立体三维重建、动态目标检测与跟踪，并进行碰撞预检测，完成应急处理。
具体地：
如图1所示，该桥式起重机吊装安全防撞***包括动态双目视觉***、处理单元和报警单元，其中，所述动态双目视觉***安装在起重机桥架上，用于采集起重机吊装工作场景的图像信息，并将采集到的图像信息传输至处理单元；所述处理单元用于对接收到的图像信息进行处理，实时检测突然闯入工作空间的运动物体(人或其他障碍物)，同时预测出负载与工作空间中的静态障碍物和运动障碍物是否发生碰撞，并将预测出的结果传输至报警单元；所述报警单元用于根据预测结果作为报警提示。
所述桥式起重机结构包括起重机横梁1、台车2、起吊装置3和桥架4，其中，所述桥架4为桥式起重机的大车运行轨道，其安装在厂房承重立柱上；所述起重机横梁1安装在桥架4上；所述台车2安装在起重机横梁1上，且来回移动；所述起吊装置安装在台车2上。
所述动态双目视觉***包括双目相机5和二维旋转云台6，其中，所述双目相机5安装在二维旋转云台6上；所述二维旋转云台6通过隔振悬挂支架7下挂在起重机横梁1的一端，实现与起重机横梁1之间的同步运动。
所述双目相机5包括第一摄像机和第二摄像机，其中，两个摄像机呈左右平行放置，中间间隔距离即为基线长度，该距离可在实验过程中调节。
所述报警单元包括PLC控制模块，其中，所述PLC控制模块连接桥式起重机电铃、起重机大车变频器、起重机小车变频器和起重机起升变频器。
本发明提供的一种基于动态双目视觉***的桥式起重机吊装安全防撞方法，具体包括以下步骤：
步骤1，采集标定板图像，利用标定算法对采集到的标定板图像进行处理，得到双目相机的内、外参数；利用动态双目视觉***采集起重机吊装工作场景的图像信息，对每帧图像信息进行处理，获得特征点，根据特征点构建目标(图像中的静态障碍物)的三维点云信息；
步骤2，根据步骤1中得到的目标的三维点云信息重建起重机工作场景中的静态障碍物，得到参照样本集；
步骤3，实时采集起重机转运负载过程的图像信息，并对采集到的每帧图像信息进行处理，之后与步骤2中得到的基准样本进行比对，分别得到负载和动态障碍物的三维坐标；
步骤4，根据步骤3中分别得到的负载和动态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞；
步骤5，根据判断结果控制起重机的运行。
其中，步骤1中，采集标定板图像，具体是：
将如图4所述的金属标定板放置在第一摄像机和第二摄像机之间；通过第一摄像机和第二摄像机分别获取标定板的左右摄像图像，接着不断移动标定板，在相机视野内的不同位置以不同角度拍摄至少二十组以上图片，用于标定获取双目视觉***的内外参数。
利用标定算法对采集到的标定板图像进行处理，具体方法是：
S101，利用动态阈值法对采集到的标定板图像进行阈值分割，得到二值图像；应用基于几何形状的滤波方法，处理阈值分割之后的图像，滤除绝大部分的孤立点，较好地保护目标点集，从而降低噪声对标定的影响，提高工作环境适应性；
S102，利用数学形态学方法对S101中得到的二值图像进行图像的边缘提取，对图像依次进行闭合运算、Otsu阈值分割和轮廓提取，以期获得连续、平滑、无噪点的轮廓曲线；然后，对每个障碍物，求取能够包裹其轮廓曲线的最小椭圆，并使用该椭圆目标的边缘信息来替代这个障碍物；
S103，多目标轮廓跟踪及目标筛选
一般的轮廓跟踪算法只能跟踪单个目标的边缘。此处存在多个椭圆目标，设计多目标轮廓跟踪算法，自动跟踪所有的目标椭圆边缘信息。同时对一些特殊的曲线，如具有断线的椭圆等，采取双向跟踪方法，以保证在处理这些特殊椭圆曲线的点集时也能得到正确的结果，使其具有比较强的鲁棒性。同时，根据每个目标的位置信息和像素数目等信息进行筛选，对所需要的目标椭圆进行排序，以便与标定图像中的特征圆形成一一对应的关系，为标定求解做好准备；
S104，特征提取：
在图像采集过程中，由于摄像机方位及其本身畸变等因素的影响，标定板上的圆在标定图像中一般会变为椭圆，但椭圆的中心点与圆孔的中心点存在确定的投影关系；所以，椭圆的中心点就是所要提取的特征点。
利用S103得到的图像上椭圆边缘点数据，再拟合出椭圆方程，利用最小二乘法求出椭圆的圆孔中心的计算机帧存坐标，具体算法如下：
椭圆的一般方程为：
Ax2+2Bxy+Cy2+2Dx+2Ey+F＝0 (1)
将检测出的边缘代入式(1)组成超越方程组，然后用最优化方法解出最小二乘意义上的最佳拟合参数A、B、…、F，则椭圆中心(X0,Y0)的坐标为：
Figure BDA0002796796220000091
S105，两步法标定：
将特征点的三维空间坐标和对应的二维计算机帧存坐标代入摄像机模型中，依照RAC两步法即可完成摄像机的标定，得到摄像机包括焦距、主点坐标、偏斜系数和畸变在内的内部参数以及包括旋转矩阵和平移矩阵在内的外部参数。对于外部参数的标定主要用于描述摄像机坐标系与世界坐标系之间的相对位姿关系，而内部坐标系的标定主要是为了校正相机几何光学存在的误差。
步骤1中，利用动态双目视觉***采集起重机吊装工作场景的图像信息，对每帧图像信息进行处理，获得特征点，具体方法是：
S1011，对采集到的起重机吊装工作场景的图像依次进行去噪、均衡化、匹配法和锐化法处理，得到预处理后的图像；
所述预处理按照以下步骤依次进行：
①利用图像均值滤波和高斯滤波方法去除图像噪声；
②利用直方图均衡化方法增强图像对比度；
③利用直方图匹配方法平衡亮度差；
④利用Laplace锐化方法以增强图像边缘细节。
S1012，利用SURF算法对S1011中得到的预处理后图像进行特征点检测，得到特征点；
进行特征点检测的具体步骤为：
①构建Hessian矩阵；
②构造尺度空间；
③准确定位特征点
④特征点匹配；
⑤生成特征点描述子。
采用SURF特征点匹配方法是通过两特征点之间的欧式距离来进行匹配，由于其特征向量是64维，所以可有效提高匹配的计算效率；
误匹配点的剔除：匹配结果往往有很多误匹配，为了排除这些错误，使用KNN算法寻找与该特征最匹配的2个特征，若第一个特征的匹配距离与第二个特征的匹配距离之比小于某一阈值，就接受该匹配，否则视为误匹配。
通过该步骤，可得到同一个目标物的特征点在双目相机拍摄的两幅图像中的对应关系，同时获得左图像的视差图，从而为下一步通过几何方法构建障碍物三维点云信息打下基础。
步骤1中，根据特征点构建目标的三维点云信息，具体方法是：
采用三维重建SFM算法，获得目标的三维点云信息；其中，SFM算法包括以下四步：
①估计基础矩阵F：采用了RANSAC的方法对E进行估计，在每一步迭代的过程中，利用8点法进行求解；
②矩阵本质估计E：本征矩阵有7个独立参数，估计出本质矩阵的目的是为了对之前求得的匹配进行约束，得到同一空间点在不同图像上的投影点之间的匹配关系；
③本质矩阵SVD分解为旋转矩阵R和平移矩阵T；
④三维点云的计算：本发明通过三角形法进行解算，本方法根据已求得两相机之间的变换矩阵R和T，以及每一对匹配点的坐标，通过这些已知信息还原匹配点在三维空间当中的
坐标，由公式：
x·S＝K·(R·X+T)
其中x以及S为方程中的未知量，用S分别对方程两边做叉积，可消去S，得：
0＝x·K·(R·X+T)
进一步推导可得：
Figure BDA0002796796220000111
采用奇异值分解法求得X左边矩阵的零空间，再将最后一个元素归一化为1，即可求得X。其几何意义相当于分别从两个相机的光心做过二维图像平面上对应点的延长线，两条延长线相交的点就是方程的解，即三维空间中实际物体点上对应的点，即得到目标的三维信息。
步骤2中，构建起重机工作场景中的静态障碍物，得到基准样本，具体方法是：
S201，由于视差图包含了三维信息，因此，在左图像的视差图的基础上，累加视差图像每一行上具有相同水平视差的像素个数Cp，并记录该行所有具有相同水平视差的点中具有最大X坐标值的点，将这一点作为新的像素坐标，而Cp为该像素点新的灰度值，这样就形成了V-视差图；
累加视差图像每一列上具有相同水平视差的像素个数，并记录该列所有具有相同水平视差的点中具有最大Y坐标值的点，将这一点作为新的像素坐标，而像素个数为该像素点新的灰度值，这样就形成了U-视差图；
V-视差图的计算是为了将原图像中的平面投影为一条直线，对于障碍物来说，可将其平面投影为一条斜线和与斜线垂直的线段，即将障碍物检测由平面检测转化为线段检测，接下来通过引入直线检测算法提取V-视差图中的线段即可。
S202，利用Hough变换直线检测算法提取V-视差图中的直线，由两条线段的交点可以得到障碍物的触地点。
垂直直线段的高度代表障碍物的高度，而宽度可通过U-视差图获取，U-视差图的计算同V-视差图的计算过程相似，区别在于V-视差图是对水平方向累加相同像素的个数，而U-视差图是对垂直方向相同像素个数的累加。
结合V-视差图和U-视差图就可以在待检测目标图像中准提取障碍物的宽度、高度以及触地点，进而锁定障碍物的区域。
再根据步骤1中解算出的目标的三维点云信息，即可获取起重机工作场景中的静态障碍物，即得到基准样本。
步骤3中，对采集到的图像信息进行处理，并与步骤2中得到的基准样本进行比对，得到动态检测目标；该步骤用于获取摄像机视野范围内的动态目标。现有算法中，单目视觉下基于灰度的检测算法可以检测出比较精确的轮廓边缘，而双目视觉下基于视差的检测算法能够正确的检测出运动目标，适合目标和背景具有相似的灰度特征场合，但由于视差图在对象内部的估计比较准确，在边缘处的估计准确度稍微差一些。因此，本发明对吊装负载和进入视场的人或物等动态目标检测采用结合灰度和视差的连续帧间差分算法，如图6所示，其中，fl(k-l)和flk分别指左摄像机获得的第k-1帧和第k帧；fr(k-l)和frk分别指右摄像机获得的第k-1帧和第k帧；dk-1和dk分别指立体匹配后得到的第k-1帧和第k帧的视差图；f′l(k-l)和d′k-1分别指对左摄像机获得的第k-1帧和第k-1帧对应的视差图经过全局动补偿即校正后的图像；具体方法是：
S301，采用如图9所示全局运动模型参数估计算法分别对左相机拍摄的第k帧图像flk与第k-1帧图像fl(k-l)进行处理，得到参数估计结果；
利用如图8所示全局运动补偿算法结合参数估计结果对左相机拍摄的第k-1帧图像fl(k-l)进行运动补偿，得到左摄像机第k-1帧校正后的图像f′l(k-l)；
将左摄像机第k-1帧校正后的图像f′l(k-l)与左摄像机第k帧图像的对应像素点的灰度值相减，得到连续帧间的灰度差分图；
S302，对左摄像机的第k-1帧图像和右摄像机的第k-1帧图像进行立体匹配，得到第k-1帧图像立体匹配后的视差图；
利用如图8所示全局运动补偿算法结合参数估计结果对第k-1帧图像立体匹配后的视差图进行运动补偿，得到第k-1帧图像校正后的视差图；
对左摄像机的第k帧图像和右摄像机的第k帧图像进行立体匹配，得到第k帧图像立体匹配后的视差图；
将第k帧图像立体匹配后的视差图与第k-1帧图像立体匹配后的视差图的对应像素点的视差值进行相减，得到连续帧之间的视差差分图；
S303，再将连续帧间的灰度差分图和连续帧之间的视差差分图直接相乘，进而得到结合灰度和视差的连续帧间差分图像；
S304，在每新拍摄一帧图像的同时，利用S301中得到的参数估计结果对步骤3中得到的基准样本进行运动补偿，得到更新后的基准样本；
S305，将S303得到的结合灰度和视差的连续帧间差分图像与S304中得到的更新后的基准样本的对应像素点的灰度值相减，得到运动目标所在区域；采用最大类间方差法对动目标所在区域的全图依次进行二值化处理、形态学滤波、连通性分析处理，分别得到负载和动态障碍物的三维坐标；
同时，对更新后的基准样本进行处理，获得特征点，根据特征点得到静态障碍物的三维坐标。
其中，本发明应用形态学滤波处理解决了在目标区域内部存在许多孤立的点和孔洞,在边缘会产生断裂以及在背景区域存在服从高斯分布的随机噪声点的问题。
而现有的形态学滤波方法包括膨胀、腐蚀、开操作和闭操作；本发明先进行开操作再进行闭操作，随后由于得到的目标信息不完整，所以还适当进行了膨胀操作。
目标的连通性分析是进行目标识别和特征提取的关键步骤，因此本发明最后采用基于八连通的序贯算法从上到下从左到右，依次对每一个点判断，然后与预先规定的目标的大小相比,认为小于目标大小的为误判,其它的为检测到正确的目标，计算出目标的个数、以及各个目标的几何中心和连通域大小，几何中心的计算公式如下：
Figure BDA0002796796220000141
其中,(xo,y0,z0)为几何中心的坐标，(xi,yi,zi)为同一连通域像素点的坐标,N为同一连通域的总像素个数。
步骤4中，根据步骤3中分别得到的负载和动态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，具体方法是：
S401，利用CamShift跟踪算法对步骤3中分别得到负载和动态障碍物的三维坐标进行跟踪，分别得到负载和动态障碍物的当前位置信息；
S402，利用Kalman滤波算法结合S401中分别得到的负载和动态障碍物的当前位置信息预测负载和动态障碍物下一刻的位置信息；
S403，利用基于方向包围盒(OBB)碰撞检测算法结合S402中预测得到的负载和动态障碍物下一刻的位置信息，实时预测负载是否与动态障碍物或静态障碍物发生碰撞。
其中，S403中，利用基于方向包围盒(OBB)碰撞检测算法结合预测得到的该动态目标检测物下一刻的位置信息，实时预测该动态目标检测物与其他障碍物是否发生碰撞，具体方法是：
S5031，碰撞模型建立
基于OBB包围盒构建负载和静动态障碍物的碰撞长方体，可以用一个中心点、一个三阶方向矩阵和三个1/2边长表示，其中三阶方向矩阵表示包围盒三条轴的方向。通过计算包围盒内的全部三角形顶点的协方差矩阵C以及矩阵C三个特征向量，可以得到OBB包围盒的三条轴的方向。
具体而言，对于静态障碍物，可以利用立体匹配物体重构的点云信息，构建OBB模型；对于负载和动态障碍物，可以利用卡尔曼滤波得到的负载和动态障碍物中心以及负载和障碍物尺寸，进一步构建OBB模型。此时，针对负载，为了留有安全余量，在负载OBB模型基础上，于(x,-x,y,-y,z,-y)6个方向均增加相同尺寸，分别增加800mm和1000mm形成负载移动虚拟体1和负载移动虚拟体2，以对应不同的处置方法，示意图如图7所示。
S4032，三角形相交测试
针对负载移动虚拟体和静动态障碍物OBB包围盒，各自顶点之间形成的两个三角形相交测试是重点，虽然可以排除模型之间大量不相交的三角形，但在很多情况下仍需要对必要的三角形之间进行相交测试。三角形之间的测试大致可以分为三个阶段。第一阶段，检测负载虚拟体任一三角形B和障碍物OBB包围盒三角形A所在的平面是否相交，若相交则计算出相交的线段；第二阶段，根据三角形A两条边所在的直线将平面A分为4部分，并根据交线在平面A的分布情况判断两个三角形是否分离；第三阶段，进一步分析第二阶段无法判断三角形之间分离的情况，检测交线与三角形A是否相交，若交线与三角形A相交则三角形A和B之间相交，反之三角形A和B之间分离。
步骤5中，根据判断结果控制起重机的运行，具体地：
若预测出可能发生碰撞，则起重机开启语音报警提示，人工处置或者启动自主紧急制动策略，实现起重机的快速、有效停止，避免负载和障碍物发生碰撞；具体地：
当动态目标检测物与他障碍物之间的距离小于等于1000mm时，检测信号发送PLC，控制电铃发出预警铃声进行报警，操作人员进行减速或者变向处理；
当动态目标检测物与他障碍物之间的距离小于等于800mm时，发送信号给PLC，控制变频器以实现起重机紧急制动。
若预测出不可能发生碰撞，则起重机继续正常运行。
本发明再一个实施例中，提供一种基于动态双目视觉***的桥式起重机吊装安全防撞***，该***能够用于实现上述的基于动态双目视觉***的桥式起重机吊装安全防撞方法，包括采集模块、重建模块、处理模块、预测模块以及报警模块；其中，
采集模块用于通过动态双目视觉***采集起重机吊装工作场景的图像信息，得到两张图像信息，之后分别对两张图像信息进行处理，获得两张图像中的静态障碍物对应的特征点对，根据特征点对构建图像中的静态障碍物的三维点云信息；
重建模块用于根据静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本；
处理模块用于通过动态双目视觉***采集起重机转运负载过程的图像信息，并对每帧图像信息进行处理，之后与基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标；
预测模块用于根据负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，得到预测结果；
报警模块用于根据判断结果控制起重机的运行，其中，若预测结果为会发生碰撞，则起重机开启语音报警提示；若预测出不会发生碰撞，则起重机继续正常运行。

Claims (9)

1.一种基于动态双目视觉***的桥式起重机吊装安全防撞方法，其特征在于，包括以下步骤：
步骤1，通过动态双目视觉***采集起重机吊装工作场景的图像信息，得到两张图像信息，之后分别对两张图像信息进行处理，获得两张图像中的静态障碍物对应的特征点对，根据特征点对构建图像中的静态障碍物的三维点云信息；
步骤2，根据步骤1中得到的静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本；
步骤3，通过动态双目视觉***采集起重机转运负载过程的图像信息，并对每帧图像信息进行处理，之后与步骤2中得到的基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标；
步骤4，根据步骤3中分别得到的负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，得到预测结果；
步骤5，根据判断结果控制起重机的运行，其中，若预测结果为会发生碰撞，则起重机开启语音报警提示；若预测出不会发生碰撞，则起重机继续正常运行。
2.根据权利要求1所述的一种基于动态双目视觉***的桥式起重机吊装安全防撞方法，其特征在于，步骤1中，对每帧图像信息进行处理，获得特征点，具体方法是：
S201，对采集到的起重机吊装工作场景的图像依次进行去噪、均衡化、匹配法和锐化法处理，得到预处理后的图像；
S202，利用SURF算法对S201中得到的预处理后图像进行特征点检测，得到特征点。
3.根据权利要求1所述的一种基于动态双目视觉***的桥式起重机吊装安全防撞方法，其特征在于，步骤1中，根据特征点构建图像中的静态障碍物的三维点云信息，具体方法是：
采用三维重建SFM算法，获得静态障碍物的三维点云信息。
4.根据权利要求1所述的一种基于动态双目视觉***的桥式起重机吊装安全防撞方法，其特征在于，步骤2中，根据步骤1中得到的静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本集，具体方法是：
S201，获取左图像的视差图；
S202，将视差图上每一行的具有相同水平视差的所有像素个数进行累加，同时，从每一行的具有相同水平视差的所有像素点中选择X坐标值最大的像素点作为新的像素点坐标；之后将所有像素点个数的累加值作为该新的像素点的灰度值，得到V-视差图；
S203，将视差图上每一列的具有相同水平视差的所有像素个数进行累加，同时，从每一列的具有相同水平视差的所有像素点中选择Y坐标值最大的像素点作为新的像素点坐标；之后将所有像素个数的累加值作为该新的像素点的灰度值，得到U-视差图；
S204，利用Hough变换直线检测算法分别从V-视差图和U-视差图中提取直线，分别得到障碍物的高度、宽度和触地点；
S205，将得到的障碍物的高度、宽度和触地点和步骤1中得到的目标的三维点云信息相结合，得到起重机工作场景中的静态障碍物，进而得到基准样本。
5.根据权利要求1所述的一种基于动态双目视觉***的桥式起重机吊装安全防撞方法，其特征在于，步骤3中，对每帧图像信息进行处理，之后与步骤2中得到的基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标，具体方法是：
S301，采用全局运动模型参数估计算法分别对左相机拍摄的第k帧图像与第k-1帧图像进行处理，得到参数估计结果；
利用全局运动补偿算法结合参数估计结果对左相机拍摄的第k-1帧图像进行运动补偿，得到左摄像机第k-1帧校正后的图像；
将左摄像机第k-1帧校正后的图像与左摄像机第k帧图像的对应像素点的灰度值相减，得到连续帧间的灰度差分图；
S302，对左摄像机的第k-1帧图像和右摄像机的第k-1帧图像进行立体匹配，得到第k-1帧图像立体匹配后的视差图；
利用全局运动补偿算法结合S301中得到的参数估计结果对第k-1帧图像立体匹配后的视差图进行运动补偿，得到第k-1帧图像校正后的视差图；
对左摄像机的第k帧图像和右摄像机的第k帧图像进行立体匹配，得到第k帧图像立体匹配后的视差图；
将第k帧图像立体匹配后的视差图与第k-1帧图像立体匹配后的视差图的对应像素点的视差值进行相减，得到连续帧之间的视差差分图；
S303，再将连续帧间的灰度差分图和连续帧之间的视差差分图直接相乘，进而得到结合灰度和视差的连续帧间差分图像；
S304，在每新拍摄一帧图像的同时，利用S301中得到的参数估计结果对步骤3中得到的基准样本进行运动补偿，得到更新后的基准样本；
S305，将S303得到的结合灰度和视差的连续帧间差分图像与S304中得到的更新后的基准样本的对应像素点的灰度值相减，得到运动目标所在区域；对动目标所在区域的全图依次进行二值化处理、形态学滤波、连通性分析处理，得到负载和动态障碍物的三维坐标；
同时，对更新后的基准样本进行处理，获得特征点，根据特征点得到静态障碍物的三维坐标。
6.根据权利要求1所述的一种基于动态双目视觉***的桥式起重机吊装安全防撞方法，其特征在于，步骤4中，根据步骤3中分别得到的负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，具体方法是：
S401，利用CamShift跟踪算法对对步骤3中分别得到负载和动态障碍物的三维坐标进行跟踪，分别得到负载和动态障碍物的当前位置信息；
S402，利用Kalman滤波算法结合S401中分别得到的负载和动态障碍物的当前位置信息预测负载和动态障碍物下一刻的位置信息；
S403，利用基于方向包围盒碰撞检测算法结合S402中预测得到的负载和动态障碍物下一刻的位置信息，实时预测负载是否与动态障碍物或静态障碍物发生碰撞。
7.一种基于动态双目视觉的桥式起重机吊装安全防撞***，其特征在于，该***能够用于实现权利要求1-6中任一项所述的基于动态双目视觉***的桥式起重机吊装安全防撞方法，包括采集模块、重建模块、处理模块、预测模块以及报警模块；其中，
采集模块用于通过动态双目视觉***采集起重机吊装工作场景的图像信息，得到两张图像信息，之后分别对两张图像信息进行处理，获得两张图像中的静态障碍物对应的特征点对，根据特征点对构建图像中的静态障碍物的三维点云信息；
重建模块用于根据静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本；
处理模块用于通过动态双目视觉***采集起重机转运负载过程的图像信息，并对每帧图像信息进行处理，之后与基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标；
预测模块用于根据负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，得到预测结果；
报警模块用于根据判断结果控制起重机的运行，其中，若预测结果为会发生碰撞，则起重机开启语音报警提示；若预测出不会发生碰撞，则起重机继续正常运行。
8.根据权利要求7所述的一种基于动态双目视觉的桥式起重机吊装安全防撞***，其特征在于，所述动态双目视觉***包括双目相机(5)和二维旋转云台(6)，其中，所述双目相机(5)安装在二维旋转云台(6)上；所述二维旋转云台(6)通过隔振悬挂支架(7)下挂在起重机横梁(1)的一端。
9.根据权利要求7所述的一种基于动态双目视觉的桥式起重机吊装安全防撞***，其特征在于，所述报警单元包括PLC控制模块，其中，所述PLC控制模块连接桥式起重机电铃、起重机大车变频器、起重机小车变频器和起重机起升变频器。
CN202011334558.5A 2020-11-24 2020-11-24 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法 Active CN112418103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011334558.5A CN112418103B (zh) 2020-11-24 2020-11-24 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011334558.5A CN112418103B (zh) 2020-11-24 2020-11-24 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法

Publications (2)

Publication Number Publication Date
CN112418103A CN112418103A (zh) 2021-02-26
CN112418103B true CN112418103B (zh) 2022-10-11

Family

ID=74842062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011334558.5A Active CN112418103B (zh) 2020-11-24 2020-11-24 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法

Country Status (1)

Country Link
CN (1) CN112418103B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113003424A (zh) * 2021-03-23 2021-06-22 长沙理工大学 一种桥式起重机吊钩位置测量方法
CN113282088A (zh) * 2021-05-21 2021-08-20 潍柴动力股份有限公司 工程车的无人驾驶方法、装置、设备、存储介质及工程车
CN113284231B (zh) * 2021-06-10 2023-06-16 中国水利水电第七工程局有限公司 一种基于多维信息的塔式起重机建模方法
CN113362397A (zh) * 2021-06-23 2021-09-07 合肥朗云物联科技股份有限公司 一种适用于双目摄像机采集***的标定方法
CN113233359B (zh) * 2021-07-12 2021-11-16 杭州大杰智能传动科技有限公司 基于三维场景还原的智能塔吊障碍物规避方法及装置
CN113911885A (zh) * 2021-10-29 2022-01-11 南京联了么信息技术有限公司 一种基于图像处理的电梯防夹方法及***
CN114241441B (zh) * 2021-12-03 2024-03-29 北京工业大学 基于特征点的动态障碍物检测方法
CN114782483B (zh) * 2022-06-17 2022-09-16 广州港数据科技有限公司 岸桥起重机智能理货跟踪方法及***
CN114972541B (zh) * 2022-06-17 2024-01-26 北京国泰星云科技有限公司 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法
CN115272379B (zh) * 2022-08-03 2023-11-28 上海新迪数字技术有限公司 一种基于投影的三维网格模型外轮廓提取方法及***
CN115849202B (zh) * 2023-02-23 2023-05-16 河南核工旭东电气有限公司 基于数字孪生技术的智能起重机操作目标识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102175222B (zh) * 2011-03-04 2012-09-05 南开大学 基于立体视觉的吊车避障***
CN103955920B (zh) * 2014-04-14 2017-04-12 桂林电子科技大学 基于三维点云分割的双目视觉障碍物检测方法
CN108243623B (zh) * 2016-09-28 2022-06-03 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和***

Also Published As

Publication number Publication date
CN112418103A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112418103B (zh) 一种基于动态双目视觉的桥式起重机吊装安全防撞***及方法
CN102175222B (zh) 基于立体视觉的吊车避障***
CN108269281B (zh) 基于双目视觉的避障技术方法
CN112085003B (zh) 公共场所异常行为自动识别方法及装置、摄像机设备
WO2015024407A1 (zh) 基于电力机器人的双目视觉导航***及方法
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
Momeni-k et al. Height estimation from a single camera view
CN112051853A (zh) 基于机器视觉的智能避障***及方法
CN115359021A (zh) 一种基于激光雷达和相机信息融合的目标定位检测方法
CN115482195B (zh) 一种基于三维点云的列车部件变形检测方法
CN102788572A (zh) 一种工程机械吊钩姿态的测量方法、装置及***
CN113624225B (zh) 一种用于发动机定位销安装的位姿解算方法
Huang et al. Mobile robot localization using ceiling landmarks and images captured from an rgb-d camera
CN114119729A (zh) 障碍物识别方法及装置
CN114118253B (zh) 一种基于多源数据融合的车辆检测方法及检测装置
Chen et al. Pallet recognition and localization method for vision guided forklift
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN107767366B (zh) 一种输电线路拟合方法及装置
CN117115249A (zh) 一种集装箱锁孔自动识别定位***及方法
Pan et al. Vision-based approach angle and height estimation for UAV landing
CN116520351A (zh) 一种列车状态监测方法、***、存储介质及终端
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及***
Wang et al. A moving target detection and localization strategy based on optical flow and pin-hole imaging methods using monocular vision
CN115330751A (zh) 一种基于YOLOv5和Realsense的螺栓检测与定位方法
Kiddee et al. A geometry based feature detection method of V-groove weld seams for thick plate welding robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant