CN112525157B - 基于视频图像的液压油缸尺寸测量和位姿估计方法及*** - Google Patents

Abstract

本发明公开了基于视频图像的液压油缸尺寸测量和位姿估计方法及***，属于工业自动化领域。本发明提出的方法及***包括：(1)使用包含发光面和摄像机的成像装置对液压油缸进行连续视频拍摄；(2)使用带自旋装置的运输线使液压油缸通过成像装置时进行自转；(3)使用运行于工控机中的视频图像识别算法对包含液压油缸的高对比度视频进行检测，识别并测量液压缸筒、缸盖、活塞杆、液压锁等各部件；(4)基于视频图像中液压油缸位置的连续变化，对液压油缸的移动速度进行评估；(5)基于液压缸筒侧面的液压锁尺寸，对液压油缸的位姿进行评估。本发明获得液压油缸的尺寸、位姿和速度信息后，将进一步用于液压油缸的清洗、喷涂、抓取等操作。

Description

基于视频图像的液压油缸尺寸测量和位姿估计方法及***

技术领域

本发明涉及工业自动化技术领域，特别涉及基于视频图像的液压油缸尺寸测量和位姿估计方法及***。

背景技术

液压油缸是一种将液压能转变为机械能的、做直线往复运动(或摆动运动)的液压执行元件。它结构简单、工作可靠。用它来实现往复运动时，可免去减速装置，并且没有传动间隙，运动平稳，因此在各种机械的液压***中得到广泛应用。

液压油缸应用广泛，需求量高，但其在生产制造过程中，需要装配、焊接、喷涂等多种工序，但由于缸筒和活塞杆均为铁质，重量从10千克到上百千克不等，在抓取搬运的过程中给生产工人造成诸多困难和不变。因此，亟需应用相关自动化设备或工业机器人提高生产效率并减轻工人负担，而完成液压油缸装配、焊接、喷涂等工序最基本的条件是获得液压油缸进行尺寸、位姿等信息。

当前基于图像处理的工件测量方法较多，但很少有针对液压油缸的方法。一般通用性方法如发明专利“一种基于图像处理的工件角度自动测量装置及测量方法”(201210483489.3)能够对工作台上待测工件的位置和选装角度进行测试，但此方法适用于小型、扁平的二维平面型工件；发明专利“一种基于图像处理的工件多尺寸多参数测量方法”(201610673414.X)构建了一个测量平台，利用摄像机拍摄评估工件位置再使用扫描仪滑动扫描，此方法测量精度高但运行效率偏低，不适应大批量生产的液压油缸；发明专利“图像处理***及处理装置、工件的拾取方法”(201710943152.9)提出一种任意工件位置进行拾取的方法，对叠放工件按照叠放高度由上而下进行拾取，同样该方法更适用于二维平面型工件；发明专利“一种基于多图像获取设备的工件识别与分拣装置和方法”(201610125496.4)使用了两个摄像机分别获取所有工件和单个工件的图像，识别各个工件型号并确定分拣方法，对液压油缸的生产也具备一定可操作性，但本发明针对液压油缸外观特性设计一种更高效、低成本并能与其他工序衔接融合的液压油缸识别测量***。

发明内容

本发明提出一种基于视频图像的液压油缸尺寸测量和位姿估计方法及***，获取液压油缸的尺寸、位姿和移动速度等信息用于实现工业机器人对其的抓取、装配、焊接、喷涂等操作。

本发明的技术方案是这样实现的：

一种基于视频图像的液压油缸尺寸测量和位姿估计方法及***，所述方法包括如下步骤：

S1、运输线传送：使用运输线将液压油缸在两个工序位置之间传送，并在通过成像装置时使液压油缸自转；

S2、连续成像：使用成像装置对液压油缸连续拍摄，并将获取的视频图像传输给工控机进行处理；

S3、图像测量：在工控机中使用视频图像识别算法对成像装置发送的图像进行检测，识别并测量液压缸筒、缸盖、活塞杆和液压锁各部件；

S4、速度评估：在工控机中使用视频图像识别算法对视频连续多帧图像中的液压油缸位置进行测量，计算液压油缸的移动速度；

S5、位姿评估：在工控机中使用视频图像识别算法对液压缸筒侧面的液压锁图像可见尺寸实时测量，对液压油缸的自转角度进行计算，对液压油缸的位姿进行评估。

进一步地，所述步骤S3中视频图像识别算法包括如下入步骤：

S31、提取视频图像中液压油缸的外形轮廓，

S32、基于液压缸筒、缸盖、活塞杆、液压锁各部件的语义位置和几何形状对液压油缸的外形轮廓进行区分定位，

S33、基于摄像机标定信息对液压油缸及其液压缸筒、缸盖、活塞杆、液压锁各部件尺寸进行测量。

进一步地，所述步骤S4中液压油缸移动速度的评估包括如下步骤：

S41、计算液压油缸在视频连续图像帧中的像素位移，

S42、根据摄像机标定信息将像素位移转换成实际移动距离，

S43、除以连续图像帧对应的时间差得到移动速度。

所述步骤S5中液压油缸位姿的评估为测量液压油缸在运输线上的自转角度，包括如下步骤：

S51、检测液压缸筒侧面的液压锁图像可见尺寸达到最大，

S52、识别此时液压锁在液压缸筒的左侧或右侧，

S53、左侧则判定此时液压油缸自转角度为0°、右侧则为180°，

S54、推算出任意时刻的液压油缸自转角度。

基于视频图像的液压油缸尺寸测量和位姿估计方法的***，包括运输线、成像装置和工控机，所述运输线为链条式传送线，所述运输线上按等间距悬挂用于固定液压油缸的夹紧装置，所述夹紧装置连接液压油缸的缸盖，所述夹紧装置的末端有齿轮并绕其悬挂的中轴线旋转，所述运输线上安装有齿槽或有动力的链条，带动齿轮使悬挂的液压油缸转动；

所述成像装置由发光背景板和工业相机组成，所述发光背景板的高度大于悬挂状态下液压油缸的高度，所述发光背景板的宽度大于液压油缸自转一周所需时间中在运输线上的移动距离；

所述工控机中使用视频图像识别算法对成像装置发送的图像进行检测，识别并测量液压缸筒、缸盖、活塞杆和液压锁各部件，所述工业相机的视野覆盖整个发光背景板。

本发明的有益效果在于：通过上述方案形成的基于视频图像的液压油缸尺寸测量和位姿估计方法及***，可以对液压油缸进行动态的检测跟踪和识别，实时给出液压油缸的尺寸、姿态、运行速度等信息以及各部件的位置大小等，便于工业机器人等自动化设备制定抓取、装配、焊接、喷涂等方案。本发明提出的***可大量用于生产工程机械液压油缸的生产线，加快产品生产效率，减少工人负担，符合我国发展智能制造的政策要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明基于视频图像的液压油缸尺寸测量和位姿估计方法流程图；

图2示出本发明基于视频图像的液压油缸尺寸测量和位姿估计***组成图；

图3示出液压油缸在视频图像中的位置变化。

图中，101-运输线 102-链条 103-夹紧装置 104-齿轮 201-成像装置 202-发光背景板 203-工业相机 301-工控机 302-液压缸筒 303-缸盖 304-活塞杆 305-液压锁501-下一个操作工序。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出本发明基于视频图像的液压油缸尺寸测量和位姿估计方法流程图概览，图2示出了本发明一种基于视频图像的液压油缸尺寸测量和位姿估计***组成图概览，本发明方法包括以下步骤。

步骤S1运输线传送：使用运输线101将液压油缸在两个工序位置之间传送，并在通过成像装置时使液压油缸自转。

在实施例中，运输线101为链条式传送线，运输线101上按等间距悬挂用于固定液压油缸的夹紧装置103，夹紧装置可为夹具或挂钩，夹具或挂钩可连接液压油缸的缸盖303，末端有齿轮104并可绕其悬挂的中轴线旋转。运输线101在成像装置201起点至下一个操作工序501处附属有齿槽或有动力的链条102，带动齿轮104使悬挂的液压油缸转动。

步骤S2连续成像：使用成像装置201对液压油缸连续拍摄，并将获取的视频图像传输给工控机301进行处理。

在实施例中，成像装置201由发光背景板202、工业相机203等组成。发光背景板202的高度大于悬挂状态下液压油缸的高度，宽度大于液压油缸自转一周所需时间中在运输线101上的移动距离。工业相机203的视野覆盖整个发光背景板202，液压油缸在工业相机203的视野里完成完整的自转一周。在发光背景板202的照射下，环境光线会被遮挡，液压油缸在发光背景板202前会形成高对比度的视频图像。

步骤S3图像测量：在工控机301中使用视频图像识别算法对成像装置201发送的图像进行检测，识别并测量液压缸筒302、缸盖303、活塞杆304、液压锁305等各部件。

在实施例中，视频图像识别算法使用二值化算法对图像的液压油缸区域和背景区域进行区分，并用边缘检测算法提取液压油缸的完整轮廓，根据液压油缸各部件的相对位置及其形状特性对轮廓进行匹配，识别其中液压缸筒302、缸盖303、活塞杆304、液压锁305等各部件。

同时，获得图像中液压油缸及其液压缸筒302、缸盖303、活塞杆304、液压锁305等各部件轮廓的长宽端点位置，基于摄像机标定获得的投影变换，求解得到液压油缸及其各部件长宽端点在实际物理空间中笛卡尔坐标系中的位置，从而获得其实际尺寸大小。

步骤S4速度评估：在工控机301中使用视频图像识别算法对视频连续多帧图像中的液压油缸位置进行测量，计算液压油缸的移动速度。

在实施例中，在t₀时刻液压油缸的顶端306图像坐标为(u₀，v₀)，t₁时刻液压油缸的顶端307图像坐标为(u₁，v₁)，摄像机标定获得的投影变换矩阵为W，则t₀和t₁时刻液压油缸顶端的实际位置分别为(x₀，y₀)和(x₁，y₁)：

[x₀ y₀ z w]′＝W^-1[u₀ v₀ 1]，

[x₁ y₁ z w]′＝W^-1[u₁ v₁ 1]，

式中z为液压油缸悬挂平面与摄像机的距离，w为常数项。默认液压油缸只有横向移动(X轴方向)，故得到液压油缸的移动速度为v_x＝(x₁-x₀)(t₁-t₀)。

步骤S5位姿评估：在工控机301中使用视频图像识别算法对液压缸筒302侧面的液压锁305图像可见尺寸实时测量，对液压油缸的自转角度进行计算。

在实施例中，在t₀时刻捕获到液压锁305图像可见尺寸达到最大值，且液压锁位于液压缸筒302左侧，则判定t₀时刻液压油缸的自转角度为0°，如采用齿槽带动夹具或挂钩末端齿轮转动的方式，则任意时刻t液压油缸的自转角度为：

如采用有动力链条带动夹具或挂钩末端齿轮转动的方式，则任意时刻t液压油缸的自转角度为：

式中R为齿轮104半径，v′为有动力链条102的转动速度。

通过位姿评估可以让下一个操作工序501的自动化设备(如工业机器人)得知液压油缸到达该工序时刻的自转角度，在进行抓取、装配、焊接、喷涂等操作时能够确定液压锁等关键部件的位置，自动制定相关的操作路径并防止发生碰撞等事故。

通过上述步骤，可以实现对包含液压缸筒、缸盖、活塞杆、液压锁等部件的此类常见液压油缸尺寸测量和位姿估计，本发明中的传输线将有效减少工人的搬运强度，而获得液压油缸尺寸、速度、自转角度等信息能够为下一工序动态规划出准确的抓取、装配、焊接、喷涂等操作路径，提高液压油缸的自动化生产水平。

本发明考虑到液压油缸基本上由缸筒和缸盖、活塞和活塞杆、以及附属在缸筒上的液压锁组成，具有比较标准的圆柱形外观，而缸盖通常有用于连接固定的圆形孔，故适用于悬挂传输的形式，并通过成像装置，可以获得液压油缸的整体轮廓，从而可以利用图像测量的方式计算液压油缸的尺寸、位姿以及其在传输线上的移动速度。

在本发明的一种基于视频图像的液压油缸尺寸测量和位姿估计方法及***的一个实施例中，带自旋装置的运输线具有夹具或挂钩连接液压油缸的缸盖，使液压油缸处于垂直悬挂状态，并利用齿槽或有动力的链条作用于夹具或挂钩上的齿轮，使液压油缸绕其缸筒中轴线进行自转。

实施例描述了本发明的具体实施方式，但本发明不仅限于所述的实施例。可根据实际抓取、装配、焊接、喷涂等应用情况针对性地修改传输线、成像装置等设计方法，但实施过程遵循所附权利要求的框架范围。因此本发明的实施可根据所附权利要求的精神和范围内进行修改和改变，所以应将说明书视为说明性而不是限制性的。

Claims (4)

1.基于视频图像的液压油缸尺寸测量和位姿估计方法，其特征在于，所述方法包括如下步骤：

S1、运输线传送：使用运输线将液压油缸在两个工序位置之间传送，并在通过成像装置时使液压油缸自转；

S2、连续成像：使用成像装置对液压油缸连续拍摄，并将获取的视频图像传输给工控机进行处理；

S3、图像测量：在工控机中使用视频图像识别算法对成像装置发送的图像进行检测，识别并测量液压缸筒、缸盖、活塞杆和液压锁各部件；

S4、速度评估：在工控机中使用视频图像识别算法对视频连续多帧图像中的液压油缸位置进行测量，计算液压油缸的移动速度；

S5、位姿评估：在工控机中使用视频图像识别算法对液压缸筒侧面的液压锁图像可见尺寸实时测量，对液压油缸的自转角度进行计算，对液压油缸的位姿进行评估；

步骤S5中液压油缸位姿的评估为测量液压油缸在运输线上的自转角度，包括如下步骤：

S51、检测液压缸筒侧面的液压锁图像可见尺寸达到最大，

S52、识别此时液压锁在液压缸筒的左侧或右侧，

S53、左侧则判定此时液压油缸自转角度为0°、右侧则为180°，

S54、推算出任意时刻的液压油缸自转角度。

2.如权利要求1所述的基于视频图像的液压油缸尺寸测量和位姿估计方法，其特征在于，步骤S3中视频图像识别算法包括如下入步骤：

S31、提取视频图像中液压油缸的外形轮廓，

S32、基于液压缸筒、缸盖、活塞杆、液压锁各部件的语义位置和几何形状对液压油缸的外形轮廓进行区分定位，

S33、基于摄像机标定信息对液压油缸及其液压缸筒、缸盖、活塞杆、液压锁各部件尺寸进行测量。

3.如权利要求1所述的基于视频图像的液压油缸尺寸测量和位姿估计方法，其特征在于，步骤S4中液压油缸移动速度的评估包括如下步骤：

S41、计算液压油缸在视频连续图像帧中的像素位移，

S42、根据摄像机标定信息将像素位移转换成实际移动距离，

S43、除以连续图像帧对应的时间差得到移动速度。

4.实现如权利要求1-3任一项所述的基于视频图像的液压油缸尺寸测量和位姿估计方法的***，其特征在于：包括运输线、成像装置和工控机，所述运输线为链条式传送线，所述运输线上按等间距悬挂用于固定液压油缸的夹紧装置，所述夹紧装置连接液压油缸的缸盖，所述夹紧装置的末端有齿轮并绕其悬挂的中轴线旋转，所述运输线上安装有齿槽或有动力的链条，带动齿轮使悬挂的液压油缸转动；

所述成像装置由发光背景板和工业相机组成，所述发光背景板的高度大于悬挂状态下液压油缸的高度，所述发光背景板的宽度大于液压油缸自转一周所需时间中在运输线上的移动距离；

所述工控机中使用视频图像识别算法对成像装置发送的图像进行检测，识别并测量液压缸筒、缸盖、活塞杆和液压锁各部件，所述工业相机的视野覆盖整个发光背景板。

Images