CN109678057A - 基于立体视觉的桥式吊车的摆角测量方法 - Google Patents

Abstract

本发明提供了一种基于立体视觉的桥式吊车的摆角测量方法，通过双目相机采集包含桥式吊车钢绳的左目图像和右目图像；在所述左目图像和右目图像中，确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置；根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置；根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角。本发明的双目相机是固定在台车上的，保证了台车与相机的稳定关系，且双目相机能够直接获取图像的深度信息，无需考虑图像连续帧的平滑关系对测量结果造成的影响。具有计算量较小、运算速度快、较强的抗干扰性能、且实时准确的特点，能够适应不同的环境变化，能够满足工业上的生产需求。

Description

基于立体视觉的桥式吊车的摆角测量方法

技术领域

本发明涉及工程测量技术领域，具体地，涉及一种基于立体视觉的桥式吊车的摆角测量方法。

背景技术

在工业生产中，桥式吊车因其负载能力强，工作可靠等优点得到了广泛的应用。但在实际运行时，会因台车移动而造成吊车摆动，这是工业现场中一项较大的安全隐患。因此需要设计一种自动化的装置，可以提供较好精度的摆角测量结果，提供给台车驾驶员辅助驾驶。

现在常用的电学的测量方法容易受到电磁干扰和机械磨损，受环境因素影响较多。目前，基于机器视觉的方法主要的是用于测量二维平面里吊车摆角的问题。在户外工作环境中，影响因素会比较多，比如大风等天气。吊车晃动的过程是随机的，并不一定是在一个固定平面上运动。钢丝绳吊起物体后吊绳是在三维环境中摆动的。常见的基于单目相机的测量方法只是测量到摆角映射在相机所对平面的角度，并不是准确的摆角。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于立体视觉的桥式吊车的摆角测量方法。

根据本发明提供的一种基于立体视觉的桥式吊车的摆角测量方法，包括：

通过双目相机采集包含桥式吊车钢绳的左目图像和右目图像；

在所述左目图像和右目图像中，确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置；

根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置；

根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角。

可选地，所述双目相机，固定设置于桥式吊车的台车中心位置，且所述双目相机的镜头正对于桥式吊车钢绳所在平面。

可选地，在确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置之前，还包括：

根据粗糙细化深度神经网络(CFN，Coarse-Fine Network)，在所述左目图像和右目图像中确定符合预设条件的特征点，作为桥式吊车钢绳的跟踪点。其中，粗糙细化深度神经网络网络与其他神经网络的区别在于包含了3个粗糙检测器和一个精细的检测器。3个粗糙检测器分别采用不同深度的网络层。浅层的网络通常可以对容易检测出来的部位能够很好地定位，深层的网络能够对目标的关键点有很好的定位效果。图像经过这3个粗糙检测器提取特征后，特征信息被联结输送到精细的检测器中进行整体的训练，辨别预设的跟踪点。

可选地，所述特征点的个数为N；其中，N为大于1，且小于10的自然数。

可选地，根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置，包括：

将所述跟踪点在左目图像和右目图像中的坐标位置分别记为P1(u1，v1)和P2(u2，v2)；

获取双目相机的镜头的投影中心距离，并记为基线距b；

根据图像坐标系和相机坐标系换算公式，获得跟踪点在相机坐标系中的坐标位置B(x₁，y₁，z₁)；其中，图像坐标系和相机坐标系换算公式为：

其中，d为跟踪点的位置差，d＝u₁-u₂，f为双目相机的焦距；x₁，y₁，z₁分别为以相机为原点观察到的世界坐标中x，y，z轴方向上的空间坐标，u₁为相机所拍平面图像中的水平方向上坐标；v₁为相机所拍平面图像中的竖直方向上的坐标；

在公式中，双目相机的固有参数焦距f、基准线b是已知的。在实际使用中跟踪点在图像坐标系中的坐标u、v能够直接测量达到，由于d＝u₁-u₂，因而也能够直接得到。如图3所示，跟踪点分别与双目相机的两个镜头，左右两目相机拍摄跟踪点图片空间中两点均构成三角形。并且两个三角形为相似三角形，通过三角视差法，能够计算出跟踪点在以双目相机为原点坐标系中的空间坐标。

根据相机坐标系和世界坐标系换算关系，确定跟踪点在世界坐标系中的坐标位置B′(x₁+x₀，y₁，z₁)；其中，双目相机的坐标为A(x₀，0，0)，x₀为双目相机中心位置距离吊桥中心点的距离；所述世界坐标系以吊桥中心点为原点，双目相机的镜头所对平面为空间坐标系的XOY平面，台车前进方向为Z轴方向。

可选地，根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角，包括：

运用三角函数定理，获得桥式吊车钢绳的摆角θ；其中，摆角的计算公式为：

可选地，所述双目相机的个数为1个。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的基于立体视觉的桥式吊车的摆角测量方法，通过双目相机采集包含桥式吊车钢绳的左目图像和右目图像；在所述左目图像和右目图像中，确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置；根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置；根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角。本发明的双目相机是固定在台车上的，保证了台车与相机的稳定关系，且双目相机能够直接获取图像的深度信息，无需考虑图像连续帧的平滑关系对测量结果造成的影响。具有计算量较小、运算速度快、较强的抗干扰性能、且实时准确的特点，能够适应不同的环境变化，能够满足工业上的生产需求。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的应用场景示意图；

图2为本发明实施例提供的运动空间坐标系的示意图；

图3为本发明实施例提供的双目立体成像的原理示意图。

图中：1-桥式吊车，2-移动台车，3-双目相机，4-吊车钢绳，5-摄像头，6-图像坐标系，7-台车固定点。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明实施例提供的应用场景示意图，如图1所示，1为桥式吊车，2为移动台车，3为双目相机，4为吊车钢绳。双目相机3位于移动台车2中间位置，同时对两根吊车钢绳4上的特征点进行跟踪与定位。双目相机3置于台车中心点位置，且双目相机3的两只镜头对准桥式吊车的一对钢绳所在平面位置。本发明的工作原理在于利用机器视觉描述钢绳上跟踪点的空间位置，进而求得吊车摆角。具体地，通过双目相机收集吊车上钢丝绳的图像信息，通过粗糙-细化深度神经网络(CFN)选取少数特征点进行跟踪和定位。当机器吊起货物钢绳发生晃动时，双目相机所观测到的图像信息产生变化。发明中使用三角视差法计算图像关键帧中跟踪点处像素点空间位置，求得吊车在不同时刻的摆动角度。

步骤1：获取吊绳关键位置的选取，确定初始跟踪点。

为了解决关键点定位的鲁棒性问题，本发明采用了一种粗糙细化深度神经网络(CFN，Coarse-Fine Network)，在深度卷积神经网络中对钢绳上的关键点定位进行多层叠加。该网络具有3个不同深度的分支，以获得分层的特征表示。然后在每个特征的分支上构建了一个不同网络深度的粗糙检测器，用于提取粗糙特征。网络的后端连接一个以所有分支的特征为输入的精细检测器。所构造的检测器具有不同的定位能力，具有互补性。选取特征点的方法采用CFN网络选择少数精确特征点进行跟踪，特征点个数不超过10个，该方法只选取少量关键的特征点，计算量较小，运算速度快。

步骤2：构造运动空间，确定特征点位置

图2为本发明实施例提供的运动空间坐标系的示意图，如图2所示，构建运动空间的坐标系，以双目相机所在处为原点位置。相机所面对平面为XOY平面，正对两根钢丝吊绳，台车运动方向为Z轴。双目相机两只摄像头同时抓取左右两张图，图像经过上述CFN神经网络确定当前平面图片帧的特征点。由于双目相机在构造上两只镜头之间有一段距离(基线距b)，对于同一个特征点，两个相机镜头与单个特征点之间会形成一个三角的关系。基于视差原理，相机能够获取特征点的深度信息，进而转化为特征点的空间坐标。

图3为本发明实施例提供的双目立体成像的原理示意图，如图3所示，三角视差法的具体方法是：已知两个摄像头的投影中心的连线的距离，即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1，v1)和P2(u2，v2)。两摄像机的图像在同一个平面上，则同一跟踪点P图像坐标的在空间坐标系中Y轴坐标系上坐标相同。在平面坐标系里v1＝v2，同时获得的两张图片中跟踪点的位置差为：

由三角几何关系得到以下几个关系式：

(B为相机基准，f为焦距，u、v为跟踪点在图像坐标系中坐标)

联立上述关系式有：

因此，可得跟踪点在摄像机坐标空间中的坐标B(x₁，y₁，z₁)。

其中，d为跟踪点的位置差，d＝u₁-u₂，f为双目相机的焦距；x₁，y₁，z₁分别为以相机为原点观察到的世界坐标中x，y，z轴方向上的空间坐标，u₁为相机所拍平面图像中的水平方向上坐标；v₁为相机所拍平面图像中的竖直方向上坐标；

在公式中，双目相机的固有参数焦距f、基准线b是已知的。在实际使用中跟踪点在图像坐标系中的坐标u、v能够直接测量达到，由于d＝u₁-u₂，因而也能够直接得到。如图3所示，跟踪点分别与双目相机的两个镜头，左右两目相机拍摄跟踪点图片空间中两点均构成三角形。并且两个三角形为相似三角形，通过三角视差法，能够计算出跟踪点在以双目相机为原点坐标系中的空间坐标。

经过空间变换，跟踪点在所建立的世界坐标系中，像素点的坐标为B′(x₁+x₀，y₁，z₁)，x₀为双目相机中心位置距离吊桥中心点的距离；。

步骤3处理坐标信息，获取吊车摆角

已知坐标原点坐标O(0，0，0)，相机坐标A(x₀，0，0)，特征点坐标B′(x₁+x₀，y₁，z₁)，空间中的三点。运用三角函数定理可得到对应点吊车摆角的大小，

|AO|＝x₀

即有

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于立体视觉的桥式吊车的摆角测量方法，其特征在于，包括：

通过双目相机采集包含桥式吊车钢绳的左目图像和右目图像；

在所述左目图像和右目图像中，确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置；

根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置；

根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角。

2.根据权利要求1所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，所述双目相机，固定设置于桥式吊车的台车中心位置，且所述双目相机的镜头正对于桥式吊车钢绳所在平面。

3.根据权利要求1所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，在确定桥式吊车钢绳的跟踪点在图像坐标系中的坐标位置之前，还包括：

根据粗糙细化深度神经网络，在所述左目图像和右目图像中确定符合预设条件的特征点，作为桥式吊车钢绳的跟踪点。

4.根据权利要求3所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，所述特征点的个数为N；其中，N为大于1，且小于10的自然数。

5.根据权利要求1所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，根据所述跟踪点在图像坐标系中的坐标位置，确定所述跟踪点在世界坐标系中的坐标位置，包括：

将所述跟踪点在左目图像和右目图像中的坐标位置分别记为P1(u1，v1)和P2(u2，v2)；

获取双目相机的镜头的投影中心距离，并记为基线距b；

根据图像坐标系和相机坐标系换算公式，获得跟踪点在相机坐标系中的坐标位置B(x₁，y₁，z₁)；其中，图像坐标系和相机坐标系换算公式为：

其中，d为跟踪点的位置差，d＝u₁-u₂，f为双目相机的焦距；x₁，y₁，z₁分别为以相机为原点观察到的世界坐标中x，y，z轴方向上的空间坐标，u₁为相机所拍平面图像中的水平方向上坐标；v₁为相机所拍平面图像中的竖直方向上坐标；

根据相机坐标系和世界坐标系换算关系，确定跟踪点在世界坐标系中的坐标位置B′(x₁+x₀，y₁，z₁)；其中，双目相机的坐标为A(x₀，0，0)，x₀为双目相机中心位置距离吊桥中心点的距离；所述世界坐标系以吊桥中心点为原点，双目相机的镜头所对平面为空间坐标系的XOY平面，台车前进方向为Z轴方向。

6.根据权利要求5所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，根据所述跟踪点在世界坐标系中的坐标位置，获取所述桥式吊车钢绳的摆角，包括：

运用三角函数定理，获得桥式吊车钢绳的摆角θ；其中，摆角的计算公式为：

7.根据权利要求1所述的基于立体视觉的桥式吊车的摆角测量方法，其特征在于，所述双目相机的个数为1个。