CN109166153A - 基于双目视觉的塔吊高空作业三维定位方法及定位*** - Google Patents

Abstract

本发明公开了一种基于双目视觉的塔吊高空作业三维定位方法及定位***，所述定位方法包括：S1、双目摄像头分别采集第一图像和第二图像；S2、对第一图像和第二图像进行预处理；S3、采用金字塔模型进行标记物的定位，确定标记物的位置；S4、对第一图像和第二图像目标中心进行立体匹配，得到视差信息；S5、获取双目摄像头参数；S6、根据双目摄像头参数和视差信息计算目标三维坐标。本发明能够实现双目视觉的塔吊高空作业三维定位功能，能够实时监控和记录工地运作信息，对塔吊使用过程和行为及时进行有效的监管，有效控制设备运行过程中的危险因素和安全隐患，预防和减少塔吊安全生产事故的产生。

Description

基于双目视觉的塔吊高空作业三维定位方法及定位***

技术领域

本发明涉及建筑作业技术领域，特别是涉及一种基于双目视觉的塔吊高空作业三维定位方法及定位***。

背景技术

装配式建筑由预制部品部件在工地装配而成的建筑，装配式建筑中大量的建筑部品由车间生产加工完成，预制构件种类主要有外墙板、内墙板、叠合板、阳台、空调板、楼梯，预制梁、预制柱等。与现有的建筑施工不同，装配式建筑的现浇作业大大减少，现场只需进行装配作业。

装配作业包括塔吊高空作业，通过塔钩将预制构件吊装至对应工位后放置，但由于操作人员在控制室中，无法直观地观察到塔钩及下方工位的位置，现有技术中需通过观察人员进行观察，然后通过对讲机告知操作人员具体的位置信息，但施工效率仍较低。

因此，针对上述技术问题，有必要提供一种基于双目视觉的塔吊高空作业三维定位方法及定位***。

发明内容

有鉴于此，本发明的目的在于提供一种基于双目视觉的塔吊高空作业三维定位方法及定位***。

为了实现上述目的，本发明一实施例提供的技术方案如下：

一种基于双目视觉的塔吊高空作业三维定位方法，所述定位方法包括：

S1、双目摄像头分别采集第一图像和第二图像；

S2、对第一图像和第二图像进行预处理；

S3、采用金字塔模型进行标记物的定位，确定标记物的位置；

S4、对第一图像和第二图像目标中心进行立体匹配，得到视差信息；

S5、获取双目摄像头参数；

S6、根据双目摄像头参数和视差信息计算目标三维坐标。

作为本发明的进一步改进，所述步骤S2包括：

对第一图像和第二图像分别进行颜色转换及滤波。

作为本发明的进一步改进，所述步骤S3的金字塔模型中，金字塔层数为nLevels，金字塔模型需创建源图像和模板图像对应的nLevels层金字塔图像。

作为本发明的进一步改进，所述步骤S3中，创建每层金字塔图像时，降采样后采用平滑滤波器进行处理，所述平滑滤波器为高斯平滑滤波器。

作为本发明的进一步改进，所述步骤S3中确定标记物的位置具体为：

设置一个模板，以滑动窗口的形式遍历整幅源图像；每次滑动都会产生一个和模板等大小的ROI图像；

基于相似性度量准则，计算模板与当前ROI图像的相似性度量值，遍历完整幅图像后就会形成一个图像，找出最大值对应的位置(x，y)。

作为本发明的进一步改进，所述相似性度量准则为SAD相似性度量准则、SSD相似性度量准则、NCC相似性度量准则中的任意一种。

作为本发明的进一步改进，所述步骤S4具体为：

从第一图像上选择与实际物理结构相应的图像特征；

在第二图像中确定出同一物理结构的对应图像特征；

确定这两个特征之间的相对位置，得到视差信息Disparity。

作为本发明的进一步改进，所述步骤S5具体为：

将平面棋盘标定板置于双目摄像头的视野内，两个摄像头同时拍摄平面棋盘标定板；

对拍摄的每幅棋盘图像进行角点提取和亚像素角点提取，获取角点的精确图像坐标并保存；

对应每幅图像角点精确像素坐标和其3D坐标，利用张正友标定法分别对两个摄像头进行标定，得到内外参数；

计算两个摄像头相对位置参数。

作为本发明的进一步改进，所述步骤S6中目标P的三维坐标为：

其中，P(x_c,y_c,z_c)为空间物体特征点的坐标，p_left＝(X_left,Y_left)、p_right＝(X_right,Y_right)分别为第一图像和第二图像上特征点的图像坐标，且满足Y_left＝Y_right＝Y，B为基线距，即两摄像头的投影中心连线的距离；f为摄像头焦距。

本发明另一实施例提供的技术方案如下：

一种基于双目视觉的塔吊高空作业三维定位***，所述定位***包括：

图像采集单元，用于双目摄像头分别采集第一图像和第二图像，并对第一图像和第二图像进行预处理；

标记物位置确定单元，用于采用金字塔模型进行标记物的定位，确定标记物的位置；

双目视觉标定模块，用于对第一图像和第二图像目标中心进行立体匹配，得到视差信息，获取双目摄像头参数，并根据双目摄像头参数和视差信息计算目标三维坐标。

本发明的有益效果是：

本发明能够实现双目视觉的塔吊高空作业三维定位功能，能够实时监控和记录工地运作信息，对塔吊使用过程和行为及时进行有效的监管，有效控制设备运行过程中的危险因素和安全隐患，预防和减少塔吊安全生产事故的产生。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一具体实施例中基于双目视觉的塔吊高空作业三维定位方法的具体流程图；

图2为本发明一具体实施例中摄像头的标定流程图；

图3为本发明一实施例中双目视觉的视差原理图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明一具体实施例中公开了一种基于双目视觉的塔吊高空作业三维定位方法，包括：

S1、双目摄像头分别采集第一图像和第二图像；

S2、对第一图像和第二图像进行预处理；

S3、采用金字塔模型进行标记物的定位，确定标记物的位置；

S4、对第一图像和第二图像目标中心进行立体匹配，得到视差信息；

S5、获取双目摄像头参数；

S6、根据双目摄像头参数和视差信息计算目标三维坐标。

双目立体图像是对同一景物从两个不同视点采集的两幅图像，其获取方式很多，主要取决于应用的场合和目的。图像获取的关键点在于对应立体图像对的产生，这就直接涉及到立体视觉成像技术的应用，通常可以采用平行光轴的双目视觉，其基本原理是在自然光或一定环境光照的条件由分离一定距离的两个摄像头各自采集场景的图像，对于场景中物体上的一个固定点，由于透镜间存在基线距离，所以左右像对的对应点之间产生视差。找出空间物点在两个图像中的对应点，从而根据几何成像关系得到该点的距离信息。

通过标定参照物，采用灰度相关性作为相似性测度，经过对其图像进行处理，利用数学变换和计算方法，计算摄像头模型的内部和外部参数。首先，要求视觉传感器的基线长度能够满足大的视场范围，摄像头的选取，主要考虑摄像头的视场范围，体积大小；其次，立体图像对的实时获取：随后考虑如何建立远距离视觉测量的摄像头标定实验环境；最后，实时进行立体匹配，获取对应点的视差，进而求出目标点(障碍物)的深度信息。

以下对本发明定位方法各步骤进行详细说明。

S1、双目摄像头分别采集第一图像和第二图像。

双目摄像头包括第一(左)摄像头和第二(右)摄像头，分别用于采集集第一(左)图像和第二(右)图像。

摄像头安装于塔钩上，采用十字架支撑、三脚架固定方式稳固摄像头的安装位置，保证各摄像头稳定采集图像。

S2、对第一图像和第二图像进行预处理。

本实施例中的预处理包括对第一图像和第二图像分别进行颜色转换及滤波。

S3、采用金字塔模型进行标记物的定位，确定标记物的位置。

在目标检测过程中，需设置一个模板，以滑动窗口的形式遍历整幅源图像(待检测的图像)；每次滑动都会产生一个和模板等大小的ROI图像，基于某种度量方式，计算模板与当前ROI图像的相似性度量值。这样遍历完整幅图像后就会形成一个图像，找出最大值对应的位置(x，y)，它就是要寻找的目标的位置。

本实施例的金字塔模型中，金字塔层数为nLevels，金字塔模型需创建源图像和模板图像对应的nLevels层金字塔图像。

其中，创建每层金字塔图像时，涉及到降采样(除以2)，降采样后会出现锯齿，需要采用平滑滤波器进行处理。本实施例中选用高斯平滑滤波器，效果好但耗时，可以直接采用小模板的均值滤波器。

计算模板与ROI图像的相似性值时，需要选择相似性度量准则；相似性度量准则有SAD(绝对值总和)相似性度量准则、SSD(平方差总和)相似性度量准则、NCC(归一化相关系数)相似性度量准则中的任意一种。NCC的计算最耗时但效果最好，能很好的适应光照变化，因此，本实施例中采用NCC相似性度量准则。

在模块下方进行十字架支撑的标记物(Mark)定位，同时确定当前的标记物位置，从而在摄像头捕获时，可以快速确定摄像头的相关参数，从而能够快速判断出当前模块距离地面的三维距离。

S4、对第一图像和第二图像目标中心进行立体匹配，得到视差信息。

立体匹配是求取同一空间景物在不同视点下投影图像的像素间的一一对应关系。与普通的图像模板匹配不同，立体匹配是在两幅存在视点差异，几何、灰度畸变和噪声干扰的图像间进行的。

本实施例中该步骤具体为：

从第一图像上选择与实际物理结构相应的图像特征；

在第二图像中确定出同一物理结构的对应图像特征；

确定这两个特征之间的相对位置，得到视差信息Disparity。

特征相关匹配方法是有选择地匹配能表示景物自身特性的特征，通过强调空间景物的结构信息来解决匹配歧义性问题，但匹配数据比较少。基于特征的匹配方法将匹配搜索范围限制在一系列稀疏的特征上。利用特征问的距离作为度量手段，具有最小距离的特征对就是最相近的特征对，也就是匹配元素。特征间的距离度量有最大最小距离、欧式距离等。大多数方法都通过增加约束来减少对每一个特征可能的对应特征数量。常用的有极线约束、唯一性约束及连续性约束等。

立体匹配主要是通过找出每对图像间的对应关系，根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度信息和三维信息。

S5、获取双目摄像头参数。

选择的张正友标定法，依照其标准程序计算左右摄像头。双目标定模块实现如下：

理论上，为了标定摄像头，需要拍摄三维场景中一组已知坐标的点，然后确定这些点在图像中的位置，为了使标定结果更精确，需要拍摄多个的点。本文使用的张正友标定法从不同角度多次拍摄平面标定板的多幅图像提取角点，使用的平面标定参照物为有黑白相间方格容易检测其角点的平面棋盘标定板。该方法标定物制作方便，标定更易操作。标定需要拍摄的一组三维点由棋盘上的方块的角点组成，比如棋盘规格大小为10×8，则需要检测到的角点数为9×7，一般选用长宽不相同的棋盘将长轴作为X轴，短轴作为Y轴。在拍摄棋盘图像时需要预先确定角点的三维坐标：假设棋盘位于Z＝0的平面上，而X轴和Y轴与网格对齐。

参图2所示，本实施例中的标定步骤如下：

将平面棋盘标定板置于双目摄像头的视野内，两个摄像头同时拍摄平面棋盘标定板，，最少拍摄10个不同位置和视角的棋盘图像对；

对拍摄的每幅棋盘图像进行角点提取和亚像素角点提取，获取角点的精确图像坐标并保存；

对应每幅图像角点精确像素坐标和其3D坐标，利用张正友标定法分别对两个摄像头进行标定，得到内外参数；

计算两个摄像头相对位置参数。

设左右摄像头单独标定得出的外部参数分别为R_l、T_l和R_r、T_r，这些都是摄像头相对某一棋盘的世界坐标系的参数，对于空间上的一点P，令其在棋盘确定的世界坐标系下的坐标为x_w，在左右摄像头坐标系的分别坐标为X_l和X_r。

S6、根据双目摄像头参数和视差信息计算目标三维坐标。

参图3所示为本实施例中双目视觉的视差原理图，其中，基线距B＝两摄像头的投影中心连线的距离；摄像头焦距为f。

设两摄像头在同一时刻观看空间物体的同一特征点P(x_c,y_c,z_c)，分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标分别为p_left＝(X_left,Y_left)，p_right＝(X_right,Y_right)。

现两摄像头的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即Y_left＝Y_right＝Y，则由三角几何关系得到：

则视差为：Disparity＝X_left-X_right。由此可计算出特征点P在摄像头坐标系下的三维坐标为：

因此，左摄像头像面上的任意一点只要能在右摄像头像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。

本发明还公开了一种基于双目视觉的塔吊高空作业三维定位***，包括：

图像采集单元，用于双目摄像头分别采集第一图像和第二图像，并对第一图像和第二图像进行预处理；

标记物位置确定单元，用于采用金字塔模型进行标记物的定位，确定标记物的位置；

双目视觉标定模块，用于对第一图像和第二图像目标中心进行立体匹配，得到视差信息，获取左右摄像头参数，并根据左右摄像头参数和视差信息计算目标三维坐标。

通过双目视觉，能够精确计算目标的三维坐标，目标的三维位置信息能够精确至微米级，在塔吊高空作业等领域具有显著的效果。

由以上技术方案可以看出，本发明具有以下有益效果：

本发明能够实现双目视觉的塔吊高空作业三维定位功能，能够实时监控和记录工地运作信息，对塔吊使用过程和行为及时进行有效的监管，有效控制设备运行过程中的危险因素和安全隐患，预防和减少塔吊安全生产事故的产生。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种基于双目视觉的塔吊高空作业三维定位方法，其特征在于，所述定位方法包括：

S1、双目摄像头分别采集第一图像和第二图像；

S2、对第一图像和第二图像进行预处理；

S3、采用金字塔模型进行标记物的定位，确定标记物的位置；

S4、对第一图像和第二图像目标中心进行立体匹配，得到视差信息；

S5、获取双目摄像头参数；

S6、根据双目摄像头参数和视差信息计算目标三维坐标。

2.根据权利要求1所述的基于双目视觉的塔吊高空作业三维定位方法，其特征在于，所述步骤S2包括：

对第一图像和第二图像分别进行颜色转换及滤波。

3.根据权利要求1所述的基于双目视觉的塔吊高空作业三维定位方法，其特征在于，所述步骤S3的金字塔模型中，金字塔层数为nLevels，金字塔模型需创建源图像和模板图像对应的nLevels层金字塔图像。

4.根据权利要求3所述的基于双目视觉的塔吊高空作业三维定位方法，其特征在于，所述步骤S3中，创建每层金字塔图像时，降采样后采用平滑滤波器进行处理，所述平滑滤波器为高斯平滑滤波器。

5.根据权利要求3所述的基于双目视觉的塔吊高空作业三维定位方法，其特征在于，所述步骤S3中确定标记物的位置具体为：

设置一个模板，以滑动窗口的形式遍历整幅源图像；每次滑动都会产生一个和模板等大小的ROI图像；

基于相似性度量准则，计算模板与当前ROI图像的相似性度量值，遍历完整幅图像后就会形成一个图像，找出最大值对应的位置(x，y)。

6.根据权利要求5所述的基于双目视觉的塔吊高空作业三维定位方法，其特征在于，所述相似性度量准则为SAD相似性度量准则、SSD相似性度量准则、NCC相似性度量准则中的任意一种。

7.根据权利要求1所述的基于双目视觉的塔吊高空作业三维定位方法，其特征在于，所述步骤S4具体为：

从第一图像上选择与实际物理结构相应的图像特征；

在第二图像中确定出同一物理结构的对应图像特征；

确定这两个特征之间的相对位置，得到视差信息Disparity。

8.根据权利要求7所述的基于双目视觉的塔吊高空作业三维定位方法，其特征在于，所述步骤S5具体为：

将平面棋盘标定板置于双目摄像头的视野内，两个摄像头同时拍摄平面棋盘标定板；

对拍摄的每幅棋盘图像进行角点提取和亚像素角点提取，获取角点的精确图像坐标并保存；

对应每幅图像角点精确像素坐标和其3D坐标，利用张正友标定法分别对两个摄像头进行标定，得到内外参数；

计算两个摄像头相对位置参数。

9.根据权利要求8所述的基于双目视觉的塔吊高空作业三维定位方法，其特征在于，所述步骤S6中目标P的三维坐标为：

其中，P(x_c,y_c,z_c)为空间物体特征点的坐标，p_left＝(X_left,Y_left)、p_right＝(X_right,Y_right)分别为第一图像和第二图像上特征点的图像坐标，且满足Y_left＝Y_right＝Y，B为基线距，即两摄像头的投影中心连线的距离；f为摄像头焦距。

10.一种基于双目视觉的塔吊高空作业三维定位***，其特征在于，所述定位***包括：

图像采集单元，用于双目摄像头分别采集第一图像和第二图像，并对第一图像和第二图像进行预处理；

标记物位置确定单元，用于采用金字塔模型进行标记物的定位，确定标记物的位置；

双目视觉标定模块，用于对第一图像和第二图像目标中心进行立体匹配，得到视差信息，获取双目摄像头参数，并根据双目摄像头参数和视差信息计算目标三维坐标。