CN108269281A - 基于双目视觉的避障技术方法 - Google Patents

Abstract

本发明通过利用双目相机实现对场地轮胎式龙门起重机前进方向场景的实时三维点云重建，通过对点云数据在不同维度上的投影统计和非极大值抑制，实现对噪声点云、地面点云和障碍物点云的准确分割；通过地面重定位有效的抑制场地轮胎式龙门起重机运行时的晃动对检测精度和鲁棒性的影响，有效提高障碍物的检测精度和障碍物的检测距离；通过对相机姿态学习和点云的个数和高度的检测实时监测避障***的异常，对提高港口自动化和港口安全生产有重要意义。

Description

基于双目视觉的避障技术方法

技术领域

本发明涉及一种双目视觉的实时场地避障技术，具体是指可以用于场地轮胎式龙门起重机(RTG)避障的双目视觉避障技术。

背景技术

随着经济全球化的快速发展，港口自动化需求变得越来越迫切，集装箱的快速集散直接关系到港口的吞吐量。在高度自动化的港口作业中，视觉技术以其速度快、精度高、非接触、自动化程度高等优势，近年来在港口自动化领域发挥越来越大的作用。视觉不但可以替代很多人工工作，提高生产自动化水平，提高监测精度，更是很多常规测量方法无法实现时的有效解决途径。

双目视觉在相对于传统的视觉***不但能够获取到图像信息，更能有效实时准确的获得环境的深度信息，对周围场景进行实时准确的三维重建，对龙门起重机搬运集装箱过程的自动话具有重要意义，双目视觉可以实时的检测出障碍物，对因为起重机的碰撞对港口人员财产造成的损失和对港口的安全生产有很重要的防范作用。

目前双目视觉避障正被大量应用与机器人，无人机的避障，但视觉的测量距离和测量精度都十分的有限，本发明是针对任意一种双目视觉相机，事先标定其在场地轮胎式龙门起重机的安装姿态，进行现场的地面学习，然后通过重建点云在距离和高度上投影统计，通过非极大值抑制的方法来尽可能的提取目标的有效信息，去除噪声和地面对障碍物分析的影响。从而达到对远距离小目标障碍物的及时发现，提早预防事故的发生。并通过一致性约束实时监测双目相机的安装姿态，从而达对双目相机因不可抗拒因素(颠簸或撞击)导致损坏或偏离的实时监测。

发明内容

本发明的目的在于将双目立体视觉重构技术应用于场地轮胎式龙门起重机的避障，通过对双目视觉重建点云数据在不同维度的投影统计和非极大值抑制，以及地面重定位，准确分离障碍物点云，地面点云和噪声点云，达到小障碍物的远距离实时监测；由于大车在运行过程中的颠簸或者其他不可抗拒因素导致相机安装姿态发生较大变化，导致避障***的分析精度下降，所以我们设计了双目相机姿态的实时监测，当相机姿态发生***容忍值时，报告到***，请求重新进行地面学习，从而确保障碍物的检测精度并且能够实时监测双目相机安装姿态的固定双目视觉避障技术。按照本发明提供的技术方案，双目视觉避障技术方法如下：

第一步，利用双目相机进行对双目相机进行场地轮胎式龙门起重机前进方向场景的实时三维点云重构。

第二步，相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换。

第三步，分离障碍物点云、噪声点云、地面点云。对障碍物进行测宽和测高。利用宽高阈值进一步区分障碍物和异常噪声，确保远距离小障碍物的检测精度。

第四步，利用相机的初始姿态角和地面点云的关系，实时监测双目相机的异常状态。

所述相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换包括以下步骤：

(2.1)、如图1所示，为双目相机安装示意图，(Oc-XcYcZc)是以左相机为原点，以相机光轴为Z轴，以成像平面的水平方向为X轴，成像平面的竖直方向为Y轴。(Ow-XwYwZw)是以左相机的正下方地面为原点，以大车前进方向为Z轴，高度方向为Y轴，宽度方向为X轴。利用视差图进行三维重构得到如图3所示点云；对该点云利用最小二乘进行直线拟合，然后计算该直线和OcXc的夹角ω_r则我们近似求得相机的横滚角

(2.2)、由ω₃计算绕Zc轴的旋转矩阵

则由旋转矩阵矫正后的点云P＝P_sR(ω₃)旋转后的点云对图像的每一样求重构后的每一样Y坐标均值利用最小而成得到的直线和Zc轴的夹角ω₂也就是俯仰角；

(2.3)、利用ω₂计算绕Xc轴的旋转矩阵

P_w＝PR(ω₂)

最终矫正后的地面点云及参考坐标系如图4所示：地面点云位于XwZw平面，Yw表示地面点云的高度；

(2.4)、对所有P_w的y坐标求均值得到相机的安装高度H，则最终得到最后转换后的点云P_g＝P_w–H。

所述分离障碍物点云、噪声点云、地面点云。对障碍物进行测宽和测高。利用宽高阈值进一步区分障碍物和异常噪声，包括如下步骤：

(3.1)、有地面障碍物的点云图如图5所示对点云的Z坐标进行直方图统计，即对点云到RTG大车的距离进行直方图统计，得到如图6所示的直方图。对直方图寻找局部最大值D_maxpress，直方图中的未填充条块。在局部最大值的位置，存在大量稠密点云，发现可疑障碍物；

(3.2)、对该位置块进行提取，提取方法：搜索点云P_g中点的Z坐标在局部极值D_maxpress附近的所有像素点得到如图7左边所示的白块；

(3.3)、对上如图7左图所示白块在P_g点云中对应的点P如果P的Y坐标大于-30cm小于15cm，我们把这个点列为地面可疑点，最后得到白块对应的地面可疑点云P_gdubious。对该点云的Y坐标进行直方图统计得到统计图如图8所示,当图中有且仅有一个局部极值P_{gdubiouspress}(如图8白色长条所示)的时候我们认为此时获得了较好的地面重定位效果，此处的地面高H_i＝P_{gdubiouspress}；

(3.4)、去除P_gdubious点云中Y坐标小于H_i的点云，得到最后的障碍物块如图7的右图所示；

(3.5)、计算图7中右图所示白块的第R行像素对应点云的高度均值Y_r，计算白块第C列的点云宽度均值X_c,利用最小二乘方法得到行值和高度均值的直线方程aR+bY+c＝0和dC+eX+f＝0；将行列的最大和最小值分别带入上述方程得到宽度最大最小值Xmax，Xmin；高度最大最小值Ymax，Ymin；则障碍物的宽度Wo＝Xmax-Xmin；高度Ho＝Ymax-Ymin；

(3.6)、在远处利用较大的宽高度过滤阈值，确保不会产生误报；在近处采用较小的宽高度过滤阈值，确保不会有障碍物的漏报W_threshod＝apha*Dist，H_threshold＝beta*Dist；其中Dist为图7中右图所示白块对应的均值，apha，beta为人为设定值。如果Wo>W_threshod并且Ho>H_threshold则判定该目标为障碍物。

所述利用相机的初始姿态角和地面点云的关系，实时监测双目相机的异常状态包括如下步骤：

(4.1)、监测点云中高度大于-50cm的所有点云，如果发现点云数目极少，则可能出现双目相机偏移，或者损坏。

(4.2)、监测距离大于dist点的均值H，人工设定地面浮动阈值Hlow和Hhigh；如果H<Hlow或者H>Hhigh则判定相机出现偏移，需要重新进行地面学习。

附图说明

图1双目相机安装示意图

图2双目相机姿态角示意图

图3视差图中一行像素的重构点云图

图4坐标系转换后的点云及其参考坐标系示意图

图5地面点云及障碍物点云示意图

图6地面点云的Z坐标统计直方图

图7障碍物块及重定位后障碍物块示意图

图8地面点云的Y坐标统计直方图

图9本发明的避障技术流程示意图

具体实施方式

本发明利用双目相机实时场地轮胎式龙门起重机前进方向场景的三维点云重建，通过直方图统计聚类和非极大值移植方式分类障碍物和噪声点云，通过地面重定位进一步分离地面点云和障碍物点云，利用最小二乘方法提高目标点云的高度和宽度测量的精度和鲁棒性，确保远距离小障碍物的准确检测；通过学习相机安装姿态和地面点云的实时监控，达到对双目相机异常和障碍物检测***异常的实时监控，提高避障***的可靠性。

下面结合附图和实施例对本发明作进一步说明。

本发明所述利用双目相机进行对双目相机进行场地轮胎式龙门起重机前进方向场景的实时三维点云重构，立体标定得到标定参数^[1]，然后利用标定参数对左右相机图像进行立体矫正^[1]；对立体矫正的图片进行立体匹配得到深度图^[2]，利用深度图完成对场景的三维点云重构得到点云集合P_s ^[1]。

本发明所述相机姿态角学***移变换，将点云的参考坐标系由相机坐标系转换到地面坐标系。

本发明所述分离障碍物点云、噪声点云、地面点云。对障碍物进行测宽和测高。利用宽高阈值进一步区分障碍物和异常噪声，确保远距离小障碍物的检测精度。对实时点云进行不同方向的投影，通过极大值抑制和最小二乘方法，提高障碍物检测的精确性和鲁棒性。

本发明所述利用相机的初始姿态角和地面点云的关系，实时监测双目相机的异常状态。根据学习的相机初始姿态得到变换后的点云，然后根据点云的高度和个数信息实时判断***异常状态。

如图1所示，本发明的工作过程具体说明如下：

第一步，利用双目相机进行对双目相机进行场地轮胎式龙门起重机前进方向场景的实时三维点云重构。

立体标定得到标定参数^[1]，然后利用标定参数对左右相机图像进行立体矫正^[1]；对立体矫正的图片进行立体匹配得到深度图^[2]，利用深度图完成对场景的三维点云重构得到点云集合P_s ^[1]。

[1]Richard Hartley,Andrew Zisserman.Multiple View Geometry incomputer vison[M].NewYork：Cambridge University Press，2003：237-360

[2]A Geiger，M Roser，R Urtasun.Efficient Large-Scale Stereo Matching[J].Springer Berlin Heidelberg,2010,6492:25-38

第二步，相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换。

第三步，分离障碍物点云、噪声点云、地面点云。对障碍物进行测宽和测高。利用宽高阈值进一步区分障碍物和异常噪声，确保远距离小障碍物的检测精度。

第四步，利用相机的初始姿态角和地面点云的关系，实时监测双目相机的异常状态。

所述相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换包括以下步骤：

(2.1)、如图一所示，为双目相机安装示意图，(Oc-XcYcZc)是以左相机为原点，以相机光轴为Z轴，以成像平面的水平方向为X轴，成像平面的竖直方向为Y轴。(Ow-XwYwZw)是以左相机的正下方地面为原点，以大车前进方向为Z轴，高度方向为Y轴，宽度方向为X轴。利用视差图进行三维重构得到如图3所示点云；对该点云利用最小二乘进行直线拟合，然后计算该直线和OcXc的夹角ω_r则我们近似求得相机的横滚角

(2.2)、由ω₃计算绕Zc轴的旋转矩阵

则由旋转矩阵矫正后的点云P＝P_sR(ω₃)旋转后的点云对图像的每一样求重构后的每一样Y坐标均值利用最小而成得到的直线和Zc轴的夹角ω₂也就是俯仰角；

(2.3)、利用ω₂计算绕Xc轴的旋转矩阵

P_w＝PR(ω₂)

最终矫正后的地面点云及参考坐标系如图4所示：地面点云位于XwZw平面，Yw表示地面点云的高度；

(2.4)、对所有P_w的y坐标求均值得到相机的安装高度H，则最终得到最后转换后的点云P_g＝P_w–H。

所述分离障碍物点云、噪声点云、地面点云。对障碍物进行测宽和测高。利用宽高阈值进一步区分障碍物和异常噪声，包括如下步骤：

(3.1)、有地面障碍物的点云图如图5所示对点云的Z坐标进行直方图统计，即对点云到RTG大车的距离进行直方图统计，得到如图6所示的直方图。对直方图寻找局部最大值D_maxpress，直方图中的未填充条块。在局部最大值的位置，存在大量稠密点云，发现可疑障碍物；

(3.2)、对该位置块进行提取，提取方法：搜索点云P_g中点的Z坐标在局部极值D_maxpress附近的所有像素点得到如图7左边所示的白块；

(3.3)、对上如图7左图所示白块在P_g点云中对应的点P如果P的Y坐标大于-30cm小于15cm，我们把这个点列为地面可疑点，最后得到白块对应的地面可疑点云P_gdubious。对该点云的Y坐标进行直方图统计得到统计图如图8所示,当图中有且仅有一个局部极值P_{gdubiouspress}(如图8白色长条所示)的时候我们认为此时获得了较好的地面重定位效果，此处的地面高H_i＝P_{gdubiouspress}；

(3.4)、去除P_gdubious点云中Y坐标小于H_i的点云，得到最后的障碍物块如图7的右图所示；

(3.5)、计算图7中右图所示白块的第R行像素对应点云的高度均值Y_r，计算白块第C列的点云宽度均值X_c,利用最小二乘方法得到行值和高度均值的直线方程aR+bY+c＝0和dC+eX+f＝0；将行列的最大和最小值分别带入上述方程得到宽度最大最小值Xmax，Xmin；高度最大最小值Ymax，Ymin；则障碍物的宽度Wo＝Xmax-Xmin；高度Ho＝Ymax-Ymin；

(3.6)、在远处利用较大的宽高度过滤阈值，确保不会产生误报；在近处采用较小的宽高度过滤阈值，确保不会有障碍物的漏报W_threshod＝apha*Dist，H_threshold＝beta*Dist；其中Dist为图7中右图所示白块对应的均值，apha，beta为人为设定值。如果Wo>W_threshod并且Ho>H_threshold则判定该目标为障碍物。

所述利用相机的初始姿态角和地面点云的关系，实时监测双目相机的异常状态包括如下步骤：

(4.1)、监测点云中高度大于-50cm的所有点云，如果发现点云数目极少，则可能出现双目相机偏移，或者损坏。

(4.2)、监测距离大于dist点的均值H，人工设定地面浮动阈值Hlow和Hhigh；如果H<Hlow或者H>Hhigh则判定相机出现偏移，需要重新进行地面学习。

Claims (4)

1.基于双目视觉的避障技术方法，其特征是：

第一步，利用双目相机进行对双目相机进行场地轮胎式龙门起重机前进方向场景的实时三维点云重构。

第二步，相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换。

第三步，分离障碍物点云、噪声点云、地面点云。对障碍物进行测宽和测高。利用宽高阈值进一步区分障碍物和异常噪声，确保远距离小障碍物的检测精度。

第四步，利用相机的初始姿态角和地面点云的关系，实时监测双目相机的异常状态。

2.如权利要求1所述基于双目视觉的避障技术方法，其特征在于，所述的相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换包括以下步骤：

(2.1)、如图一所示，为双目相机安装示意图，(Oc-XcYcZc)是以左相机为原点，以相机光轴为Z轴，以成像平面的水平方向为X轴，成像平面的竖直方向为Y轴。(Ow-XwYwZw)是以左相机的正下方地面为原点，以大车前进方向为Z轴，高度方向为Y轴，宽度方向为X轴。利用视差图进行三维重构得到如图3所示点云；对该点云利用最小二乘进行直线拟合，然后计算该直线和OcXc的夹角ω_r则我们近似求得相机的横滚角

(2.2)、由ω₃计算绕Zc轴的旋转矩阵

则由旋转矩阵矫正后的点云P＝P_sR(ω₃)旋转后的点云对图像的每一样求重构后的每一样Y坐标均值利用最小而成得到的直线和Zc轴的夹角ω₂也就是俯仰角；

(2.3)、利用ω₂计算绕Xc轴的旋转矩阵

P_w＝PR(ω₂)

最终矫正后的地面点云及参考坐标系如图4所示：地面点云位于XwZw平面，Yw表示地面点云的高度；

(2.4)、对所有P_w的y坐标求均值得到相机的安装高度H，则最终得到最后转换后的点云P_g＝P_w–H。

3.如权利要求1所述的相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换包括以下步骤：

(3.1)、有地面障碍物的点云图如图5所示对点云的Z坐标进行直方图统计，即对点云到RTG大车的距离进行直方图统计，得到如图6所示的直方图。对直方图寻找局部最大值D_maxpress，直方图中的未填充条块。在局部最大值的位置，存在大量稠密点云，发现可疑障碍物；

(3.2)、对该位置块进行提取，提取方法：搜索点云P_g中点的Z坐标在局部极值D_maxpress附近的所有像素点得到如图7左边所示的白块；

(3.3)、对上如图7左图所示白块在P_g点云中对应的点P如果P的Y坐标大于-30cm小于15cm，我们把这个点列为地面可疑点，最后得到白块对应的地面可疑点云P_gdubious。对该点云的Y坐标进行直方图统计得到统计图如图8所示,当图中有且仅有一个局部极值P_{gdubiouspress}(如图8白色长条所示)的时候我们认为此时获得了较好的地面重定位效果，此处的地面高H_i＝P_{gdubiouspress}；

(3.4)、去除P_gdubious点云中Y坐标小于H_i的点云，得到最后的障碍物块如图7的右图所示；

(3.5)、计算图7中右图所示白块的第R行像素对应点云的高度均值Y_r，计算白块第C列的点云宽度均值X_c,利用最小二乘方法得到行值和高度均值的直线方程aR+bY+c＝0和dC+eX+f＝0；将行列的最大和最小值分别带入上述方程得到宽度最大最小值Xmax，Xmin；高度最大最小值Ymax，Ymin；则障碍物的宽度Wo＝Xmax-Xmin；高度Ho＝Ymax-Ymin；

(3.6)、在远处利用较大的宽高度过滤阈值，确保不会产生误报；在近处采用较小的宽高度过滤阈值，确保不会有障碍物的漏报W_threshod＝apha*Dist，H_threshold＝beta*Dist；其中Dist为图7中右图所示白块对应的均值，apha，beta为人为设定值。如果Wo>W_threshod并且Ho>H_threshold则判定该目标为障碍物。

4.如权利要求1所述基于双目视觉的避障技术方法，其特征在于，所述的利用相机的初始姿态角和地面点云的关系，实时监测双目相机的异常状态包括以下步骤：

(4.1)、监测点云中高度大于-50cm的所有点云，如果发现点云数目极少，则可能出现双目相机偏移，或者损坏。

(4.2)、监测距离大于dist点的均值H，人工设定地面浮动阈值Hlow和Hhigh；如果H<Hlow或者H>Hhigh则判定相机出现偏移，需要重新进行地面学习。