CN106303417A - 用于无人平台的增强全景监控方法 - Google Patents

Abstract

本发明公开了一种用于无人平台的增强全景监控方法，其步骤为：S1：初始化模型参数；包括目标全景图像的参数，坐标系转换的矩阵参数以及相机的参数；S2：基于目标全景图的逆向投影设计；通过坐标系的转换，将全景图像与相机进行关联，最终通过像素映射或融合生成目标全景图；S3：建立基于目标全景图的增强显示模型；通过坐标系的转换，完成无人平台坐标系到全景图像坐标系的转换，构成增强显示模型；S4：基于步骤S3得到的增强显示模型，将无人平台的运动轨迹在全景图中进行显示。本发明具有原理简单、易实现、能够提高无人平台监控效果等优点。

Description

用于无人平台的增强全景监控方法

技术领域

本发明主要涉及到无人平台的设计领域，特指一种适用于无人平台的增强全景监控方法。

背景技术

在无人车运行过程中以及在辅助驾驶应用中，需要对周围环境进行实时监控和检测。现有的视觉监控***一般由单路摄像机或多路独立的摄像机组成，其有如下缺陷：

(1)视觉图像信息不完整。单路摄像机所能提供的视觉信息的视场范围有限，盲区较大；而多路独立的摄像机虽然提供了视场范围足够大的视觉信息，但是各自图像独立而不具有整体性，严重影响了视觉体验。

(2)车体运动信息表达不充分。对于无人平台监控***，通常需要将车体的规划路径和行驶轨迹等运动信息叠加显示在视频图像上。目前叠加操作都在单路摄像机视频中完成，受限于视场范围，车体的运动信息难以表达充分，即单路摄像机的视场范围十分有限，难以充分表达车体的行驶轨迹，只能表现较短时间内、较低行驶速度下的行驶轨迹变化，在转弯等运动过程中尤其明显。而无人车自主控制***本身存在动态响应延迟，对于半自主无人平台的远程遥现操作，还存在较大的无线通信链路的数据传输延迟，因而通过视场较小的增强显示图像难以发现并及时规避可能发生的危险行驶，难以在复杂的环境下稳定地操控半自主无人平台。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、易实现、能够提高无人平台监控效果的用于无人平台的增强全景监控方法。

为解决上述技术问题，本发明采用以下技术方案：

一种用于无人平台的增强全景监控方法，其步骤为：

S1:初始化模型参数；包括目标全景图像的参数，坐标系转换的矩阵参数以及相机的参数；

S2：基于目标全景图的逆向投影设计；通过坐标系的转换，将全景图像与相机进行关联，最终通过像素映射或融合生成目标全景图；

S3：建立基于目标全景图的增强显示模型；通过坐标系的转换，完成无人平台坐标系到全景图像坐标系的转换，构成增强显示模型；

S4：基于步骤S3得到的增强显示模型，将无人平台的运动轨迹在全景图中进行显示。

作为本发明的进一步改进：所述步骤S1中的参数包括：(1)目标全景图像的高H，宽W，参考球面的半径r；(2)世界坐标系到各相机坐标系的旋转矩阵R_n、平移矩阵T_n，各相机内参矩阵K_n，其中下标n表示相机单元序号；(3)无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T；其中矩阵R_n、T_n、K_n、R和T由相机标定获得。

作为本发明的进一步改进：所述步骤S2的具体流程为：

S201：导入相关参数；

S202：全景图像坐标系反投影到参考球面坐标系；

S203：参考球面坐标系转换到世界坐标系；

S204：世界坐标系转换到相机坐标系；

S205：相机坐标系转换到图像坐标系；

S206：像素映射或融合生成全景图。

作为本发明的进一步改进：所述步骤S3的具体流程为：

S301：导入相关参数；

S302：无人平台坐标系转换到世界坐标系；

S303：世界坐标系转换到球面坐标系；

S304：球面坐标系投影到全景图像坐标系；

S305：整合计算得到增强显示模型。

作为本发明的进一步改进：所述步骤S4的具体流程为：

S401：输入为步骤S3得到的基于目标全景图的增强显示模型、无人平台的参数、无人平台的期望运动参数、无人平台传感器的实测结果；

S402：已知车体参数和期望运动，通过任务规划和动力学模型计算得到全局规划路径和期望行驶轨迹；已知无人平台的参数和无人平台传感器实测数据，通过动力学模型计算得到实际行驶轨迹；全局规划路径、期望行驶轨迹和实际行驶轨迹作为运动信息数据为一组车体轨迹；同时，对基于目标全景图的增强显示模型，遍历无人平台坐标系中一定范围内的空间点，从而生成从无人平台坐标系到全景图像坐标系的唯一映射表；

S403：已知增强显示模型，通过代入车体的规划路径或行驶轨迹坐标，或者已知从无人平台坐标系到全景图像坐标系的唯一映射表，通过查表及线性插值计算，得到行驶轨迹在全景图像中的显示位置，完成全景图像的增强显示。

与现有技术相比，本发明的优点在于：

1、本发明的用于无人平台的增强全景监控方法，能够在无人平台全景监控视频中叠加车体的全局规划路径、期望行驶轨迹和实际行驶轨迹等运动信息，形成增强显示全景视图，简称增强全景，用于向操作员提供监视画面。

2、本发明的用于无人平台的增强全景监控方法，通过在全景图像中叠加显示车体的全局规划路径、期望行驶轨迹和实际行驶轨迹等运动信息，可以直观地预测和描述无人车未来的行驶行为，提高***监控能力和人机交互能力，增强视觉体验并降低因延迟带来的***动荡风险。

附图说明

图1是本发明方法的流程示意图。

图2是本发明在具体应用实例中基于目标全景图的逆向投影设计的流程示意图。

图3是本发明在具体应用实例中参考球面的示意图。

图4是本发明在具体应用实例中建立基于目标全景图的增强显示模型的流程示意图。

图5是本发明在具体应用实例中将行驶轨迹在全景图中进行增强显示的流程示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明的用于无人平台的增强全景监控方法，主要面向各类无人平台(自主或半自主平台)，以无人车为例，其步骤为：

S1：初始化模型参数；包括目标全景图像的参数，坐标系转换的矩阵参数以及相机的参数；

S2：基于目标全景图的逆向投影设计；通过坐标系的转换，将全景图像与相机进行关联，最终通过像素映射或融合生成目标全景图；

S3：建立基于目标全景图的增强显示模型；通过坐标系的转换，完成无人平台坐标系到全景图像坐标系的转换，构成增强显示模型；

S4：基于步骤S3得到的增强显示模型，将行驶轨迹在全景图中进行显示。

在具体应用实例中，步骤S1中的参数包括目标全景图像的高H，宽W，参考球面的半径r；世界坐标系到各相机坐标系的旋转矩阵R_n、平移矩阵T_n，各相机内参矩阵K_n，其中下标n表示相机单元序号；无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T；其中矩阵R_n、T_n、K_n、R和T由相机标定获得。

参见图2，在具体应用实例中，以球面全景模型为例(但不局限于任何全景模型)，具体步骤为：

步骤201：导入相关参数。包括目标全景图像的高H，宽W，参考球面的半径r；世界坐标系到各相机坐标系的旋转矩阵R_n、平移矩阵T_n，各相机内参矩阵K_n，其中下标n表示相机单元序号。

步骤202：全景图像坐标系反投影到参考球面坐标系。

参考球面如图3所示。全景图像中任一像素点表示为P(i,j)，i表示图像列索引，j表示图像行索引。以参考球面的球心O为原点建立空间直角世界坐标系，假定将点P(i,j)反投影到参考球面上对应的点为其中r表示参考球面半径，θ表示OQ连线与世界坐标系X轴的夹角，表示OQ连线与世界坐标系Z轴的夹角，其中θ的范围是[0,2π]，的范围是[0,π]，π表示圆周率,可得公式1；

步骤203：参考球面坐标系转换到世界坐标系。

假定球面上任一点在世界坐标系上对应的空间点为W(X_w,Y_w,Z_w)，下标w表示世界坐标，令sin(x)表示三角正弦函数，cos(x)表示三角余弦函数，x表示变量，可得公式2；

步骤204：世界坐标系转换到相机坐标系。

世界坐标系上任一点W(X_w,Y_w,Z_w)在相机单元的相机坐标系上对应的点为C(X_n,Y_n,Z_n)，n表示相机单元序号，可得公式3；

步骤205：相机坐标系转换到图像坐标系。

相机坐标系上任一点C(X_n,Y_n,Z_n)在图像平面上对应的像素点为I(u_n,v_n)，变换矩阵K_n由该相机内参确定，n表示相机单元序号，可得公式4；

步骤206：像素映射或融合生成全景图。

由公式1、2、3、4可导出公式5，得到全景图中任一像素点P(i,j)在图像平面上对应的像素点为I(u_n,v_n)，n表示相机单元序号，从而生成唯一映射表，通过查表和线性插值运算即可生成全景图像；若I(u_n,v_n)超出图像索引范围，表示该相机单元没有捕获到P(i,j)；若I(u_n,v_n)未超出图像索引范围，表示相机单元捕获到了P(i,j)；若有唯一相机单元捕获到了P(i,j)，则相应的像素点I(u_n,v_n)映射为P(i,j)；若有多个相机单元同时捕获到了P(i,j)，则通过像素融合表示P(i,j)；

在具体应用实例中，上述步骤S3的详细流程为：

步骤301：导入相关参数。包括目标全景图像的高H，宽W，参考球面的半径r；无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T。

步骤302：无人平台坐标系转换到世界坐标系。无人平台坐标系上任一点V(X_v,Y_v,Z_v)，下标v表示无人平台坐标，其对应的世界坐标系上的点为W(X_w,Y_w,Z_w)，可得公式6；

步骤303：世界坐标系转换到球面坐标系。将世界坐标系中的点W(X_w,Y_w,Z_w)投影到参考球面，其投影点为令arc tan(x)表示反正切函数，arc cos(x)表示反余弦函数，x表示变量，可得公式7；

步骤304：球面坐标系投影到全景图像坐标系。将球面上任一点投影到全景图像上，其对应的像素点为P(i,j),可得公式8；

步骤305：整合计算得到增强显示模型。对公式6、7、8进行整合即可得到增强显示模型，公式9。无人平台坐标系上任一点V(X_v,Y_v,Z_v)通过增强显示模型即可映射为全景图像坐标系上一点P(i,j)。

在具体应用实例中，上述步骤S4的详细流程为：

步骤401：输入为步骤3得到的基于目标全景图的增强显示模型，无人车的车体参数如质量、轴距和车宽等，车体的期望运动如期望加速度等，车载传感器的实测结果如实测速度等。期望运动包括但不限于由人机交互设备或自主控制***发出的指令，人机交互设备例如模拟方向盘、模拟脚踏板和操纵杆等。

步骤402：已知车体参数和期望运动，通过任务规划和动力学模型等计算可以得到全局规划路径和期望行驶轨迹；已知车体参数和车载传感器实测数据，通过动力学模型等计算可以得到实际行驶轨迹；全局规划路径、期望行驶轨迹和实际行驶轨迹等运动信息数据为一组车体轨迹；同时，对基于目标全景图的增强显示模型，可选遍历无人平台坐标系中一定范围内的空间点，从而生成从无人平台坐标系到全景图像坐标系的唯一映射表；

步骤403：已知增强显示模型，通过代入车体的规划路径或行驶轨迹坐标，或者已知从无人平台坐标系到全景图像坐标系的唯一映射表，通过查表及线性插值计算，即可得到行驶轨迹在全景图像中的显示位置，完成全景图像的增强显示。

在以上的实例中，本发明仅是以普通球面投影为例，公式(1)和(8)建立相应的反投影与投影模型，但不局限于任何全景模型，柱面投影与墨卡托投影等投影方法皆可适用，同样能完成发明目的。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (5)

1.一种用于无人平台的增强全景监控方法，其特征在于，步骤为：

S1：初始化模型参数；包括目标全景图像的参数，坐标系转换的矩阵参数以及相机的参数；

S2：基于目标全景图的逆向投影设计；通过坐标系的转换，将全景图像与相机进行关联，最终通过像素映射或融合生成目标全景图；

S3：建立基于目标全景图的增强显示模型；通过坐标系的转换，完成无人平台坐标系到全景图像坐标系的转换，构成增强显示模型；

S4：基于步骤S3得到的增强显示模型，将无人平台的运动轨迹在全景图中进行显示。

2.根据权利要求1所述的用于无人平台的增强全景监控方法，其特征在于，所述步骤S1中的参数包括：(1)目标全景图像的高H，宽W，参考球面的半径r；(2)世界坐标系到各相机坐标系的旋转矩阵R_n、平移矩阵T_n，各相机内参矩阵K_n，其中下标n表示相机单元序号；(3)无人平台坐标系到世界坐标系的旋转矩阵R、平移矩阵T；其中矩阵R_n、T_n、K_n、R和T由相机标定获得。

3.根据权利要求1或2所述的用于无人平台的增强全景监控方法，其特征在于，所述步骤S2的具体流程为：

S201：导入相关参数；

S202：全景图像坐标系反投影到参考球面坐标系；

S203：参考球面坐标系转换到世界坐标系；

S204：世界坐标系转换到相机坐标系；

S205：相机坐标系转换到图像坐标系；

S206：像素映射或融合生成全景图。

4.根据权利要求1或2所述的用于无人平台的增强全景监控方法，其特征在于，所述步骤S3的具体流程为：

S301：导入相关参数；

S302：无人平台坐标系转换到世界坐标系；

S303：世界坐标系转换到球面坐标系；

S304：球面坐标系投影到全景图像坐标系；

S305：整合计算得到增强显示模型。

5.根据权利要求1或2所述的用于无人平台的增强全景监控方法，其特征在于，所述步骤S4的具体流程为：

S401：输入为步骤S3得到的基于目标全景图的增强显示模型、无人平台的参数、无人平台的期望运动参数、无人平台传感器的实测结果；

S402：已知车体的参数和期望运动，通过任务规划和动力学模型计算得到全局规划路径和期望行驶轨迹；已知无人平台的参数和无人平台传感器实测数据，通过动力学模型计算得到实际行驶轨迹；全局规划路径、期望行驶轨迹和实际行驶轨迹作为运动信息数据为一组车体轨迹；同时，对基于目标全景图的增强显示模型，可选遍历无人平台坐标系中一定范围内的空间点，从而生成从无人平台坐标系到全景图像坐标系的唯一映射表；

S403：已知增强显示模型，通过代入无人平台的规划路径或行驶轨迹坐标，或者已知从无人平台坐标系到全景图像坐标系的唯一映射表，通过查表及线性插值计算，得到行驶轨迹在全景图像中的显示位置，完成全景图像的增强显示。