CN109405850A

CN109405850A - 一种基于视觉和先验知识的惯性导航定位校准方法及其***

Info

Publication number: CN109405850A
Application number: CN201811290890.9A
Authority: CN
Inventors: 张维玲
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2019-03-01

Abstract

本发明公开了一种基于视觉和先验知识的惯性导航定位校准方法及其***，该方法包括S1使用双目摄像头采集基准信标图像，通过GPS和计算获取基准信标图像的地理位置，生成数据对存入基准数据库；S2使用双目摄像头采集实时信标图像，匹配实时信标图像与基准信标图像，获取数据对中的地理位置，用获取的地理位置修正惯性导航提供的地理位置，校准惯性导航定位；其中基准信标图像包括路标图像和3D图像，实时信标图像也包括路标图像和3D图像。本发明提出了一种基于视觉和先验知识的惯性导航定位校准方法及其***，克服了不能对路标图像和3D图像同时处理的问题，为惯性导航定位误差修正提供参考。

Description

一种基于视觉和先验知识的惯性导航定位校准方法及其***

技术领域

本发明涉及惯性导航的辅助定位，尤其涉及一种基于视觉和先验知识的惯性导航定位校准方法及其***。

背景技术

目前车辆自主定位的主要手段是惯性导航。由于惯性导航的定位误差会随着导航距离的增加而迅速发散，车辆单独使用惯性导航***，无法满足长距离精准定位的需要。

路网匹配仪提供了一种不依赖外部手段提高惯性导航精度的方法，通过车载摄像头对自然路标进行识别定位，从而获取载体精确的地理位置信息，为惯性导航定位误差修正提供位置参考。现有的路网匹配仪不是单独使用自然路标就是单独使用3D图像进行匹配，在遇到长直路段或特征相似地连续路段时，经常出现无法匹配或错误匹配。

发明内容

为了解决上述问题，本发明提出了一种基于视觉和先验知识的惯性导航定位校准方法及其***，克服了不能对路标图像和3D图像同时处理的问题，辅助路网仪为惯性导航定位误差修正提供位置参考。

为达到上述目的，本发明提出了一种基于视觉和先验知识的惯性导航定位校准方法，包括S1使用双目摄像头采集基准信标图像，通过GPS和计算获取基准信标图像的地理位置，生成数据对存入基准数据库；S2使用双目摄像头采集实时信标图像，匹配实时信标图像与基准信标图像，获取数据对中的地理位置，用获取的地理位置修正惯性导航提供的地理位置，校准惯性导航定位；其中基准信标图像包括路标图像和3D图像，实时信标图像也包括路标图像和3D图像。

可选地，S1包括S11，使用标定的双目摄像头采集基准信标图像序列数据；S12，使用GPS采集地理位置信息；S13，计算实际地理位置；S14，生成包含基准信标图像和实际地理位置的数据对；S15，将S14中的数据对存入基准数据库。

可选地，S2包括S21，使用标定的双目摄像头采集影像；S22，搜索S21采集的影像，检测信标图像；S23，使用惯性导航***进行参考定位；S24，将S22中的信标图像与基准数据库中的基准信标图像进行识别匹配，提取基准位置后计算实际地理位置；S25，计算S23中参考定位和S24中实际地理位置间的误差，修正、校准惯性导航***。

可选地，S24包括S241，根据惯性导航***的精度以及S23中的参考定位，获取搜索区；S242,从基准数据库中提取搜索区内的数据对集合；S243，在S242提取的集合中，检索与S22中的信标图像相匹配的基准信标图像；S244，获取基准数据库中与匹配的基准信标图像相对应的地理位置。

可选地，计算实际地理位置的方法包括，S001，利用双目视觉原理计算载体在采样时刻与基准信标的相对距离；S002，通过同步采集的高精度GPS数据，计算基准信标的实际地理位置；S003，通过S001中相对距离与S002中实际地理位置的矢量叠加，计算出采样时刻载体的实际地理位置。

可选地，双目摄像头的标定包括以下步骤，S011，制作已知参数的标定模板；S012，改变标定模板相对双目摄像头的相对位置，使用双目摄像头采集不同位置下标定模板的图像；S013，采用角点检测算法定位每一幅图像中角点的位置；S014，根据角点的位置标定单个摄像机内外参数；S015，根据两个相机的外参数，计算两个相机间的旋转矩阵和平移向量。

可选地，信标为路标时，使用MCT特征采集、存储、检测和匹配信标图像。

可选地，信标为3D点云信标时，使用HOG特征采集、存储、检测和匹配信标图像。

为达到上述目的，本发明提出了一种基于视觉和先验知识的惯性导航定位校准方***。该***包括数据采集与编译模块,使用双目摄像头采集基准信标，通过GPS和计算获取基准信标的地理位置，生成数据对存入基准数据库；视觉匹配定位模块，使用双目摄像头采集实时信标图像，匹配实时信标图像与基准信标图像，获取数据对中的地理位置，用获取的地理位置修正惯性导航提供的地理位置，校准惯性导航定位；其中基准信标图像包括路标图像和3D图像，实时信标图像也包括路标图像和3D图像。

可选地，基于视觉和先验知识的惯性导航定位校准***还包括人机交互应用模块，通过可视化方法进行人机交互，输出匹配定位相关信息，便于用户进行算法与精度分析；和应用数据库，负责存储运行过程中的日志信息及用户指定的需要记录的数据，以便进行信息回放与***跟踪调试。

本发明的一种基于视觉和先验知识的惯性导航定位校准***与现有技术相比具有以下有益效果：1、可同时识别和处理的信标范围更广，包括了路标图像和3D图像，其中3D图像包括桥梁、隧道及高楼等标志性建筑物的立体图像；2、扩大惯性导航定位校准***的适用范围，可在长直路段和特征相似地连续路段上正常工作；3、提高惯性导航定位的精度和实时性，由于可识别的信标种类更加广泛，可以更及时修正定位误差；4、交互友好，用户可根据可视化界面得到匹配定位的相关信息，从而进行算法和精度分析，应用数据库的设立为信息回放和***跟踪调试提供了支持。

附图说明

下面结合附图和具体实施方式对本发明的基于视觉和先验知识的惯性导航定位校准方法及其***作进一步的详细描述。

图1为本发明的流程图。

图2为本发明S1的流程图。

图3为本发明S2的流程图。

图4为图像MCT特征提取的示意图。

具体实施方式

以下配合图式及本发明的较佳实施例，进一步阐述本发明为达成预定发明目的所采取的技术手段。

如图1至图4所示，本发明提供一种基于视觉和先验知识的惯性导航定位校准方法。该方法包括S1,使用双目摄像头采集基准信标图像，通过GPS和计算获取基准信标图像的地理位置，生成数据对存入基准数据库；S2，使用双目摄像头采集实时信标图像，匹配实时信标图像与基准信标图像，获取数据对中的地理位置，用获取的地理位置修正惯性导航提供的地理位置，校准惯性导航定位；其中基准信标图像包括路标图像和3D图像，实时信标图像也包括路标图像和3D图像。

每个数据对均包括一个基准信标图像和该基准信标图像的地理位置，其中，基准信标图像数据由车载双目摄像头采集，地理位置来自高精度GPS。S2中，实时信标图像也由车载双目摄像头进行采集。

如图2所示，在本实施例中，S1包括，S11，使用标定的双目摄像头采集基准信标图像序列数据；S12，使用GPS采集地理位置信息；S13，计算实际地理位置；S14，生成包含基准信标图像和实际地理位置的数据对；S15，将S14中的数据对存入基准数据库。

其中步骤S15的基准数据库的存储需遵循以下规则：1、对测试或实际地理区域进行划分处理，即划定数据存储范围，将数据进行区域级存储；该方法在保证数据独立、完整的同时，可极大地减少存储量，并提高了数据内容的安全性；2、对于长路段，可依据岔路口等交叉点信息，将单一路段打断为多个路段，从而提高路径几何与属性的访问速度；3、路标数据需做归一化处理，便于存储及后续匹配识别流程的使用；4、为路段及路标基准建立空间树索引，以提高查询访问的效率。

如图3所示，在本实施例中，步骤S2包括，S21，使用标定的双目摄像头采集影像；S22，搜索S21采集的影像，检测信标图像；S23，使用惯性导航***进行参考定位；S24，将S22中的信标图像与基准数据库中的基准信标图像进行识别匹配，提取基准位置后计算实际地理位置；S25，计算S23中参考定位和S24中实际地理位置间的误差，修正、校准惯性导航***。

S22中检测信标图像是数据采集及匹配识别的基础，其检测效率直接影响***的精确度与实时性，是***中比较重要的环节。路标检测的实质是从双目摄像头采集的图像序列中，识别和提取所采集图像内的信标，并对该信标进行归一化处理。

在本实施例中，S24包括，S241，根据惯性导航***的精度以及S23中的参考定位，获取搜索区；S242,从基准数据库中提取搜索区内的数据对集合；S243，在S242提取的集合中，检索与S22中的信标图像相匹配的基准信标图像；S244，获取基准数据库中与匹配的基准信标图像相对应的地理位置。

其中，S241中的搜索区是根据惯性导航***输出的位置、定位精度等数据进行划定的。S242中的数据对集合是由经过归一化处理的基准信标图像和其所在地理位置的数据对构成的集合。由于在匹配前，预先设定了搜索区，相比全区域搜索，提高了数据匹配的效率。

在本实施例中，计算实际地理位置的方法包括，S001，利用双目视觉原理计算载体在采样时刻与基准信标的相对距离；S002，通过同步采集的高精度GPS数据，计算基准信标的实际地理位置；S003，通过S001中相对距离与S002中实际地理位置的矢量叠加，计算出采样时刻载体的实际地理位置。

S001中双目视觉原理计算包括以下步骤，根据单孔成像原理，三维空间中任一点P在摄像机坐标系{C}下的坐标(X_c,Y_c,Z_c)与所对应图像像素坐标I(u,v)的计算关系式为：

其中，s为权重因子，R是旋转矩阵，t是平移向量。由于{C}是直接利用{C_left}建立的，因此对于左侧摄像机建立视觉计算式，不需要乘以式(1)中的R，t构成的矩阵，于是可以写成如下形式：

而对于右侧摄像机建立视觉计算式则需要乘以式(1)中的R，t构成的矩阵，于是得到：

其中{r₁₁，r₁₂，r₁₃，…，r₃₃}为矩阵R中的元素，{t_x，t_y，t_z}为向量t中的元素。

分别展开式(2)、式(3)化简后能够消去权重值s_left与s_right并得到一组由四个方程三个未知数的构成的超定方程组，利用最小二乘法便能计算出P在{C}下的坐标值(X_c,Y_c,Z_c)。

在本实施例中，双目摄像头的标定包括以下步骤，S011，制作已知参数的标定模板；S012，改变标定模板相对双目摄像头的相对位置，使用双目摄像头采集不同位置下标定模板的图像；S013，采用角点检测算法定位每一幅图像中角点的位置；S014，根据角点的位置标定单个摄像机内外参数；S015，根据两个相机的外参数，计算两个相机间的旋转矩阵和平移向量。

相机标定是指建立摄像机图像像素位置与场景点位置之间的关系，其途径是根据相机模型，由已知特征点的图像坐标求解相机的模型参数。双目视觉***标定与简单的单个相机标定的不同之处在于它在获知***中单个相机内外参数的同时还需得到相机间的空间位置参数。该标定方法有使用的器材简便、精度高、实验过程简单等优点。

其中S015，包括以下步骤，首先计算出两个相机的内部参数以及各自相对于固定参考坐标系的旋转矩阵R₁、R₂，平移向量T₁、T₂。假设场景中任一点P在左右成像平面上的投影分别为p₁、p₂，且该点在固定参考坐标系下的坐标为p_w，则p₁、p₂、p_w之间存在以下关系：

消去p_w后可得：

其中为双目视觉***的旋转矩阵，为双目视觉的平移向量。可见两个相机之间的位置参数矩阵R、T由每个相机的外参数所决定。

在本实施例中，信标为路标时，使用MCT特征采集、存储、检测和匹配信标图像。MCT为修正统计变换。如图4所示，首先对图像进行分割，然后读取出每一分割区域的灰度值，再将实时图像的各个分割区域的灰度值与信标相应的各个分割区域的灰度值进行比较，从而判断两图像是否匹配。

在本实施例中，信标为3D点云信标时，使用HOG特征采集、存储、检测和匹配信标图像。3D点云由双目相机采集的图像进行三维重建获得，是对桥梁、隧道和高楼等建筑物信标的抽象概括。其识别定位过程主要包括以下步骤：首先生成信标HOG特征库；HOG特征采集与编译；HOG特征匹配与计算。

基于同一发明构思，本发明实施例中还提供了一种基于视觉和先验知识的惯性导航定位校准的***。该***包括数据采集与编译模块,使用双目摄像头采集基准信标，通过GPS和计算获取基准信标的地理位置，生成数据对存入基准数据库；视觉匹配定位模块，使用双目摄像头采集实时信标图像，匹配实时信标图像与基准信标图像，获取数据对中的地理位置，用获取的地理位置修正惯性导航提供的地理位置，校准惯性导航定位；其中基准信标图像包括路标图像和3D图像，实时信标图像也包括路标图像和3D图像。

如图1所示，数据采集与编译模块的主要目的是生成基准数据库。视觉匹配定位模块是通过对输入的惯性导航定位信息和视觉数据进行处理，从而实现信标检测识别、基准位置提取、相对位置计算和全局位置生成。其中的信标同时包括2D路标和3D建筑物。

本实施方式的基于视觉和先验知识的惯性导航定位校准***还包括人机交互应用模块，通过可视化方法进行人机交互，输出匹配定位相关信息，便于用户进行算法与精度分析；和应用数据库，负责存储运行过程中的日志信息及用户指定的需要记录的数据，以便进行信息回放与***跟踪调试。

其中，人机交互应用模块包括可视化单元、信息交互单元和定位误差计算单元。可视化单元借助图形化的手段，通过直观展示信息，可以同时显示多维度数据，清晰有效地传达与沟通信息。信息交互单元负责人机交互应用模块与应用数据库的双向连通以及接收来自视觉匹配定位模块的信息。定位误差计算为惯性导航***的校准提供支持。应用数据库接收和存储来自人机交互应用模块和视觉匹配定位模块的信息，为信息回放与***跟踪调试提供数据。

以上所述的具体实施例，对本发明目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于视觉和先验知识的惯性导航定位校准方法，其特征在于：包括，

S1,使用双目摄像头采集基准信标图像，通过GPS和计算获取所述基准信标图像的地理位置，生成数据对存入基准数据库；

S2，使用所述双目摄像头采集实时信标图像，匹配所述实时信标图像与所述基准信标图像，获取所述数据对中的所述地理位置，用获取的所述地理位置修正惯性导航提供的地理位置，校准所述惯性导航定位；

其中基准信标图像包括路标图像和3D图像，所述实时信标图像也包括所述路标图像和所述3D图像。

2.根据权利要求1所述的基于视觉和先验知识的惯性导航定位校准方法，其特征在于：S1包括，

S11，使用标定的所述双目摄像头采集所述基准信标图像序列数据；

S12，使用所述GPS采集所述地理位置信息；

S13，计算实际地理位置；

S14，生成包含所述基准信标图像和所述实际地理位置的数据对；

S15，将S14中的所述数据对存入所述基准数据库。

3.根据权利要求1所述的基于视觉和先验知识的惯性导航定位校准方法，其特征在于：S2包括，

S21，使用标定的所述双目摄像头采集影像；

S22，搜索S21采集的所述影像，检测信标图像；

S23，使用惯性导航***进行参考定位；

S24，将S22中的所述信标图像与所述基准数据库中的所述基准信标图像进行识别匹配，提取所述基准位置后计算所述实际地理位置；

S25，计算S23中所述参考定位和S24中所述实际地理位置间的误差，修正、校准所述惯性导航***。

4.根据权利要求3所述的基于视觉和先验知识的惯性导航定位校准方法，其特征在于：S24包括，

S241，根据所述惯性导航***的精度以及S23中的所述参考定位，获取搜索区；

S242,从所述基准数据库中提取所述搜索区内的数据对集合；

S243，在S242提取的所述集合中，检索与S22中的所述信标图像相匹配的基准信标图像；

S244，获取所述基准数据库中与匹配的所述基准信标图像相对应的所述地理位置。

5.根据权利要求2或3所述的基于视觉和先验知识的惯性导航定位校准方法，其特征在于：计算所述实际地理位置的方法包括，

S001，利用双目视觉原理计算载体在采样时刻与所述基准信标的相对距离；

S002，通过同步采集的高精度GPS数据，计算所述基准信标的所述实际地理位置；

S003，通过S001中所述相对距离与S002中所述实际地理位置的矢量叠加，计算出采样时刻所述载体的所述实际地理位置。

6.根据权利要求2或3所述的基于视觉和先验知识的惯性导航定位校准方法，其特征在于：双目摄像头的标定包括以下步骤，

S011，制作已知参数的标定模板；

S012，改变所述标定模板相对所述双目摄像头的相对位置，使用所述双目摄像头采集不同位置下所述标定模板的图像；

S013，采用角点检测算法定位每一幅图像中角点的位置；

S014，根据所述角点的位置标定单个摄像机内外参数；

S015，根据两个相机的外参数，计算两个相机间的旋转矩阵和平移向量。

7.根据权利要求1至4中任一项所述的基于视觉和先验知识的惯性导航定位校准方法，其特征在于：所述信标为路标时，使用MCT特征采集、存储、检测和匹配所述信标图像。

8.根据权利要求1至4中任一项所述的基于视觉和先验知识的惯性导航定位校准方法，其特征在于：所述信标为3D点云信标时，使用HOG特征采集、存储、检测和匹配所述信标图像。

9.一种基于视觉和先验知识的惯性导航定位校准的***，其特征在于：包括，

数据采集与编译模块,使用所述双目摄像头采集基准信标，通过GPS和计算获取所述基准信标的地理位置，生成所述数据对存入所述基准数据库；

视觉匹配定位模块，使用所述双目摄像头采集所述实时信标图像，匹配所述实时信标图像与所述基准信标图像，获取所述数据对中的所述地理位置，用获取的所述地理位置修正所述惯性导航提供的所述地理位置，校准所述惯性导航定位；

其中所述基准信标图像包括所述路标图像和所述3D图像，所述实时信标图像也包括所述路标图像和所述3D图像。

10.根据权利要求9所述的基于视觉和先验知识的惯性导航定位校准***，其特征在于：还包括，

人机交互应用模块，通过可视化方法进行人机交互，输出匹配定位相关信息，便于用户进行算法与精度分析；和

应用数据库，负责存储运行过程中的日志信息及用户指定的需要记录的数据，以便进行信息回放与***跟踪调试。