CN113436264A - 基于单目多目混合定位的位姿计算方法及*** - Google Patents

基于单目多目混合定位的位姿计算方法及*** Download PDF

Info

Publication number
CN113436264A
CN113436264A CN202110977859.8A CN202110977859A CN113436264A CN 113436264 A CN113436264 A CN 113436264A CN 202110977859 A CN202110977859 A CN 202110977859A CN 113436264 A CN113436264 A CN 113436264A
Authority
CN
China
Prior art keywords
monocular
matching
feature
point
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110977859.8A
Other languages
English (en)
Other versions
CN113436264B (zh
Inventor
李骥
赵信宇
邢志伟
魏伟
龙建睿
魏金生
肖崇泳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Dadao Zhichuang Technology Co.,Ltd.
Original Assignee
Shenzhen Dadao Zhichuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dadao Zhichuang Technology Co ltd filed Critical Shenzhen Dadao Zhichuang Technology Co ltd
Priority to CN202110977859.8A priority Critical patent/CN113436264B/zh
Publication of CN113436264A publication Critical patent/CN113436264A/zh
Application granted granted Critical
Publication of CN113436264B publication Critical patent/CN113436264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及基于单目多目混合定位的位姿计算方法及***，其包括单目特征匹配步骤、单目旋转计算步骤、混合特征匹配步骤和多目位姿计算步骤。利用基础单目特征集合和基础单目匹配集合进行位姿估算，可以快速准确地估算出多目摄像机的其中一个单目摄像机的旋转量，即初始旋转信息，然后，将初始旋转信息作为旋转量的初始值，可以结合混合特征集合和混合匹配集合进行多目位姿的计算，得到多目摄像头的平移量，进而计算出多目摄像头的相对位姿。由于单目位姿计算的过程中已经对旋转量进行预先计算，为多目位姿计算直接提供旋转量的参考，因此多目位姿计算可以更加快速地计算出平移量，极大提高计算效率，更加快速地完成位姿定位。

Description

基于单目多目混合定位的位姿计算方法及***
技术领域
本申请涉及视觉SLAM技术的领域，尤其是涉及一种基于单目多目混合定位的位姿计算方法及***。
背景技术
SLAM技术指的是即时定位与地图构建技术，主要应用于定位导航领域，能够通过分析摄像头获取的图像，来计算搭载摄像头的机器人的当前位姿，并且构建周边环境的地图来完成定位和导航，SLAM技术目前已经成为解决自主移动机器人运动路线规划的关键技术。
在现有技术的机器人位姿计算中，***可以从摄像头获取的图像中提取出特征点，并将特征点与地图模板中已有的视觉特征进行跟踪匹配，得到相匹配的特征点对，然后对特征点对进行三角化计算，利用PnP（Perspective-n-Point）方法计算出摄像头在拍摄地图模板时的位姿和摄像头在拍摄图像时的位姿之差，从而计算得到搭载摄像头的机器人的当前位姿，通过不断地将上一次位姿定位计算中获得的图像作为下一次位姿定位计算的地图模板，机器人可以在移动中持续进行位姿定位计算，进而实现自主移动。
由于单独由同一个单目摄像头获取的图像在PnP计算中难以计算出深度信息，因此一般摄像头会采用多目摄像头如双目摄像头。但是，现有SLAM***的位姿定位计算中，存在位姿计算速度较慢的问题。
发明内容
本申请目的一是提供一种基于单目多目混合定位的位姿计算方法，具有位姿计算速度较快、稳定性强的特点。
本申请的上述发明目的一是通过以下技术方案得以实现的：
基于单目多目混合定位的位姿计算方法，包括：
单目特征匹配，基于单目图像和对应于单目图像的地图图像，确定基础单目特征集合和基础单目匹配集合；其中，所述单目图像基于多目摄像头的其中一目获取，所述基础单目特征集合包含多个提取于同一所述单目图像的基础单目追踪点；所述基础单目匹配集合包含在所述地图图像中匹配于各个所述基础单目追踪点的基础单目匹配点；
单目旋转计算，基于基础单目特征集合和基础单目匹配集合，确定初始旋转信息；其中，所述初始旋转信息用于反映旋转量；
混合特征匹配，基于至少两个单目图像和对应于各个单目图像的地图图像，确定混合特征集合和混合匹配集合；其中，各个所述单目图像均基于所述多目摄像头获取，所述混合特征集合包含多个提取于一张或多张所述单目图像的混合追踪点；所述混合匹配集合包含在各个所述地图图像中匹配于各个所述混合追踪点的混合匹配点对；
多目位姿计算，基于初始旋转信息、混合特征集合和混合匹配集合，确定最终位姿信息；其中，所述最终位姿信息用于反映多目摄像头的旋转量和平移量。
通过采用上述技术方案，多目摄像头由至少两个单目摄像头组成，在机器人正常移动的状态下，各个单目摄像头同步移动。利用基础单目特征集合和基础单目匹配集合进行位姿估算，可以快速准确地估算出多目摄像机的其中一个单目摄像机的旋转量，即初始旋转信息，然后，将初始旋转信息作为旋转量的初始值，可以结合混合特征集合和混合匹配集合进行多目位姿的计算，得到多目摄像头的平移量，进而计算出多目摄像头的相对位姿。由于单目位姿计算的过程中已经对旋转量进行预先计算，为多目位姿计算直接提供旋转量的参考，因此多目位姿计算可以更加快速地计算出平移量，极大提高计算效率，更加快速地完成位姿定位。
可选的，在单目旋转计算步骤的具体方法中，包括：
基于基础单目特征集合和基础单目匹配集合，确定单目点对集合；其中，所述单目点对集合包含多个匹配特征点对；所述匹配特征点对由所述基础单目追踪点和与其匹配的所述基础单目匹配点组成；
确定单目运动模拟集合；其中，所述单目运动模拟集合中包含多个用于模拟不同的运动量的单目运动模拟参数；
基于单目运动模拟集合对各个匹配特征点对进行单目投影误差估算，构建单目位姿误差模型；
其中，单目投影误差能够反映所述单目图像中与所述基础单目匹配点一致的特征点的位置与所述基础单目追踪点基于旋转量进行位置变换后的位置之间的误差；所述单目投影误差模型能够反映不同的所述单目运动模拟参数所对应的单目投影误差的大小；
基于单目位姿误差模型进行模型优化，确定单目最终误差模型；
基于单目最终误差模型对应的单目旋转模拟参数，确定初始旋转信息。
通过采用上述技术方案，通过各个单目运动模拟参数，可以模拟出多种不同的旋转量，若单目运动模拟参数对应的旋转量与单目摄像头实际的旋转量完全一致，则基础单目追踪点能够基于该旋转量进行反向移动到与基础单目匹配点重合的位置。基于不同的单目运动模拟参数对基础单目追踪点进行位置变换，相当于是基于不同的旋转量使基础单目追踪点反向移动，因此，可以计算单目追踪点反向移动后的位置与基础单目匹配点的位置之间的单目投影误差，若单目投影误差越大，则说明单目运动模拟参数对应的旋转量与单目摄像头实际的旋转量相差较大，若单目投影误差越小，则说明单目运动模拟参数对应的旋转量与单目摄像头实际的旋转量越接近。单目位姿误差模型可以反映不同的单目运动模拟参数所模拟出来的单目投影误差，通过优化单目位姿误差模型，可以得到单目投影误差整体较小的单目位姿误差模型，从而确定与单目摄像头实际的旋转量越接近的单目运动模拟参数，得到初始旋转信息。
可选的，所述单目运动模拟参数包括单目旋转模拟参数和单目平移模拟参数，其中，所述单目旋转模拟参数用于模拟所述单目摄像头的旋转量，所述单目平移模拟参数用于模拟所述单目摄像头的平移量。
通过采用上述技术方案，单目摄像头的运动不仅有旋转量，还有平移量，利用单目平移模拟参数将平移量也作为模拟的运动量参与计算，可以更加准确地得到单目投影误差模型。
可选的，所述混合特征集合包括混合单目特征子集和混合多目特征子集；
其中，所述混合单目特征子集内的各个混合追踪点提取于同一所述单目图像，所述混合多目特征子集内的各个混合追踪点提取于各个所述单目图像的重叠部分。
通过采用上述技术方案，引入混合单目特征子集进行位姿计算，而并非只使用混合多目特征子集位姿计算，可以减缓多目摄像头造成的视野缩小的问题，提高位姿计算的稳定性。
可选的，在多目位姿计算的具体方法中，包括：
确定多目运动模拟集合；其中，所述多目运动模拟集合中包含多个用于模拟不同的平移量的多目平移模拟参数；
基于初始旋转信息和多目运动模拟集合对混合匹配集合进行坐标转移，确定反推匹配集合；其中，所述反推匹配集合包含多个与各个混合匹配点对一一对应的反推匹配点对，所述反推匹配点对能够反映所述混合匹配点对基于旋转量和平移量进行位置调整后投影于所述单目图像的点；
基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建多目位姿误差模型；
基于多目位姿误差模型进行模型优化，确定多目最终误差模型；
基于多目最终误差模型对应的旋转量和平移量，确定最终位姿信息。
通过采用上述技术方案，将地图图像中匹配成功的混合匹配点对基于旋转量和平移量进行反向移动，可以得到反推匹配点对，若混合匹配点对对应的反推匹配点对与混合匹配点对对应的混合追踪点重合，则说明反推匹配点对对应的旋转量和平移量为多目摄像头实际的旋转量和平移量。通过持续选择不同的多目平移模拟参数，可以得到代表投影误差的多目位姿误差模型，而通过多目位姿误差模型，可以得到误差整体较小的多目位姿误差模型，从而确定与单目摄像头实际运动的越接近的旋转量和平移量，确定最终位姿信息。
可选的，在基于多目位姿误差模型进行模型优化，确定多目最终误差模型的具体方法中，包括：
基于多目位姿误差模型对应的平移量，利用高斯牛顿迭代法进行迭代优化，确定第一优化误差模型；
基于多目位姿误差模型对应的旋转量，利用高斯牛顿迭代法进行迭代优化，确定多目最终误差模型。
通过采用上述技术方案，由于已经确定了多目位姿误差模型中旋转量的初始值，因此可以对多目位姿误差模型中平移量进行优化，得到了较为准确的平移量之后，再对多目位姿误差模型中旋转量进行优化，相当于对旋转量进行微调，使旋转量和平移量均等得到优化，从而使提高位姿计算的准确性。
可选的，在基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建多目位姿误差模型的具体方法中，包括：
基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建基础误差模型；
基于鲁棒核函数对基础误差模型进行优化，确定多目位姿误差模型。
通过采用上述技术方案，鲁棒核函数可以降低基础误差模型中较大的误差对位姿计算的影响，得到更加稳定的计算结果。
可选的，在单目特征匹配的具体方法中，包括：
单目特征提取，基于单目图像和对应于单目图像的地图图像，确定初始单目特征集合和初始单目匹配集合；其中，所述初始单目特征集合包含多个初始单目特征点，所述初始单目匹配集合包含多个初始单目匹配点；
单目特征筛选，基于初始单目特征集合和初始单目匹配集合进行过滤优化，确定基础单目特征集合和基础单目匹配集合；
在单目特征筛选的具体方法中，包括：
基于匹配距离阈值，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除，确定基础单目特征集合和基础单目匹配集合；
其中，当所述初始单目特征点与对应所述初始单目匹配点之间的距离大于匹配距离阈值时，所述初始单目特征点确定为特征误导点，对应于所述特征误导点的所述初始单目匹配点确定为所述错误匹配点；
和/或，
基于匹配距离阈值和初始单目匹配点，在单目图像中确定虚拟特征点；其中，所述虚拟特征点为在所述匹配距离阈值所对应的距离范围内，与所述初始单目匹配点匹配度最高的点；
基于匹配距离阈值和虚拟特征点，在地图图像中确定反推虚拟点；其中，所述反推虚拟点为在所述匹配距离阈值所对应的距离范围内，与所述虚拟特征点匹配度最高的点；
基于各个反推虚拟点，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除，确定基础单目特征集合和基础单目匹配集合；
其中，当所述初始单目匹配点对应的所述反推虚拟点偏离于所述初始单目匹配点对应的所述初始单目特征点时，所述初始单目匹配点确定为所述错误匹配点，所述初始单目特征点确定为特征误导点；
和/或，
基于初始单目匹配点，确定备选特征点；
基于差异阈值、初始单目特征点和备选特征点，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除，确定基础单目特征集合和基础单目匹配集合；
其中，当所述初始单目特征点和所述备选特征点之间差值小于差异阈值时，所述初始单目特征点确定为特征误导点，所述初始单目特征点对应的所述初始单目匹配点确定为所述错误匹配点。
通过采用上述技术方案，由于单目摄像头在短时间内的转动范围有限，因此初始单目特征点与初始单目匹配点之间的距离有限，当该距离大于匹配距离阈值时，则说明这两个像素点匹配错误，需要剔除掉。
由于单目摄像头在短时间内的转动范围有限，因此可以预设初始单目匹配点发生位置转移的最大范围，并在范围内寻找与其最接近的虚拟特征点，若虚拟特征点与初始单目特征点一致，则说明初始单目特征点和初始单目匹配点正确匹配，反之则说明这两个像素点匹配错误，需要剔除掉。
由于初始单目特征点和初始单目匹配点存在一一对应的关系，若存在与初始单目特征点相似度较高的备选特征点，则备选特征点可能与初始单目匹配点具有匹配关系，初始单目特征点和初始单目匹配点匹配错误的风险较大，需要剔除掉。
本申请目的二是提供一种基于单目多目混合定位的位姿计算***，具有位姿计算速度较快、稳定性强的特点。
本申请的上述发明目的二是通过以下技术方案得以实现的：
基于单目多目混合定位的位姿计算***，包括：
单目特征匹配模块，用于基于单目图像和对应于单目图像的地图图像，确定基础单目特征集合和基础单目匹配集合；其中，所述单目图像基于多目摄像头的其中一目获取，所述基础单目特征集合包含多个提取于同一所述单目图像的基础单目追踪点；所述基础单目匹配集合包含在所述地图图像中匹配于各个所述基础单目追踪点的基础单目匹配点；
单目旋转计算模块，用于基于基础单目特征集合和基础单目匹配集合，确定初始旋转信息；其中，所述初始旋转信息用于反映旋转量；
混合特征匹配模块，用于基于至少两个单目图像和对应于各个单目图像的地图图像，确定混合特征集合和混合匹配集合；其中，各个所述单目图像均基于所述多目摄像头获取，所述混合特征集合包含多个提取于一张或多张所述单目图像的混合追踪点；所述混合匹配集合包含在各个所述地图图像中匹配于各个所述混合追踪点的混合匹配点对；
多目位姿计算模块，用于基于初始旋转信息、混合特征集合和混合匹配集合，确定最终位姿信息；其中，所述最终位姿信息用于反映多目摄像头的旋转量和平移量。
本申请目的三是提供一种智能终端，具有位姿计算速度较快、稳定性强的特点。
本申请的上述发明目的三是通过以下技术方案得以实现的：
一种智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述一种基于单目多目混合定位的位姿计算方法的计算机程序。
附图说明
图1是本申请实施例一的位姿计算方法的流程示意图。
图2是本申请实施例一的位姿计算方法中单目特征匹配步骤的子流程示意图。
图3是本申请实施例一的位姿计算方法中单目旋转计算步骤的子流程示意图。
图4是本申请实施例一的位姿计算方法中多目位姿计算步骤的子流程示意图。
图5是基于单目图像确定混合特征集合的示意图。
图6是本申请实施例二的位姿计算方法的流程示意图。
图7是本申请实施例二的位姿计算方法中单目特征匹配步骤的子流程示意图。
图8是本申请实施例三的位姿计算***的模块示意图。
图9是本申请实施例四的智能终端的示意图。
图中，1、单目特征匹配模块；2、单目旋转计算模块；3、混合特征匹配模块；4、多目位姿计算模块。
具体实施方式
在基于特征点的视觉SLAM***中，摄像头获取到的实时图片被转换为特征点的集合之后，需要与地图中已有的视觉特征进行匹配和定位计算，通过视觉定位的方式来分析摄像头发生的相对运动。视觉定位的核心原理是通过在不同时间看到的同一物理位置，或者同一时间不同方向看到的同一物理位置来判断摄像头的相对运动。
假定摄像头看到的物理位置为（X,Y,Z），则对于在三维空间中做完刚体运动之后的摄像头来说，物理位置会变换为（X，,Y，,Z，），坐标转换公式如公式（2）所示，
Figure 974194DEST_PATH_IMAGE001
（2）
其中，t为平移（三自由度位置），R为旋转矩阵（三自由度旋转），t与R合称位姿。工程实践中一般不直接求解旋转矩阵，而是用欧拉角、四元数、旋转轴和角度表示等方式来表示和求解R。
由于物理位置通过物理坐标的形式呈现，而视觉特征在图像中位置则通过像素坐标的形式呈现，因此，物理坐标和像素坐标之间需要通过投影模型进行坐标转换。
在小孔成像摄像头中，其投影模型如公式（3）所示，
Figure 720695DEST_PATH_IMAGE002
（3）
其中cu和cv为光心对应的像素位置，f为相对焦距（无量纲），这三个参数都可以通过离线标定获取，而X、Y、Z分别是特征点对应的物理坐标，X表示朝向右，Y表示朝向右下，Z表示朝向右前。
在双目摄像头拍摄得到左右两张图像中，如果一个物理点（X,Y,Z）被两个单目摄像头同时观察并匹配到，则可以使用三角化方法，利用公式（4）和公式（5）来计算其物理坐标：
Figure 562749DEST_PATH_IMAGE003
（4）
Figure 82592DEST_PATH_IMAGE004
（5）
其中，其中(u0,v0)为物理点在左边图像中的投影，(u1,v1) 为物理点在右边图像中的投影，B为双目摄像头的基线长度。
现有技术中的SLAM位姿定位方法中，存在以下技术缺陷：
1.在仅采用单目摄像头的位姿定位计算中，由于单目摄像头的PNP计算难以体现深度信息，因此位姿定位计算仅能计算出相对旋转和缺少一维尺度的相对位姿，位姿计算不够全面；
2.在基于匹配特征点对进行位姿定位计算时，往往会因为匹配错误的问题导致定位精度下降；
3. 在使用多目摄像头如双目摄像头进行位姿定位计算时，存在定位计算速度较慢的问题；
4. 在使用多目摄像头如双目摄像头进行位姿定位计算时，需要提取双目摄像头的共视区域内的物理特征，存在拍摄视野缩小的问题，尤其是在视野遮挡、长时间运行偏离预设标定参数、场景变化等情况下，位姿定位计算的稳定性较差。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本实施例中各步骤的标号仅为方便说明，不代表对各步骤执行顺序的限定，在实际应用时，可以根据需要各步骤执行顺序进行调整，或同时进行，这些调整或者替换均属于本发明的保护范围。
下面结合说明书附图1-图9对本申请实施例作进一步详细描述。
实施例一：
本申请实施例提供一种基于单目多目混合定位的位姿计算方法，所述方法的主要流程描述如下。
参照图1，S01、单目特征匹配，基于单目图像和对应于单目图像的地图图像，确定基础单目特征集合和基础单目匹配集合。
其中，一个多目摄像头可以由多个单目摄像头组成，各个单目摄像头的视野区域之间具有重叠的区域，在机器人移动时，组成多目摄像头的各个单目摄像头会跟随机器人同步移动。
单目图像指的是由单目摄像头获取的图像；地图图像指的是由获取单目图像的单目摄像头上一个时间节点获取的图像。因此，地图图像可以理解为单目摄像头在移动前获取的图像，单目图像可以理解为单目摄像头在移动后获取的图像，地图图像和单目图像应该具有相同的特征点，通过比对地图图像的特征点和单目图像的对应特征点之间的位置变化，可以计算出单目摄像头的旋转量和平移量，即单目摄像头是否有发生转动、平移或者两者都有，从而计算出单目摄像头的位姿。
基础单目特征集合包含有多个基础单目追踪点，各个基础单目追踪点均为从同一单目图像中提取的特征点。基础单目匹配集合包含有多个基础单目匹配点，各个基础单目匹配点均为从同一地图图像中的特征点，各个基础单目匹配点与各个基础单目追踪点一对一具有匹配关系。
具体的，获取单目图像的单目摄像头应与获取地图图像的单目摄像头一致，如在本实施例中采用双目摄像头，若获取单目图像的单目摄像头为双目摄像头中的左目摄像头，则获取地图图像的单目摄像头也为双目摄像头中的左目摄像头。
在步骤S01中，包括：
参照图2，S011、单目特征提取，基于单目图像和对应于单目图像的地图图像，确定初始单目特征集合和初始单目匹配集合。
其中，初始单目特征集合包含有多个初始单目特征点，各个初始单目特征点均为从同一单目图像中提取的像素点。基础单目特征集合为初始单目特征集合的子集，初始单目特征集合经过筛选优化可以得到基础单目特征集合。
初始单目匹配集合包含有多个初始单目匹配点，各个初始单目匹配点均为从同一单目图像中提取的像素点，各个初始单目匹配点与各个初始单目特征点一对一具有匹配关系。基础单目匹配集合为初始单目匹配集合的子集，初始单目匹配集合经过筛选优化可以得到基础单目匹配集合。
其中，初始单目匹配点与初始单目特征点为通过特征匹配算法得到的特征点对，记初始单目匹配集合为：
Figure 460746DEST_PATH_IMAGE005
，
其中，(ui,vi)表示初始单目匹配点的像素位置坐标，s为强度值，d为描述子，本实施例中描述子为固定大小的矩阵。
记初始单目特征集合为：
Figure 79946DEST_PATH_IMAGE006
；
其中，(uj,vj)表示初始单目匹配点的像素位置坐标，s为强度值，d为描述子，本实施例中描述子为固定大小的矩阵。
特征匹配算法则是需要计算出集合
Figure 81400DEST_PATH_IMAGE007
，使得差值
Figure 342618DEST_PATH_IMAGE008
最小化或满足预设的最小阈值，从确定相互匹配的初始单目匹配点和初始单目特征点。
S012、单目特征筛选，基于初始单目特征集合和初始单目匹配集合进行过滤优化，确定基础单目特征集合和基础单目匹配集合。
由于在工程实践中，特征匹配算法可能会出现错误，导致初始单目匹配点和对应的初始单目特征点实际上并非相互匹配，若将这部分匹配错误的像素点继续进行位姿计算，则会影响计算的精度和稳定性，因此需要对各个初始单目匹配点和各个初始单目特征点进行筛选，过滤掉匹配错误的像素点。
在步骤S012中，包括：
S0121、基于匹配距离阈值，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除。
其中，由于单目摄像头在短时间内的转动范围有限，因此，若初始单目匹配点和初始单目特征点指示同一实际特征，则初始单目匹配点的像素坐标和初始单目特征点的像素坐标之间的偏差具有最大移动范围，而匹配距离阈值则为用于是指该最大移动范围的参数值。在本实施例中，匹配距离阈值预设于***中。
在本步骤中，特征误导点指的是错误匹配的初始单目特征点，特征误导点与对应的初始单目匹配点之间的像素坐标差值大于等于匹配距离阈值。错误匹配点指的是错误匹配的初始单目匹配点，错误匹配点与特征误导点相对应。
在步骤S0121中，当初始单目匹配点和初始单目特征点之间接受匹配距离阈值的最大范围限定时，初始单目匹配点和初始单目特征点之间满足距离匹配的验证要求，不满足验证要求的初始单目匹配点和初始单目特征点会被剔除，降低匹配错误的概率。
S0122、基于匹配距离阈值和初始单目匹配点，在单目图像中确定虚拟特征点。
其中，各个虚拟特征点与各个初始单目匹配点一一对应。虚拟特征点指的是在单目图像中以初始单目匹配点的坐标为圆心、匹配距离阈值为半径的范围区域中，与该初始单目匹配点匹配度最高的点。其中，匹配度最高的具体条件为描述子差值最小。
其中，若初始单目匹配点和初始单目特征点匹配正确，则在单目图像中，虚拟特征点与初始单目特征点重合。
S0123、基于匹配距离阈值和虚拟特征点，在地图图像中确定反推虚拟点。
其中，各个反推虚拟点与各个虚拟特征点一一对应，各个反推虚拟点也与各个虚拟特征点对应的初始单目匹配点一一对应。反推虚拟点指的是在地图图像中以虚拟特征点的坐标为圆心、匹配距离阈值为半径的范围区域中，与该虚拟特征点匹配度最高的点。其中，匹配度最高的具体条件为描述子差值最小。
其中，若初始单目匹配点和初始单目特征点匹配正确，虚拟特征点与初始单目特征点重合，则在地图图像中，反推虚拟点和初始单目匹配点重合。
S0124、基于反推虚拟点，在初始单目匹配集合中寻找错误匹配点并剔除，在初始单目特征集合中寻找特征误导点并剔除。
其中，若反推虚拟点和与其对应的初始单目匹配点重合，则说明该初始单目匹配点和对应初始单目特征点为正确匹配；反之，则说明该初始单目匹配点和对应初始单目特征点为错误匹配。
在本步骤中，特征误导点指的是错误匹配的初始单目特征点，各个特征误导点从初始单目特征集合中剔除；错误匹配点指的是错误匹配的初始单目匹配点，错误匹配点与特征误导点相对应，各个错误匹配点从初始单目匹配集合中剔除。
在步骤S0122至步骤S0124中，当初始单目匹配点接受与反推虚拟点之间的匹配时，初始单目匹配点可以完成从地图图像到单目图像、再从单目图像到地图图像之间的双向匹配验证，不满足双向匹配验证的初始单目匹配点会被剔除，降低匹配错误的概率。
S0125、基于初始单目匹配点，确定备选特征点。
其中，备选特征点指的是在单目图像中提取的、除初始单目特征点以外的像素点中，与初始单目匹配点之间描述子差值最小的像素点，即在单目图像中，除初始单目特征点以外的、与初始单目匹配点匹配度最高的点。
在本实施例中，每一个初始单目匹配点对应有两个备选特征点，分别为第一备选特征点和第二备选特征点，其中，第一备选特征点与初始单目匹配点之间的匹配度高于第二备选特征点与初始单目匹配点之间的匹配度。
S0126、基于差异阈值、初始单目特征点和备选特征点，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除，确定基础单目特征集合和基础单目匹配集合。
其中，由于初始单目特征点和初始单目匹配点应存在一一对应的关系，若初始单目匹配点同时存在多个匹配度均较高的像素点，则说明初始单目特征点与初始单目匹配点之间的匹配较为模糊，而差异阈值则用于反映该模糊程度。
当初始单目特征点的描述子和备选特征点的描述子之间的差值小于等于差异阈值时，则说明初始单目特征点和备选特征点之间较为模糊，初始单目特征点和初始单目匹配点发生匹配错误的风险较大，此时则将对应的初始单目特征点确定为特征误导点，并将对应的初始单目匹配点确定为错误匹配点。
在本实施例中，初始单目特征点和第一备选特征点之间的描述子的差值、初始单目特征点和第二备选特征点之间的描述子的差值应同时满足小于等于差异阈值的条件。
当初始单目特征点的描述子和备选特征点的描述子之间的差值大于差异阈值时，则说明初始单目特征点和备选特征点之间差异较大，可以确定初始单目特征点唯一能够与初始单目匹配点发生匹配的像素点，此时初始单目特征点具有独一性，初始单目特征点与初始单目匹配点之间视为成功匹配。
在步骤S0125至步骤S0126中，当初始单目特征点与备选特征点之间差异较大时，初始单目特征点满足独一性验证的要求，而不满足独一性验证要求的始单目特征点和初始单目匹配点会被剔除，降低匹配错误的概率。
利用步骤S0121至步骤S0126，可以从初始单目特征集合中剔除过滤掉各个特征误导点，过滤后的初始单目特征集合为基础单目特征集合，并从初始单目匹配集合中剔除过滤掉各个错误匹配点，过滤后的初始单目匹配集合为基础单目匹配集合。
由于双目摄像头通过两个单目摄像头，能够获取两组单目图像和两组地图图像，基于左目的单目图像和左目的地图图像，能够提取出基于左目的初始单目特征集合和初始单目匹配集合，记为初始左目特征集合和初始左目匹配集合；也能够提取出基于右目的初始单目特征集合和初始单目匹配集合，记为初始右目特征集合和初始右目匹配集合。
在本实施例中，初始左目特征集合和初始左目匹配集合会利用步骤S0121至步骤S0126进行筛选，得到基于左目的基础单目特征集合和基础单目匹配集合，记为基础左目特征集合和基础左目匹配集合。
同时，初始右目特征集合和初始右目匹配集合也会利用步骤S0121至步骤S0126进行筛选，得到基于右目的基础单目特征集合和基础单目匹配集合，记为基础右目特征集合和基础右目匹配集合。
S02、单目旋转计算，基于基础单目特征集合和基础单目匹配集合，确定初始旋转信息。
其中，地图图像和单目图像为在单目摄像头在不同时刻获取的两张图像，基础单目匹配点与基础单目追踪点相当于为两张图像中能够辨认出同一空间位置的特征点对，通过几何透视分析特征点对位置变换，可以计算出单目摄像头的运动量。单目摄像头的运动量包括有代表旋转量和平移量，其中旋转量能够指示转动角度和转动方向，平移量能够指示平移距离和平移方向，两者结合可以反映单目摄像头的完成运动。初始旋转信息指的是能够反映单目摄像头的旋转量的信息。
在本实施例中，在基础左目特征集合和基础左目匹配集合形成的组合、基础右目特征集合和基础右目匹配集合形成的组合中，仅会有一组基础单目特征集合和基础单目匹配集合参与单目旋转计算步骤的计算，具体由***设定。
在步骤S02中，包括：
参照图3，S021、基于基础单目特征集合和基础单目匹配集合，确定单目点对集合。
其中，在基础单目特征集合和基础单目匹配集合中，任意一个基础单目追踪点和与其匹配的基础单目匹配点可以形成一个匹配特征点对，各个匹配特征点对组成单目点对集合。
S022、利用随机采样一致性算法，对单目点对集合进行外点剔除。
其中，单目点对集合中可能包含有匹配错误的匹配特征点对，这部分错误的匹配特征点对在后续的位姿计算中会造成较大的计算错误，外点剔除指的是将这部分匹配特征点对作为外点从单目点对集合中剔除掉，消除匹配错误的匹配特征点对对位姿计算的不良影响。
在本实施例中，优选随机采样一致性算法为执行外点剔除的方法，随机采样一致性算法的实施方法为：在单目点对集合中随机挑选一个最小可解的匹配特征点对，计算出一个假设的位姿结果作为假定位姿；然后进行误差计算，将假定位姿代入所有的匹配特征点对中，计算出多个与该假定位姿相对应的计算误差；然后进行误差统计，将得到的计算误差与预设的误差阈值进行一一比对，当任意一个计算误差小于误差阈值时，则视为该计算误差对应的匹配特征点对支持该假定位姿，因此，一个假定位姿可以得到多个支持的匹配特征点对。
通过重复随机挑选一个最小可解的匹配特征点对，计算出一个假设的位姿结果作为假定位姿的过程进行n次，可以得到n个假定位姿，其中，得到最多的匹配特征点对支持的假定位姿为最接近实际的假定位姿，所有不支持该假定位姿的匹配特征点对则成为外点，将会从单目点对集合中剔除。
S023、确定单目运动模拟集合。
其中，单目运动模拟集合中包含有多个数值不同的单目运动模拟参数，各个单目运动模拟参数用于模拟不同的运动量。在本实施例中，各个单目运动模拟参数分为单目旋转模拟参数和单目平移模拟参数，其中，单目旋转模拟参数用于模拟单目摄像头的旋转量，而单目平移模拟参数用于模拟所述单目摄像头的平移量。
S024、基于单目运动模拟参数，对各个匹配特征点对进行单目投影误差估算，构建单目位姿误差模型。
其中，不同的单目运动模拟参数模拟了单目摄像头不同的运动量，通过不同的运动量可以对单目摄像头进行反向运动的推导。理论上来说，若单目运动模拟参数模拟的运动量与单目摄像头实际的运动量完全一致，则当单目摄像头进行反向运动之后，单目摄像头获取单目图像的位置应与单目摄像头获取地图图像的位置一致，因此，单目图像的视觉特征与地图图像的视觉特征能够重合。
单目投影误差估算指的是在匹配特征点对中，将基础单目追踪点基于单目摄像头的反向运动推导进行位置变换后的位置与基础单目匹配点的位置之间的误差；若单目运动模拟参数模拟的运动量与单目摄像头实际的运动量越接近，则单目投影误差整体越小，反之单目投影误差整体则最大，而单目位姿误差模型则用于反映单目投影误差的整体大小。
在构建单目位姿误差模型的具体过程中，首先，需要将匹配特征点对{u,v,u,,v,}通过公式（6）进行坐标转换，得到匹配特征点对的归一化坐标{x,y,x,,y,}，
Figure 73813DEST_PATH_IMAGE009
（6）
其中，其中cu、cv为光心对应的像素位置，f为相对焦距（无量纲）；
然后，基于匹配特征点对的归一化坐标{x,y,x,,y,}，可以通过公式（7）构建关于单目投影误差的单目位姿误差模型，
Figure 365379DEST_PATH_IMAGE010
（7）
其中，其中[t]X为平移量的叉积矩阵形式，R为代表旋转量的旋转矩阵。
具体的，f（t,R）能够代表单目投影误差的大小，而并非是单目投影误差本身，而当单目运动模拟参数正确模拟出单目摄像头的实际运动时，f（t,R）=0。
S025、基于单目位姿误差模型进行模型优化，确定单目最终误差模型。
其中，将至少6个匹配特征点对代入单目位姿误差模型中，可以对单目位姿误差模型中的旋转量和平移量求解。通过持续代入匹配特征点对，并且持续选取不同的单目旋转模拟参数、单目平移模拟参数，可以得到不同的单目投影误差。考虑到匹配特征点对本身的像素坐标可能存在误差，需要将大量的匹配特征点对都放入单目位姿误差模型中进行计算，以提高计算精度。此时，单目位姿误差模型则变成一个二次型误差函数的优化问题，因此需要对单目位姿误差模型进行模型优化。
在本实施例中，模型优化的具体方法为：采用高斯牛顿迭代法对单目位姿误差模型进行迭代优化，将迭代完成的函数模型作为单目最终误差模型。
S026、基于单目最终误差模型对应的单目旋转模拟参数，确定初始旋转信息。
其中，单目最终误差模型代表单目投影误差整体较小时的函数模型，此时，单目最终误差模型所对应的旋转量接近于单目摄像头实际的旋转量，因此，可以此单目旋转模拟参数所模拟的旋转量，确定初始旋转信息。
初始旋转信息能够反映单目摄像头的旋转量，由于构成双目摄像头的各个单目摄像头同步移动，因此，初始旋转信息也能够反映双目摄像头整体的旋转量。
S03、混合特征匹配，基于至少两个单目图像和对应于各个单目图像的地图图像，确定混合特征集合和混合匹配集合。
其中，混合匹配集合包含有多个混合匹配点对，各个混合匹配点对均提取于各个地图图像中的重叠区域，即混合匹配点对所代表的物理特征同时被两个单目摄像头（即双目摄像头）拍摄到。
混合特征集合包含有多个混合追踪点，各个混合追踪点与各个混合匹配点对具有匹配关系。具体的，混合特征集合包括有混合单目特征子集和混合多目特征子集，其中，混合单目特征子集包含有提取于单个单目图像的各个混合单目追踪点，混合多目特征子集包含有提取于多个单目图像重叠区域（即实际场景的共视区域）的各个混合多目追踪点对。
具体的，以双目摄像头为例，混合匹配点对的像素坐标为{u0 ,,v0 ,,u1 ,,v1 ,}，其中，混合匹配点对投影于左边的地图图像的像素坐标为（u0 ,,v0 ,），混合匹配点对投影于右边的地图图像的像素坐标为（u1 ,,v1 ,）；
混合多目追踪点对的像素坐标为{u0,v0,u1,v1}，其中，混合多目追踪点对投影于左边的单目图像的像素坐标为（u0,v0），记为混合左目追踪点；混合多目追踪点对投影于右边的单目图像的像素坐标为（u1,v1），记为混合右目追踪点。
参照图5，混合单目特征子集可以分为混合左目特征子集和混合右目特征子集，其中，混合左目特征子集包含所有从左目单目图像中提取的混合左目追踪点（u0,v0），混合左目特征子集包含有混合多目特征子集中不存在的像素点；混合右目特征子集包含所有从右目单目图像中提取的混合右目追踪点（u1,v1），混合右目特征子集也包含有混合多目特征子集中不存在的像素点。
由此可知，在本实施例中，能够与混合匹配点对进行计算的像素点对可以不完整，当双目摄像头都拍摄到的特征能够与混合匹配点对进行匹配时，则可以使用{u0 ,,v0 ,,u1 ,,v1 ,}；当仅有左目摄像头拍摄到的特征能够与混合匹配点对进行匹配时，则可以使用混合左目追踪点（u0,v0）；当仅有右目摄像头拍摄到的特征能够与混合匹配点对进行匹配时，则可以使用混合右目追踪点（u1,v1）。
在本实施例中，为了降低混合匹配点对和混合追踪点之间的匹配错误率，混合匹配点对应从基础左目匹配集合和基础右目匹配集合之间的交集中提取出；混合多目追踪点对应从基础左目特征集合和基础右目特征集合之间的交集中提取出；混合左目追踪点应从基础左目特征集合中提取出；混合右目追踪点应从基础右目特征集合中提取出；以使混合匹配点对和各个混合追踪点均经过步骤S0121至步骤S0126的过滤，剔除匹配错误的像素点。
进一步的，混合匹配集合中可能包含有匹配错误的混合匹配点对，这部分错误混合匹配点对为外点，在后续的位姿计算中会造成较大的计算错误。为了这部分外点带来的不良影响，混合单目特征子集、混合多目特征子集均需要通过随机采样一致性算法，剔除掉匹配错误的像素点，并且混合匹配集合中也需要剔除掉对应的混合匹配点对。
参照图3，S04、多目位姿计算，基于初始旋转信息、混合特征集合和混合匹配集合，确定最终位姿信息。
其中，最终位姿信息用于反映多目摄像头的旋转量和平移量。混合特征集合和混合匹配集合通过坐标位置分析，可以估算出多目摄像头的旋转量和平移量，确定多目摄像头的位姿。将单目位姿计算中的初始旋转信息作为多目位姿计算中旋转量的初始值进行计算，可以提高多目位姿计算的计算效率。
由于混合特征集合不仅包含混合多目追踪点对，还包括有混合左目追踪点和混合右目追踪点，因此，除了左目单目图像和右目单目图像的共有区域，左目单目图像或右目单目图像中的部分视觉特征也能够参与计算，缓解了双目摄像头在多目位姿计算中存在的视野缩小的问题，提高位姿计算的稳定性。
在步骤S04中，包括：
参照图4，S041、确定多目运动模拟集合。
其中，多目运动模拟集合中包含多个多目平移模拟参数和多个多目旋转模拟参数，其中，多目平移模拟参数用于模拟不同的平移量，多目旋转模拟参数用于模拟不同的旋转量。
S042、基于初始旋转信息和多目运动模拟集合对混合匹配集合进行坐标转移，确定反推匹配集合。
其中，不同的多目运动模拟参数模拟了多目摄像头不同的运动量，通过不同的运动量可以对多目摄像头进行反向运动的推导。各个混合匹配点对基于多目摄像头的反向运动进行位置转移，可以得到各个反推匹配点对，各个反推匹配点对组成反推匹配集合。
在本实施例中，由于已经存在初始旋转信息作为旋转量的初始值，因此，在步骤S042中，采用多目平移模拟参数来模拟不同的平移量，对多目摄像头进行反向运动的推导。
具体的，利用公式（8）对混合匹配点对的像素坐标{u0 ,,v0 ,,u1 ,,v1 ,}进行坐标转换，可以得到的混合匹配点对的实际坐标（X,Y,Z），
Figure 182026DEST_PATH_IMAGE011
（8）
其中cu、cv分别为光心对应的像素坐标，f为相对焦距（无量纲），B为双目摄像头的基线长度；
将实际坐标（X,Y,Z）、初始旋转信息和多目平移模拟参数通过公式（9），可以得到反推匹配点对的实际坐标（X，,Y，,Z，）；
Figure 778092DEST_PATH_IMAGE012
（9）
其中，t为平移量，R为初始旋转信息转换得到的旋转矩阵；
而通过将反推匹配点对的实际坐标（X，,Y，,Z，）代入公式（10），可以得到反推匹配点对的像素坐标{u0 ,,,v0 ,,,u1 ,,,v1 ,,}；
Figure 98215DEST_PATH_IMAGE013
（10）
其中，(u0 ,,,v0 ,,)为反推匹配点对在左目单目图像中的投影坐标，记为左目单推点(u0 ,,,v0 ,,)；(u1 ,,,v1 ,,)为反推匹配点对在右目单目图像中的投影坐标，记为右目单推点(u1 ,,,v1 ,,)；B为双目摄像头的基线长度。
S043、基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建多目位姿误差模型。
其中，多目投影误差估算指的是混合单目追踪点与反推匹配点对之间的位置误差，或者混合多目追踪点对与反推匹配点对之间的位置误差。若多目运动模拟参数模拟的运动量与多目摄像头实际的运动量越接近，则多目投影误差整体越小，反之多目投影误差整体则最大，而多目位姿误差模型则用于反映多目投影误差的整体大小。
在本实施例中，多目投影误差的具体计算方法为：将各个左目单推点与对应混合左目追踪点之差的平方、各个右目单推点与对应混合右目追踪点之差的平方，以及各个反推匹配点对与对应混合多目追踪点对之差的平方相累加，构建多目位姿误差模型。
在步骤S043中，包括：
S0431、基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建基础误差模型。
其中，基于各个左目单推点、各个右目单推点、各个混合多目追踪点对、各个左目单推点、各个右目单推点，以及各个反推匹配点对，可以构建反映多目投影误差整体大小的基础误差模型。
S0432、基于鲁棒核函数对基础误差模型进行优化，确定多目位姿误差模型。
其中，通过在函数模型中持续代入各个像素点，并且持续选取不同的多目平移模拟参数，可以得到不同的多目投影误差。在分析计算过程中，需要将大量的像素点都放入基础误差模型中进行计算，使得基础误差模型变成一个二次型误差函数的优化问题。但是，若出现匹配错误的像素点代入函数模型中，则会严重影响计算结果。
为了减少匹配错误的像素点造成的不良影响，在本实施例中，使用鲁棒核函数对基础误差模型进行模型优化，将二次型优化问题中误差函数从二次函数改变为鲁棒核函数，得到多目位姿误差模型。
使用鲁棒核函数进行模型的具体方法参见公式（11），
Figure 357420DEST_PATH_IMAGE014
（11）
其中，误差e指的是相互匹配的像素点之间的差值，如左目单推点与对应混合左目追踪点之差、右目单推点与对应混合右目追踪点之差，以及反推匹配点对与对应混合多目追踪点对之差；阈值δ为***预设的误差阈值。当误差e大于阈值δ时，该误差e所对应的像素点可能存在匹配错误，而在多目位姿误差模型中，该误差e呈现的线性也会得到减缓，从而削弱匹配错误对多目位姿计算的影响，计算稳定性更高。
S044、基于多目位姿误差模型进行模型优化，确定多目最终误差模型。
其中，多目最终误差模型指的是多目位姿误差模型进行迭代优化后得到的函数模型，在多目最终误差模型，多目投影误差整体较小，因此多目最终误差模型所对应的平移量和旋转量更加接近多目摄像头实际的平移量和旋转量。
在步骤S044中，包括：
S0441、基于多目位姿误差模型对应的平移量，利用高斯牛顿迭代法进行迭代优化，确定第一优化误差模型。
其中，由于多目位姿误差模型中的旋转量已经有了较为准确的初始量，因此可以使用高斯牛顿迭代法基于多目位姿误差模型中平移量迭代优化，得到第一优化误差模型，第一优化误差模型所对应的平移量更加接近于多目摄像头实际的平移量。
S0442、基于多目位姿误差模型对应的旋转量，利用高斯牛顿迭代法进行迭代优化，确定多目最终误差模型。
其中，由于多目位姿误差模型中的平移量已经有了较为准确的初始量，因此可以使用高斯牛顿迭代法基于多目位姿误差模型中旋转量迭代优化，相当于是对旋转量进行微调，得到更加准确的旋转量，进而确定多目最终误差模型。
S045、基于多目最终误差模型对应的旋转量和平移量，确定最终位姿信息。
其中，经过高斯牛顿及其变种Levenberg-Marquardt迭代法的多次迭代，多目最终误差模型中的旋转量和平移量进行联合优化，得到能够反映多目摄像头实际运动的旋转量和平移量，从而确定最终位姿信息。最终位姿信息能够体现多目摄像头的相对旋转和相对平移，进而可以多目摄像头的位姿。
本申请实施例一的实施原理为：利用基础单目特征集合和基础单目匹配集合进行位姿估算，可以快速准确地估算出多目摄像机的其中一个单目摄像机的旋转量，即初始旋转信息。在后续的多目位姿定位的计算过程中，可以将初始旋转信息作为旋转量的初始值，结合混合特征集合和混合匹配集合构建误差函数的函数模型，先对函数模型中的平移量进行优化，然后再对函数模型中的旋转量进行继续优化，这种平移量和旋转量依次联合优化的方式，可以极大地提高计算效率和数值稳定性，更加快速稳定地完成位姿定位。
在单目位姿的计算过程中，会模拟单目摄像头的平移量和旋转量并计算单目投影误差，来构建误差函数的函数模型，但是在求解过程中，函数模型的平移量的等比例缩放并不影响等式的成立，因此求解出来的平移量只具有方向性而不具有确定的尺度，这种情况利用标定好的双目摄像头可以计算出平移量的尺度，而在本实施例中，则直接采用单目摄像头的旋转量作为后续多目位姿计算的基础初始量，忽略单目摄像头的平移量在后续多目位姿计算中的作用，使多目位姿计算更加稳定。
实施例二：
本实施例与实施例一的区别在于，在基于单目多目混合定位的位姿计算方法的步骤S02中，单目运动模拟集合包括两种情况，分别为单目平移模拟参数不等于0的情况，以及单目平移模拟参数等于0的情况。
参照图6，在本实施例的步骤S02中，包括：
S021、基于基础单目特征集合和基础单目匹配集合，确定单目点对集合。
S022、利用随机采样一致性算法，对单目点对集合进行外点剔除。
S023、确定单目运动模拟集合。
S024、基于单目运动模拟参数，对各个匹配特征点对进行单目投影误差估算，构建单目位姿误差模型。
在步骤S024中，包括：
S0241、基于单目旋转运动模拟参数和单目平移模拟参数，对各个匹配特征点对进行单目投影误差估算，构建第一单目位姿误差模型。
其中，单目平移模拟参数模拟的平移量不等于0。首先，需要将匹配特征点对{u,v,u,,v,}通过公式（6）进行坐标转换，得到匹配特征点对的归一化坐标{x,y,x,,y,}，
Figure 395783DEST_PATH_IMAGE009
（6）
其中，其中cu、cv为光心对应的像素位置，f为相对焦距（无量纲）；
然后，基于匹配特征点对的归一化坐标{x,y,x,,y,}，可以通过公式（7）构建关于单目投影误差的第一单目位姿误差模型，
Figure 733224DEST_PATH_IMAGE010
（7）
其中，其中[t]X为平移量的叉积矩阵形式，R为代表旋转量的旋转矩阵。
S0242、基于单目旋转运动模拟参数，对各个匹配特征点对进行单目投影误差估算，构建第二单目位姿误差模型。
其中，由于单目平移模拟参数不参与计算，因此单目平移模拟参数模拟的平移量相当于等于0。首先，需要将匹配特征点对{u,v,u,,v,}通过公式（6）进行坐标转换，得到匹配特征点对的归一化坐标{x,y,x,,y,}，
Figure 111116DEST_PATH_IMAGE009
（6）
其中，其中cu、cv为光心对应的像素位置，f为相对焦距（无量纲）；
然后，基于匹配特征点对的归一化坐标{x,y,x,,y,}，可以通过齐次变换来构建关于单目投影误差的第二单目位姿误差模型。
S025、基于单目位姿误差模型进行模型优化，确定单目最终误差模型。
在步骤S025中，包括：
S0251、基于第一单目位姿误差模型进行模型优化，确定第一单目最终误差模型。
其中，通过持续将大量匹配特征点对代入第一单目位姿误差模型，持续选取不同的单目旋转模拟参数、单目平移模拟参数，并通过高斯牛顿迭代法对第一单目位姿误差模型进行迭代优化，可以得到第一单目最终误差模型。
S0252、基于第二单目位姿误差模型进行模型优化，确定第二单目最终误差模型。
其中，通过持续将大量匹配特征点对代入第二单目位姿误差模型，持续选取不同的单目旋转模拟参数，并通过高斯牛顿迭代法对第二单目位姿误差模型进行迭代优化，可以得到第二单目最终误差模型。
S026、基于单目最终误差模型对应的单目旋转模拟参数，确定初始旋转信息。
在步骤S026中，包括：
S0261、基于第一单目最终误差模型对应的单目旋转模拟参数和单目平移模拟参数，确定第一投影误差。
其中，第一投影误差指的是，当各个基础单目追踪点基于第一单目最终误差模型中模拟的旋转量和平移量进行坐标位置转移之后，各个基础单目追踪点与各个基础单目匹配点之差的平方和。
S0262、基于第二单目最终误差模型对应的单目旋转模拟参数，确定第二投影误差。
其中，第二投影误差指的是，当各个基础单目追踪点基于第二单目最终误差模型中模拟的旋转量进行坐标位置转移之后，各个基础单目追踪点与各个基础单目匹配点之差的平方和。
S0263、基于第一投影误差和第二投影误差，确定初始旋转信息。
其中，对比第一投影误差和第二投影误差，若第一投影误差小于等于第二投影误差在，则基于第一单目最终误差模型对应的旋转量确定初始旋转信息；若第一投影误差大于第二投影误差在，则基于第二单目最终误差模型对应的旋转量确定初始旋转信息；
本申请实施例二的实施原理为：在构建第一单目位姿误差模型的函数等式中，当平移量为0时难以求解，因此需要区分单目平移模拟参数不等于0，以及单目平移模拟参数等于0的情况进行计算，分别求出两种情况下的最小的单目投影误差，即得到第一投影误差和第二投影误差。通过比对第一投影误差和第二投影误差，可以确定其中的较小值为更加接近实际的投影误差，因此可以通过较小值所对应的旋转量确定初始旋转信息。这种区分平移量是否为0并分开计算的方法，可以更加准确地反映实际位姿。
实施例三：
参照图8，在一个实施例中，提供一种基于单目多目混合定位的位姿计算***，与上述实施例一中的基于单目多目混合定位的位姿计算方法一一对应，该***包括单目特征匹配模块1、单目旋转计算模块2、混合特征匹配模块3以及多目位姿计算模块4。各功能模块详细说明如下：
单目特征匹配模块1，用于基于单目图像和对应于单目图像的地图图像，确定基础单目特征集合和基础单目匹配集合，向单目旋转计算模块2发送单目特征匹配信息；其中，单目图像基于多目摄像头的其中一目获取，基础单目特征集合包含多个提取于同一单目图像的基础单目追踪点；基础单目匹配集合包含在地图图像中匹配于各个基础单目追踪点的基础单目匹配点；
单目旋转计算模块2，用于基于基础单目特征集合和基础单目匹配集合，确定初始旋转信息，向混合特征匹配模块3发送单目旋转计算信息；其中，初始旋转信息用于反映旋转量；
混合特征匹配模块3，用于基于至少两个单目图像和对应于各个单目图像的地图图像，确定混合特征集合和混合匹配集合，向多目位姿计算模块4发送混合特征匹配信息；其中，各个单目图像均基于多目摄像头获取，混合特征集合包含多个提取于一张或多张单目图像的混合追踪点；混合匹配集合包含在各个地图图像中匹配于各个混合追踪点的混合匹配点对；
多目位姿计算模块4，用于基于初始旋转信息、混合特征集合和混合匹配集合，确定最终位姿信息；其中，最终位姿信息用于反映多目摄像头的旋转量和平移量。
实施例四：
参照图9，在一个实施例中，提供了一种智能终端，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中存储器存储训练模型中的训练数据、算法公式以及滤波机制等。处理器用于提供计算和控制能力，处理器执行计算机程序时实现以下步骤：
S01、单目特征匹配，基于单目图像和对应于单目图像的地图图像，确定基础单目特征集合和基础单目匹配集合。
在步骤S01中，包括：
S011、单目特征提取，基于单目图像和对应于单目图像的地图图像，确定初始单目特征集合和初始单目匹配集合。
S012、单目特征筛选，基于初始单目特征集合和初始单目匹配集合进行过滤优化，确定基础单目特征集合和基础单目匹配集合。
在步骤S012中，包括：
S0121、基于匹配距离阈值，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除。
S0122、基于匹配距离阈值和初始单目匹配点，在单目图像中确定虚拟特征点。
S0123、基于匹配距离阈值和虚拟特征点，在地图图像中确定反推匹配点对。
S0124、基于反推匹配点对，在初始单目匹配集合中寻找错误匹配点并剔除，在初始单目特征集合中寻找特征误导点并剔除。
S0125、基于初始单目匹配点，确定备选特征点。
S0126、基于差异阈值、初始单目特征点和备选特征点，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除，确定基础单目特征集合和基础单目匹配集合。
S02、单目旋转计算，基于基础单目特征集合和基础单目匹配集合，确定初始旋转信息。
在步骤S02中，包括：
S021、基于基础单目特征集合和基础单目匹配集合，确定单目点对集合。
S022、利用随机采样一致性算法，对单目点对集合进行外点剔除。
S023、确定单目运动模拟集合。
S024、基于单目旋转运动模拟参数和单目平移模拟参数，对各个匹配特征点对进行单目投影误差估算，构建单目位姿误差模型。
S025、基于单目位姿误差模型进行模型优化，确定单目最终误差模型。
S026、基于单目最终误差模型对应的单目旋转模拟参数，确定初始旋转信息。
S03、混合特征匹配，基于至少两个单目图像和对应于各个单目图像的地图图像，确定混合特征集合和混合匹配集合。
S04、多目位姿计算，基于初始旋转信息、混合特征集合和混合匹配集合，确定最终位姿信息。
在步骤S04中，包括：
S041、确定多目运动模拟集合。
S042、基于初始旋转信息和多目运动模拟集合对混合匹配集合进行坐标转移，确定反推匹配集合。
S043、基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建多目位姿误差模型。
在步骤S043中，包括：
S0431、基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建基础误差模型。
S0432、基于鲁棒核函数对基础误差模型进行优化，确定多目位姿误差模型。
S044、基于多目位姿误差模型进行模型优化，确定多目最终误差模型。
在步骤S044中，包括：
S0441、基于多目位姿误差模型对应的平移量，利用高斯牛顿迭代法进行迭代优化，确定第一优化误差模型。
S0442、基于多目位姿误差模型对应的旋转量，利用高斯牛顿迭代法进行迭代优化，确定多目最终误差模型。
S045、基于多目最终误差模型对应的旋转量和平移量，确定最终位姿信息。
实施例五：
在一个实施例中，提供了一种计算机可读存储介质，其存储有能够被处理器加载并执行上述基于单目多目混合定位的位姿计算方法的计算机程序，计算机程序被处理器执行时实现以下步骤：
S01、单目特征匹配，基于单目图像和对应于单目图像的地图图像，确定基础单目特征集合和基础单目匹配集合。
在步骤S01中，包括：
S011、单目特征提取，基于单目图像和对应于单目图像的地图图像，确定初始单目特征集合和初始单目匹配集合。
S012、单目特征筛选，基于初始单目特征集合和初始单目匹配集合进行过滤优化，确定基础单目特征集合和基础单目匹配集合。
在步骤S012中，包括：
S0121、基于匹配距离阈值，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除。
S0122、基于匹配距离阈值和初始单目匹配点，在单目图像中确定虚拟特征点。
S0123、基于匹配距离阈值和虚拟特征点，在地图图像中确定反推匹配点对。
S0124、基于反推匹配点对，在初始单目匹配集合中寻找错误匹配点并剔除，在初始单目特征集合中寻找特征误导点并剔除。
S0125、基于初始单目匹配点，确定备选特征点。
S0126、基于差异阈值、初始单目特征点和备选特征点，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除，确定基础单目特征集合和基础单目匹配集合。
S02、单目旋转计算，基于基础单目特征集合和基础单目匹配集合，确定初始旋转信息。
在步骤S02中，包括：
S021、基于基础单目特征集合和基础单目匹配集合，确定单目点对集合。
S022、利用随机采样一致性算法，对单目点对集合进行外点剔除。
S023、确定单目运动模拟集合。
S024、基于单目旋转运动模拟参数和单目平移模拟参数，对各个匹配特征点对进行单目投影误差估算，构建单目位姿误差模型。
S025、基于单目位姿误差模型进行模型优化，确定单目最终误差模型。
S026、基于单目最终误差模型对应的单目旋转模拟参数，确定初始旋转信息。
S03、混合特征匹配，基于至少两个单目图像和对应于各个单目图像的地图图像，确定混合特征集合和混合匹配集合。
S04、多目位姿计算，基于初始旋转信息、混合特征集合和混合匹配集合，确定最终位姿信息。
在步骤S04中，包括：
S041、确定多目运动模拟集合。
S042、基于初始旋转信息和多目运动模拟集合对混合匹配集合进行坐标转移，确定反推匹配集合。
S043、基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建多目位姿误差模型。
在步骤S043中，包括：
S0431、基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建基础误差模型。
S0432、基于鲁棒核函数对基础误差模型进行优化，确定多目位姿误差模型。
S044、基于多目位姿误差模型进行模型优化，确定多目最终误差模型。
在步骤S044中，包括：
S0441、基于多目位姿误差模型对应的平移量，利用高斯牛顿迭代法进行迭代优化，确定第一优化误差模型。
S0442、基于多目位姿误差模型对应的旋转量，利用高斯牛顿迭代法进行迭代优化，确定多目最终误差模型。
S045、基于多目最终误差模型对应的旋转量和平移量，确定最终位姿信息。
所述计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的方法、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.基于单目多目混合定位的位姿计算方法，其特征在于，包括：
单目特征匹配，基于单目图像和对应于单目图像的地图图像，确定基础单目特征集合和基础单目匹配集合；其中，所述单目图像基于多目摄像头的其中一目获取，所述基础单目特征集合包含多个提取于同一所述单目图像的基础单目追踪点；所述基础单目匹配集合包含在所述地图图像中匹配于各个所述基础单目追踪点的基础单目匹配点；
单目旋转计算，基于基础单目特征集合和基础单目匹配集合，确定初始旋转信息；其中，所述初始旋转信息用于反映旋转量；
混合特征匹配，基于至少两个单目图像和对应于各个单目图像的地图图像，确定混合特征集合和混合匹配集合；其中，各个所述单目图像均基于所述多目摄像头获取，所述混合特征集合包含多个提取于一张或多张所述单目图像的混合追踪点；所述混合匹配集合包含在各个所述地图图像中匹配于各个所述混合追踪点的混合匹配点对；
多目位姿计算，基于初始旋转信息、混合特征集合和混合匹配集合，确定最终位姿信息；其中，所述最终位姿信息用于反映多目摄像头的旋转量和平移量。
2.根据权利要求1所述的基于单目多目混合定位的位姿计算方法，其特征在于，在单目旋转计算步骤的具体方法中，包括：
基于基础单目特征集合和基础单目匹配集合，确定单目点对集合；其中，所述单目点对集合包含多个匹配特征点对；所述匹配特征点对由所述基础单目追踪点和与其匹配的所述基础单目匹配点组成；
确定单目运动模拟集合；其中，所述单目运动模拟集合中包含多个用于模拟不同的运动量的单目运动模拟参数；
基于单目运动模拟集合对各个匹配特征点对进行单目投影误差估算，构建单目位姿误差模型；
其中，单目投影误差能够反映所述单目图像中与所述基础单目匹配点一致的特征点的位置与所述基础单目追踪点基于旋转量进行位置变换后的位置之间的误差；所述单目投影误差模型能够反映不同的所述单目运动模拟参数所对应的单目投影误差的大小；
基于单目位姿误差模型进行模型优化，确定单目最终误差模型；
基于单目最终误差模型对应的单目旋转模拟参数，确定初始旋转信息。
3.根据权利要求2所述的基于单目多目混合定位的位姿计算方法，其特征在于：所述单目运动模拟参数包括单目旋转模拟参数和单目平移模拟参数，其中，所述单目旋转模拟参数用于模拟所述单目摄像头的旋转量，所述单目平移模拟参数用于模拟所述单目摄像头的平移量。
4.根据权利要求1所述的基于单目多目混合定位的位姿计算方法，其特征在于：所述混合特征集合包括混合单目特征子集和混合多目特征子集；
其中，所述混合单目特征子集内的各个混合追踪点提取于同一所述单目图像，所述混合多目特征子集内的各个混合追踪点提取于各个所述单目图像的重叠部分。
5.根据权利要求4所述的基于单目多目混合定位的位姿计算方法，其特征在于，在多目位姿计算的具体方法中，包括：
确定多目运动模拟集合；其中，所述多目运动模拟集合中包含多个用于模拟不同的平移量的多目平移模拟参数；
基于初始旋转信息和多目运动模拟集合对混合匹配集合进行坐标转移，确定反推匹配集合；其中，所述反推匹配集合包含多个与各个混合匹配点对一一对应的反推虚拟点，所述反推虚拟点能够反映所述混合匹配点对基于旋转量和平移量进行位置调整后投影于所述单目图像的点；
基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建多目位姿误差模型；
基于多目位姿误差模型进行模型优化，确定多目最终误差模型；
基于多目最终误差模型对应的旋转量和平移量，确定最终位姿信息。
6.根据权利要求5所述的基于单目多目混合定位的位姿计算方法，其特征在于，在基于多目位姿误差模型进行模型优化，确定多目最终误差模型的具体方法中，包括：
基于多目位姿误差模型对应的平移量，利用高斯牛顿迭代法进行迭代优化，确定第一优化误差模型；
基于多目位姿误差模型对应的旋转量，利用高斯牛顿迭代法进行迭代优化，确定多目最终误差模型。
7.根据权利要求5所述的基于单目多目混合定位的位姿计算方法，其特征在于，在基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建多目位姿误差模型的具体方法中，包括：
基于混合单目特征子集和混合多目特征子集分别与反推匹配集合进行多目投影误差估算，构建基础误差模型；
基于鲁棒核函数对基础误差模型进行优化，确定多目位姿误差模型。
8.根据权利要求1所述的基于单目多目混合定位的位姿计算方法，其特征在于，在单目特征匹配的具体方法中，包括：
单目特征提取，基于单目图像和对应于单目图像的地图图像，确定初始单目特征集合和初始单目匹配集合；其中，所述初始单目特征集合包含多个初始单目特征点，所述初始单目匹配集合包含多个初始单目匹配点；
单目特征筛选，基于初始单目特征集合和初始单目匹配集合进行过滤优化，确定基础单目特征集合和基础单目匹配集合；
在单目特征筛选的具体方法中，包括：
基于匹配距离阈值，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除，确定基础单目特征集合和基础单目匹配集合；
其中，当所述初始单目特征点与对应所述初始单目匹配点之间的距离大于匹配距离阈值时，所述初始单目特征点确定为特征误导点，对应于所述特征误导点的所述初始单目匹配点确定为所述错误匹配点；
和/或，
基于匹配距离阈值和初始单目匹配点，在单目图像中确定虚拟特征点；其中，所述虚拟特征点为在所述匹配距离阈值所对应的距离范围内，与所述初始单目匹配点匹配度最高的点；
基于匹配距离阈值和虚拟特征点，在地图图像中确定反推虚拟点；其中，所述反推虚拟点为在所述匹配距离阈值所对应的距离范围内，与所述虚拟特征点匹配度最高的点；
基于各个反推虚拟点，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除，确定基础单目特征集合和基础单目匹配集合；
其中，当所述初始单目匹配点对应的所述反推虚拟点偏离于所述初始单目匹配点对应的所述初始单目特征点时，所述初始单目匹配点确定为所述错误匹配点，所述初始单目特征点确定为特征误导点；
和/或，
基于初始单目匹配点，确定备选特征点；
基于差异阈值、初始单目特征点和备选特征点，在初始单目特征集合中寻找特征误导点并剔除，在初始单目匹配集合中寻找错误匹配点并剔除，确定基础单目特征集合和基础单目匹配集合；
其中，当所述初始单目特征点和所述备选特征点之间差值小于差异阈值时，所述初始单目特征点确定为特征误导点，所述初始单目特征点对应的所述初始单目匹配点确定为所述错误匹配点。
9.基于单目多目混合定位的位姿计算***，其特征在于，包括：
单目特征匹配模块（1），用于基于单目图像和对应于单目图像的地图图像，确定基础单目特征集合和基础单目匹配集合；其中，所述单目图像基于多目摄像头的其中一目获取，所述基础单目特征集合包含多个提取于同一所述单目图像的基础单目追踪点；所述基础单目匹配集合包含在所述地图图像中匹配于各个所述基础单目追踪点的基础单目匹配点；
单目旋转计算模块（2），用于基于基础单目特征集合和基础单目匹配集合，确定初始旋转信息；其中，所述初始旋转信息用于反映旋转量；
混合特征匹配模块（3），用于基于至少两个单目图像和对应于各个单目图像的地图图像，确定混合特征集合和混合匹配集合；其中，各个所述单目图像均基于所述多目摄像头获取，所述混合特征集合包含多个提取于一张或多张所述单目图像的混合追踪点；所述混合匹配集合包含在各个所述地图图像中匹配于各个所述混合追踪点的混合匹配点对；
多目位姿计算模块（4），用于基于初始旋转信息、混合特征集合和混合匹配集合，确定最终位姿信息；其中，所述最终位姿信息用于反映多目摄像头的旋转量和平移量。
10.智能终端，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至8中任一种方法的计算机程序。
CN202110977859.8A 2021-08-25 2021-08-25 基于单目多目混合定位的位姿计算方法及*** Active CN113436264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110977859.8A CN113436264B (zh) 2021-08-25 2021-08-25 基于单目多目混合定位的位姿计算方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110977859.8A CN113436264B (zh) 2021-08-25 2021-08-25 基于单目多目混合定位的位姿计算方法及***

Publications (2)

Publication Number Publication Date
CN113436264A true CN113436264A (zh) 2021-09-24
CN113436264B CN113436264B (zh) 2021-11-19

Family

ID=77797781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110977859.8A Active CN113436264B (zh) 2021-08-25 2021-08-25 基于单目多目混合定位的位姿计算方法及***

Country Status (1)

Country Link
CN (1) CN113436264B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023141963A1 (zh) * 2022-01-28 2023-08-03 深圳市大疆创新科技有限公司 可移动平台的位姿估计方法、可移动平台及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107990899A (zh) * 2017-11-22 2018-05-04 驭势科技（北京）有限公司 一种基于slam的定位方法和***
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN109712172A (zh) * 2018-12-28 2019-05-03 哈尔滨工业大学 一种初始位姿测量结合目标追踪的位姿测量方法
CN110274598A (zh) * 2019-06-24 2019-09-24 西安工业大学 一种机器人单目视觉鲁棒定位估计方法
CN111292425A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于单双目混合数据集的视图合成方法
CN112461230A (zh) * 2020-12-07 2021-03-09 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107990899A (zh) * 2017-11-22 2018-05-04 驭势科技（北京）有限公司 一种基于slam的定位方法和***
CN109029417A (zh) * 2018-05-21 2018-12-18 南京航空航天大学 基于混合视觉里程计和多尺度地图的无人机slam方法
CN109712172A (zh) * 2018-12-28 2019-05-03 哈尔滨工业大学 一种初始位姿测量结合目标追踪的位姿测量方法
CN110274598A (zh) * 2019-06-24 2019-09-24 西安工业大学 一种机器人单目视觉鲁棒定位估计方法
CN111292425A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于单双目混合数据集的视图合成方法
CN112461230A (zh) * 2020-12-07 2021-03-09 深圳市优必选科技股份有限公司 机器人重定位方法、装置、机器人和可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUNHUI ZHAO ET AL: "Pose Estimation for Multi-camera Systems", 《2017 IEEE INTERNATIONAL CONFERENCE ON UNMANNED SYSTEMS》 *
YI YANG ET AL: "Multi-camera visual SLAM for off-road navigation", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 *
董荣 等: "多相机与IMU融合的室外机器人定位方法研究", 《HTTPS://KNS.CNKI.NET/KCMS/DETAIL/11.2127.TP.20210127.1612.018.HTM1》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023141963A1 (zh) * 2022-01-28 2023-08-03 深圳市大疆创新科技有限公司 可移动平台的位姿估计方法、可移动平台及存储介质

Also Published As

Publication number Publication date
CN113436264B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
Schönbein et al. Omnidirectional 3d reconstruction in augmented manhattan worlds
US8447099B2 (en) Forming 3D models using two images
US8452081B2 (en) Forming 3D models using multiple images
EP3182371A1 (en) Threshold determination in for example a type ransac algorithm
EP3274964B1 (en) Automatic connection of images using visual features
CN105023010A (zh) 一种人脸活体检测方法及***
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
US9761008B2 (en) Methods, systems, and computer readable media for visual odometry using rigid structures identified by antipodal transform
CN104573614A (zh) 用于跟踪人脸的设备和方法
CN110567441B (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN113643366B (zh) 一种多视角三维对象姿态估计方法及装置
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
JP2000268179A (ja) 三次元形状情報取得方法及び装置，二次元画像取得方法及び装置並びに記録媒体
CN113436264B (zh) 基于单目多目混合定位的位姿计算方法及***
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN117726747A (zh) 补全弱纹理场景的三维重建方法、装置、存储介质和设备
CN116630423A (zh) 一种基于orb特征的微小型机器人多目标双目定位方法及***
Grundmann et al. A gaussian measurement model for local interest point based 6 dof pose estimation
JP4830585B2 (ja) 画像処理装置および画像処理方法
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
Yang et al. Structure from Motion on XSlit Cameras
JP3548652B2 (ja) 物体形状復元装置及びその方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 519000 room 510, building 5, No. 16, Jinxing Road, Tangjiawan Town, high tech Zone, Zhuhai, Guangdong Province

Patentee after: Guangdong Dadao Zhichuang Technology Co.,Ltd.

Address before: 518000 room 310b, building F, Tianyou maker Industrial Park, 2 Lixin Road, Qiaotou community, Fuhai street, Bao'an District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN DADAO ZHICHUANG TECHNOLOGY CO.,LTD.