CN115752442B - 一种基于单目视觉辅助惯性定位方法 - Google Patents
一种基于单目视觉辅助惯性定位方法 Download PDFInfo
- Publication number
- CN115752442B CN115752442B CN202211560882.8A CN202211560882A CN115752442B CN 115752442 B CN115752442 B CN 115752442B CN 202211560882 A CN202211560882 A CN 202211560882A CN 115752442 B CN115752442 B CN 115752442B
- Authority
- CN
- China
- Prior art keywords
- inertial
- reference image
- time
- calculating
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Navigation (AREA)
Abstract
本发明公开了一种基于单目视觉辅助惯性定位方法，属于导航定位技术领域；本发明中单目视觉***获取标志物的世界坐标，来用于校正惯性***的定位误差，提高了定位精度，单目视觉***校正惯性***的定位误差是间歇性的，惯性***和视觉***不需要实时融合计算，因此成本和计算能力非常低，非常有利于算法的嵌入式加速以及推广应用，有效降低了组合定位成本和算力需求，同时在一定程度上保证了定位精度。
Description
技术领域
本发明涉及导航定位技术领域，更具体地说，它涉及一种基于单目视觉辅助惯性定位方法。
背景技术
随着人工智能和感知技术的快速发展，新一代智能载体，如无人机、无人机和移动机器人广泛应用于战场侦察、精确打击、物流配送等领域。智能载体自主导航的本质是在没有人为干预的情况下安全到达指定目的地，其中导航和定位是一个关键问题。基于牛顿力学的惯性导航技术，使用加速度计和陀螺仪感测载体的运动加速度和角速度，并通过航位推算计算载体的导航参数。它具有高自主性、高隐蔽性和短期高精度的特点。然而，误差将逐渐发散，工作时间越长误差越大。相比之下，视觉导航使用单目或双目摄像机获取周围环境信息，并通过图像处理技术和定位算法提取位置信息以完成导航任务，具有误差不随时间累积的优点。然而，纯视觉导航算法有不可避免的固有缺点：它依赖于场景的纹理特征，易受照明条件的影响，并且难以处理快速旋转运动。将惯性***与视觉***相结合，一方面，视觉***可以校正惯性***的累积误差；另一方面，惯性***可以弥补视觉***实时性能的不足。因此，视觉、惯性组合导航技术逐渐发展成为自主导航领域的研究热点。
目前，基于模型的视觉、惯性组合导航主要有两种方案：一种是利用滤波技术融合惯性和视觉信息；另一种使用非线性迭代优化技术融合惯性和视觉信息。基于模型的视觉、惯性组合导航技术要求输入数据具有高信噪比。算法的整体性能不仅取决于算法的基本原理，还取决于参数的合理性和准确性。因此，研究人员开发了一系列基于深度学习的视觉、惯性组合导航技术，使用深度学习神经网络代替传统算法中的单个模块是一个更直接的想法。无论是基于滤波、优化还是深度学习，视觉、惯性组合算法都对成本和计算能力提出了更高的要求。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于单目视觉辅助惯性定位方法，解决以下技术问题：现有的惯性、视觉组合定位方案成本高、算力消耗大。
本发明的目的可以通过以下技术方案实现：
一种基于单目视觉辅助惯性定位方法，包括如下步骤：
步骤一：定义当地地理坐标系为导航系，记为n系，其x、y、z轴分别指向朝东、北以及沿着重力反方向朝天；定义惯性***坐标系为本体系，记作b系，其x、y、z轴构成右手坐标系；
步骤二：记参考图像1和参考图像2分别为单目视觉***在t1和t2时刻获得的两帧图像，首先提取sift特征进行图像配准，同时采用RANSAC算法来减小误匹配率；
步骤三：通过对极几何来计算参考图像1和参考图像2之间的运动关系；
步骤四：通过三角测量来计算深度信息，即参考图像1和参考图像2上的点到相机的距离；
步骤五：通过Canny算子来提取参考图像2中标志物的边缘，并计算标志物的质心像素坐标；
步骤六：计算t2时刻惯性***的姿态和位置；
步骤七：通过惯性***在t2时刻的姿态以及单目相机与惯性***的安装关系计算相机在t2时刻的姿态；
步骤八：通过相机在t2时刻的姿态、参考图像2中标志物的质心像素坐标对应的深度信息和标志物的质心世界坐标，计算相机在t2时刻的世界坐标；
步骤九：将计算得到的相机在t2时刻的世界坐标为参考，通过单目相机和惯性***的安装关系，计算惯性***在t2时刻的世界坐标；
步骤十：将步骤九中计算得到惯性***的世界坐标当作校正值，校正惯性***解算对应时刻的位置；
步骤十一：后续位置更新以步骤十的位置为基准，后续校正步骤重复步骤二-步骤十。
根据本发明进一步的方案，所述步骤三中的运动关系为旋转矩阵和平移向量。
根据本发明进一步的方案，所述惯性***坐标由三轴MEMS陀螺仪，三轴MEMS加速度计和三轴磁力计构成；其中，三轴MEMS陀螺仪、三轴MEMS加速度计和三轴磁力计各轴指向相同。
与现有方案相比，本发明的有益效果：
发明中单目视觉***获取标志物的世界坐标，来用于校正惯性***的定位误差，提高了定位精度，惯性***和视觉***不需要实时集成计算，因此成本和计算能力非常低，非常有利于算法的嵌入式加速以及推广应用，有效降低了组合定位成本和算力需求，同时在一定程度上保证了定位精度。
附图说明
图1为本发明一种基于单目视觉辅助惯性定位方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
参照图1所示，本发明为一种基于单目视觉辅助惯性定位方法，包括如下步骤：
步骤一：定义当地地理坐标系为导航系，记为n系，其x、y、z轴分别指向朝东、北以及沿着重力反方向朝天；定义惯性***坐标系为本体系，记作b系，其x、y、z轴构成右手坐标系；惯性***坐标由三轴MEMS陀螺仪，三轴MEMS加速度计和三轴磁力计构成；三轴MEMS陀螺仪、三轴MEMS加速度计和三轴磁力计各轴指向相同；
步骤二：记参考图像1和参考图像2分别为单目视觉***在t1和t2时刻获得的两帧图像，首先提取两幅图像的sift特征进行图像配准，同时采用RANSAC算法来减小误匹配率；其中，t1< t2；
步骤三：通过对极几何来计算参考图像1和参考图像2之间的运动关系，即旋转矩阵和平移向量；
步骤四：通过三角测量来计算深度信息，即参考图像1和参考图像2上的点到相机成像平面的距离；
步骤五：通过Canny算子来提取参考图像2中标志物的边缘，并计算标志物的质心像素坐标；
步骤六：计算t2时刻惯性***的姿态和位置；
步骤七：通过惯性***在t2时刻的姿态以及单目相机与惯性***的安装关系计算相机在t2时刻的姿态；
步骤八：通过相机在t2时刻的姿态、参考图像2中标志物的质心像素坐标对应的深度信息和标志物的质心世界坐标，计算相机在t2时刻的世界坐标；
步骤九：将计算得到的相机在t2时刻的世界坐标为参考，通过单目相机和惯性***的安装关系，计算惯性***在t2时刻的世界坐标；
步骤十：将步骤九中计算得到惯性***的世界坐标当作校正值，校正惯性***解算对应时刻的位置；
步骤十一：后续位置更新以步骤十的位置为基准，后续校正步骤重复步骤二-步骤十；间歇性的通过单目视觉***的位置信息来间歇性的校正惯性***的定位误差，进一步提高了定位精度。
具体的，步骤一中MEMS为Micro-electro Mechanical Systems，即微机电***。
具体的，步骤二中sift为Scale Invariant Feature Transform，即尺度不变特征转换；RANSAC为Random Sample Consensus，即随机抽样一致。
本发明利用单目视觉***获取标志物的世界坐标，来用于校正惯性***的定位误差，提高了定位精度，同时惯性***和视觉***不需要实时集成计算，因此成本和计算能力非常低，非常有利于算法的嵌入式加速以及推广应用，有效降低了组合定位成本和算力需求。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (1)
1.一种基于单目视觉辅助惯性定位方法，其特征在于，包括如下步骤：
步骤一：定义当地地理坐标系为导航系，记为n系，其x、y、z轴分别指向朝东、北以及沿着重力反方向朝天；定义惯性***坐标系为本体系，记作b系，其x、y、z轴构成右手坐标系；
步骤二：记参考图像1和参考图像2分别为单目视觉***在t1和t2时刻获得的两帧图像，首先提取两幅图像的sift特征进行图像配准，同时采用RANSAC算法来减小误匹配率；
步骤三：通过对极几何来计算参考图像1和参考图像2之间的运动关系；
步骤四：通过三角测量来计算深度信息，即参考图像1和参考图像2上的点到相机成像平面的距离；
步骤五：通过Canny算子来提取参考图像2中标志物的边缘，并计算标志物的质心像素坐标；
步骤六：计算t2时刻惯性***的姿态和位置；
步骤七：通过惯性***在t2时刻的姿态以及单目相机与惯性***的安装关系计算相机在t2时刻的姿态；
步骤八：通过相机在t2时刻的姿态、参考图像2中标志物的质心像素坐标对应的深度信息和标志物的质心世界坐标，计算相机在t2时刻的世界坐标；
步骤九：将计算得到的相机在t2时刻的世界坐标为参考，通过单目相机和惯性***的安装关系，计算惯性***在t2时刻的世界坐标；
步骤十：将步骤九中计算得到惯性***的世界坐标当作校正值，校正惯性***解算对应时刻的位置；
步骤十一：后续位置更新以步骤十的位置为基准，后续校正步骤重复步骤二-步骤十；
所述步骤三中的运动关系为旋转矩阵和平移向量；
所述惯性***由三轴MEMS陀螺仪，三轴MEMS加速度计和三轴磁力计构成；其中，三轴MEMS陀螺仪、三轴MEMS加速度计和三轴磁力计各轴指向相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211560882.8A CN115752442B (zh) | 2022-12-07 | 2022-12-07 | 一种基于单目视觉辅助惯性定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211560882.8A CN115752442B (zh) | 2022-12-07 | 2022-12-07 | 一种基于单目视觉辅助惯性定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115752442A CN115752442A (zh) | 2023-03-07 |
| CN115752442B true CN115752442B (zh) | 2024-03-12 |
Family
ID=85343859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211560882.8A Active CN115752442B (zh) | 2022-12-07 | 2022-12-07 | 一种基于单目视觉辅助惯性定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115752442B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101598556A (zh) * | 2009-07-15 | 2009-12-09 | 北京航空航天大学 | 一种未知环境下无人机视觉/惯性组合导航方法 |
| CN102162738A (zh) * | 2010-12-08 | 2011-08-24 | 中国科学院自动化研究所 | 摄像头与惯性传感器组合定位定姿***的标定方法 |
| CN102435188A (zh) * | 2011-09-15 | 2012-05-02 | 南京航空航天大学 | 一种用于室内环境的单目视觉/惯性全自主导航方法 |
| CN110702107A (zh) * | 2019-10-22 | 2020-01-17 | 北京维盛泰科科技有限公司 | 一种单目视觉惯性组合的定位导航方法 |
| WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN112229424A (zh) * | 2020-11-16 | 2021-01-15 | 浙江商汤科技开发有限公司 | 视觉惯性***的参数标定方法及装置、电子设备和介质 |
| CN114136315A (zh) * | 2021-11-30 | 2022-03-04 | 山东天星北斗信息科技有限公司 | 一种基于单目视觉辅助惯性组合导航方法及*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9766074B2 (en) * | 2008-03-28 | 2017-09-19 | Regents Of The University Of Minnesota | Vision-aided inertial navigation |
| US9068847B2 (en) * | 2009-04-22 | 2015-06-30 | Honeywell International Inc. | System and method for collaborative navigation |
| US9607401B2 (en) * | 2013-05-08 | 2017-03-28 | Regents Of The University Of Minnesota | Constrained key frame localization and mapping for vision-aided inertial navigation |
| CN108765498B (zh) * | 2018-05-30 | 2019-08-23 | 百度在线网络技术（北京）有限公司 | 单目视觉跟踪方法、装置及存储介质 |
-
2022
- 2022-12-07 CN CN202211560882.8A patent/CN115752442B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101598556A (zh) * | 2009-07-15 | 2009-12-09 | 北京航空航天大学 | 一种未知环境下无人机视觉/惯性组合导航方法 |
| CN102162738A (zh) * | 2010-12-08 | 2011-08-24 | 中国科学院自动化研究所 | 摄像头与惯性传感器组合定位定姿***的标定方法 |
| CN102435188A (zh) * | 2011-09-15 | 2012-05-02 | 南京航空航天大学 | 一种用于室内环境的单目视觉/惯性全自主导航方法 |
| WO2020087846A1 (zh) * | 2018-10-31 | 2020-05-07 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
| CN110702107A (zh) * | 2019-10-22 | 2020-01-17 | 北京维盛泰科科技有限公司 | 一种单目视觉惯性组合的定位导航方法 |
| CN112229424A (zh) * | 2020-11-16 | 2021-01-15 | 浙江商汤科技开发有限公司 | 视觉惯性***的参数标定方法及装置、电子设备和介质 |
| CN114136315A (zh) * | 2021-11-30 | 2022-03-04 | 山东天星北斗信息科技有限公司 | 一种基于单目视觉辅助惯性组合导航方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| 一种基于惯性/视觉信息融合的无人机自主着陆导航算法;刘畅等;《导航定位与授时》;第3卷(第6期);6-11 * |
| 一种多时间尺度融合的视觉辅助惯性定姿算法;张琳;曾成;王羿帆;;现代电子技术(第12期);全文 * |
| 惯性/视觉组合导航关键技术研究;吴禹彤;《中国优秀硕士学位论文全文数据库 信息科技辑》(第2期);I136-1491 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115752442A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109029433B (zh) | 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 | |
| CN111024066B (zh) | 一种无人机视觉-惯性融合室内定位方法 | |
| CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| CN108303099B (zh) | 基于三维视觉slam的无人机室内自主导航方法 | |
| CN110044354B (zh) | 一种双目视觉室内定位与建图方法及装置 | |
| CN109945858B (zh) | 用于低速泊车驾驶场景的多传感融合定位方法 | |
| CN109307508B (zh) | 一种基于多关键帧的全景惯导slam方法 | |
| CN109211241B (zh) | 基于视觉slam的无人机自主定位方法 | |
| CN110068335B (zh) | 一种gps拒止环境下无人机集群实时定位方法及*** | |
| CN106679648B (zh) | 一种基于遗传算法的视觉惯性组合的slam方法 | |
| CN110533719B (zh) | 基于环境视觉特征点识别技术的增强现实定位方法及装置 | |
| CN109579825A (zh) | 基于双目视觉和卷积神经网络的机器人定位***及方法 | |
| CN112734765A (zh) | 基于实例分割与多传感器融合的移动机器人定位方法、***及介质 | |
| CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
| CN114001733A (zh) | 一种基于地图的一致性高效视觉惯性定位算法 | |
| CN106556395A (zh) | 一种基于四元数的单目视觉***的导航方法 | |
| Bazin et al. | UAV attitude estimation by vanishing points in catadioptric images | |
| CN112444245A (zh) | 一种基于偏振光、光流矢量、双目视觉传感器的仿昆虫视觉组合导航方法 | |
| Unicomb et al. | Distance function based 6dof localization for unmanned aerial vehicles in gps denied environments | |
| CN117152249A (zh) | 基于语义一致性的多无人机协同建图与感知方法及*** | |
| Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
| Fang et al. | A motion tracking method by combining the IMU and camera in mobile devices | |
| CN115752442B (zh) | 一种基于单目视觉辅助惯性定位方法 | |
| CN116380079A (zh) | 一种融合前视声呐与orb-slam3的水下slam方法 | |
| CN114485648B (zh) | 一种基于仿生复眼惯性***的导航定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: China Address after: Room 1008, building 3, 311 Yanxin Road, Huishan Economic Development Zone, Wuxi City, Jiangsu Province, 214000 Applicant after: Yunlai Intelligent Equipment (Wuxi) Co.,Ltd. Address before: Room 1008, Building 3, No. 311, Yanxin Road, Huishan Economic Development Zone, Wuxi, Jiangsu 214000 Applicant before: WUXI A-CARRIER ROBOT CO.,LTD. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |