CN108534782B - 一种基于双目视觉***的地标地图车辆即时定位方法 - Google Patents
一种基于双目视觉***的地标地图车辆即时定位方法 Download PDFInfo
- Publication number
- CN108534782B CN108534782B CN201810337903.7A CN201810337903A CN108534782B CN 108534782 B CN108534782 B CN 108534782B CN 201810337903 A CN201810337903 A CN 201810337903A CN 108534782 B CN108534782 B CN 108534782B
- Authority
- CN
- China
- Prior art keywords
- landmark
- vehicle
- dimensional
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双目视觉***的地标地图车辆即时定位方法,利用双目视觉***实现视觉里程计,计算车辆的相对定位,再利用深度学习技术检测图像中的地标;然后在地标地图数据库中进行地标检索,利用检索到的地标和非线性优化算法对车辆进行地球坐标系下的精确定位,再转换相机相对坐标系与地球坐标系,利用地标计算的车辆定位矫正双目视觉里程计的车辆定位。
Description
技术领域
本发明属于车辆定位技术领域,更为具体地讲,涉及一种基于双目视觉***的地标地图车辆即时定位方法。
背景技术
地标地图是一种将地图去除冗余信息以轻量化形式存储的高精度地图,可以为智能车提供部分静态目标感知,或称为地标感知。目前,以色列、日本、美国等高科技公司都在从事地标地图方面的研发和采集工作,例如Mobile的EyeQ地图,丰田的地标影像地图,lvl5众包纯视觉地图。如何能够利用地标地图实现智能车辆自身的定位,现各国研究者还在持续的研究中。
通过对对现有技术专利进行检索,我们发现“基于双目相机的高精度视觉定位地图生成***及方法”(申请号2016100288342),“视觉定位方法和视觉定位装置”(申请号201611069552.3),“视觉定位方法及装置”(申请号201110371807.2),“引入全景地图的智能车辆融合定位***及方法”(申请号201710150551.X)。“基于双目相机的高精度视觉定位地图生成***及方法”利用了视觉的方式记录图像中的特征点,并将图像特征点植入地图形成特征点地图,但与构建实际意义的地标地图不同。“视觉定位方法和视觉定位装置”在识别对象上设置多个标识点,在识别对象上设置多个标识点,建立标识点三维坐标的线性方程组,并求解该多个标识点的三维坐标,进而得到该识别对象的姿态信息。然而该方法的缺点在于:需要在识别对象点上设置表示点,无法用于智能车定位。“视觉定位方法及装置”通过图像采集模块实现了采用一个相机二维图像合成所述目标物体的三维图像,并根据所述三维图像确定所述目标物体在空间坐标系中的三维坐标和姿态。该方法的缺点在于:依赖于单目相机的重建缺乏真实的物理尺度信息,亦无法用于智能车定位。“引入全景地图的智能车辆融合定位***及方法”通过车载卫星定位设备、惯性导航设备和摄像机传感器和全景地图匹配,获得车辆的定位结果。该方法的缺点在于:依赖多种传感器,要获得理想精度,成本较昂贵。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于双目视觉***的地标地图车辆即时定位方法,利用双目视觉***作为车辆即时地标地图定位的唯一传感器,在实现车辆里程计的同时,利用地标地图和检测到的地标对车辆定位进行有效矫正,有效实现智能车辆的即时定位功能。
为实现上述发明目的,本发明一种基于双目视觉***的地标地图车辆即时定位方法,其特征在于,包括以下步骤:
(1)、对双目视觉***进行内参标定,获取双目视觉***中左右相机的内部参数,并构建内参矩阵K;
(3.1)、在当前时刻j时,从左右视频帧中提取特征XR,XL,再对左右视频帧的特征XR,XL进行快速匹配,得到特征Xk,其中,k=1,2,…,表示匹配的特征个数,j=1,2,…,表示视频流持续的时刻;
(3.2)、去除重建后的三维特征点中的外点,再利用剩余的三维特征点建立局部稀疏地图M;
(3.3)、利用假设的相机运动模型估计,在第j+1时刻左或右视频帧中的二维特征点可能出现的范围快速搜索,建立第j时刻和第j+1时刻的图像特征对其中,Xs是XR或XL中的一个子集,(x,y)表示该二维特征点的坐标位置;
(4)、检测左相机或右相机拍摄的图像中是否含有地标,并通过检测到的地标定位车辆的绝对坐标;
(4.1)、利用深度学习方法检测左或右相机拍摄的每幅图像中的地标块,标记为B1,B2,…,Bn,n表示图像中地标块的个数;并将检测出地标块的图像的拍摄时刻记为i,i=1,2,…,i<<j;
(4.2)、检测检索到的地标块B1,B2,…,Bn,求取地标块中心在视频中的二维图像坐标利用相机的内部参数对二维图像坐标进行校正;然后建立地标块的二维图像坐标与全球坐标系下地标的三维坐标之间对应关系;
(4.3)、建立优化目标函数F
(5)、建立车辆绝对坐标位置与对应时刻的车辆相对坐标位置的相对转换关系Ti,表示相对坐标序列中与检测到地标块的第i时刻所对应的相对元素;然后利用Ti矫正车辆的相对坐标位置至全球坐标***下的车辆绝对坐标位置,同时矫正之前第i-1时刻与第i时刻所有的车辆位置至绝对位置完成车辆的即时绝对定位。
本发明的发明目的是这样实现的:
本发明基于双目视觉***的地标地图车辆即时定位方法,利用双目视觉***实现视觉里程计,计算车辆的相对定位,再利用深度学习技术检测图像中的地标;然后在地标地图数据库中进行地标检索,利用检索到的地标和非线性优化算法对车辆进行地球坐标系下的精确定位,再转换相机相对坐标系与地球坐标系,利用地标计算的车辆定位矫正双目视觉里程计的车辆定位。
同时,本发明基于双目视觉***的地标地图车辆即时定位方法还具有以下有益效果:
(1)、利用双目视觉***作为唯一的传感器实现基于地标地图车辆的即时定位功能,具有成本低廉的优势,且可以与智能车辆的视觉感知模块传感器复用,能有效降低成本。
(2)、本发明与现有技术相比,具有性能提高、可靠性提高、成本降低、工艺简化、节能环保等。
附图说明
图1是本发明基于双目视觉***的地标地图车辆即时定位***架构图;
图2是本发明基于双目视觉***的地标地图车辆即时定位方法流程图;
图3是三维重建示意图;
图4是利用本发明进行车辆即时定位的效果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
图1是本发明基于双目视觉***的地标地图车辆即时定位***架构图。
在本实施例中,如图1所示,本发明基于双目视觉***的地标地图车辆即时定位***主要包括:
双目视觉采集模块:用于采集双目视觉信号,对双目相机图像进行矫正,建立统一的地球坐标系。
地标检测模块:先利用深度学习方法训练深度神经网络模型,再利用深度神经网络模型实时检测地标,并返回地标在二维图像中的坐标;
地标地图数据库:用于下载地标地图,在地标地图中包含各个地标的图像块及其地球坐标系下的经纬度海拔坐标。
车辆即时定位模块:以双目视觉采集模块、地标地图数据库和地标检测模块的输出作为输入,实现车辆即时定位功能。
下面我们结合图2对本发明一种基于双目视觉***的地标地图车辆即时定位方法进行详细说明,具体包括以下步骤:
S1、对双目视觉采集模块进行内参标定,获取双目视觉***中左右相机的内部参数,其主要包括相机的畸变参数、焦距和中心偏移,再利用这些内部参数构建内参矩阵K。
S3.1、在当前时刻j时,利用ORB、SURF、SIFT等算法从左右视频帧中提取特征XR,XL,再利用极线搜索方法对左右视频帧的特征XR,XL进行快速匹配,得到特征Xk,其中,k=1,2,…,表示匹配的特征个数,j=1,2,…,表示视频流持续的时刻;
S3.2、去除重建后的三维特征点中的外点,即取出重建后精度超过阈值的三维特征点,这样保证重建三维特征点的精确性,三维重建后示意图如图3所示,再利用剩余的三维特征点建立局部稀疏地图M;
S3.3、利用假设的相机运动模型估计,在第j+1时刻左或右视频帧中的二维特征点可能出现的范围快速搜索,建立第j时刻和第j+1时刻的图像特征对其中,Xs是XR或XL中的一个子集,(x,y)表示该二维特征点的坐标位置;
S4、检测左相机或右相机拍摄的图像中是否含有地标,并通过检测到的地标定位车辆的绝对坐标;
S4.1、利用深度学习方法检测左或右相机拍摄的每幅图像中的地标块,标记为B1,B2,…,Bn,n表示图像中地标块的个数;并将检测出地标块的图像的拍摄时刻记为i,i=1,2,…,i<<j;
在本实施例中,为了对地标块进行特征匹配的速度变快,本实施例可以在地标地图数据库中在限定范围内进行地标块特征匹配,而限定范围可以由非高精度的卫星定位***提供,辅助地标搜索与匹配;
S4.3、建立优化目标函数F
S5、建立车辆绝对坐标位置与对应时刻的车辆相对坐标位置的相对转换关系Ti,表示相对坐标序列中与检测到地标块的第i时刻所对应的相对元素;然后利用Ti矫正车辆的相对坐标位置至全球坐标***下的车辆绝对坐标位置,同时矫正之前第i-1时刻与第i时刻所有的车辆位置至绝对位置完成车辆的即时绝对定位。
本实施例中,i表示检测到地标的时刻,j表示视频流持续的时刻,因此i<<j,我们现在要用i时刻的绝对坐标位置去矫正j中对应的i时刻的相对坐标位置以及利用i时刻的绝对坐标位置去矫正j时刻之前视频流中未检测出地标时车辆相对坐标位置。如图4所示,显示了车辆即时定位***实验结果,其中左边显示的左相机图像,右边显示的车辆的即时定位结果。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (2)
1.一种基于双目视觉***的地标地图车辆即时定位方法,其特征在于,包括以下步骤:
(1)、对双目视觉***进行内参标定,获取双目视觉***中左右相机的内部参数,并构建内参矩阵K;
(3.1)、在当前时刻j时,从左右视频帧中提取特征XR,XL,再对左右视频帧的特征XR,XL进行快速匹配,得到特征Xk,其中,k=1,2,…,表示匹配的特征个数;
(3.2)、去除重建后的三维特征点中的外点,再利用剩余的三维特征点建立局部稀疏地图M;
(3.3)、利用假设的相机运动模型估计,在第j+1时刻左或右视频帧中的二维特征点可能出现的范围快速搜索,建立第j时刻和第j+1时刻的图像特征对其中,Xs是XR或XL中的一个子集,(x,y)表示二维特征点的坐标位置;
(4)、检测左相机或右相机拍摄的图像中是否含有地标,并通过检测到的地标定位车辆的绝对坐标;
(4.1)、利用深度学习方法检测左或右相机拍摄的每幅图像中的地标块,标记为B1,B2,…,Bn,n表示图像中地标块的个数;并将检测出地标块的图像的拍摄时刻记为i,i=1,2,…,i<<j;
(4.2)、检测检索到的地标块B1,B2,…,Bn,求取地标块中心在视频中的二维图像坐标利用相机的内部参数对二维图像坐标进行校正;然后建立地标块的二维图像坐标与全球坐标系下地标的三维坐标之间对应关系;
(4.3)、建立地标块的二维图像坐标与全球坐标系下地标的三维坐标的误差的优化目标函数F;
2.根据权利要求1所述的一种基于双目视觉***的地标地图车辆即时定位方法,其特征在于,所述的左右相机内部参数包括相机的畸变参数、焦距和中心偏移。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810337903.7A CN108534782B (zh) | 2018-04-16 | 2018-04-16 | 一种基于双目视觉***的地标地图车辆即时定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810337903.7A CN108534782B (zh) | 2018-04-16 | 2018-04-16 | 一种基于双目视觉***的地标地图车辆即时定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108534782A CN108534782A (zh) | 2018-09-14 |
CN108534782B true CN108534782B (zh) | 2021-08-17 |
Family
ID=63481245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810337903.7A Active CN108534782B (zh) | 2018-04-16 | 2018-04-16 | 一种基于双目视觉***的地标地图车辆即时定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108534782B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110706280A (zh) * | 2018-09-28 | 2020-01-17 | 成都家有为力机器人技术有限公司 | 基于2d-slam的轻量级语义驱动的稀疏重建方法 |
CN109584299B (zh) * | 2018-11-13 | 2021-01-05 | 深圳前海达闼云端智能科技有限公司 | 一种定位方法、定位装置、终端及存储介质 |
CN109583409A (zh) * | 2018-12-07 | 2019-04-05 | 电子科技大学 | 一种面向认知地图的智能车定位方法及*** |
TWM584008U (zh) * | 2019-01-31 | 2019-09-21 | 許斐凱 | 利用電腦視覺與深度學習技術之氣管模型重建系統 |
CN109752008B (zh) * | 2019-03-05 | 2021-04-13 | 长安大学 | 智能车多模式协同定位***、方法及智能车辆 |
CN112307810B (zh) * | 2019-07-26 | 2023-08-04 | 北京魔门塔科技有限公司 | 一种视觉定位效果自检方法及车载终端 |
CN110514212A (zh) * | 2019-07-26 | 2019-11-29 | 电子科技大学 | 一种融合单目视觉和差分gnss的智能车地图地标定位方法 |
CN111539973B (zh) * | 2020-04-28 | 2021-10-01 | 北京百度网讯科技有限公司 | 用于检测车辆位姿的方法及装置 |
CN112132894B (zh) * | 2020-09-08 | 2022-09-20 | 大连理工大学 | 一种基于双目视觉引导的机械臂实时跟踪方法 |
CN112489080A (zh) * | 2020-11-27 | 2021-03-12 | 的卢技术有限公司 | 基于双目视觉slam的车辆定位及车辆3d检测方法 |
CN112598705B (zh) * | 2020-12-17 | 2024-05-03 | 太原理工大学 | 一种基于双目视觉的车身姿态检测方法 |
CN113390435B (zh) * | 2021-05-13 | 2022-08-26 | 中铁二院工程集团有限责任公司 | 高速铁路多元辅助定位*** |
CN114998849B (zh) * | 2022-05-27 | 2024-04-16 | 电子科技大学 | 一种基于路端单目相机的交通流要素感知与定位方法及其应用 |
CN116528062B (zh) * | 2023-07-05 | 2023-09-15 | 合肥中科类脑智能技术有限公司 | 多目标追踪方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8818133B2 (en) * | 2012-07-11 | 2014-08-26 | Raytheon Company | Point cloud construction with unposed camera |
CN103106688B (zh) * | 2013-02-20 | 2016-04-27 | 北京工业大学 | 基于双层配准方法的室内三维场景重建方法 |
CN105469405B (zh) * | 2015-11-26 | 2018-08-03 | 清华大学 | 基于视觉测程的同时定位与地图构建方法 |
CN106228538B (zh) * | 2016-07-12 | 2018-12-11 | 哈尔滨工业大学 | 基于logo的双目视觉室内定位方法 |
CN106709950B (zh) * | 2016-11-28 | 2020-09-22 | 西安工程大学 | 一种基于双目视觉的巡线机器人跨越障碍导线定位方法 |
CN106910210B (zh) * | 2017-03-03 | 2018-09-11 | 百度在线网络技术(北京)有限公司 | 用于生成图像信息的方法和装置 |
-
2018
- 2018-04-16 CN CN201810337903.7A patent/CN108534782B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108534782A (zh) | 2018-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108534782B (zh) | 一种基于双目视觉***的地标地图车辆即时定位方法 | |
CN108801274B (zh) | 一种融合双目视觉和差分卫星定位的地标地图生成方法 | |
CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
CN110009681B (zh) | 一种基于imu辅助的单目视觉里程计位姿处理方法 | |
CN106679648B (zh) | 一种基于遗传算法的视觉惯性组合的slam方法 | |
CN111830953B (zh) | 车辆自定位方法、装置及*** | |
CN110319772B (zh) | 基于无人机的视觉大跨度测距方法 | |
US10909395B2 (en) | Object detection apparatus | |
US8305430B2 (en) | System and method for multi-camera visual odometry | |
JP2021508095A (ja) | カラー・ポイント・クラウド生成のための方法およびシステム | |
CN109579825B (zh) | 基于双目视觉和卷积神经网络的机器人定位***及方法 | |
CN109596121B (zh) | 一种机动站自动目标检测与空间定位方法 | |
CN107560603B (zh) | 一种无人机倾斜摄影测量***及测量方法 | |
CN113850126A (zh) | 一种基于无人机的目标检测和三维定位方法和*** | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
CN108519102B (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
CN104281148A (zh) | 基于双目立体视觉的移动机器人自主导航方法 | |
CN113658337B (zh) | 一种基于车辙线的多模态里程计方法 | |
CN111815765B (zh) | 一种基于异构数据融合的图像三维重建方法 | |
CN111091088B (zh) | 一种视频卫星信息支援海上目标实时检测定位***及方法 | |
CN113240813B (zh) | 三维点云信息确定方法及装置 | |
CN114693754B (zh) | 一种基于单目视觉惯导融合的无人机自主定位方法与*** | |
CN117253029A (zh) | 基于深度学习的图像匹配定位方法及计算机设备 | |
CN111524174A (zh) | 一种动平台动目标双目视觉三维构建方法 | |
CN112767546A (zh) | 移动机器人基于双目图像的视觉地图生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |