CN108801274A - 一种融合双目视觉和差分卫星定位的地标地图生成方法 - Google Patents

一种融合双目视觉和差分卫星定位的地标地图生成方法 Download PDF

Info

Publication number
CN108801274A
CN108801274A CN201810339051.5A CN201810339051A CN108801274A CN 108801274 A CN108801274 A CN 108801274A CN 201810339051 A CN201810339051 A CN 201810339051A CN 108801274 A CN108801274 A CN 108801274A
Authority
CN
China
Prior art keywords
terrestrial reference
dimensional
binocular camera
reference block
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810339051.5A
Other languages
English (en)
Other versions
CN108801274B (zh
Inventor
郑亚莉
程洪
邱少波
骆佩佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810339051.5A priority Critical patent/CN108801274B/zh
Publication of CN108801274A publication Critical patent/CN108801274A/zh
Application granted granted Critical
Publication of CN108801274B publication Critical patent/CN108801274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合双目视觉和差分卫星定位的地标地图生成方法，先搭建采集***，建立车辆坐标系，再通过双目相机和差分卫星定位的坐标***一和信号同步实现图像的采集，利用深度学习算法检测采集到的图像中的静态地标，并进行特征提取和三维重建，然后完成坐标***的转换，为检测到的地标计算出地球坐标系下的精确位置。

Description

一种融合双目视觉和差分卫星定位的地标地图生成方法
技术领域
本发明属于地图测绘技术领域，更为具体地讲，涉及一种融合双目视觉和差分卫星定位的地标地图生成方法。
背景技术
地标地图是一种将地图去除冗余信息以轻量化形式存储的高精度地图，可以为智能车提供部分静态目标感知，或称为地标感知，并通过静态地标的位置实现智能车辆自身的定位。目前，以色列、日本、美国等高科技公司都在从事地标地图方面的研发和采集工作，例如Mobile的EyeQ地图，丰田的地标影像地图，lvl5众包纯视觉地图。而国内例如百度、四维图新、高德等图商都着重于以激光雷达点云的重地图方式来为智能车提供高精度地图。
经过对现有技术专利进行检索发现，我们发现基于双目相机的高精度视觉定位地图生成***及方法(申请号2016100288342)，基于车载多传感器融合的三维高精度地图生成***及方法(申请号2017106290232)与本专利相关。基于双目相机的高精度视觉定位地图生成***及方法是利用了视觉的方式记录图像中的特征点，并将图像特征点植入地图形成特征点地图；基于车载多传感器融合的三维高精度地图生成***及方法是利用摄像头、激光测距仪、GPS/INS接收处理器和差分卫星定位基准台等生成信息量更大的地图，以通过视觉匹配实现车辆定位。
发明内容
本发明的目的在于克服现有技术的不足，提供一种融合双目视觉和差分卫星定位的地标地图生成方法，利用双目相机和差分卫星定位信号实现静态地标的定位计算，建立轻量化地标地图。
为实现上述发明目的，本发明一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，包括以下步骤：
(1)、搭建采集***，建立车辆坐标系
将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2；
通过双目相机与双定位天线之间物理关系以及车头方向标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标
(2)、图像采集
在双目相机与差分卫星定位信号同步下，左右相机分别采集图像IL、IR；
(3)、相机定标
对双目相机进行内参标定，获取双目相机的内部参数，并构建内参矩阵K；
(4)、利用深度学习算法检测左图像IL或右图像IR中的地标块
利用训练好的深度学习模型DM检测左图像IL或右图像IR中的地标块，标记为B1,B2,…,BN，N表示地标块的个数，再返回地标块的所处的二维矩形框，为二维矩形框的四个顶点，i＝1,2,…,N；
(5)、特征点的三维重建
(5.1)、提取左、右图像中的二维特征点(xj,yj)L、(xj,yj)R,j＝1,2,…,M，M表示二维特征点的个数，M＞＞N；再对提取的(xj,yj)L和(xj,yj)R进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点
利用多视觉几何方法，重建二维特征点对应的三维特征点的坐标
(5.2)、建立优化目标函数F，并对重建的三维特征点进行优化
其中，R表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；
(6)、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xN,yN)到其三维重建的映射下的相对三维坐标其中，
再根据相机中心的绝对坐标和车头朝向以及地标块重建的相对位 置确定N个地标块在地球坐标系下绝对坐标
(7)、、重复步骤(4)-(6)，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值用平均值作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。
本发明的发明目的是这样实现的：
本发明一种融合双目视觉和差分卫星定位的地标地图生成方法，先搭建采集***，建立车辆坐标系，再通过双目相机和差分卫星定位的坐标***一和信号同步实现图像的采集，利用深度学习算法检测采集到的图像中的静态地标，并进行特征提取和三维重建，然后完成坐标***的转换，为检测到的地标计算出地球坐标系下的精确位置。
同时，本发明一种融合双目视觉和差分卫星定位的地标地图生成方法还具有以下有益效果：
(1)、本发明融合双目相机和双天线差分卫星定位，建立地球坐标系的采集***。
(2)、本发明中采用的双目相机的基线较大，图像稀疏点重建稳定，精度较单目相机重建精度高。
(3)、本发明采用自动关联深度目标识别方法，利用多帧、多点跟踪，计算同一地标的多个位置，统计得到地标最终经纬度坐标，建立高精度地标地图数据库。
附图说明
图1是本发明一种融合双目视觉和差分卫星定位的地标地图生成***原理图；
图2是本发明一种融合双目视觉和差分卫星定位的地标地图生成方法流程图；
图3是地标地图生成***实物图；
图4是双目相机标定前后图像对比图；
图5是地标地图生成效果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明一种融合双目视觉和差分卫星定位的地标地图生成***原理图。
在本实施例中，如图1所示，本发明一种融合双目视觉和差分卫星定位的地标地图生成***主要包括：
图像采集模块：用于采集双目相机和差分卫星定位的双定位天线组成；通过对双目相机图像进行矫正，建立统一的地球坐标系，并通过网络或者存储介质上传至地图构建运算中心。其中差分卫星定位信号，采用RTK接收器接收千寻的差分信号获得。
地标识别模块：利用深度学习训练模型检测地标，并返回地标在二维图像中的坐标；
地标定位模块：实现地标跟踪，计算每一时刻的地标位置，统计多次计算的地标位置，建立地标数据库。
下面我们结合图2对本发明一种融合双目视觉和差分卫星定位的地标地图生成方法进行详细，具体包括以下步骤：
S1、搭建采集***，建立车辆坐标系
将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2,搭建好的采集***如图3所示；
通过双目相机与双定位天线之间物理关系以及车头方向标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标
S2、图像采集
在双目相机与差分卫星定位信号同步下，左右相机分别同时采集图像，标记为IL、IR；
S3、相机定标
对双目相机进行内参标定，获取双目相机的内部参数，内部参数包括相机的畸变参数、焦距和中心偏移，再利用这些内部参数构建内参矩阵K；在本实施例中，双目相机定标前后的对比效果如图4所示；
S4、利用深度学习算法检测左图像IL或右图像IR中的地标块
在完成此步工作时，首先要搜集地标的训练库，主要包括交通标志等，路灯、车道线、路肩等一切跟交通相关的信息，训练好深度学习模型DM；
再利用训练好的深度学习模型DM检测左图像IL或右图像IR中的地标块，标记为B1,B2,…,BN，N表示地标块的个数，再返回地标块的所处的二维矩形框，为二维矩形框的四个顶点，i＝1,2,…,N；
S5、特征点的三维重建
S5.1、利用ORB、SURF、SIFT等算法提取左、右图像中的二维特征点(xj,yj)L、(xj,yj)R,j＝1,2,…,M，M表示二维特征点的个数，M＞＞N；再利用极线搜索方法对提取的(xj,yj)L和(xj,yj)R进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点
利用多视觉几何方法，重建二维特征点对应的三维特征点的坐标
S5.2、建立优化目标函数F，并对重建的三维特征点进行优化
其中，R表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；
S6、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xN,yN)到其三维重建的映射下的相对三维坐标其中，
再根据相机中心的绝对坐标和车头朝向以及地标块重建的相对位置确定N个地标块在地球坐标系下绝对坐标具体确定方法如下：
将相对三维坐标按照如下公式转换至地球坐标系下的绝对坐标；
Pi a＝K·R-1·PBi-R1·t
S7、重复步骤S4-S6，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值用平均值作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。
在本实施例中，生成的地标地图如图5所示，其中左边是显示的右相机视图，右边显示的是标有地标位置的地图。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，包括以下步骤：
(1)、搭建采集***，建立车辆坐标系
将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2；
通过双目相机与双定位天线之间物理关系以及车头方向标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标
(2)、图像采集
在双目相机与差分卫星定位信号同步下，左右相机分别采集图像IL、IR；
(3)、相机定标
对双目相机进行内参标定，获取双目相机的内部参数，并构建内参矩阵K；
(4)、利用深度学习算法检测左图像IL或右图像IR中的地标块
利用训练好的深度学习模型DM检测左图像IL或右图像IR中的地标块，标记为B1,B2,…,BN，N表示地标块的个数，再返回地标块的所处的二维矩形框，为二维矩形框的四个顶点，i＝1,2,…,N；
(5)、特征点的三维重建
(5.1)、提取左、右图像中的二维特征点(xj,yj)L、(xj,yj)R,j＝1,2,…,M，M表示二维特征点的个数，M＞＞N；再对提取的(xj,yj)L和(xj,yj)R进行特征快速匹配，得到匹配后的二维维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点
利用多视觉几何方法，重建二维特征点对应的三维特征点的坐标
(5.2)、建立优化目标函数F，并对重建的三维特征点进行优化
其中，R表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；
(6)、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xN,yN)到其三维重建的射下的相对三维坐标其中，
再根据相机中心的绝对坐标和车头朝向以及地标块重建的相对位置确定N个地标块在地球坐标系下绝对坐标
(7)、、重复步骤(4)-(6)，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值用平均值作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。
2.根据权利要求1所述的一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，所述的双目相机内部参数包括相机的畸变参数、焦距和中心偏移。
3.根据权利要求1所述的一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，所述步骤(6)中，将相对三维坐标按照如下公式转换至地球坐标系下的绝对坐标；
Pi a＝K·R-1·PBi-R1·t。
CN201810339051.5A 2018-04-16 2018-04-16 一种融合双目视觉和差分卫星定位的地标地图生成方法 Active CN108801274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810339051.5A CN108801274B (zh) 2018-04-16 2018-04-16 一种融合双目视觉和差分卫星定位的地标地图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810339051.5A CN108801274B (zh) 2018-04-16 2018-04-16 一种融合双目视觉和差分卫星定位的地标地图生成方法

Publications (2)

Publication Number Publication Date
CN108801274A true CN108801274A (zh) 2018-11-13
CN108801274B CN108801274B (zh) 2021-08-13

Family

ID=64094316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810339051.5A Active CN108801274B (zh) 2018-04-16 2018-04-16 一种融合双目视觉和差分卫星定位的地标地图生成方法

Country Status (1)

Country Link
CN (1) CN108801274B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583409A (zh) * 2018-12-07 2019-04-05 电子科技大学 一种面向认知地图的智能车定位方法及***
CN109828571A (zh) * 2019-02-18 2019-05-31 奇瑞汽车股份有限公司 基于v2x的自动驾驶车辆、方法和装置
CN110514212A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种融合单目视觉和差分gnss的智能车地图地标定位方法
CN111311654A (zh) * 2020-02-13 2020-06-19 北京百度网讯科技有限公司 一种相机位置的配准方法、装置、电子设备及存储介质
WO2020127053A1 (de) * 2018-12-18 2020-06-25 Siemens Mobility GmbH Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs
CN111461039A (zh) * 2020-04-07 2020-07-28 电子科技大学 基于多尺度特征融合的地标识别方法
CN111598937A (zh) * 2020-05-18 2020-08-28 浙江大学 一种基于标定区块对靶校正的农田测亩方法及***
CN111652940A (zh) * 2020-04-30 2020-09-11 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质
CN112735163A (zh) * 2020-12-25 2021-04-30 北京百度网讯科技有限公司 确定目标物体静止状态的方法、路侧设备、云控平台
CN113624244A (zh) * 2020-05-07 2021-11-09 中移物联网有限公司 基于双目视觉绘制地标地图的装置、***及方法
CN114200498A (zh) * 2022-02-16 2022-03-18 湖南天巡北斗产业安全技术研究院有限公司 卫星导航/光学组合的目标检测方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102506757A (zh) * 2011-10-10 2012-06-20 南京航空航天大学 双目立体测量***多视角测量中的自定位方法
WO2014011315A1 (en) * 2012-07-11 2014-01-16 Raytheon Company Point cloud construction with unposed cameras
CN104376552A (zh) * 2014-09-19 2015-02-25 四川大学 一种3d模型与二维图像的虚实配准算法
CN104933755A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种静态物体重建方法和***
CN106228538A (zh) * 2016-07-12 2016-12-14 哈尔滨工业大学 基于logo的双目视觉室内定位方法
CN105474033B (zh) * 2013-12-29 2017-06-06 刘进 智能机姿态测定、全景影像生成及目标识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102506757A (zh) * 2011-10-10 2012-06-20 南京航空航天大学 双目立体测量***多视角测量中的自定位方法
WO2014011315A1 (en) * 2012-07-11 2014-01-16 Raytheon Company Point cloud construction with unposed cameras
CN105474033B (zh) * 2013-12-29 2017-06-06 刘进 智能机姿态测定、全景影像生成及目标识别方法
CN104933755A (zh) * 2014-03-18 2015-09-23 华为技术有限公司 一种静态物体重建方法和***
CN104376552A (zh) * 2014-09-19 2015-02-25 四川大学 一种3d模型与二维图像的虚实配准算法
CN106228538A (zh) * 2016-07-12 2016-12-14 哈尔滨工业大学 基于logo的双目视觉室内定位方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583409A (zh) * 2018-12-07 2019-04-05 电子科技大学 一种面向认知地图的智能车定位方法及***
WO2020127053A1 (de) * 2018-12-18 2020-06-25 Siemens Mobility GmbH Bordeigenes visuelles ermitteln kinematischer messgrössen eines schienenfahrzeugs
CN109828571A (zh) * 2019-02-18 2019-05-31 奇瑞汽车股份有限公司 基于v2x的自动驾驶车辆、方法和装置
CN110514212A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种融合单目视觉和差分gnss的智能车地图地标定位方法
CN111311654A (zh) * 2020-02-13 2020-06-19 北京百度网讯科技有限公司 一种相机位置的配准方法、装置、电子设备及存储介质
CN111311654B (zh) * 2020-02-13 2023-11-24 北京百度网讯科技有限公司 一种相机位置的配准方法、装置、电子设备及存储介质
CN111461039B (zh) * 2020-04-07 2022-03-25 电子科技大学 基于多尺度特征融合的地标识别方法
CN111461039A (zh) * 2020-04-07 2020-07-28 电子科技大学 基于多尺度特征融合的地标识别方法
CN111652940B (zh) * 2020-04-30 2024-06-04 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质
CN111652940A (zh) * 2020-04-30 2020-09-11 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质
CN113624244A (zh) * 2020-05-07 2021-11-09 中移物联网有限公司 基于双目视觉绘制地标地图的装置、***及方法
CN111598937A (zh) * 2020-05-18 2020-08-28 浙江大学 一种基于标定区块对靶校正的农田测亩方法及***
CN112735163A (zh) * 2020-12-25 2021-04-30 北京百度网讯科技有限公司 确定目标物体静止状态的方法、路侧设备、云控平台
CN114200498A (zh) * 2022-02-16 2022-03-18 湖南天巡北斗产业安全技术研究院有限公司 卫星导航/光学组合的目标检测方法及***

Also Published As

Publication number Publication date
CN108801274B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN108801274A (zh) 一种融合双目视觉和差分卫星定位的地标地图生成方法
CN108534782B (zh) 一种基于双目视觉***的地标地图车辆即时定位方法
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN104732518B (zh) 一种基于智能机器人地面特征的ptam改进方法
CN109579843B (zh) 一种空地多视角下的多机器人协同定位及融合建图方法
CN110070615A (zh) 一种基于多相机协同的全景视觉slam方法
CN111830953B (zh) 车辆自定位方法、装置及***
CN109631855A (zh) 基于orb-slam的高精度车辆定位方法
CN106447585A (zh) 城市地区和室内高精度视觉定位***及方法
CN111882612A (zh) 一种基于三维激光检测车道线的车辆多尺度定位方法
CN107084727A (zh) 一种基于高精度三维地图的视觉定位***及方法
CN109509230A (zh) 一种应用于多镜头组合式全景相机的slam方法
CN109191504A (zh) 一种无人机目标跟踪方法
CN110345937A (zh) 一种基于二维码的导航定姿定位方法和***
CN110443898A (zh) 一种基于深度学习的ar智能终端目标识别***及方法
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN112129281B (zh) 一种基于局部邻域地图的高精度图像导航定位方法
CN102435188A (zh) 一种用于室内环境的单目视觉/惯性全自主导航方法
CN103413352A (zh) 基于rgbd多传感器融合的场景三维重建方法
CN110517325A (zh) 一种坐标变换及坐标变换的车身周围物体定位方法和***
CN106373088A (zh) 大倾斜低重叠率航空图像的快速拼接方法
CN110609311A (zh) 基于车载环视图像与毫米波雷达融合的智能车定位方法
CN103093459A (zh) 利用机载LiDAR点云数据辅助影像匹配的方法
CN110319772A (zh) 基于无人机的视觉大跨度测距方法
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant