CN108801274B - 一种融合双目视觉和差分卫星定位的地标地图生成方法 - Google Patents

一种融合双目视觉和差分卫星定位的地标地图生成方法 Download PDF

Info

Publication number
CN108801274B
CN108801274B CN201810339051.5A CN201810339051A CN108801274B CN 108801274 B CN108801274 B CN 108801274B CN 201810339051 A CN201810339051 A CN 201810339051A CN 108801274 B CN108801274 B CN 108801274B
Authority
CN
China
Prior art keywords
landmark
dimensional
coordinates
camera
binocular camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810339051.5A
Other languages
English (en)
Other versions
CN108801274A (zh
Inventor
郑亚莉
程洪
邱少波
骆佩佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810339051.5A priority Critical patent/CN108801274B/zh
Publication of CN108801274A publication Critical patent/CN108801274A/zh
Application granted granted Critical
Publication of CN108801274B publication Critical patent/CN108801274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种融合双目视觉和差分卫星定位的地标地图生成方法，先搭建采集***，建立车辆坐标系，再通过双目相机和差分卫星定位的坐标***一和信号同步实现图像的采集，利用深度学习算法检测采集到的图像中的静态地标，并进行特征提取和三维重建，然后完成坐标***的转换，为检测到的地标计算出地球坐标系下的精确位置。

Description

一种融合双目视觉和差分卫星定位的地标地图生成方法
技术领域
本发明属于地图测绘技术领域，更为具体地讲，涉及一种融合双目视觉和差分卫星定位的地标地图生成方法。
背景技术
地标地图是一种将地图去除冗余信息以轻量化形式存储的高精度地图，可以为智能车提供部分静态目标感知，或称为地标感知，并通过静态地标的位置实现智能车辆自身的定位。目前，以色列、日本、美国等高科技公司都在从事地标地图方面的研发和采集工作，例如Mobile的EyeQ地图，丰田的地标影像地图，lvl5众包纯视觉地图。而国内例如百度、四维图新、高德等图商都着重于以激光雷达点云的重地图方式来为智能车提供高精度地图。
经过对现有技术专利进行检索发现，我们发现基于双目相机的高精度视觉定位地图生成***及方法(申请号2016100288342)，基于车载多传感器融合的三维高精度地图生成***及方法(申请号2017106290232)与本专利相关。基于双目相机的高精度视觉定位地图生成***及方法是利用了视觉的方式记录图像中的特征点，并将图像特征点植入地图形成特征点地图；基于车载多传感器融合的三维高精度地图生成***及方法是利用摄像头、激光测距仪、GPS/INS接收处理器和差分卫星定位基准台等生成信息量更大的地图，以通过视觉匹配实现车辆定位。
发明内容
本发明的目的在于克服现有技术的不足，提供一种融合双目视觉和差分卫星定位的地标地图生成方法，利用双目相机和差分卫星定位信号实现静态地标的定位计算，建立轻量化地标地图。
为实现上述发明目的，本发明一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，包括以下步骤：
(1)、搭建采集***，建立车辆坐标系
将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2；
通过双目相机与双定位天线之间物理关系以及车头方向
Figure BDA0001630111150000021
标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标
Figure BDA0001630111150000022
(2)、图像采集
在双目相机与差分卫星定位信号同步下，左右相机分别采集图像IL、IR；
(3)、相机定标
对双目相机进行内参标定，获取双目相机的内部参数，并构建内参矩阵K；
(4)、利用深度学习算法检测左图像IL或右图像IR中的地标块
利用训练好的深度学习模型DM检测左图像IL或右图像IR中的地标块，标记为B1,B2,…,BN，N表示地标块的个数，再返回地标块的所处的二维矩形框，
Figure BDA0001630111150000023
为二维矩形框的四个顶点，i＝1,2,…,N；
(5)、特征点的三维重建
(5.1)、提取左、右图像中的二维特征点(xj,yj)L、(xj,yj)R,j＝1,2,…,M，M表示二维特征点的个数，M＞＞N；再对提取的(xj,yj)L和(xj,yj)R进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点
Figure BDA0001630111150000024
利用多视觉几何方法，重建二维特征点
Figure BDA0001630111150000025
对应的三维特征点
Figure BDA0001630111150000026
的坐标
Figure BDA0001630111150000027
(5.2)、建立优化目标函数F，并对重建的三维特征点进行优化
Figure BDA0001630111150000028
其中，R表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；
(6)、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xN,yN)到其三维重建的映射下的相对三维坐标
Figure BDA0001630111150000029
其中，
Figure BDA00016301111500000210
再根据相机中心的绝对坐标
Figure BDA0001630111150000031
和车头朝向
Figure BDA0001630111150000032
以及地标块重建的相对位 置
Figure BDA0001630111150000033
确定N个地标块在地球坐标系下绝对坐标
Figure BDA0001630111150000034
(7)、、重复步骤(4)-(6)，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标
Figure BDA0001630111150000035
τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值
Figure BDA0001630111150000036
用平均值
Figure BDA0001630111150000037
作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。
本发明的发明目的是这样实现的：
本发明一种融合双目视觉和差分卫星定位的地标地图生成方法，先搭建采集***，建立车辆坐标系，再通过双目相机和差分卫星定位的坐标***一和信号同步实现图像的采集，利用深度学习算法检测采集到的图像中的静态地标，并进行特征提取和三维重建，然后完成坐标***的转换，为检测到的地标计算出地球坐标系下的精确位置。
同时，本发明一种融合双目视觉和差分卫星定位的地标地图生成方法还具有以下有益效果：
(1)、本发明融合双目相机和双天线差分卫星定位，建立地球坐标系的采集***。
(2)、本发明中采用的双目相机的基线较大，图像稀疏点重建稳定，精度较单目相机重建精度高。
(3)、本发明采用自动关联深度目标识别方法，利用多帧、多点跟踪，计算同一地标的多个位置，统计得到地标最终经纬度坐标，建立高精度地标地图数据库。
附图说明
图1是本发明一种融合双目视觉和差分卫星定位的地标地图生成***原理图；
图2是本发明一种融合双目视觉和差分卫星定位的地标地图生成方法流程图；
图3是地标地图生成***实物图；
图4是双目相机标定前后图像对比图；
图5是地标地图生成效果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明一种融合双目视觉和差分卫星定位的地标地图生成***原理图。
在本实施例中，如图1所示，本发明一种融合双目视觉和差分卫星定位的地标地图生成***主要包括：
图像采集模块：用于采集双目相机和差分卫星定位的双定位天线组成；通过对双目相机图像进行矫正，建立统一的地球坐标系，并通过网络或者存储介质上传至地图构建运算中心。其中差分卫星定位信号，采用RTK接收器接收千寻的差分信号获得。
地标识别模块：利用深度学习训练模型检测地标，并返回地标在二维图像中的坐标；
地标定位模块：实现地标跟踪，计算每一时刻的地标位置，统计多次计算的地标位置，建立地标数据库。
下面我们结合图2对本发明一种融合双目视觉和差分卫星定位的地标地图生成方法进行详细，具体包括以下步骤：
S1、搭建采集***，建立车辆坐标系
将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2,搭建好的采集***如图3所示；
通过双目相机与双定位天线之间物理关系以及车头方向
Figure BDA0001630111150000041
标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标
Figure BDA0001630111150000042
S2、图像采集
在双目相机与差分卫星定位信号同步下，左右相机分别同时采集图像，标记为IL、IR；
S3、相机定标
对双目相机进行内参标定，获取双目相机的内部参数，内部参数包括相机的畸变参数、焦距和中心偏移，再利用这些内部参数构建内参矩阵K；在本实施例中，双目相机定标前后的对比效果如图4所示；
S4、利用深度学习算法检测左图像IL或右图像IR中的地标块
在完成此步工作时，首先要搜集地标的训练库，主要包括交通标志等，路灯、车道线、路肩等一切跟交通相关的信息，训练好深度学习模型DM；
再利用训练好的深度学习模型DM检测左图像IL或右图像IR中的地标块，标记为B1,B2,…,BN，N表示地标块的个数，再返回地标块的所处的二维矩形框，
Figure BDA0001630111150000051
为二维矩形框的四个顶点，i＝1,2,…,N；
S5、特征点的三维重建
S5.1、利用ORB、SURF、SIFT等算法提取左、右图像中的二维特征点(xj,yj)L、(xj,yj)R,j＝1,2,…,M，M表示二维特征点的个数，M＞＞N；再利用极线搜索方法对提取的(xj,yj)L和(xj,yj)R进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点
Figure BDA0001630111150000052
利用多视觉几何方法，重建二维特征点
Figure BDA0001630111150000053
对应的三维特征点
Figure BDA0001630111150000054
的坐标
Figure BDA0001630111150000055
S5.2、建立优化目标函数F，并对重建的三维特征点进行优化
Figure BDA0001630111150000056
其中，R表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；
S6、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xN,yN)到其三维重建的映射下的相对三维坐标
Figure BDA0001630111150000057
其中，
Figure BDA0001630111150000058
再根据相机中心的绝对坐标
Figure BDA0001630111150000061
和车头朝向
Figure BDA0001630111150000062
以及地标块重建的相对位置
Figure BDA0001630111150000063
确定N个地标块在地球坐标系下绝对坐标
Figure BDA0001630111150000064
具体确定方法如下：
将相对三维坐标
Figure BDA0001630111150000065
按照如下公式转换至地球坐标系下的绝对坐标；
Pi a＝K·R-1·PBi-R1·t
S7、重复步骤S4-S6，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标
Figure BDA0001630111150000066
τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值
Figure BDA0001630111150000067
用平均值
Figure BDA0001630111150000068
作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。
在本实施例中，生成的地标地图如图5所示，其中左边是显示的右相机视图，右边显示的是标有地标位置的地图。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，包括以下步骤：
(1)、搭建采集***，建立车辆坐标系
将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2；
通过双目相机与双定位天线之间物理关系以及车头方向
Figure FDA0003096918510000011
标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标
Figure FDA0003096918510000012
(2)、图像采集
在双目相机与差分卫星定位信号同步下，左右相机分别采集图像IL、IR；
(3)、相机定标
对双目相机进行内参标定，获取双目相机的内部参数，并构建内参矩阵K；
(4)、利用深度学习算法检测左图像IL或右图像IR中的地标块
利用训练好的深度学习模型DM检测左图像IL或右图像IR中的地标块，标记为B1,B2,…,BN，N表示地标块的个数，再返回地标块的所处的二维矩形框，
Figure FDA0003096918510000013
为二维矩形框的四个顶点，i＝1,2,…,N；
(5)、特征点的三维重建
(5.1)、提取左、右图像中的二维特征点(xj,yj)L、(xj,yj)R,j＝1,2,…,M，M表示二维特征点的个数，M＞＞N；再对提取的(xj,yj)L和(xj,yj)R进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点
Figure FDA0003096918510000014
利用多视觉几何方法，重建二维特征点
Figure FDA0003096918510000015
对应的三维特征点
Figure FDA0003096918510000016
的坐标
Figure FDA0003096918510000017
(5.2)、建立优化目标函数F，并对重建的三维特征点进行优化
Figure FDA0003096918510000018
其中，R表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；
(6)、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xN,yN)到其三维重建的映射下的相对三维坐标
Figure FDA0003096918510000021
其中，
Figure FDA0003096918510000022
再根据相机中心的绝对坐标
Figure FDA0003096918510000023
和车头朝向
Figure FDA0003096918510000024
以及地标块重建的相对位置
Figure FDA0003096918510000025
确定N个地标块在地球坐标系下绝对坐标
Figure FDA0003096918510000026
(7)、重复步骤(4)-(6)，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标
Figure FDA0003096918510000027
τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值
Figure FDA0003096918510000028
用平均值
Figure FDA0003096918510000029
作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。
2.根据权利要求1所述的一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，所述的双目相机内部参数包括相机的畸变参数、焦距和中心偏移。
3.根据权利要求1所述的一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，所述步骤(6)中，将相对三维坐标
Figure FDA00030969185100000210
按照如下公式转换至地球坐标系下的绝对坐标；
Figure FDA00030969185100000211
CN201810339051.5A 2018-04-16 2018-04-16 一种融合双目视觉和差分卫星定位的地标地图生成方法 Active CN108801274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810339051.5A CN108801274B (zh) 2018-04-16 2018-04-16 一种融合双目视觉和差分卫星定位的地标地图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810339051.5A CN108801274B (zh) 2018-04-16 2018-04-16 一种融合双目视觉和差分卫星定位的地标地图生成方法

Publications (2)

Publication Number Publication Date
CN108801274A CN108801274A (zh) 2018-11-13
CN108801274B true CN108801274B (zh) 2021-08-13

Family

ID=64094316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810339051.5A Active CN108801274B (zh) 2018-04-16 2018-04-16 一种融合双目视觉和差分卫星定位的地标地图生成方法

Country Status (1)

Country Link
CN (1) CN108801274B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583409A (zh) * 2018-12-07 2019-04-05 电子科技大学 一种面向认知地图的智能车定位方法及***
DE102018222169A1 (de) * 2018-12-18 2020-06-18 Eidgenössische Technische Hochschule Zürich Bordeigenes visuelles Ermitteln kinematischer Messgrößen eines Schienenfahrzeugs
CN109828571A (zh) * 2019-02-18 2019-05-31 奇瑞汽车股份有限公司 基于v2x的自动驾驶车辆、方法和装置
CN110514212A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种融合单目视觉和差分gnss的智能车地图地标定位方法
CN111311654B (zh) * 2020-02-13 2023-11-24 北京百度网讯科技有限公司 一种相机位置的配准方法、装置、电子设备及存储介质
CN111461039B (zh) * 2020-04-07 2022-03-25 电子科技大学 基于多尺度特征融合的地标识别方法
CN111652940B (zh) * 2020-04-30 2024-06-04 平安国际智慧城市科技股份有限公司 目标异常识别方法、装置、电子设备及存储介质
CN113624244A (zh) * 2020-05-07 2021-11-09 中移物联网有限公司 基于双目视觉绘制地标地图的装置、***及方法
CN111598937A (zh) * 2020-05-18 2020-08-28 浙江大学 一种基于标定区块对靶校正的农田测亩方法及***
CN112735163B (zh) * 2020-12-25 2022-08-02 阿波罗智联(北京)科技有限公司 确定目标物体静止状态的方法、路侧设备、云控平台
CN114200498A (zh) * 2022-02-16 2022-03-18 湖南天巡北斗产业安全技术研究院有限公司 卫星导航/光学组合的目标检测方法及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102506757B (zh) * 2011-10-10 2014-04-23 南京航空航天大学 双目立体测量***多视角测量中的自定位方法
US8818133B2 (en) * 2012-07-11 2014-08-26 Raytheon Company Point cloud construction with unposed camera
CN104748746B (zh) * 2013-12-29 2017-11-03 刘进 智能机姿态测定及虚拟现实漫游方法
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和***
CN104376552B (zh) * 2014-09-19 2017-12-29 四川大学 一种3d模型与二维图像的虚实配准方法
CN106228538B (zh) * 2016-07-12 2018-12-11 哈尔滨工业大学 基于logo的双目视觉室内定位方法

Also Published As

Publication number Publication date
CN108801274A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108801274B (zh) 一种融合双目视觉和差分卫星定位的地标地图生成方法
CN108534782B (zh) 一种基于双目视觉***的地标地图车辆即时定位方法
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN109685842B (zh) 一种基于多尺度网络的稀疏深度稠密化方法
CN111436216B (zh) 用于彩色点云生成的方法和***
CN110859044B (zh) 自然场景中的集成传感器校准
CN107505644A (zh) 基于车载多传感器融合的三维高精度地图生成***及方法
CN103093459B (zh) 利用机载LiDAR点云数据辅助影像匹配的方法
CN111275750A (zh) 基于多传感器融合的室内空间全景图像生成方法
CN109547769B (zh) 一种公路交通动态三维数字场景采集构建***及其工作方法
CN109709977B (zh) 移动轨迹规划的方法、装置及移动物体
KR20220064524A (ko) 이미지 기반 측위 방법 및 시스템
CN106373088A (zh) 大倾斜低重叠率航空图像的快速拼接方法
CN112461210A (zh) 一种空地协同建筑测绘机器人***及其测绘方法
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
CN113296133B (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
CN110986888A (zh) 一种航空摄影一体化方法
CN110736472A (zh) 一种基于车载环视图像与毫米波雷达融合的室内高精地图表征方法
CN114485654A (zh) 一种基于高精地图的多传感器融合定位方法及装置
CN117253029A (zh) 基于深度学习的图像匹配定位方法及计算机设备
CN114063127A (zh) 一种多焦距视觉slam与gps融合的方法及存储介质
WO2020113425A1 (en) Systems and methods for constructing high-definition map
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN115950435A (zh) 无人机巡检影像的实时定位方法
CN114429515A (zh) 一种点云地图构建方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant