CN111220156B - 一种基于城市实景的导航方法 - Google Patents
一种基于城市实景的导航方法 Download PDFInfo
- Publication number
- CN111220156B CN111220156B CN201811411955.0A CN201811411955A CN111220156B CN 111220156 B CN111220156 B CN 111220156B CN 201811411955 A CN201811411955 A CN 201811411955A CN 111220156 B CN111220156 B CN 111220156B
- Authority
- CN
- China
- Prior art keywords
- image
- point
- points
- live
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 63
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000013519 translation Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 16
- 230000000875 corresponding effect Effects 0.000 claims description 8
- 238000010494 dissociation reaction Methods 0.000 claims description 8
- 230000005593 dissociations Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 7
- 230000008447 perception Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 abstract description 7
- 230000009471 action Effects 0.000 abstract description 5
- 238000011835 investigation Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A30/00—Adapting or protecting infrastructure or their operation
- Y02A30/60—Planning or developing urban green infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Networks & Wireless Communication (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Abstract
一种基于城市实景的导航方法,涉及实景导航应用领域,其中该方法包括如下步骤:数据采集;数据处理;数据存储;数据调用。优点:实景导航数据可采用普通的相机采集,实现了其简易快速的目的,省去了三维导航中耗时耗力的三维建模过程。在实景导航***中搜索意向的目的地,可以实现提前浏览的功能,代替了实地勘察。可以直观地看到对应地点的真实场景,以便准确和快速定位,其直观性、精确度佳,实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置,提前辨别标志建筑物,确定行进路径,以平行的视角看世界,更加贴近人的感知习惯。
Description
技术领域
本发明涉及实景导航应用领域,特别涉及一种实景导航按照人的视觉习惯获取实景影像,提升了视觉效果,营造了新的视觉体验,可以涵盖所有的属性信息,保证了用户对详尽性和直观性的需要。即实景地图与实地场景是完全一致的,给用户提供了信息更为详细、画面更为真实准确地地图服务的基于城市实景的导航方法。
背景技术
经调查统计,目前我国的导航电子地图以二维地图为主。二维导航图深受大众喜爱,但仍有许多不足:一方面,传统的二维地图为线画图,需要对其添加属性信息,但是一个城市的兴趣点属性信息多且繁杂,是很难实现完全添加的;其次,从人的感知***视,而传统的二维导航图为垂直投影图,不符合人的感知习惯;最后二维导航图是没有地形信息的,总结来说二维导航图不够直观化。随着城市路况复杂度的提升,二维导航图就暴露了其弊端性,在错综复杂的路上忙着开车、辨认导航屏幕上的指引路线的同时还要选择走前面的哪条路,难免会出错误而为出行带来了不必要的麻烦,正是这些不足进而推动了三维导航图的发展。
而三维导航的画面,可以看出它是根据真实场景所绘制的。三维地图需要建立三维实景模型进而可以清楚直观的显示地形地貌,在导航产品中模拟真实的道路场景和驾驶路线,使驾驶者有身临其境的感觉,但人工建模过程比较复杂且耗时,其数据量之大对数据的存储和传输技术有较高的要求。
为了解决上述问题,许多学者在导航地图的技术与应用方面做了大量的研究,研究成果最为突出的是实景导航,它是一种将实景影像与二维矢量图关联起来的新型导航方式。
通常情况下,全景地图所需要的专业移动测量***价格在一百万左右,然而,实景导航的序列影像数据是利用单反相机组成的简易设备采集制作的,虽设备简易,但可以达到专业全景相机的效果。实景导航可以直观地看到对应地点的真实场景,以便准确和快速定位,其直观性、精确度佳,实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置,提前辨别标志建筑物,确定行进路径,以平行的视角看世界,更加贴近人的感知习惯。
发明内容
本发明实施例提供一种基于城市实景的导航方法,为解决现有按照人的视觉习惯获取实景影像,提升了视觉效果,营造了新的视觉体验,足不出户便可以了解户外的风景。实景影像可以涵盖所有的属性信息,保证了用户对详尽性和直观性的需要。即实景地图与实地场景是完全一致的,给用户提供了信息更为详细、画面更为真实准确地地图服务。在达到与三维电子地图同样效果的前提下,解决了三维电子地图中模型数据量大、传输效果差的问题。
同时,实景导航数据可采用普通的相机采集,实现了其简易快速的目的,省去了三维导航中耗时耗力的三维建模过程。在实景导航***中搜索意向的目的地,可以实现提前浏览的功能,代替了实地勘察。可以直观地看到对应地点的真实场景,以便准确和快速定位,其直观性、精确度佳,实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置,提前辨别标志建筑物,确定行进路径,以平行的视角看世界,更加贴近人的感知习惯。
本发明提供一种基于城市实景的导航方法,其中该方法包括如下步骤:
数据采集:通过采集设备对实景影像数据进行影像采集;通过GPS定位设备对GNSS数据进行数据采集;
数据处理:调取采集的实景影像中相邻的两幅影像;对两幅实景影像进行特征点提取,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,并根据此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;根据获得的变换矩阵、将获取的第二幅图像进行透视变换;采用加权平均法对两幅图像进行镶嵌,获得宽视角图像;分别读取实景影像数据和GNSS坐标文件中的时间戳,并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下,将具有相同时间的影像和位置坐标进行关联并将其进行数据存储;
数据存储:将***处理好的实景序列影像数据存储至数据库中,将关联好的位置点和影像数据存储至数据库中,并将其存储路径更新至数据库中;
数据调用:根据当前GPS位置获取其位置点坐标;依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标,对该影像点关联影像进行获取;根据当前位置获取平移向量和旋转矩阵。
一种基于城市实景的导航方法,其中所述数据处理包括如下步骤:
图像拼接:调取采集的实景影像中相邻的两幅视图;通过SIFT算子基于尺度空间的局部特征描述算法,对两幅实景影像进行特征点提取,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,通过此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;根据获得的变换矩阵、将获取的第二幅图像进行透视变换;采用加权平均法对两幅图像进行镶嵌,获得宽视角图像;
位置关联:分别读取实景影像数据和GNSS坐标文件中的时间戳,并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下,将具有相同时间的影像和位置坐标进行关联并将其进行数据存储。
一种基于城市实景的导航方法,其中所述图像拼接包括如下步骤:
调取实景影像1:调取采集的实景影像1中相邻两幅影像中的左视图;
调取临接实景影像2:调取采集的实景影像1中相邻两幅影像中的右视图;
特征点提取:通过SIFT算子基于尺度空间的局部特征描述算法,对两幅实景影像进行特征点提取;
特征点匹配:提取图像特征点,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,通过此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;
变换矩阵求解:根据新的匹配点对,计算单应性变换矩阵H,其解算公式如下:
AH=b
式中:
式中:
A--是由点的坐标构成的矩阵
b--是由点的坐标构成的矩阵
(x1,y1)和(x1’y1’)--一对新的匹配点对的坐标;
(x2,y2)和(x2’y2’)--一对新的匹配点对的坐标;
(x3,y3)和(x3’y3’)--一对新的匹配点对的坐标;
(x4,y4)和(x4’y4’)--一对新的匹配点对的坐标;
图像变换:根据获得的变换矩阵、将获取的第二幅图像进行透视变换;
图像镶嵌:采用加权平均法对两幅图像进行镶嵌,设图像M1和M2为两幅待拼接图像,图像M为镶嵌后图像,权值是通过计算该像素点到重叠区域边界的距离来确定的,镶嵌后图像中各点的灰度值为:
上式中:
f1(x,y),f2(x,y)和f(x,y)--三幅图像在像素点(x,y)处的灰度值;
d1和d2--表示权重,一般取di=1/width,width表示重叠区域的宽度,且d1+d2=1,0<d1,d2<1;
获得宽视角图像:通过图像镶嵌获得宽视角的图像。
一种基于城市实景的导航方法,其中所述特征点提取包括如下步骤:
构造高斯差分尺度空间:利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间,其中公式为:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中:
I(x,y)--为一幅图像;
(x,y)--为空间坐标;
G(x,y,σ)--为高斯函数;
σ--为尺度因子;
k--为比例因子;
极值点检测:使用高斯差分尺度空间,对临近的尺度空间做差值构建金字塔,某一像素点差值是邻域内的八个邻域点及上下相邻尺度对应的26个点进行比较,获取最大值、最小值;
关键点定位:对检测出的局部极值点经过进一步的筛选,去除不稳定和错误检测出的极值点,采用下采样的图像构建高斯金字塔,在下采样图像中提取的极值点对应在原始图像中的确切位置。其中公式为:
其中:
D(x)--为一个特征点在三维尺度空间的局部极值点;
为关键点分配主方向:利用关键点邻域梯度的分布特征为每个关键点分配方向参数,其分配公式为:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
L(x,y)--为特征点的像素灰度信息;
m(x,y)--为梯度模值;
θ(x,y)--为方向;
生成特征点描述符:对每个关键点用4X4共16个种子点描述,在每个字块中分别计算8个方向的梯度信息合并所有块的梯度方向直方图,获得128维的特征点描述符。
一种基于城市实景的导航方法,其中所述特征点匹配包括如下步骤:
特征点初始化匹配:对提取获得的特征点利用BBF算法对两幅临接影像进行初始化匹配;
任意选取三对匹配点对:在初始化匹配的特征点对中随机抽取三对匹配点对;
获取三对匹配点对的夹角:利用向量夹角公式分别求出三对匹配点对的四个夹角;其中计算公式为:
其中:
θ1--为一幅图上的两个点连线的倾斜角
θ2--为一幅图上的两个点连线的倾斜角
θ1’--为一幅图上的两个点连线的倾斜角
θ2’--为一幅图上的两个点连线的倾斜角
(x1,y1)、(x1’,y1’)--一对匹配点对坐标;
(x2,y2)、(x2’,y2’)--一对匹配点对坐标;
(x3,y3)、(x3’,y3’)--一对匹配点对坐标;
对取夹角的差值进行判断:根据特征点之间的几何约束关系,得到新的匹配点对,约束关系式如下:
C=((Δθ1≤Δθ)&&(Δθ2≤Δθ))
式中:
Δθ1--两对夹角的差θ1-θ2的绝对值;
Δθ2--两对夹角的差θ′1-θ′2的绝对值;
Δθ--设定的阈值;
C--匹配点对。
一种基于城市实景的导航方法,其中所述位置关联包括如下步骤:
获取影像时间戳1:通过采集设备获取原始实景影像数据,并将实景影像数据中的时间戳进行提取;
获取GNSS定位数据时间戳2:通过GNSS模块获取位置数据,采集取位置数据中的时间戳,对此时间戳进行时间变换,其中变换公式为:
GPST=Tbj-8h+n
式中:
GPST--GPS时间;
n--1989年为5秒,1996年为11秒,2002年为13秒,截止到2017年,n 为17秒;
8h--为8小时;
Tbj--北京时间;
对两个时间戳是否等值进行判定:对影像数据中的时间戳和位置数据中的时间戳进行对比,判定两个时间戳数据是否相等;判定两个时间戳数据相等进行关联位置与影像数据的获取;判定两个时间戳数据不相等将重新获取影像时间戳和定位数据时间戳后再进行判断;
获取关联位置与影像数据:将具有相同时间的影像数据和位置坐标进行关联,获得了具有位置戳的影像数据。
一种基于城市实景的导航方法,其中所述数据调用包括如下步骤:
获取当前位置点坐标:根据当前GPS位置获取其位置点坐标;
获取最近邻影像:依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标,对该影像点关联影像进行获取;
利用当前位置对影像进行视角变换:根据当前位置获取平移向量和旋转矩阵。
一种基于城市实景的导航方法,其中所述利用当前位置对影像进行视角变换包括如下步骤:
获取平移向量:通过最近点大地坐标、次近点大地坐标、位置图像点大地坐标、图像采集坐标系的Y轴与大地坐标系的Z轴获取二维平面点之间的相对关系及过最近点与次近点的直线方程获取平移向量;
获取旋转矩阵:通过空间平面的方程获取该平面的法向量,设定最近点的图像采集坐标系为当前坐标系,获取坐标原点到景物平面的距离及原始图像绕图像采集坐标系的Y轴的旋转角;通过原始图像绕图像采集坐标系的Y轴的旋转角获得原始图像绕图像采集坐标系的Y轴旋转矩阵。
由此可见:
本发明实施例中的基于城市实景的导航方法:实景导航数据可采用普通的相机采集,实现了其简易快速的目的,省去了三维导航中耗时耗力的三维建模过程。在实景导航***中搜索意向的目的地,可以实现提前浏览的功能,代替了实地勘察。可以直观地看到对应地点的真实场景,以便准确和快速定位,其直观性、精确度佳,实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置,提前辨别标志建筑物,确定行进路径,以平行的视角看世界,更加贴近人的感知习惯。为解决现有按照人的视觉习惯获取实景影像,提升了视觉效果,营造了新的视觉体验,足不出户便可以了解户外的风景。实景影像可以涵盖所有的属性信息,保证了用户对详尽性和直观性的需要。即实景地图与实地场景是完全一致的,给用户提供了信息更为详细、画面更为真实准确地地图服务。在达到与三维电子地图同样效果的前提下,解决了三维电子地图中模型数据量大、传输效果差的问题。
附图说明
图1为本发明的实施例提供的基于城市实景的导航方法的整体流程示意图;
图2为本发明的实施例提供的基于城市实景的导航方法中数据处理步骤的流程示意图;
图3为本发明的实施例提供的基于城市实景的导航方法中图像拼接步骤的流程示意图;
图4为本发明的实施例提供的基于城市实景的导航方法中特征点提取步骤的流程示意图;
图5为本发明的实施例提供的基于城市实景的导航方法中特征点匹配步骤的流程示意图;
图6为本发明的实施例提供的基于城市实景的导航方法中位置关联步骤的流程示意图;
图7为本发明的实施例提供的基于城市实景的导航方法中数据调用骤的流程示意图;
图8为本发明的实施例提供的基于城市实景的导航方法中利用当前位置对影像进行视角变换步骤的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合附图以及具体实施例来详细说明本发明,在此本发明的示意性实施例以及说明用来解释本发明,但并不作为对本发明的限定。
实施例1:
如图1所示,一种基于城市实景的导航方法,该方法包括如下步骤:
数据采集:通过采集设备对实景影像数据进行影像采集;通过GPS定位设备对GNSS数据进行数据采集;
数据处理:调取采集的实景影像中相邻的两幅影像;对两幅实景影像进行特征点提取,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,并根据此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;根据获得的变换矩阵、将获取的第二幅图像进行透视变换;采用加权平均法对两幅图像进行镶嵌,获得宽视角图像;分别读取实景影像数据和GNSS坐标文件中的时间戳,并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下,将具有相同时间的影像和位置坐标进行关联并将其进行数据存储;
数据存储:将***处理好的实景序列影像数据存储至数据库中,将关联好的位置点和影像数据存储至数据库中,并将其存储路径更新至数据库中;
数据调用:根据当前GPS位置获取其位置点坐标;依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标,对该影像点关联影像进行获取;根据当前位置获取平移向量和旋转矩阵。
如图2所示,一种基于城市实景的导航方法,所述数据处理包括如下步骤:
图像拼接:调取采集的实景影像中相邻的两幅视图;通过SIFT算子基于尺度空间的局部特征描述算法,对两幅实景影像进行特征点提取,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,通过此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;根据获得的变换矩阵、将获取的第二幅图像进行透视变换;采用加权平均法对两幅图像进行镶嵌,获得宽视角图像;
位置关联:分别读取实景影像数据和GNSS坐标文件中的时间戳,并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下,将具有相同时间的影像和位置坐标进行关联并将其进行数据存储。
如图3所示,一种基于城市实景的导航方法,所述图像拼接包括如下步骤:
调取实景影像1:调取采集的实景影像1中相邻两幅影像中的左视图;
调取临接实景影像2:调取采集的实景影像1中相邻两幅影像中的右视图;
特征点提取:通过SIFT算子基于尺度空间的局部特征描述算法,对两幅实景影像进行特征点提取;
特征点匹配:提取图像特征点,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,通过此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;
变换矩阵求解:根据新的匹配点对,计算单应性变换矩阵H,其解算公式如下:
AH=b
式中:
式中:
A--是由点的坐标构成的矩阵
b--是由点的坐标构成的矩阵
(x1,y1)和(x1’y1’)--一对新的匹配点对的坐标;
(x2,y2)和(x2’y2’)--一对新的匹配点对的坐标;
(x3,y3)和(x3’y3’)--一对新的匹配点对的坐标;
(x4,y4)和(x4’y4’)--一对新的匹配点对的坐标;
图像变换:根据获得的变换矩阵、将获取的第二幅图像进行透视变换;
图像镶嵌:采用加权平均法对两幅图像进行镶嵌,设图像M1和M2为两幅待拼接图像,图像M为镶嵌后图像,权值是通过计算该像素点到重叠区域边界的距离来确定的,镶嵌后图像中各点的灰度值为:
上式中:
f1(x,y),f2(x,y)和f(x,y)--三幅图像在像素点(x,y)处的灰度值;
d1和d2--表示权重,一般取di=1/width,width表示重叠区域的宽度,且 d1+d2=1,0<d1,d2<1;
获得宽视角图像:通过图像镶嵌获得宽视角的图像。
如图4所示,一种基于城市实景的导航方法,所述特征点提取包括如下步骤:
构造高斯差分尺度空间:利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间,其中公式为:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中:
I(x,y)--为一幅图像;
(x,y)--为空间坐标;
G(x,y,σ)--为高斯函数;
σ--为尺度因子;
k--为比例因子;
极值点检测:使用高斯差分尺度空间,对临近的尺度空间做差值构建金字塔,某一像素点差值是邻域内的八个邻域点及上下相邻尺度对应的26个点进行比较,获取最大值、最小值;
关键点定位:对检测出的局部极值点经过进一步的筛选,去除不稳定和错误检测出的极值点,采用下采样的图像构建高斯金字塔,在下采样图像中提取的极值点对应在原始图像中的确切位置。其中公式为:
其中:
D(x)--为一个特征点在三维尺度空间的局部极值点;
为关键点分配主方向:利用关键点邻域梯度的分布特征为每个关键点分配方向参数,其分配公式为:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
L(x,y)--为特征点的像素灰度信息;
m(x,y)--为梯度模值;
θ(x,y)--为方向;
生成特征点描述符:对每个关键点用4X4共16个种子点描述,在每个字块中分别计算8个方向的梯度信息合并所有块的梯度方向直方图,获得128维的特征点描述符。
如图5所示,一种基于城市实景的导航方法,所述特征点匹配包括如下步骤:
特征点初始化匹配:对提取获得的特征点利用BBF算法对两幅临接影像进行初始化匹配;
任意选取三对匹配点对:在初始化匹配的特征点对中随机抽取三对匹配点对;
获取三对匹配点对的夹角:利用向量夹角公式分别求出三对匹配点对的四个夹角;其中计算公式为:
其中:
θ1--为一幅图上的两个点连线的倾斜角
θ2--为一幅图上的两个点连线的倾斜角
θ1’--为一幅图上的两个点连线的倾斜角
θ2’--为一幅图上的两个点连线的倾斜角
(x1,y1)、(x1’,y1’)--一对匹配点对坐标;
(x2,y2)、(x2’,y2’)--一对匹配点对坐标;
(x3,y3)、(x3’,y3’)--一对匹配点对坐标;
对取夹角的差值进行判断:根据特征点之间的几何约束关系,得到新的匹配点对,约束关系式如下:
C=((Δθ1≤Δθ)&&(Δθ2≤Δθ))
式中:
Δθ1--两对夹角的差θ1-θ2的绝对值;
Δθ2--两对夹角的差θ′1-θ′2的绝对值;
Δθ--设定的阈值;
C--匹配点对。
如图6所示,一种基于城市实景的导航方法,所述位置关联包括如下步骤:
获取影像时间戳1:通过采集设备获取原始实景影像数据,并将实景影像数据属性信息中的时间戳进行提取;
获取GNSS定位数据时间戳2:通过GNSS模块获取位置数据,采集取位置数据属性信息中的时间戳,对此时间戳进行时间变换,其中变换公式为:
GPST=Tbj-8h+n
式中:
GPST--GPS时间;
n--1989年为5秒,1996年为11秒,2002年为13秒,截止到2017年,n 为17秒;
8h--为8小时;
Tbj--北京时间;
对两个时间戳是否等值进行判定:对影像数据中的时间戳和位置数据中的时间戳进行对比,判定两个时间戳数据是否相等;判定两个时间戳数据相等将进行关联位置与影像数据的获取;判定两个时间戳数据不相等将重新获取影像时间戳和定位数据时间戳后再进行判断;
获取关联位置与影像数据:将具有相同时间的影像数据和位置坐标进行关联,获得了具有位置戳的影像数据。
如图7所示,一种基于城市实景的导航方法,所述数据调用包括如下步骤:
获取当前位置点坐标:根据当前GPS位置获取其位置点坐标;
获取最近邻影像:依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标,对该影像点关联影像进行获取;
利用当前位置对影像进行视角变换:根据当前位置获取平移向量和旋转矩阵。
如图8所示,一种基于城市实景的导航方法,所述利用当前位置对影像进行视角变换包括如下步骤:
获取平移向量:通过最近点大地坐标、次近点大地坐标、位置图像点大地坐标、图像采集坐标系的Y轴与大地坐标系的Z轴获取二维平面点之间的相对关系及过最近点与次近点的直线方程获取平移向量;
获取旋转矩阵:通过空间平面的方程获取该平面的法向量,设定最近点的图像采集坐标系为当前坐标系,获取坐标原点到景物平面的距离及原始图像绕图像采集坐标系的Y轴的旋转角;通过原始图像绕图像采集坐标系的Y轴的旋转角获得原始图像绕图像采集坐标系的Y轴旋转矩阵。
下面以一个具体实施案例进行说明:
如图1所示,一种基于城市实景的导航方法,该方法包括如下步骤:
数据采集:在路况较好的环境下,通过固定在采集车上的相机采集对实景影像数据进行影像采集,将相机固定在三角架上,三脚架保证相机可以在平行于地面的平面内转动,以相机为中心,旋转摄取我们所需要方位角的实景影像。在路况较差的环境下,需要采集人员背着影像采集器,为了在拍摄影像的同时获得拍摄像机的地理坐标,将定位模块固定在采集相机的正下方,通过GPS定位设备对 GNSS数据进行数据采集;
数据处理:调取采集的实景影像中相邻的两幅影像;对两幅实景影像进行特征点提取,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,并根据此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;根据获得的变换矩阵、将获取的第二幅图像进行透视变换;采用加权平均法对两幅图像进行镶嵌,获得宽视角图像;分别读取实景影像数据和GNSS坐标文件中的时间戳,并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下,将具有相同时间的影像和位置坐标进行关联并将其进行数据存储;
数据存储:将***处理好的实景序列影像数据存储至数据库中,将关联好的位置点和影像数据存储至数据库中,并将其存储路径更新至数据库中;
数据调用:根据当前GPS位置获取其位置点坐标;依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标,对该影像点关联影像进行获取;根据当前位置获取平移向量和旋转矩阵。
如图2所示,一种基于城市实景的导航方法,所述数据处理包括如下步骤:
图像拼接:调取采集的实景影像中相邻的两幅视图;通过SIFT算子基于尺度空间的局部特征描述算法,对两幅实景影像进行特征点提取,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,通过此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;根据获得的变换矩阵、将获取的第二幅图像进行透视变换;采用加权平均法对两幅图像进行镶嵌,获得宽视角图像;
位置关联:分别读取实景影像数据和GNSS坐标文件中的时间戳,并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下,将具有相同时间的影像和位置坐标进行关联并将其进行数据存储。
如图3所示,一种基于城市实景的导航方法,所述图像拼接包括如下步骤:
调取实景影像1:调取采集的实景影像1中相邻两幅影像中的左视图;
调取临接实景影像2:调取采集的实景影像1中相邻两幅影像中的右视图;
特征点提取:通过SIFT算子基于尺度空间的局部特征描述算法,对两幅实景影像进行特征点提取;
特征点匹配:提取图像特征点,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,通过此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;
变换矩阵求解:根据新的匹配点对,计算单应性变换矩阵H,其解算公式如下:
AH=b
式中:
式中:
A--是由点的坐标构成的矩阵
b--是由点的坐标构成的矩阵
(x1,y1)和(x1’y1’)--一对新的匹配点对的坐标;
(x2,y2)和(x2’y2’)--一对新的匹配点对的坐标;
(x3,y3)和(x3’y3’)--一对新的匹配点对的坐标;
(x4,y4)和(x4’y4’)--一对新的匹配点对的坐标;
图像变换:根据获得的变换矩阵、将获取的第二幅图像进行透视变换;
图像镶嵌:采用加权平均法对两幅图像进行镶嵌,设图像M1和M2为两幅待拼接图像,图像M为镶嵌后图像,权值是通过计算该像素点到重叠区域边界的距离来确定的,镶嵌后图像中各点的灰度值为:
上式中:
f1(x,y),f2(x,y)和f(x,y)--三幅图像在像素点(x,y)处的灰度值;
d1和d2--表示权重,一般取di=1/width,width表示重叠区域的宽度,且 d1+d2=1,0<d1,d2<1;
获得宽视角图像:通过图像镶嵌获得宽视角的图像。
如图4所示,一种基于城市实景的导航方法,所述特征点提取包括如下步骤:
构造高斯差分尺度空间:利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间,其中公式为:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中:
I(x,y)--为一幅图像;
(x,y)--为空间坐标;
G(x,y,σ)--为高斯函数;
σ--为尺度因子;
k--为比例因子;
极值点检测:使用高斯差分尺度空间,对临近的尺度空间做差值构建金字塔,某一像素点差值是邻域内的八个邻域点及上下相邻尺度对应的26个点进行比较,获取最大值、最小值;
关键点定位:对检测出的局部极值点经过进一步的筛选,去除不稳定和错误检测出的极值点,采用下采样的图像构建高斯金字塔,在下采样图像中提取的极值点对应在原始图像中的确切位置。其中公式为:
其中:
D(x)--为一个特征点在三维尺度空间的局部极值点;
为关键点分配主方向:利用关键点邻域梯度的分布特征为每个关键点分配方向参数,其分配公式为:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
L(x,y)--为特征点的像素灰度信息;
m(x,y)--为梯度模值;
θ(x,y)--为方向;
生成特征点描述符:对每个关键点用4X4共16个种子点描述,在每个字块中分别计算8个方向的梯度信息合并所有块的梯度方向直方图,获得128维的特征点描述符。
如图5所示,一种基于城市实景的导航方法,所述特征点匹配包括如下步骤:
特征点初始化匹配:首先对数据点在k维空间(如二维(x,y),三维(x,y,z), k维(x1,y,z...))中划分数据结构,每层将空间分为两个子空间,将分割维定义为每个特征点描述符中方差最大的维度,比较此维度上的二分值与特征点的大小,若特征点小,则将此特征点放在根的左子树下,反之放在右子树下,然后以根节点的左右子树为根节点依次重复上述对比过程,直到左右两个区域内没有实例存在时为止。其次,把回溯可能通过的节点加入队列,计算目标点到该节点确定的超平面距离,选择距离最短(优先级最高)的节点,直到队列为空。
实景影像数据在采集的过程中采集频率较高,相邻序列的影像间平移旋转变化量不大,所以重叠区域特征点的空间几何关系在邻帧影像上近似相同,针对初始化匹配误差较大的问题,利用空间几何约束的方法筛除误匹配点。
任意选取三对匹配点对:在初始化匹配的特征点对中随机抽取三对匹配点对;
获取三对匹配点对的夹角:利用向量夹角公式分别求出三对匹配点对的四个夹角;其中计算公式为:
其中:
θ1--为一幅图上的两个点连线的倾斜角
θ2--为一幅图上的两个点连线的倾斜角
θ1’--为一幅图上的两个点连线的倾斜角
θ2’--为一幅图上的两个点连线的倾斜角
(x1,y1)、(x1’,y1’)--一对匹配点对坐标;
(x2,y2)、(x2’,y2’)--一对匹配点对坐标;
(x3,y3)、(x3’,y3’)--一对匹配点对坐标;
对取夹角的差值进行判断:根据特征点之间的几何约束关系,得到新的匹配点对,约束关系式如下:
C=((Δθ1≤Δθ)&&(Δθ2≤Δθ))
式中:
Δθ1--两对夹角的差θ1-θ2的绝对值;
Δθ2--两对夹角的差θ′1-θ′2的绝对值;
Δθ--设定的阈值;
C--匹配点对。
如图6所示,一种基于城市实景的导航方法,所述位置关联包括如下步骤:
获取影像时间戳1:通过采集设备获取原始实景影像数据,并将实景影像数据中的时间戳进行提取;
获取GNSS定位数据时间戳2:通过GNSS模块获取位置数据,采集取位置数据中的时间戳,对此时间戳进行时间变换,其中变换公式为:
GPST=Tbj-8h+n
式中:
GPST--GPS时间;
n--1989年为5秒,1996年为11秒,2002年为13秒,截止到2017年,n 为17秒;
8h--为8小时;
Tbj--北京时间;
对两个时间戳是否等值进行判定:对影像数据中的时间戳和位置数据中的时间戳进行对比,判定两个时间戳数据是否相等;判定两个时间戳数据相等进行关联位置与影像数据的获取;判定两个时间戳数据不相等将重新获取影像时间戳和定位数据时间戳后再进行判断;
获取关联位置与影像数据:将具有相同时间的影像数据和位置坐标进行关联,获得了具有位置戳的影像数据。
数据存储:将***处理好的实景序列影像数据存储在文件数据库中,关联好的空间位置点和影像数据的存储路径更新至Mysql数据库中,在Mysql数据库的表中设置了“主键”、“IM”、“街道”、“正/逆”“经度”、“纬度”、“高程”、“照片名称”来实现对影像空间位置点以及与影像关联关系的存储,通过照片名称将文件数据库和Mysql数据库中的内容进行匹配,将采集到的兴趣点属性信息及时的保存到Mysql数据库中。
如图7所示,一种基于城市实景的导航方法,所述数据调用包括如下步骤:
获取当前位置点坐标:根据当前GPS位置获取其位置点坐标;
获取最近邻影像:依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标,对该影像点关联影像进行获取;
利用当前位置对影像进行视角变换:根据当前位置获取平移向量和旋转矩阵。
如图8所示,一种基于城市实景的导航方法,所述利用当前位置对影像进行视角变换包括如下步骤:
获取平移向量:通过最近点大地坐标、次近点大地坐标、位置图像点大地坐标、图像采集坐标系的Y轴与大地坐标系的Z轴获取二维平面点之间的相对关系及过最近点与次近点的直线方程获取平移向量;
获取旋转矩阵:通过空间平面的方程获取该平面的法向量,设定最近点的图像采集坐标系为当前坐标系,获取坐标原点到景物平面的距离及原始图像绕图像采集坐标系的Y轴的旋转角;通过原始图像绕图像采集坐标系的Y轴的旋转角获得原始图像绕图像采集坐标系的Y轴旋转矩阵。
由此可见:本发明实施例中的基于城市实景的导航方法:实景导航数据可采用普通的相机采集,实现了其简易快速的目的,省去了三维导航中耗时耗力的三维建模过程。在实景导航***中搜索意向的目的地,可以实现提前浏览的功能,代替了实地勘察。可以直观地看到对应地点的真实场景,以便准确和快速定位,其直观性、精确度佳,实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置,提前辨别标志建筑物,确定行进路径,以平行的视角看世界,更加贴近人的感知习惯。为解决现有按照人的视觉习惯获取实景影像,提升了视觉效果,营造了新的视觉体验,足不出户便可以了解户外的风景。实景影像可以涵盖所有的属性信息,保证了用户对详尽性和直观性的需要。即实景地图与实地场景是完全一致的,给用户提供了信息更为详细、画面更为真实准确地地图服务。在达到与三维电子地图同样效果的前提下,解决了三维电子地图中模型数据量大、传输效果差的问题。
虽然通过实施例描绘了本发明实施例,本领域普通技术人员知道,本发明有许多变形和变化而不脱离本发明的精神,希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。
Claims (6)
1.一种基于城市实景的导航方法,其特征在于,该方法包括如下步骤:
数据采集:通过采集设备对实景影像数据进行影像采集;通过GPS定位设备对GNSS数据进行数据采集;
数据处理:调取采集的实景影像中相邻的两幅影像;对两幅实景影像进行特征点提取,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,并根据此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;根据获得的变换矩阵、将获取的第二幅图像进行透视变换;采用加权平均法对两幅图像进行镶嵌,获得宽视角图像;分别读取实景影像数据和GNSS坐标文件中的时间戳,并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下,将具有相同时间的影像和位置坐标进行关联并将其进行数据存储;
数据存储:将***处理好的实景序列影像数据存储至数据库中,将关联好的位置点和影像数据存储至数据库中,并将其存储路径更新至数据库中;
数据调用:根据当前GPS位置获取其位置点坐标;依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标,对该影像点关联影像进行获取;根据当前位置获取平移向量和旋转矩阵;
所述数据处理包括如下步骤:
图像拼接:调取采集的实景影像中相邻的两幅视图;通过SIFT算子基于尺度空间的局部特征描述算法,对两幅实景影像进行特征点提取,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,通过此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;根据获得的变换矩阵、将获取的第二幅图像进行透视变换;采用加权平均法对两幅图像进行镶嵌,获得宽视角图像;
位置关联:分别读取实景影像数据和GNSS坐标文件中的时间戳,并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下,将具有相同时间的影像和位置坐标进行关联并将其进行数据存储;
所述数据调用包括如下步骤:
获取当前位置点坐标:根据当前GPS位置获取其位置点坐标;
获取最近邻影像:依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标,对该影像点关联影像进行获取;
利用当前位置对影像进行视角变换:根据当前位置获取平移向量和旋转矩阵。
2.根据权利要求1所述的一种基于城市实景的导航方法,其特征在于,所述图像拼接包括如下步骤:
调取实景影像1:调取采集的实景影像1中相邻两幅影像中的左视图;
调取临接实景影像2:调取采集的实景影像1中相邻两幅影像中的右视图;
特征点提取:通过SIFT算子基于尺度空间的局部特征描述算法,对两幅实景影像进行特征点提取;
特征点匹配:提取图像特征点,并进行特征点的初始匹配,获取初始匹配点集,通过特征点之间的空间几何关系约束,通过此约束筛选匹配点,获得新的匹配点集,计算变换矩阵;
变换矩阵求解:根据新的匹配点对,计算单应性变换矩阵H,其解算公式如下:
AH=b
式中:
式中:
A--是由点的坐标构成的矩阵
b--是由点的坐标构成的矩阵
(x1,y1)和(x1’y1’)--一对新的匹配点对的坐标;
(x2,y2)和(x2’y2’)--一对新的匹配点对的坐标;
(x3,y3)和(x3’y3’)--一对新的匹配点对的坐标;
(x4,y4)和(x4’y4’)--一对新的匹配点对的坐标;
图像变换:根据获得的变换矩阵、将获取的第二幅图像进行透视变换;
图像镶嵌:采用加权平均法对两幅图像进行镶嵌,设图像M1和M2为两幅待拼接图像,图像M为镶嵌后图像,权值是通过计算该像素点到重叠区域边界的距离来确定的,镶嵌后图像中各点的灰度值为:
上式中:
f1(x,y),f2(x,y)和f(x,y)--三幅图像在像素点(x,y)处的灰度值;
d1和d2--表示权重,一般取di=1/width,width表示重叠区域的宽度,且d1+d2=1,0<d1,d2<1;
获得宽视角图像:通过图像镶嵌获得宽视角的图像。
3.根据权利要求2所述的一种基于城市实景的导航方法,其特征在于,所述特征点提取包括如下步骤:
构造高斯差分尺度空间:利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间,其中公式为:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)
其中:
I(x,y)--为一幅图像;
(x,y)--为空间坐标;
G(x,y,σ)--为高斯函数;
σ--为尺度因子;
k--为比例因子;
极值点检测:使用高斯差分尺度空间,对临近的尺度空间做差值构建金字塔,某一像素点差值是邻域内的八个邻域点及上下相邻尺度对应的26个点进行比较,获取最大值、最小值;
关键点定位:对检测出的局部极值点经过进一步的筛选,去除不稳定和错误检测出的极值点,采用下采样的图像构建高斯金字塔,在下采样图像中提取的极值点对应在原始图像中的确切位置。其中公式为:
其中:
D(x)--为一个特征点在三维尺度空间的局部极值点;
为关键点分配主方向:利用关键点邻域梯度的分布特征为每个关键点分配方向参数,其分配公式为:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))
L(x,y)--为特征点的像素灰度信息;
m(x,y)--为梯度模值;
θ(x,y)--为方向;
生成特征点描述符:对每个关键点用4X4共16个种子点描述,在每个字块中分别计算8个方向的梯度信息合并所有块的梯度方向直方图,获得128维的特征点描述符。
4.根据权利要求2所述的一种基于城市实景的导航方法,其特征在于:所述特征点匹配包括如下步骤:
特征点初始化匹配:对提取获得的特征点利用BBF算法对两幅临接影像进行初始化匹配;
任意选取三对匹配点对:在初始化匹配的特征点对中随机抽取三对匹配点对;
获取三对匹配点对的夹角:利用向量夹角公式分别求出三对匹配点对的四个夹角;其中计算公式为:
其中:
θ1--为一幅图上的两个点连线的倾斜角
θ2--为一幅图上的两个点连线的倾斜角
θ1’--为一幅图上的两个点连线的倾斜角
θ2’--为一幅图上的两个点连线的倾斜角
(x1,y1)、(x1’,y1’)--一对匹配点对坐标;
(x2,y2)、(x2’,y2’)--一对匹配点对坐标;
(x3,y3)、(x3’,y3’)--一对匹配点对坐标;
对取夹角的差值进行判断:根据特征点之间的几何约束关系,得到新的匹配点对,约束关系式如下:
C=((Δθ1≤Δθ)&&(Δθ2≤Δθ))
式中:
Δθ1--两对夹角的差θ1-θ2的绝对值;
Δθ2--两对夹角的差θ′1-θ′2的绝对值;
Δθ--设定的阈值;
C--匹配点对。
5.根据权利要求1所述的一种基于城市实景的导航方法,其特征在于:所述位置关联包括如下步骤:
获取影像时间戳1:通过采集设备获取原始实景影像数据,并将实景影像数据中的时间戳进行提取;
获取GNSS定位数据时间戳2:通过GNSS模块获取位置数据,采集取位置数据中的时间戳,对此时间戳进行时间变换,其中变换公式为:
GPST=Tbj-8h+n
式中:
GPST--GPS时间;
n--1989年为5秒,1996年为11秒,2002年为13秒,截止到2017年,n为17秒;
8h--为8小时;
Tbj--北京时间;
对两个时间戳是否等值进行判定:对影像数据中的时间戳和位置数据中的时间戳进行对比,判定两个时间戳数据是否相等;判定两个时间戳数据相等进行关联位置与影像数据的获取;判定两个时间戳数据不相等将重新获取影像时间戳和定位数据时间戳后再进行判断;
获取关联位置与影像数据:将具有相同时间的影像数据和位置坐标进行关联,获得了具有位置戳的影像数据。
6.根据权利要求1所述的一种基于城市实景的导航方法,其特征在于,所述利用当前位置对影像进行视角变换包括如下步骤:
获取平移向量:通过最近点大地坐标、次近点大地坐标、位置图像点大地坐标、图像采集坐标系的Y轴与大地坐标系的Z轴获取二维平面点之间的相对关系及过最近点与次近点的直线方程获取平移向量;
获取旋转矩阵:通过空间平面的方程获取该平面的法向量,设定最近点的图像采集坐标系为当前坐标系,获取坐标原点到景物平面的距离及原始图像绕图像采集坐标系的Y轴的旋转角;通过原始图像绕图像采集坐标系的Y轴的旋转角获得原始图像绕图像采集坐标系的Y轴旋转矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811411955.0A CN111220156B (zh) | 2018-11-25 | 2018-11-25 | 一种基于城市实景的导航方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811411955.0A CN111220156B (zh) | 2018-11-25 | 2018-11-25 | 一种基于城市实景的导航方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111220156A CN111220156A (zh) | 2020-06-02 |
CN111220156B true CN111220156B (zh) | 2023-06-23 |
Family
ID=70827583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811411955.0A Active CN111220156B (zh) | 2018-11-25 | 2018-11-25 | 一种基于城市实景的导航方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111220156B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102426019A (zh) * | 2011-08-25 | 2012-04-25 | 航天恒星科技有限公司 | 一种无人机景象匹配辅助导航方法及*** |
CN106447585A (zh) * | 2016-09-21 | 2017-02-22 | 武汉大学 | 城市地区和室内高精度视觉定位***及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航***及方法 |
CN104748746B (zh) * | 2013-12-29 | 2017-11-03 | 刘进 | 智能机姿态测定及虚拟现实漫游方法 |
CN104833368A (zh) * | 2015-05-12 | 2015-08-12 | 寅家电子科技(上海)有限公司 | 实景导航***及方法 |
CN105371847B (zh) * | 2015-10-27 | 2018-06-29 | 深圳大学 | 一种室内实景导航方法及*** |
CN106679648B (zh) * | 2016-12-08 | 2019-12-10 | 东南大学 | 一种基于遗传算法的视觉惯性组合的slam方法 |
CN108564647B (zh) * | 2018-03-30 | 2019-08-30 | 王乐陶 | 一种建立虚拟三维地图的方法 |
-
2018
- 2018-11-25 CN CN201811411955.0A patent/CN111220156B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102426019A (zh) * | 2011-08-25 | 2012-04-25 | 航天恒星科技有限公司 | 一种无人机景象匹配辅助导航方法及*** |
CN106447585A (zh) * | 2016-09-21 | 2017-02-22 | 武汉大学 | 城市地区和室内高精度视觉定位***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111220156A (zh) | 2020-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10664708B2 (en) | Image location through large object detection | |
US9858717B2 (en) | System and method for producing multi-angle views of an object-of-interest from images in an image dataset | |
CN109520500B (zh) | 一种基于终端拍摄图像匹配的精确定位及街景库采集方法 | |
JP4488233B2 (ja) | 映像オブジェクト認識装置、映像オブジェクト認識方法、および映像オブジェクト認識プログラム | |
CN106373088B (zh) | 大倾斜低重叠率航空图像的快速拼接方法 | |
US10191635B1 (en) | System and method of generating a view for a point of interest | |
JP7273927B2 (ja) | 画像ベースの測位方法及びシステム | |
KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
CN111540048A (zh) | 一种基于空地融合的精细化实景三维建模方法 | |
Park et al. | Beyond GPS: Determining the camera viewing direction of a geotagged image | |
GB2557398A (en) | Method and system for creating images | |
CN109472865B (zh) | 一种基于图像模型绘制的自由可量测全景再现方法 | |
US11972507B2 (en) | Orthophoto map generation method based on panoramic map | |
US20240077331A1 (en) | Method of predicting road attributers, data processing system and computer executable code | |
Xiao et al. | Geo-spatial aerial video processing for scene understanding and object tracking | |
Revaud et al. | Did it change? learning to detect point-of-interest changes for proactive map updates | |
EP2946366A1 (en) | Method and system for geo-referencing at least one sensor image | |
Kurz et al. | Absolute spatial context-aware visual feature descriptors for outdoor handheld camera localization overcoming visual repetitiveness in urban environments | |
CN111220156B (zh) | 一种基于城市实景的导航方法 | |
CN115937673A (zh) | 一种基于移动终端照片的地理要素快速变化发现方法 | |
CN115249345A (zh) | 一种基于倾斜摄影三维实景地图的交通拥堵检测方法 | |
Antigny et al. | Hybrid visual and inertial position and orientation estimation based on known urban 3D models | |
JP7467722B2 (ja) | 地物管理システム | |
CN115619959B (zh) | 基于无人机采集视频抽取关键帧的综合环境三维建模方法 | |
Chen et al. | Towards next-generation map making |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200602 Assignee: Tianjin survey and Design Institute Group Co.,Ltd. Assignor: STARGIS (TIANJIN) TECHNOLOGY DEVELOPMENT Co.,Ltd. Contract record no.: X2023980054666 Denomination of invention: A Navigation Method Based on Urban Realistic Scenery Granted publication date: 20230623 License type: Common license|Cross license Record date: 20231228 |