CN111220156B - 一种基于城市实景的导航方法 - Google Patents

Abstract

一种基于城市实景的导航方法，涉及实景导航应用领域，其中该方法包括如下步骤：数据采集；数据处理；数据存储；数据调用。优点：实景导航数据可采用普通的相机采集，实现了其简易快速的目的,省去了三维导航中耗时耗力的三维建模过程。在实景导航***中搜索意向的目的地，可以实现提前浏览的功能，代替了实地勘察。可以直观地看到对应地点的真实场景，以便准确和快速定位，其直观性、精确度佳，实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置，提前辨别标志建筑物，确定行进路径，以平行的视角看世界，更加贴近人的感知习惯。

Description

一种基于城市实景的导航方法

技术领域

本发明涉及实景导航应用领域，特别涉及一种实景导航按照人的视觉习惯获取实景影像，提升了视觉效果，营造了新的视觉体验，可以涵盖所有的属性信息，保证了用户对详尽性和直观性的需要。即实景地图与实地场景是完全一致的，给用户提供了信息更为详细、画面更为真实准确地地图服务的基于城市实景的导航方法。

背景技术

经调查统计，目前我国的导航电子地图以二维地图为主。二维导航图深受大众喜爱，但仍有许多不足：一方面，传统的二维地图为线画图，需要对其添加属性信息，但是一个城市的兴趣点属性信息多且繁杂，是很难实现完全添加的；其次，从人的感知***视，而传统的二维导航图为垂直投影图，不符合人的感知习惯；最后二维导航图是没有地形信息的，总结来说二维导航图不够直观化。随着城市路况复杂度的提升，二维导航图就暴露了其弊端性，在错综复杂的路上忙着开车、辨认导航屏幕上的指引路线的同时还要选择走前面的哪条路，难免会出错误而为出行带来了不必要的麻烦，正是这些不足进而推动了三维导航图的发展。

而三维导航的画面，可以看出它是根据真实场景所绘制的。三维地图需要建立三维实景模型进而可以清楚直观的显示地形地貌，在导航产品中模拟真实的道路场景和驾驶路线，使驾驶者有身临其境的感觉，但人工建模过程比较复杂且耗时，其数据量之大对数据的存储和传输技术有较高的要求。

为了解决上述问题，许多学者在导航地图的技术与应用方面做了大量的研究，研究成果最为突出的是实景导航，它是一种将实景影像与二维矢量图关联起来的新型导航方式。

通常情况下，全景地图所需要的专业移动测量***价格在一百万左右，然而，实景导航的序列影像数据是利用单反相机组成的简易设备采集制作的，虽设备简易，但可以达到专业全景相机的效果。实景导航可以直观地看到对应地点的真实场景，以便准确和快速定位，其直观性、精确度佳，实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置，提前辨别标志建筑物，确定行进路径，以平行的视角看世界，更加贴近人的感知习惯。

发明内容

本发明实施例提供一种基于城市实景的导航方法，为解决现有按照人的视觉习惯获取实景影像，提升了视觉效果，营造了新的视觉体验，足不出户便可以了解户外的风景。实景影像可以涵盖所有的属性信息，保证了用户对详尽性和直观性的需要。即实景地图与实地场景是完全一致的，给用户提供了信息更为详细、画面更为真实准确地地图服务。在达到与三维电子地图同样效果的前提下，解决了三维电子地图中模型数据量大、传输效果差的问题。

同时，实景导航数据可采用普通的相机采集，实现了其简易快速的目的,省去了三维导航中耗时耗力的三维建模过程。在实景导航***中搜索意向的目的地，可以实现提前浏览的功能，代替了实地勘察。可以直观地看到对应地点的真实场景，以便准确和快速定位，其直观性、精确度佳，实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置，提前辨别标志建筑物，确定行进路径，以平行的视角看世界，更加贴近人的感知习惯。

本发明提供一种基于城市实景的导航方法，其中该方法包括如下步骤：

数据采集：通过采集设备对实景影像数据进行影像采集；通过GPS定位设备对GNSS数据进行数据采集；

数据处理：调取采集的实景影像中相邻的两幅影像；对两幅实景影像进行特征点提取，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，并根据此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；根据获得的变换矩阵、将获取的第二幅图像进行透视变换；采用加权平均法对两幅图像进行镶嵌，获得宽视角图像；分别读取实景影像数据和GNSS坐标文件中的时间戳，并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下，将具有相同时间的影像和位置坐标进行关联并将其进行数据存储；

数据存储：将***处理好的实景序列影像数据存储至数据库中，将关联好的位置点和影像数据存储至数据库中，并将其存储路径更新至数据库中；

数据调用：根据当前GPS位置获取其位置点坐标；依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标，对该影像点关联影像进行获取；根据当前位置获取平移向量和旋转矩阵。

一种基于城市实景的导航方法，其中所述数据处理包括如下步骤：

图像拼接：调取采集的实景影像中相邻的两幅视图；通过SIFT算子基于尺度空间的局部特征描述算法，对两幅实景影像进行特征点提取，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，通过此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；根据获得的变换矩阵、将获取的第二幅图像进行透视变换；采用加权平均法对两幅图像进行镶嵌，获得宽视角图像；

位置关联：分别读取实景影像数据和GNSS坐标文件中的时间戳，并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下，将具有相同时间的影像和位置坐标进行关联并将其进行数据存储。

一种基于城市实景的导航方法，其中所述图像拼接包括如下步骤：

调取实景影像1：调取采集的实景影像1中相邻两幅影像中的左视图；

调取临接实景影像2：调取采集的实景影像1中相邻两幅影像中的右视图；

特征点提取：通过SIFT算子基于尺度空间的局部特征描述算法，对两幅实景影像进行特征点提取；

特征点匹配：提取图像特征点，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，通过此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；

变换矩阵求解：根据新的匹配点对，计算单应性变换矩阵H，其解算公式如下：

AH＝b

式中：

式中：

A--是由点的坐标构成的矩阵

b--是由点的坐标构成的矩阵

(x₁,y₁)和(x₁’y₁’)--一对新的匹配点对的坐标；

(x₂,y₂)和(x₂’y₂’)--一对新的匹配点对的坐标；

(x₃,y₃)和(x₃’y₃’)--一对新的匹配点对的坐标；

(x₄,y₄)和(x₄’y₄’)--一对新的匹配点对的坐标；

图像变换：根据获得的变换矩阵、将获取的第二幅图像进行透视变换；

图像镶嵌：采用加权平均法对两幅图像进行镶嵌，设图像M₁和M₂为两幅待拼接图像，图像M为镶嵌后图像，权值是通过计算该像素点到重叠区域边界的距离来确定的，镶嵌后图像中各点的灰度值为：

上式中：

f₁(x,y),f₂(x,y)和f(x,y)--三幅图像在像素点(x,y)处的灰度值；

d₁和d₂--表示权重，一般取d_i＝1/width，width表示重叠区域的宽度，且d₁+d₂＝1,0＜d₁,d₂＜1；

获得宽视角图像：通过图像镶嵌获得宽视角的图像。

一种基于城市实景的导航方法，其中所述特征点提取包括如下步骤：

构造高斯差分尺度空间：利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间，其中公式为：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中：

I(x,y)--为一幅图像；

(x,y)--为空间坐标；

G(x,y,σ)--为高斯函数；

σ--为尺度因子；

k--为比例因子；

极值点检测：使用高斯差分尺度空间，对临近的尺度空间做差值构建金字塔，某一像素点差值是邻域内的八个邻域点及上下相邻尺度对应的26个点进行比较，获取最大值、最小值；

关键点定位：对检测出的局部极值点经过进一步的筛选，去除不稳定和错误检测出的极值点，采用下采样的图像构建高斯金字塔，在下采样图像中提取的极值点对应在原始图像中的确切位置。其中公式为：

其中：

D(x)--为一个特征点在三维尺度空间的局部极值点；

--为D(x)在特征点处的二阶泰勒展开式；

为关键点分配主方向：利用关键点邻域梯度的分布特征为每个关键点分配方向参数，其分配公式为：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))

L(x,y)--为特征点的像素灰度信息；

m(x,y)--为梯度模值；

θ(x,y)--为方向；

生成特征点描述符：对每个关键点用4X4共16个种子点描述，在每个字块中分别计算8个方向的梯度信息合并所有块的梯度方向直方图，获得128维的特征点描述符。

一种基于城市实景的导航方法，其中所述特征点匹配包括如下步骤：

特征点初始化匹配：对提取获得的特征点利用BBF算法对两幅临接影像进行初始化匹配；

任意选取三对匹配点对：在初始化匹配的特征点对中随机抽取三对匹配点对；

获取三对匹配点对的夹角：利用向量夹角公式分别求出三对匹配点对的四个夹角；其中计算公式为：

其中：

θ₁--为一幅图上的两个点连线的倾斜角

θ₂--为一幅图上的两个点连线的倾斜角

θ₁’--为一幅图上的两个点连线的倾斜角

θ₂’--为一幅图上的两个点连线的倾斜角

(x₁,y₁)、(x₁’,y₁’)--一对匹配点对坐标；

(x₂,y₂)、(x₂’,y₂’)--一对匹配点对坐标；

(x₃,y₃)、(x₃’,y₃’)--一对匹配点对坐标；

对取夹角的差值进行判断：根据特征点之间的几何约束关系，得到新的匹配点对，约束关系式如下：

C＝((Δθ₁≤Δθ)&&(Δθ₂≤Δθ))

式中：

Δθ₁--两对夹角的差θ₁-θ₂的绝对值；

Δθ₂--两对夹角的差θ′₁-θ′₂的绝对值；

Δθ--设定的阈值；

C--匹配点对。

一种基于城市实景的导航方法，其中所述位置关联包括如下步骤：

获取影像时间戳1：通过采集设备获取原始实景影像数据，并将实景影像数据中的时间戳进行提取；

获取GNSS定位数据时间戳2：通过GNSS模块获取位置数据，采集取位置数据中的时间戳,对此时间戳进行时间变换，其中变换公式为：

GPST＝T_bj-8^h+n

式中：

GPST--GPS时间；

n--1989年为5秒，1996年为11秒，2002年为13秒，截止到2017年，n 为17秒；

8^h--为8小时；

T_bj--北京时间；

对两个时间戳是否等值进行判定：对影像数据中的时间戳和位置数据中的时间戳进行对比，判定两个时间戳数据是否相等；判定两个时间戳数据相等进行关联位置与影像数据的获取；判定两个时间戳数据不相等将重新获取影像时间戳和定位数据时间戳后再进行判断；

获取关联位置与影像数据：将具有相同时间的影像数据和位置坐标进行关联，获得了具有位置戳的影像数据。

一种基于城市实景的导航方法，其中所述数据调用包括如下步骤：

获取当前位置点坐标：根据当前GPS位置获取其位置点坐标；

获取最近邻影像:依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标，对该影像点关联影像进行获取；

利用当前位置对影像进行视角变换：根据当前位置获取平移向量和旋转矩阵。

一种基于城市实景的导航方法，其中所述利用当前位置对影像进行视角变换包括如下步骤：

获取平移向量：通过最近点大地坐标、次近点大地坐标、位置图像点大地坐标、图像采集坐标系的Y轴与大地坐标系的Z轴获取二维平面点之间的相对关系及过最近点与次近点的直线方程获取平移向量；

获取旋转矩阵：通过空间平面的方程获取该平面的法向量，设定最近点的图像采集坐标系为当前坐标系，获取坐标原点到景物平面的距离及原始图像绕图像采集坐标系的Y轴的旋转角；通过原始图像绕图像采集坐标系的Y轴的旋转角获得原始图像绕图像采集坐标系的Y轴旋转矩阵。

由此可见：

本发明实施例中的基于城市实景的导航方法：实景导航数据可采用普通的相机采集，实现了其简易快速的目的,省去了三维导航中耗时耗力的三维建模过程。在实景导航***中搜索意向的目的地，可以实现提前浏览的功能，代替了实地勘察。可以直观地看到对应地点的真实场景，以便准确和快速定位，其直观性、精确度佳，实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置，提前辨别标志建筑物，确定行进路径，以平行的视角看世界，更加贴近人的感知习惯。为解决现有按照人的视觉习惯获取实景影像，提升了视觉效果，营造了新的视觉体验，足不出户便可以了解户外的风景。实景影像可以涵盖所有的属性信息，保证了用户对详尽性和直观性的需要。即实景地图与实地场景是完全一致的，给用户提供了信息更为详细、画面更为真实准确地地图服务。在达到与三维电子地图同样效果的前提下，解决了三维电子地图中模型数据量大、传输效果差的问题。

附图说明

图1为本发明的实施例提供的基于城市实景的导航方法的整体流程示意图；

图2为本发明的实施例提供的基于城市实景的导航方法中数据处理步骤的流程示意图；

图3为本发明的实施例提供的基于城市实景的导航方法中图像拼接步骤的流程示意图；

图4为本发明的实施例提供的基于城市实景的导航方法中特征点提取步骤的流程示意图；

图5为本发明的实施例提供的基于城市实景的导航方法中特征点匹配步骤的流程示意图；

图6为本发明的实施例提供的基于城市实景的导航方法中位置关联步骤的流程示意图；

图7为本发明的实施例提供的基于城市实景的导航方法中数据调用骤的流程示意图；

图8为本发明的实施例提供的基于城市实景的导航方法中利用当前位置对影像进行视角变换步骤的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

实施例1：

如图1所示，一种基于城市实景的导航方法，该方法包括如下步骤：

数据采集：通过采集设备对实景影像数据进行影像采集；通过GPS定位设备对GNSS数据进行数据采集；

数据处理：调取采集的实景影像中相邻的两幅影像；对两幅实景影像进行特征点提取，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，并根据此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；根据获得的变换矩阵、将获取的第二幅图像进行透视变换；采用加权平均法对两幅图像进行镶嵌，获得宽视角图像；分别读取实景影像数据和GNSS坐标文件中的时间戳，并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下，将具有相同时间的影像和位置坐标进行关联并将其进行数据存储；

数据存储：将***处理好的实景序列影像数据存储至数据库中，将关联好的位置点和影像数据存储至数据库中，并将其存储路径更新至数据库中；

数据调用：根据当前GPS位置获取其位置点坐标；依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标，对该影像点关联影像进行获取；根据当前位置获取平移向量和旋转矩阵。

如图2所示，一种基于城市实景的导航方法，所述数据处理包括如下步骤：

图像拼接：调取采集的实景影像中相邻的两幅视图；通过SIFT算子基于尺度空间的局部特征描述算法，对两幅实景影像进行特征点提取，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，通过此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；根据获得的变换矩阵、将获取的第二幅图像进行透视变换；采用加权平均法对两幅图像进行镶嵌，获得宽视角图像；

位置关联：分别读取实景影像数据和GNSS坐标文件中的时间戳，并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下，将具有相同时间的影像和位置坐标进行关联并将其进行数据存储。

如图3所示，一种基于城市实景的导航方法，所述图像拼接包括如下步骤：

调取实景影像1：调取采集的实景影像1中相邻两幅影像中的左视图；

调取临接实景影像2：调取采集的实景影像1中相邻两幅影像中的右视图；

特征点提取：通过SIFT算子基于尺度空间的局部特征描述算法，对两幅实景影像进行特征点提取；

特征点匹配：提取图像特征点，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，通过此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；

变换矩阵求解：根据新的匹配点对，计算单应性变换矩阵H，其解算公式如下：

AH＝b

式中：

式中：

A--是由点的坐标构成的矩阵

b--是由点的坐标构成的矩阵

(x₁,y₁)和(x₁’y₁’)--一对新的匹配点对的坐标；

(x₂,y₂)和(x₂’y₂’)--一对新的匹配点对的坐标；

(x₃,y₃)和(x₃’y₃’)--一对新的匹配点对的坐标；

(x₄,y₄)和(x₄’y₄’)--一对新的匹配点对的坐标；

图像变换：根据获得的变换矩阵、将获取的第二幅图像进行透视变换；

图像镶嵌：采用加权平均法对两幅图像进行镶嵌，设图像M₁和M₂为两幅待拼接图像，图像M为镶嵌后图像，权值是通过计算该像素点到重叠区域边界的距离来确定的，镶嵌后图像中各点的灰度值为：

上式中：

f₁(x,y),f₂(x,y)和f(x,y)--三幅图像在像素点(x,y)处的灰度值；

d₁和d₂--表示权重，一般取d_i＝1/width，width表示重叠区域的宽度，且 d₁+d₂＝1,0＜d₁,d₂＜1；

获得宽视角图像：通过图像镶嵌获得宽视角的图像。

如图4所示，一种基于城市实景的导航方法，所述特征点提取包括如下步骤：

构造高斯差分尺度空间：利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间，其中公式为：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中：

I(x,y)--为一幅图像；

(x,y)--为空间坐标；

G(x,y,σ)--为高斯函数；

σ--为尺度因子；

k--为比例因子；

极值点检测：使用高斯差分尺度空间，对临近的尺度空间做差值构建金字塔，某一像素点差值是邻域内的八个邻域点及上下相邻尺度对应的26个点进行比较，获取最大值、最小值；

关键点定位：对检测出的局部极值点经过进一步的筛选，去除不稳定和错误检测出的极值点，采用下采样的图像构建高斯金字塔，在下采样图像中提取的极值点对应在原始图像中的确切位置。其中公式为：

其中：

D(x)--为一个特征点在三维尺度空间的局部极值点；

--为D(x)在特征点处的二阶泰勒展开式；

为关键点分配主方向：利用关键点邻域梯度的分布特征为每个关键点分配方向参数，其分配公式为：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))

L(x,y)--为特征点的像素灰度信息；

m(x,y)--为梯度模值；

θ(x,y)--为方向；

生成特征点描述符：对每个关键点用4X4共16个种子点描述，在每个字块中分别计算8个方向的梯度信息合并所有块的梯度方向直方图，获得128维的特征点描述符。

如图5所示，一种基于城市实景的导航方法，所述特征点匹配包括如下步骤：

特征点初始化匹配：对提取获得的特征点利用BBF算法对两幅临接影像进行初始化匹配；

任意选取三对匹配点对：在初始化匹配的特征点对中随机抽取三对匹配点对；

获取三对匹配点对的夹角：利用向量夹角公式分别求出三对匹配点对的四个夹角；其中计算公式为：

其中：

θ₁--为一幅图上的两个点连线的倾斜角

θ₂--为一幅图上的两个点连线的倾斜角

θ₁’--为一幅图上的两个点连线的倾斜角

θ₂’--为一幅图上的两个点连线的倾斜角

(x₁,y₁)、(x₁’,y₁’)--一对匹配点对坐标；

(x₂,y₂)、(x₂’,y₂’)--一对匹配点对坐标；

(x₃,y₃)、(x₃’,y₃’)--一对匹配点对坐标；

对取夹角的差值进行判断：根据特征点之间的几何约束关系，得到新的匹配点对，约束关系式如下：

C＝((Δθ₁≤Δθ)&&(Δθ₂≤Δθ))

式中：

Δθ₁--两对夹角的差θ₁-θ₂的绝对值；

Δθ₂--两对夹角的差θ′₁-θ′₂的绝对值；

Δθ--设定的阈值；

C--匹配点对。

如图6所示，一种基于城市实景的导航方法，所述位置关联包括如下步骤：

获取影像时间戳1：通过采集设备获取原始实景影像数据，并将实景影像数据属性信息中的时间戳进行提取；

获取GNSS定位数据时间戳2：通过GNSS模块获取位置数据，采集取位置数据属性信息中的时间戳,对此时间戳进行时间变换，其中变换公式为：

GPST＝T_bj-8^h+n

式中：

GPST--GPS时间；

n--1989年为5秒，1996年为11秒，2002年为13秒，截止到2017年，n 为17秒；

8^h--为8小时；

T_bj--北京时间；

对两个时间戳是否等值进行判定：对影像数据中的时间戳和位置数据中的时间戳进行对比，判定两个时间戳数据是否相等；判定两个时间戳数据相等将进行关联位置与影像数据的获取；判定两个时间戳数据不相等将重新获取影像时间戳和定位数据时间戳后再进行判断；

获取关联位置与影像数据：将具有相同时间的影像数据和位置坐标进行关联，获得了具有位置戳的影像数据。

如图7所示，一种基于城市实景的导航方法，所述数据调用包括如下步骤：

获取当前位置点坐标：根据当前GPS位置获取其位置点坐标；

获取最近邻影像:依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标，对该影像点关联影像进行获取；

利用当前位置对影像进行视角变换：根据当前位置获取平移向量和旋转矩阵。

如图8所示，一种基于城市实景的导航方法，所述利用当前位置对影像进行视角变换包括如下步骤：

获取平移向量：通过最近点大地坐标、次近点大地坐标、位置图像点大地坐标、图像采集坐标系的Y轴与大地坐标系的Z轴获取二维平面点之间的相对关系及过最近点与次近点的直线方程获取平移向量；

获取旋转矩阵：通过空间平面的方程获取该平面的法向量，设定最近点的图像采集坐标系为当前坐标系，获取坐标原点到景物平面的距离及原始图像绕图像采集坐标系的Y轴的旋转角；通过原始图像绕图像采集坐标系的Y轴的旋转角获得原始图像绕图像采集坐标系的Y轴旋转矩阵。

下面以一个具体实施案例进行说明：

如图1所示，一种基于城市实景的导航方法，该方法包括如下步骤：

数据采集：在路况较好的环境下，通过固定在采集车上的相机采集对实景影像数据进行影像采集，将相机固定在三角架上，三脚架保证相机可以在平行于地面的平面内转动，以相机为中心，旋转摄取我们所需要方位角的实景影像。在路况较差的环境下，需要采集人员背着影像采集器,为了在拍摄影像的同时获得拍摄像机的地理坐标，将定位模块固定在采集相机的正下方，通过GPS定位设备对 GNSS数据进行数据采集；

数据处理：调取采集的实景影像中相邻的两幅影像；对两幅实景影像进行特征点提取，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，并根据此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；根据获得的变换矩阵、将获取的第二幅图像进行透视变换；采用加权平均法对两幅图像进行镶嵌，获得宽视角图像；分别读取实景影像数据和GNSS坐标文件中的时间戳，并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下，将具有相同时间的影像和位置坐标进行关联并将其进行数据存储；

数据存储：将***处理好的实景序列影像数据存储至数据库中，将关联好的位置点和影像数据存储至数据库中，并将其存储路径更新至数据库中；

数据调用：根据当前GPS位置获取其位置点坐标；依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标，对该影像点关联影像进行获取；根据当前位置获取平移向量和旋转矩阵。

如图2所示，一种基于城市实景的导航方法，所述数据处理包括如下步骤：

图像拼接：调取采集的实景影像中相邻的两幅视图；通过SIFT算子基于尺度空间的局部特征描述算法，对两幅实景影像进行特征点提取，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，通过此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；根据获得的变换矩阵、将获取的第二幅图像进行透视变换；采用加权平均法对两幅图像进行镶嵌，获得宽视角图像；

位置关联：分别读取实景影像数据和GNSS坐标文件中的时间戳，并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下，将具有相同时间的影像和位置坐标进行关联并将其进行数据存储。

如图3所示，一种基于城市实景的导航方法，所述图像拼接包括如下步骤：

调取实景影像1：调取采集的实景影像1中相邻两幅影像中的左视图；

调取临接实景影像2：调取采集的实景影像1中相邻两幅影像中的右视图；

特征点提取：通过SIFT算子基于尺度空间的局部特征描述算法，对两幅实景影像进行特征点提取；

特征点匹配：提取图像特征点，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，通过此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；

变换矩阵求解：根据新的匹配点对，计算单应性变换矩阵H，其解算公式如下：

AH＝b

式中：

式中：

A--是由点的坐标构成的矩阵

b--是由点的坐标构成的矩阵

(x₁,y₁)和(x₁’y₁’)--一对新的匹配点对的坐标；

(x₂,y₂)和(x₂’y₂’)--一对新的匹配点对的坐标；

(x₃,y₃)和(x₃’y₃’)--一对新的匹配点对的坐标；

(x₄,y₄)和(x₄’y₄’)--一对新的匹配点对的坐标；

图像变换：根据获得的变换矩阵、将获取的第二幅图像进行透视变换；

图像镶嵌：采用加权平均法对两幅图像进行镶嵌，设图像M₁和M₂为两幅待拼接图像，图像M为镶嵌后图像，权值是通过计算该像素点到重叠区域边界的距离来确定的，镶嵌后图像中各点的灰度值为：

上式中：

f₁(x,y),f₂(x,y)和f(x,y)--三幅图像在像素点(x,y)处的灰度值；

d₁和d₂--表示权重，一般取d_i＝1/width，width表示重叠区域的宽度，且 d₁+d₂＝1,0＜d₁,d₂＜1；

获得宽视角图像：通过图像镶嵌获得宽视角的图像。

如图4所示，一种基于城市实景的导航方法，所述特征点提取包括如下步骤：

构造高斯差分尺度空间：利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间，其中公式为：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中：

I(x,y)--为一幅图像；

(x,y)--为空间坐标；

G(x,y,σ)--为高斯函数；

σ--为尺度因子；

k--为比例因子；

极值点检测：使用高斯差分尺度空间，对临近的尺度空间做差值构建金字塔，某一像素点差值是邻域内的八个邻域点及上下相邻尺度对应的26个点进行比较，获取最大值、最小值；

关键点定位：对检测出的局部极值点经过进一步的筛选，去除不稳定和错误检测出的极值点，采用下采样的图像构建高斯金字塔，在下采样图像中提取的极值点对应在原始图像中的确切位置。其中公式为：

其中：

D(x)--为一个特征点在三维尺度空间的局部极值点；

--为D(x)在特征点处的二阶泰勒展开式；

为关键点分配主方向：利用关键点邻域梯度的分布特征为每个关键点分配方向参数，其分配公式为：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))

L(x,y)--为特征点的像素灰度信息；

m(x,y)--为梯度模值；

θ(x,y)--为方向；

生成特征点描述符：对每个关键点用4X4共16个种子点描述，在每个字块中分别计算8个方向的梯度信息合并所有块的梯度方向直方图，获得128维的特征点描述符。

如图5所示，一种基于城市实景的导航方法，所述特征点匹配包括如下步骤：

特征点初始化匹配：首先对数据点在k维空间(如二维(x，y)，三维(x，y，z)， k维(x₁，y，z...))中划分数据结构，每层将空间分为两个子空间，将分割维定义为每个特征点描述符中方差最大的维度，比较此维度上的二分值与特征点的大小，若特征点小，则将此特征点放在根的左子树下，反之放在右子树下，然后以根节点的左右子树为根节点依次重复上述对比过程，直到左右两个区域内没有实例存在时为止。其次，把回溯可能通过的节点加入队列，计算目标点到该节点确定的超平面距离，选择距离最短(优先级最高)的节点，直到队列为空。

实景影像数据在采集的过程中采集频率较高，相邻序列的影像间平移旋转变化量不大，所以重叠区域特征点的空间几何关系在邻帧影像上近似相同，针对初始化匹配误差较大的问题，利用空间几何约束的方法筛除误匹配点。

任意选取三对匹配点对：在初始化匹配的特征点对中随机抽取三对匹配点对；

获取三对匹配点对的夹角：利用向量夹角公式分别求出三对匹配点对的四个夹角；其中计算公式为：

其中：

θ₁--为一幅图上的两个点连线的倾斜角

θ₂--为一幅图上的两个点连线的倾斜角

θ₁’--为一幅图上的两个点连线的倾斜角

θ₂’--为一幅图上的两个点连线的倾斜角

(x₁,y₁)、(x₁’,y₁’)--一对匹配点对坐标；

(x₂,y₂)、(x₂’,y₂’)--一对匹配点对坐标；

(x₃,y₃)、(x₃’,y₃’)--一对匹配点对坐标；

对取夹角的差值进行判断：根据特征点之间的几何约束关系，得到新的匹配点对，约束关系式如下：

C＝((Δθ₁≤Δθ)&&(Δθ₂≤Δθ))

式中：

Δθ₁--两对夹角的差θ₁-θ₂的绝对值；

Δθ₂--两对夹角的差θ′₁-θ′₂的绝对值；

Δθ--设定的阈值；

C--匹配点对。

如图6所示，一种基于城市实景的导航方法，所述位置关联包括如下步骤：

获取影像时间戳1：通过采集设备获取原始实景影像数据，并将实景影像数据中的时间戳进行提取；

获取GNSS定位数据时间戳2：通过GNSS模块获取位置数据，采集取位置数据中的时间戳,对此时间戳进行时间变换，其中变换公式为：

GPST＝T_bj-8^h+n

式中：

GPST--GPS时间；

n--1989年为5秒，1996年为11秒，2002年为13秒，截止到2017年，n 为17秒；

8^h--为8小时；

T_bj--北京时间；

对两个时间戳是否等值进行判定：对影像数据中的时间戳和位置数据中的时间戳进行对比，判定两个时间戳数据是否相等；判定两个时间戳数据相等进行关联位置与影像数据的获取；判定两个时间戳数据不相等将重新获取影像时间戳和定位数据时间戳后再进行判断；

获取关联位置与影像数据：将具有相同时间的影像数据和位置坐标进行关联，获得了具有位置戳的影像数据。

数据存储：将***处理好的实景序列影像数据存储在文件数据库中，关联好的空间位置点和影像数据的存储路径更新至Mysql数据库中，在Mysql数据库的表中设置了“主键”、“IM”、“街道”、“正/逆”“经度”、“纬度”、“高程”、“照片名称”来实现对影像空间位置点以及与影像关联关系的存储，通过照片名称将文件数据库和Mysql数据库中的内容进行匹配，将采集到的兴趣点属性信息及时的保存到Mysql数据库中。

如图7所示，一种基于城市实景的导航方法，所述数据调用包括如下步骤：

获取当前位置点坐标：根据当前GPS位置获取其位置点坐标；

获取最近邻影像:依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标，对该影像点关联影像进行获取；

利用当前位置对影像进行视角变换：根据当前位置获取平移向量和旋转矩阵。

如图8所示，一种基于城市实景的导航方法，所述利用当前位置对影像进行视角变换包括如下步骤：

获取平移向量：通过最近点大地坐标、次近点大地坐标、位置图像点大地坐标、图像采集坐标系的Y轴与大地坐标系的Z轴获取二维平面点之间的相对关系及过最近点与次近点的直线方程获取平移向量；

获取旋转矩阵：通过空间平面的方程获取该平面的法向量，设定最近点的图像采集坐标系为当前坐标系，获取坐标原点到景物平面的距离及原始图像绕图像采集坐标系的Y轴的旋转角；通过原始图像绕图像采集坐标系的Y轴的旋转角获得原始图像绕图像采集坐标系的Y轴旋转矩阵。

由此可见：本发明实施例中的基于城市实景的导航方法：实景导航数据可采用普通的相机采集，实现了其简易快速的目的,省去了三维导航中耗时耗力的三维建模过程。在实景导航***中搜索意向的目的地，可以实现提前浏览的功能，代替了实地勘察。可以直观地看到对应地点的真实场景，以便准确和快速定位，其直观性、精确度佳，实景开创了一种全新的地图阅读方式。通过实景和导航的结合可以辅助用户来了解自身的位置，提前辨别标志建筑物，确定行进路径，以平行的视角看世界，更加贴近人的感知习惯。为解决现有按照人的视觉习惯获取实景影像，提升了视觉效果，营造了新的视觉体验，足不出户便可以了解户外的风景。实景影像可以涵盖所有的属性信息，保证了用户对详尽性和直观性的需要。即实景地图与实地场景是完全一致的，给用户提供了信息更为详细、画面更为真实准确地地图服务。在达到与三维电子地图同样效果的前提下，解决了三维电子地图中模型数据量大、传输效果差的问题。

虽然通过实施例描绘了本发明实施例，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。

Claims (6)

1.一种基于城市实景的导航方法，其特征在于，该方法包括如下步骤：

数据采集：通过采集设备对实景影像数据进行影像采集；通过GPS定位设备对GNSS数据进行数据采集；

数据处理：调取采集的实景影像中相邻的两幅影像；对两幅实景影像进行特征点提取，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，并根据此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；根据获得的变换矩阵、将获取的第二幅图像进行透视变换；采用加权平均法对两幅图像进行镶嵌，获得宽视角图像；分别读取实景影像数据和GNSS坐标文件中的时间戳，并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下，将具有相同时间的影像和位置坐标进行关联并将其进行数据存储；

数据存储：将***处理好的实景序列影像数据存储至数据库中，将关联好的位置点和影像数据存储至数据库中，并将其存储路径更新至数据库中；

数据调用：根据当前GPS位置获取其位置点坐标；依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标，对该影像点关联影像进行获取；根据当前位置获取平移向量和旋转矩阵；

所述数据处理包括如下步骤：

图像拼接：调取采集的实景影像中相邻的两幅视图；通过SIFT算子基于尺度空间的局部特征描述算法，对两幅实景影像进行特征点提取，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，通过此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；根据获得的变换矩阵、将获取的第二幅图像进行透视变换；采用加权平均法对两幅图像进行镶嵌，获得宽视角图像；

位置关联：分别读取实景影像数据和GNSS坐标文件中的时间戳，并根据时间配准公式将影像的拍摄时间转换至GNSS时间坐标系下，将具有相同时间的影像和位置坐标进行关联并将其进行数据存储；

所述数据调用包括如下步骤：

获取当前位置点坐标：根据当前GPS位置获取其位置点坐标；

获取最近邻影像:依据GPS位置点坐标通过距离解算公式获取数据库中的最近邻影像点坐标，对该影像点关联影像进行获取；

利用当前位置对影像进行视角变换：根据当前位置获取平移向量和旋转矩阵。

2.根据权利要求1所述的一种基于城市实景的导航方法，其特征在于，所述图像拼接包括如下步骤：

调取实景影像1：调取采集的实景影像1中相邻两幅影像中的左视图；

调取临接实景影像2：调取采集的实景影像1中相邻两幅影像中的右视图；

特征点提取：通过SIFT算子基于尺度空间的局部特征描述算法，对两幅实景影像进行特征点提取；

特征点匹配：提取图像特征点，并进行特征点的初始匹配，获取初始匹配点集，通过特征点之间的空间几何关系约束，通过此约束筛选匹配点，获得新的匹配点集，计算变换矩阵；

变换矩阵求解：根据新的匹配点对，计算单应性变换矩阵H，其解算公式如下：

AH＝b

式中：

式中：

A--是由点的坐标构成的矩阵

b--是由点的坐标构成的矩阵

(x₁,y₁)和(x₁’y₁’)--一对新的匹配点对的坐标；

(x₂,y₂)和(x₂’y₂’)--一对新的匹配点对的坐标；

(x₃,y₃)和(x₃’y₃’)--一对新的匹配点对的坐标；

(x₄,y₄)和(x₄’y₄’)--一对新的匹配点对的坐标；

图像变换：根据获得的变换矩阵、将获取的第二幅图像进行透视变换；

图像镶嵌：采用加权平均法对两幅图像进行镶嵌，设图像M₁和M₂为两幅待拼接图像，图像M为镶嵌后图像，权值是通过计算该像素点到重叠区域边界的距离来确定的，镶嵌后图像中各点的灰度值为：

上式中：

f₁(x,y),f₂(x,y)和f(x,y)--三幅图像在像素点(x,y)处的灰度值；

d₁和d₂--表示权重，一般取d_i＝1/width，width表示重叠区域的宽度，且d₁+d₂＝1,0＜d₁,d₂＜1；

获得宽视角图像：通过图像镶嵌获得宽视角的图像。

3.根据权利要求2所述的一种基于城市实景的导航方法，其特征在于，所述特征点提取包括如下步骤：

构造高斯差分尺度空间：利用不同尺度的高斯差分核与图像卷积生成高斯差分尺度空间，其中公式为：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中：

I(x,y)--为一幅图像；

(x,y)--为空间坐标；

G(x,y,σ)--为高斯函数；

σ--为尺度因子；

k--为比例因子；

极值点检测：使用高斯差分尺度空间，对临近的尺度空间做差值构建金字塔，某一像素点差值是邻域内的八个邻域点及上下相邻尺度对应的26个点进行比较，获取最大值、最小值；

关键点定位：对检测出的局部极值点经过进一步的筛选，去除不稳定和错误检测出的极值点，采用下采样的图像构建高斯金字塔，在下采样图像中提取的极值点对应在原始图像中的确切位置。其中公式为：

其中：

D(x)--为一个特征点在三维尺度空间的局部极值点；

--为D(x)在特征点处的二阶泰勒展开式；

为关键点分配主方向：利用关键点邻域梯度的分布特征为每个关键点分配方向参数，其分配公式为：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/L(x+1,y)-L(x-1,y)))

L(x,y)--为特征点的像素灰度信息；

m(x,y)--为梯度模值；

θ(x,y)--为方向；

生成特征点描述符：对每个关键点用4X4共16个种子点描述，在每个字块中分别计算8个方向的梯度信息合并所有块的梯度方向直方图，获得128维的特征点描述符。

4.根据权利要求2所述的一种基于城市实景的导航方法，其特征在于：所述特征点匹配包括如下步骤：

特征点初始化匹配：对提取获得的特征点利用BBF算法对两幅临接影像进行初始化匹配；

任意选取三对匹配点对：在初始化匹配的特征点对中随机抽取三对匹配点对；

获取三对匹配点对的夹角：利用向量夹角公式分别求出三对匹配点对的四个夹角；其中计算公式为：

其中：

θ₁--为一幅图上的两个点连线的倾斜角

θ₂--为一幅图上的两个点连线的倾斜角

θ₁’--为一幅图上的两个点连线的倾斜角

θ₂’--为一幅图上的两个点连线的倾斜角

(x₁,y₁)、(x₁’,y₁’)--一对匹配点对坐标；

(x₂,y₂)、(x₂’,y₂’)--一对匹配点对坐标；

(x₃,y₃)、(x₃’,y₃’)--一对匹配点对坐标；

对取夹角的差值进行判断：根据特征点之间的几何约束关系，得到新的匹配点对，约束关系式如下：

C＝((Δθ₁≤Δθ)&&(Δθ₂≤Δθ))

式中：

Δθ₁--两对夹角的差θ₁-θ₂的绝对值；

Δθ₂--两对夹角的差θ′₁-θ′₂的绝对值；

Δθ--设定的阈值；

C--匹配点对。

5.根据权利要求1所述的一种基于城市实景的导航方法，其特征在于：所述位置关联包括如下步骤：

获取影像时间戳1：通过采集设备获取原始实景影像数据，并将实景影像数据中的时间戳进行提取；

获取GNSS定位数据时间戳2：通过GNSS模块获取位置数据，采集取位置数据中的时间戳,对此时间戳进行时间变换，其中变换公式为：

GPST＝T_bj-8^h+n

式中：

GPST--GPS时间；

n--1989年为5秒，1996年为11秒，2002年为13秒，截止到2017年，n为17秒；

8^h--为8小时；

T_bj--北京时间；

对两个时间戳是否等值进行判定：对影像数据中的时间戳和位置数据中的时间戳进行对比，判定两个时间戳数据是否相等；判定两个时间戳数据相等进行关联位置与影像数据的获取；判定两个时间戳数据不相等将重新获取影像时间戳和定位数据时间戳后再进行判断；

获取关联位置与影像数据：将具有相同时间的影像数据和位置坐标进行关联，获得了具有位置戳的影像数据。

6.根据权利要求1所述的一种基于城市实景的导航方法，其特征在于，所述利用当前位置对影像进行视角变换包括如下步骤：

获取平移向量：通过最近点大地坐标、次近点大地坐标、位置图像点大地坐标、图像采集坐标系的Y轴与大地坐标系的Z轴获取二维平面点之间的相对关系及过最近点与次近点的直线方程获取平移向量；

获取旋转矩阵：通过空间平面的方程获取该平面的法向量，设定最近点的图像采集坐标系为当前坐标系，获取坐标原点到景物平面的距离及原始图像绕图像采集坐标系的Y轴的旋转角；通过原始图像绕图像采集坐标系的Y轴的旋转角获得原始图像绕图像采集坐标系的Y轴旋转矩阵。

Images