CN110440815A - 一种基于增强现实的导航方法 - Google Patents

Abstract

本发明公开了一种基于增强现实的导航方法，通过将GPS和AR相结合的方式弥补人们常用的GPS导航的不便性，旨在最短时间内给人们以清晰明了的指示，让人们在外出旅行途中节省时间并增添乐趣。本发明根据使用者的指令（例如设置目的地开始导航），载入AR模式，调用手机摄像头和网络显示道路信息，将虚实结合，正确带领使用者到达目的地。本发明首先收集道路信息，建筑物信息，建立数据库，然后通过绘制3D模型，以及通过服务端基于地图进行路线规划，最后根据Android的传感器原理，将相关的虚拟数据渲染出来叠加在相机获取的视频流中，实现基于增强现实的导航。

Description

一种基于增强现实的导航方法

技术领域

本发明属于增强现实、GPS导航、传感器等交叉技术领域，特别涉及一种基于增强现实的导航方法。

背景技术

增强现实技术是在虚拟现实基础上发展起来的新技术，也被称之为“混合现实”。增强现实顾名思义指的是对现实世界的增强，它是一门通过计算机***提供的文字、图形、语音等信息来增加用户对现实世界认识与感知的技术。增强现实将计算机或者其他设备渲染生成的虚拟物体、场景以及其它提示信息叠加在真实场景中(比如相机获取的视频流上),以此来实现对现实的增强。

增强现实是近年来的一个热门研究课题。目前，国内外许多知名大学和研究机构都在进行与之相关的研究。由于AR技术能够过对真实场景、环境进行信息增强的显示输出，其在众多领域、行业都有应用，

随着手提电脑、智能手机、个人电子助理等手持设备迅猛发展，很多以前只能在台式设备上运行的传统技术与应用开始陆续不断的向手持设备转移,增强现实在手持设备.上的应用开发也正如火如荼的进行着。移动增强现实技术，主要是指增强现实在手持设备上的应用。移动增强现实不仅具备增强现实拥有的虚实结合、实时交互和三维注册的特点，还具有一定的自由移动性，它不会因为环境、场景等因素的限制而只能在某一固定的狭小空间区域内使用，移动增强现实应用将主要与地理位置服务相关。

21世纪，科技发展日新月异，伴随着移动终端科技技术的进步，具有体积小、携带方便、性能强悍等特点的智能手机的普及性越来越高,其携带的摄像头、传感器、GPS 模块使得移动端增强现实应用的实现成为可能。结合移动增强现实技术、传感器技术、移动通信技术、GIS数据存取与调度技术等在智能手机上开发的增强现实导航***将很有应用价值。

基于上述研究成果，本发明提出一种基于增强现实的导航方法，旨在枯燥的普通导航中加入虚拟3D元素，更好的引导使用者到达目的地。

发明内容

本发明的目的在于将增强现实与导航相结合，增强现实的部分解决3D模型的渲染，并将其与视频流相叠加，当智能手机发生移动时，3D模型也能够随智能手机而移动，使得3D模型与现实更完美的结合，导航部分解决位置信息的采集，存储，调用以及路径规划信息的获取，将两者结合时，根据道路不同，以及智能手机朝向的不同，实时更新箭头的类型及提示信息，确保导航的正确性。

为实现上述目的，本发明采用的技术方案为：

一种基于增强现实的导航方法，包括以下步骤：

S1、在智能手机上建立启动模块CM1，启动模块CM1实现启动***功能，接收用户启动命令，检查wi-fi连接，打开手机GPS功能，跳转至输入界面；在输入界面建立输入模块INP和交互模块CM2，所建立的输入模块INP实现输入目的地的功能，交互模块CM2实现与服务器端交互，启动导航界面的功能；

S2、服务器端在地图的基础上实现道路信息、建筑物信息的采集，获取道路信息，建筑物信息的经纬度，形成道路拓扑网，创建数据库实现空间数据的存储；

S3、接收到用户导航命令，交互模块CM2启动，智能手机与服务器端在Wi-Fi局域网中建立连接，通过手机GPS功能，实现用户定位；通过交互模块CM2，向服务器端发送用户当前的位置信息，以及输入模块INP中输入的目的地名称，服务器端根据用户当前的位置信息和输入的目的地名称返回路径规划信息，获取路线方案；

S4、渲染虚拟数据，实现增强现实导航3D虚拟数据的渲染；根据导航过程中遇到的转向信息对渲染模型进行分类，分别为直走，左转，右转，掉头，右前转，左前转这六种；定义3D模型的坐标位置，进行导航图形的绘制以及纹理贴图，根据GPS的服务状态对箭头实现不同的纹理贴图；

S5、结合加速度传感器和磁场传感器，获取智能手机方位角信息，即得到azimuth，pitch，roll参数的值，azimuth，pitch，roll分别为智能手机围绕z，x，y轴旋转的角度，其中：z，x，y轴是加速度传感器和磁场传感器的坐标***，当智能手机保持横屏放置时，z轴是垂直于屏幕面板并指向屏幕面板外部，x轴是平行于屏幕面板竖直向上，y 轴是平行于屏幕面板水平向右，加速度传感器和磁场传感器的坐标***不随着手机屏幕方向变化而改变；

S6、调用智能手机摄像头在界面显示道路场景，通过随时变化的方位角数据映射到 3D模型坐标系中，来控制导航指示箭头与现实场景界面的叠加以及导航箭头的旋转变化；

S7、通过采用Handler、Timer及TimerTask结合的方法实现Android定时器来进行导航文字与图形提示信息的刷新；

S8、到达目的地，导航结束，回到交互界面。

进一步的，所述步骤4包括以下步骤：

S401、初始化图形的顶点坐标数据缓冲，根据不同类型箭头创建不同顶点坐标数组，箭头由若干个三角形和若干个四边形组成，分别以三角形和四边形模式绘制；

S402、对绘制图形进行纹理贴图，初始化纹理，根据GPS的服务状态对箭头实现贴图，分配纹理坐标，三角形的纹理坐标包括三个顶点，四边形的纹理坐标包括四个顶点，纹理顶点坐标顺序与图形顶点坐标顺序一致。

进一步的，所述步骤5包括以下步骤：

S501、注册和监听加速度传感器与磁场传感器，在加速度传感器和磁场传感器的监听方法中获取加速度传感器和磁场传感器变化的参数数组，

S502、通过调用函数SensorManager.getRotationMatrix(float[]R,float[]I,float[] gravity,float[]geomagnetic)获取旋转矩阵R，其中：gravity和geomagnetic分别为加速度传感器和磁场传感器获取的参数数组，此次仅需要获取旋转矩阵R，将倾斜矩阵I设为 null，旋转矩阵R是一个3*3的矩阵：

其中：R[0]，R[1]，R[2]，R[3]，R[4]，R[5]，R[6]，R[7]，R[8]的值均由函数调用后由参数数组gravity和geomagnetic计算而来；

S503、通过对旋转矩阵计算R，获取方位角：

Value[0]＝(float)Math.atan2(R[1],R[4])

Value[1]＝(float)Math.asin(-R[7])

Value[2]＝(float)Math.atan2(-R[6],R[8])

其中：value[0]对应azimuth值，value[1]对应pitch，value[2]对应roll值，atan2(a,b) 方法返回复数a+b*i的辐角，i为虚数单位，asin(c)方法返回c的反正弦，a，b，c均为数值参数。

进一步的，所述步骤6包括以下步骤：

S601、通过方法glTranslatef(float x，float y，float z),将3D坐标系沿y轴负方向移动0.5个单位，沿z轴负方向移动了2个单位；

S602、通过方法glRotatef(float angle,float x,float y,float z)来控制箭头的旋转，其中参数angle代表旋转角度，x’，y’，z’代表OpenGL ES坐标轴，当智能手机保持横屏放置时，z’轴是垂直于屏幕面板并指向屏幕面板外部，x’轴是平行于屏幕面板水平向右，y’轴是平行于屏幕面板竖直向上，使用参数azimuth来控制箭头的左右旋转，参数 roll来控制箭头的上下摇摆。

进一步的，所述步骤7包括以下步骤：

S701、每隔一段时间将GPS获取的实时经纬度信息与最短路径解析后得到的数组元素对象的经纬度信息进行匹配，用户进入某一坐标点的附近区域时，将此点的道路朝向以及转向角信息传递给MySurfaceView类，MySurfaceView根据新的参数信息确定箭头初始朝向、绘制新类型的导航指示箭头，删除原先的导航箭头，将新的导航箭头叠加在摄像头获取的视频流中，进行导航，指导用户前进。

S702、每次刷新过程中，根据当前GPS获取的经纬度信息计算其与下一个道路节点的距离信息，以文字的形式提示用户距离前方的距离和转弯方向。

与现有技术相比，本发明具有以下有益效果：

本发明提出一种基于增强现实的导航，旨在将增强现实与现实场景相结合，实现导航功能，与普通导航不同，加入了增强现实使得导航更为生动，信息采集也更为准确，使得导航准确度更高，具体来说：(1)本发明将增强现实与导航结合，使得导航指示更为明确，通过传感器将3D模型与实际导航相结合，实时监控使用者的位置，更新数据，提高导航准确度。(2)通过服务器端，对道路的每个节点进行详细的信息采集，形成道路路线拓扑网，并建立数据库对其进行存储，为导航路线规划打下基础，减少导航失误。

附图说明

图1是本发明的方法流程图；

图2是本发明步骤S5中的坐标***示意图；

图3是本发明步骤S602中的坐标***示意图。

具体实施方式

下面结合实施例对本发明作更进一步的说明。

一种基于增强现实的导航方法，包括以下步骤：

S1、在智能手机上建立启动模块CM1，启动模块CM1实现启动***功能，接收用户启动命令，检查wi-fi连接，打开手机GPS功能，跳转至输入界面；在输入界面建立输入模块INP和交互模块CM2，所建立的输入模块INP实现输入目的地的功能，交互模块CM2实现与服务器端交互，启动导航界面的功能；

S2、服务器端在地图的基础上实现道路信息、建筑物信息的采集，获取道路信息，建筑物信息的经纬度，形成道路拓扑网，创建数据库实现空间数据的存储；

S3、接收到用户导航命令，交互模块CM2启动，智能手机与服务器端在Wi-Fi局域网中建立连接，通过手机GPS功能，实现用户定位；通过交互模块CM2，向服务器端发送用户当前的位置信息，以及输入模块INP中输入的目的地名称，服务器端根据用户当前的位置信息和输入的目的地名称返回路径规划信息，获取路线方案；

S4、渲染虚拟数据，实现增强现实导航3D虚拟数据的渲染；根据导航过程中遇到的转向信息对渲染模型进行分类，分别为直走，左转，右转，掉头，右前转，左前转这六种；定义3D模型的坐标位置，进行导航图形的绘制以及纹理贴图，根据GPS的服务状态对箭头实现不同的纹理贴图；

具体地讲，所述步骤4包括以下步骤：

S401、初始化图形的顶点坐标数据缓冲，根据不同类型箭头创建不同顶点坐标数组，箭头由若干个三角形和若干个四边形组成，分别以三角形和四边形模式绘制；

S402、对绘制图形进行纹理贴图，初始化纹理，根据GPS的服务状态对箭头实现贴图，分配纹理坐标，三角形的纹理坐标包括三个顶点，四边形的纹理坐标包括四个顶点，纹理顶点坐标顺序与图形顶点坐标顺序一致；

S5、结合加速度传感器和磁场传感器，获取智能手机方位角信息，即得到azimuth，pitch，roll参数的值，azimuth，pitch，roll分别为智能手机围绕z，x，y轴旋转的角度，其中：z，x，y轴是加速度传感器和磁场传感器的坐标***，如图2所示，当智能手机保持横屏放置时，z轴是垂直于屏幕面板并指向屏幕面板外部，x轴是平行于屏幕面板竖直向上，y轴是平行于屏幕面板水平向右，加速度传感器和磁场传感器的坐标***不随着手机屏幕方向变化而改变；

具体地讲，所述步骤5包括以下步骤：

S501、注册和监听加速度传感器与磁场传感器，在加速度传感器和磁场传感器的监听方法中获取加速度传感器和磁场传感器变化的参数数组，

S502、通过调用函数SensorManager.getRotationMatrix(float[]R,float[]I,float[] gravity,float[]geomagnetic)获取旋转矩阵R，其中：gravity和geomagnetic分别为加速度传感器和磁场传感器获取的参数数组，此次仅需要获取旋转矩阵R，将倾斜矩阵I设为 null，旋转矩阵R是一个3*3的矩阵：

其中：R[0]，R[1]，R[2]，R[3]，R[4]，R[5]，R[6]，R[7]，R[8]的值均由函数调用后由参数数组gravity和geomagnetic计算而来；

S503、通过对旋转矩阵计算R，获取方位角：

Value[0]＝(float)Math.atan2(R[1],R[4])

Value[1]＝(float)Math.asin(-R[7])

Value[2]＝(float)Math.atan2(-R[6],R[8])

其中：value[0]对应azimuth值，value[1]对应pitch，value[2]对应roll值，atan2(a,b) 方法返回复数a+b*i的辐角，i为虚数单位，asin(c)方法返回c的反正弦，a，b，c均为数值参数；

S6、调用智能手机摄像头在界面显示道路场景，通过随时变化的方位角数据映射到 3D模型坐标系中，来控制导航指示箭头与现实场景界面的叠加以及导航箭头的旋转变化；

具体地讲，所述步骤6包括以下步骤：

S601、通过方法glTranslatef(float x，float y，float z),将3D坐标系沿y轴负方向移动0.5个单位，沿z轴负方向移动了2个单位；

S602、通过方法glRotatef(float angle,float x,float y,float z)来控制箭头的旋转，其中参数angle代表旋转角度，x’，y’，z’代表OpenGL ES坐标轴，如图3所示，当智能手机保持横屏放置时，z’轴是垂直于屏幕面板并指向屏幕面板外部，x’轴是平行于屏幕面板水平向右，y’轴是平行于屏幕面板竖直向上，使用参数azimuth来控制箭头的左右旋转，参数roll来控制箭头的上下摇摆；

S7、通过采用Handler、Timer及TimerTask结合的方法实现Android定时器来进行导航文字与图形提示信息的刷新；

具体地讲，所述步骤7包括以下步骤：

S701、每隔一段时间将GPS获取的实时经纬度信息与最短路径解析后得到的数组元素对象的经纬度信息进行匹配，用户进入某一坐标点的附近区域时，将此点的道路朝向以及转向角信息传递给MySurfaceView类，MySurfaceView根据新的参数信息确定箭头初始朝向、绘制新类型的导航指示箭头，删除原先的导航箭头，将新的导航箭头叠加在摄像头获取的视频流中，进行导航，指导用户前进。

S702、每次刷新过程中，根据当前GPS获取的经纬度信息计算其与下一个道路节点的距离信息，以文字的形式提示用户距离前方的距离和转弯方向；

S8、到达目的地，导航结束，回到交互界面。

实施例

如图1所示，在智能手机上建立启动模块CM1，该模块实现启动***功能，CM1 接收到用户启动命令，检查wi-fi连接，打开手机GPS功能，然后跳转至输入界面。在输入界面又建立了两大模块，输入模块INP和交互模块CM2，所建立的输入模块INP 实现输入目的地的功能，交互模块CM2实现与服务器端交互，启动导航界面的功能。

在导航之前首先要通过***服务器端，在地图的基础上实现道路信息，建筑物信息的采集，获取它们的经纬度，创建数据库实现空间数据的存储。便于后期进行信息的查找。

然后用户在模块INP下输入目的地名称，启动交互模块CM2，智能手机与服务器端在Wi-Fi局域网中建立连接，通过手机GPS功能，实现用户定位。通过交互模块CM2，向服务器端发送用户当前的位置信息，以及输入模块INP中输入的目的地名称，服务器端根据这两个信息返回路径规划信息，获取路线方案。

接下来要进行增强现实导航3D虚拟数据的渲染。根据导航过程中可能遇到的不同转向信息对渲染图形进行分类,分别为直走，左转，右转，掉头，右前转，左前转这六种。根据顶点数量的不同分别设计方法实现3D导航模型顶点坐标数组的确立，然后根据 GPS的不同服务状态对3D模型进行了不同的纹理贴图。

结合加速度传感器和磁场传感器，获取手机方位角信息，即得到azimuth，pitch，roll参数的值，注册和监听加速度传感器与磁场传感器，在传感器的监听方法中获取传感器变化的参数数组，通过调用函SensorManager.getRotationMatrix(float[]R,float[]I,float[]gravity,float[]geomagnetic)，获取旋转矩阵R，通过对旋转矩阵计算，获取方位角信息。调用手机摄像头在界面显示道路场景，通过将这些随时变化的方位角数据映射到3D模型坐标系中，来控制导航指示箭头的与现实场景界面的叠加以及导航箭头的旋转变化。

最后要对箭头及道路提示信息进行实时更新，通过采用Handler,Timer及TimerTask 结合的方法实现Android定时器来完成此项功能。每隔一段时间将GPS获取的实时经纬度信息与最短路径解析后得到的数组元素对象的经纬度信息进行匹配，用户进入某一坐标点的附近区域时，将此点的道路朝向以及转向角信息传递给MySurfaceView类，MySurfaceView根据新的参数信息确定箭头初始朝向、绘制新类型的导航指示箭头，删除原先的导航箭头，将新的导航箭头叠加在摄像头获取的视频流中，进行导航，指导用户前进。在每次刷新过程中，根据当前GPS获取的经纬度信息计算其与下一个道路节点的距离信息，以文字的形式提示用户距离前方多少距离，如何转弯。

带领用户到达目的地后，可以退出交互，也可回到交互界面，再次输入目的地进行导航。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于增强现实的导航方法，其特征在于，包括以下步骤：

S1、在智能手机上建立启动模块CM1，启动模块CM1实现启动***功能，接收用户启动命令，检查wi-fi连接，打开手机GPS功能，跳转至输入界面；在输入界面建立输入模块INP和交互模块CM2，所建立的输入模块INP实现输入目的地的功能，交互模块CM2实现与服务器端交互，启动导航界面的功能；

S2、服务器端在地图的基础上实现道路信息、建筑物信息的采集，获取道路信息，建筑物信息的经纬度，形成道路拓扑网，创建数据库实现空间数据的存储；

S3、接收到用户导航命令，交互模块CM2启动，智能手机与服务器端在Wi-Fi局域网中建立连接，通过手机GPS功能，实现用户定位；通过交互模块CM2，向服务器端发送用户当前的位置信息，以及输入模块INP中输入的目的地名称，服务器端根据用户当前的位置信息和输入的目的地名称返回路径规划信息，获取路线方案；

S4、渲染虚拟数据，实现增强现实导航3D虚拟数据的渲染；根据导航过程中遇到的转向信息对渲染模型进行分类，分别为直走，左转，右转，掉头，右前转，左前转这六种；定义3D模型的坐标位置，进行导航图形的绘制以及纹理贴图，根据GPS的服务状态对箭头实现不同的纹理贴图；

S5、结合加速度传感器和磁场传感器，获取智能手机方位角信息，即得到azimuth，pitch，roll参数的值，azimuth，pitch，roll分别为智能手机围绕z，x，y轴旋转的角度，其中：z，x，y轴是加速度传感器和磁场传感器的坐标***，当智能手机保持横屏放置时，z轴是垂直于屏幕面板并指向屏幕面板外部，x轴是平行于屏幕面板竖直向上，y轴是平行于屏幕面板水平向右，加速度传感器和磁场传感器的坐标***不随着手机屏幕方向变化而改变；

S6、调用智能手机摄像头在界面显示道路场景，通过随时变化的方位角数据映射到3D模型坐标系中，来控制导航指示箭头与现实场景界面的叠加以及导航箭头的旋转变化；

S7、通过采用Handler、Timer及TimerTask结合的方法实现Android定时器来进行导航文字与图形提示信息的刷新；

S8、到达目的地，导航结束，回到交互界面。

2.根据权利要求1所述的基于增强现实的导航方法，其特征在于：所述步骤4包括以下步骤：

S401、初始化图形的顶点坐标数据缓冲，根据不同类型箭头创建不同顶点坐标数组，箭头由若干个三角形和若干个四边形组成，分别以三角形和四边形模式绘制；

S402、对绘制图形进行纹理贴图，初始化纹理，根据GPS的服务状态对箭头实现贴图，分配纹理坐标，三角形的纹理坐标包括三个顶点，四边形的纹理坐标包括四个顶点，纹理顶点坐标顺序与图形顶点坐标顺序一致。

3.根据权利要求1所述的基于增强现实的导航方法，其特征在于：所述步骤5包括以下步骤：

S501、注册和监听加速度传感器与磁场传感器，在加速度传感器和磁场传感器的监听方法中获取加速度传感器和磁场传感器变化的参数数组，

S502、通过调用函数SensorManager.getRotationMatrix(float[]R,float[]I,float[]gravity,float[]geomagnetic)获取旋转矩阵R，其中：gravity和geomagnetic分别为加速度传感器和磁场传感器获取的参数数组，此次仅需要获取旋转矩阵R，将倾斜矩阵I设为null，旋转矩阵R是一个3*3的矩阵：

其中：R[0]，R[1]，R[2]，R[3]，R[4]，R[5]，R[6]，R[7]，R[8]的值均由函数调用后由参数数组gravity和geomagnetic计算而来；

S503、通过对旋转矩阵计算R，获取方位角：

Value[0]＝(float)Math.atan2(R[1],R[4])

Value[1]＝(float)Math.asin(-R[7])

Value[2]＝(float)Math.atan2(-R[6],R[8])

其中：value[0]对应azimuth值，value[1]对应pitch，value[2]对应roll值，atan2(a,b)方法返回复数a+b*i的辐角，i为虚数单位，asin(c)方法返回c的反正弦，a，b，c均为数值参数。

4.根据权利要求1所述的基于增强现实的导航方法，其特征在于：所述步骤6包括以下步骤：

S601、通过方法glTranslatef(float x，float y，float z),将3D坐标系沿y轴负方向移动0.5个单位，沿z轴负方向移动了2个单位；

S602、通过方法glRotatef(float angle,float x,float y,float z)来控制箭头的旋转，其中参数angle代表旋转角度，x’，y’，z’代表OpenGL ES坐标轴，当智能手机保持横屏放置时，z’轴是垂直于屏幕面板并指向屏幕面板外部，x’轴是平行于屏幕面板水平向右，y’轴是平行于屏幕面板竖直向上，使用参数azimuth来控制箭头的左右旋转，参数roll来控制箭头的上下摇摆。

5.根据权利要求1所述的基于增强现实的导航方法，其特征在于：所述步骤7包括以下步骤：

S701、每隔一段时间将GPS获取的实时经纬度信息与最短路径解析后得到的数组元素对象的经纬度信息进行匹配，用户进入某一坐标点的附近区域时，将此点的道路朝向以及转向角信息传递给MySurfaceView类，MySurfaceView根据新的参数信息确定箭头初始朝向、绘制新类型的导航指示箭头，删除原先的导航箭头，将新的导航箭头叠加在摄像头获取的视频流中，进行导航，指导用户前进。

S702、每次刷新过程中，根据当前GPS获取的经纬度信息计算其与下一个道路节点的距离信息，以文字的形式提示用户距离前方的距离和转弯方向。