CN112729327B - 一种导航方法、装置、计算机设备及存储介质 - Google Patents

一种导航方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112729327B
CN112729327B CN202011549889.0A CN202011549889A CN112729327B CN 112729327 B CN112729327 B CN 112729327B CN 202011549889 A CN202011549889 A CN 202011549889A CN 112729327 B CN112729327 B CN 112729327B
Authority
CN
China
Prior art keywords
equipment
dimensional
determining
inflection point
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011549889.0A
Other languages
English (en)
Other versions
CN112729327A (zh
Inventor
张建博
李宇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202011549889.0A priority Critical patent/CN112729327B/zh
Publication of CN112729327A publication Critical patent/CN112729327A/zh
Application granted granted Critical
Publication of CN112729327B publication Critical patent/CN112729327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种导航方法、装置、计算机设备及存储介质,包括:获取AR设备拍摄的实景图像,并确定所述AR设备的三维位姿信息;基于所述AR设备的三维位姿信息,以及所述AR设备的目的地信息,获取所述AR设备的导航路径;基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态;按照所述三维虚拟箭头的展示姿态,在所述AR设备展示包含所述三维虚拟箭头与所述实景图像的AR导航图。

Description

一种导航方法、装置、计算机设备及存储介质
技术领域
本公开涉及增强现实(Augmented Reality,AR)技术领域,具体而言,涉及一种导航方法、装置、计算机设备及存储介质。
背景技术
随着科学技术的发展,人们的出行越来越依赖于导航***。在为用户进行导航时,一般是通过用户输入的目的地确定到达该目的地的导航路径,然后基于该导航路径为用户展示导航信息。
然而在为用户展示导航信息时,一般是通过二维指示箭头进行展示,这就容易导致用户无法准确判断行驶方向,例如在某分岔路口,可以上坡可以直行,二维指示箭头在指示上坡时和二维指示箭头在指示直行时所指向的方向区别不大,这就导致用户无法准确判断应该如何行走,导航效果较差。
发明内容
本公开实施例至少提供一种导航方法、装置、计算机设备及存储介质。
第一方面,本公开实施例提供了一种导航方法,包括:
获取AR设备拍摄的实景图像,并确定所述AR设备的三维位姿信息;
基于所述AR设备的三维位姿信息,以及所述AR设备的目的地信息,获取所述AR设备的导航路径;
基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态;
按照所述三维虚拟箭头的展示姿态,在所述AR设备展示包含所述三维虚拟箭头与所述实景图像的AR导航图。
基于上述方法,在为用户进行导航时,通过AR设备为用户展示包含三维虚拟箭头与实景图像的AR导航图,丰富了导航的展示形式;通过三维虚拟箭头进行导航,三维虚拟箭头可以指示多个方向,且三维虚拟箭头指示的方法更加明确,避免了用户无法准确判断行驶方向的问题。
一种可能的实施方式中,所述获取AR设备拍摄的实景图像,包括:
在确定所述AR设备启动导航应用后,调用所述AR设备的图像采集装置实时拍摄所述实景图像。
一种可能的实施方式中,所述基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态,包括:
确定所述导航路径中距离所述AR设备最近的目标拐点;
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头的展示姿态。
这里,基于AR设备和目标拐点的位置信息,所确定的三维虚拟箭头的展示姿态,可以准确指引用户到达所述目标拐点,提升了导航效果。
一种可能的实施方式中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;所述三维虚拟箭头对应有六个自由度;
所述基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头的展示姿态,包括:
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头在每个自由度上对应的状态变化量;
基于所述三维虚拟箭头在每个自由度上对应的状态变化量,确定所述三维虚拟箭头的展示姿态。
六个自由度的三维虚拟箭头可以指示各个方向,通过六个自由度的三维虚拟箭头来指示用户达到目标拐点,指示效果更加明确。
一种可能的实施方式中,所述导航路径中每个拐点对应拐弯区域,当前拐点的拐弯区域为从上一拐点到所述当前拐点的直行路线中,距离所述当前拐点为预设距离的区域;
当所述AR设备位于所述目标拐点的拐弯区域时,根据以下方法确定所述三维虚拟箭头的展示姿态:
基于所述目标拐点的位置信息,确定所述目标拐点对应的下一拐点,以及所述下一拐点的位置信息;
基于所述AR设备的位姿信息和所述下一拐点的位置信息,确定所述三维虚拟箭头的展示姿态。
当AR设备位于目标拐点的拐弯区域时,说明AR设备距离目标拐点较近,在这种情况下,基于下一拐点的位置信息确定三维虚拟箭头的展示姿态,可以提前提示用户目标拐点对应的转向信息,便于用户提前为在目标拐点的转向做准备。
一种可能的实施方式中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;
根据以下方法确定所述AR设备的三维位姿信息:
基于AR设备拍摄的实景图像,以及预先构建的三维场景地图,确定所述AR设备的三维位姿信息。
一种可能的实施方式中,根据以下方法确定所述AR设备的三维位姿信息:
获取所述AR设备内部的惯性测量单元所采集的数据,并基于所述惯性测量单元所采集的数据,确定所述AR设备的三维位姿信息。
由于AR设备的三维位姿是实时变化的,基于惯性测量单元所采集的数据确定AR设备的三维位姿信息,可以实现实时的对于AR设备的三维位姿信息的更新,进一步的可以实时的调整三维虚拟箭头的展示姿态。
一种可能的实施方式中,所述方法还包括:
每隔预设时长,基于所述AR设备拍摄的实景图像,对所述AR设备的三维位姿信息进行校准。
由于惯性测量单元的测量精度误差较大,因此基于AR设备拍摄的实景图像对AR设备的三维位姿进行校准,可以避免因惯性测量单元的测量精度带来的误差影响,进一步提高三维虚拟箭头展示姿态的展示精度。
第二方面,本公开实施例还提供了一种导航装置,包括:
第一确定模块,用于获取AR设备拍摄的实景图像,并确定所述AR设备的三维位姿信息;
获取模块,用于基于所述AR设备的三维位姿信息,以及所述AR设备的目的地信息,获取所述AR设备的导航路径;
第二确定模块,用于基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态;
展示模块,用于按照所述三维虚拟箭头的展示姿态,在所述AR设备展示包含所述三维虚拟箭头与所述实景图像的AR导航图。
一种可能的实施方式中,所述第一确定模块,在获取AR设备拍摄的实景图像时,用于:
在确定所述AR设备启动导航应用后,调用所述AR设备的图像采集装置实时拍摄所述实景图像。
一种可能的实施方式中,所述第二确定模块,在基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态时,用于:
确定所述导航路径中距离所述AR设备最近的目标拐点;
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头的展示姿态。
一种可能的实施方式中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;所述三维虚拟箭头对应有六个自由度;
所述第二确定模块,在基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头的展示姿态时,用于:
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头在每个自由度上对应的状态变化量;
基于所述三维虚拟箭头在每个自由度上对应的状态变化量,确定所述三维虚拟箭头的展示姿态。
一种可能的实施方式中,所述导航路径中每个拐点对应拐弯区域,当前拐点的拐弯区域为从上一拐点到所述当前拐点的直行路线中,距离所述当前拐点为预设距离的区域;
当所述AR设备位于所述目标拐点的拐弯区域时,所述第二确定方法用于根据以下方法确定所述三维虚拟箭头的展示姿态:
基于所述目标拐点的位置信息,确定所述目标拐点对应的下一拐点,以及所述下一拐点的位置信息;
基于所述AR设备的位姿信息和所述下一拐点的位置信息,确定所述三维虚拟箭头的展示姿态。
一种可能的实施方式中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;
所述第二确定模块,用于根据以下方法确定所述AR设备的三维位姿信息:
基于AR设备拍摄的实景图像,以及预先构建的三维场景地图,确定所述AR设备的三维位姿信息。
一种可能的实施方式中,所述第二确定模块,用于根据以下方法确定所述AR设备的三维位姿信息:
获取所述AR设备内部的惯性测量单元所采集的数据,并基于所述惯性测量单元所采集的数据,确定所述AR设备的三维位姿信息;
所述装置还包括校准模块,所述校准模块用于:
每隔预设时长,基于所述AR设备拍摄的实景图像,对所述AR设备的三维位姿信息进行校准。
第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。
关于上述导航装置、计算机设备、及计算机可读存储介质的效果描述参见上述导航方法的说明,这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种导航方法的流程图;
图2示出了本公开实施例所提供的AR设备中展示的三维虚拟箭头的示意图;
图3示出了本公开实施例所提供的导航路径的拐弯区域的示意图;
图4示出了本公开实施例所提供的一种导航装置的架构示意图;
图5示出了本公开实施例所提供的一种计算机设备500的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
相关技术中,在为用户进行导航时,一般是通过二维指示箭头进行展示,这就容易导致用户无法准确判断行驶方向,例如在某分岔路口,可以上坡可以直行,二维指示箭头在指示上坡时和二维指示箭头在指示直行时所指向的方向区别不大,这就导致用户无法准确判断应该如何行走,导航效果较差。
基于上述研究,本公开提供了一种导航方法、装置、计算机设备及存储介质,在为用户进行导航时,通过AR设备为用户展示包含三维虚拟箭头与实景图像的AR导航图,丰富了导航的展示形式;通过三维虚拟箭头进行导航,三维虚拟箭头可以指示多个方向,且三维虚拟箭头指示的方法更加明确,避免了用户无法准确判断行驶方向的问题。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种导航方法进行详细介绍,本公开实施例所提供的导航方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为AR设备,例如可以包括AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有明显显示功能和数据处理功能的设备,AR设备可以通过应用程序连接云端服务器。
参见图1所示,为本公开实施例提供的一种导航方法的流程图,所述方法包括步骤101~步骤104,其中:
步骤101、获取AR设备拍摄的实景图像,并确定所述AR设备的三维位姿信息。
步骤102、基于所述AR设备的三维位姿信息,以及所述AR设备的目的地信息,获取所述AR设备的导航路径。
步骤103、基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态。
步骤104、按照所述三维虚拟箭头的展示姿态,在所述AR设备展示包含所述三维虚拟箭头与所述实景图像的AR导航图。
以下是针对上述步骤101~步骤104的详细说明。
针对步骤101、
所述获取AR设备拍摄的实景图像,可以是获取AR设备实时拍摄的AR设备所在的目标场景中的实景图像。其中,AR设备在拍摄实景图像时,可以是在检测到AR设备启动导航应用后,调用AR设备的图像采集装置实时拍摄获得的。
在一种可能的实施方式中,所述确定AR设备的三维位姿信息,可以是AR设备本身基于AR设备拍摄的实景图像确定的,也可以是AR设备将实景图像传输至云端服务器,由云端服务器基于实景图像确定的,然后AR设备再从云端服务器获取确定的三维位姿信息。
其中,AR设备确定三维位姿信息的方法与云端服务器确定三维位姿信息的方法可以相同,下面将以AR设备为确定三维位姿信息的执行主体为例,对确定三维位姿信息的方法展开介绍。
所述AR设备的三维位姿信息可以是AR设备在目标场景中三维坐标系中的位姿信息,所述三维位姿信息可以包括位置信息和朝向。
在一种可能的实施方式中,在确定AR设备的三维位姿信息时,可以先检测实景图像对应的目标场景中多个目标检测点的位置信息,以及确定每一个目标检测点在实景图像中对应的目标像素点,然后可以确定实景图像中各个目标像素点分别对应的深度信息(例如可以通过对实景图像进行深度检测获得),然后基于目标像素点的深度信息,确定AR设备的三维位姿信息。
其中,所述目标检测点可以是预先设置好的AR设备所在场景中的位置点,例如可以是杯子、风扇、饮水机等,目标像素点的深度信息可以用来表示该目标像素点对应的目标检测点与AR设备的图像采集装置之间的距离。所述目标检测点在场景坐标系中的位置坐标是预先设置好,且固定不变的。
具体的,在确定AR设备的三维位姿信息时,可以通过目标检测点与目标检测点对应的目标像素点在场景图像中的坐标信息确定三维位姿信息中的朝向;以及基于目标检测点对应的目标像素点的深度值确定AR设备的位置信息,由此可以确定AR设备的三维位姿信息。
在另外一种可能的实施方式中,在确定AR设备的三维位姿信息时,可以将AR设备拍摄的实景图像与AR设备所在的目标场景对应的三维模型进行匹配,并基于匹配结果确定AR设备的三维位姿信息。
具体的,目标场景对应的三维模型在构建时,可以基于全景视频进行构建,基于该全景实景,可以获得三维模型各个位置区域对应的区域图像,以及拍摄该区域图像时对应的位姿信息;在将AR设备拍摄的实景图像与三维模型进行匹配时,可以将AR设备拍摄的实景图像与三维模型各个位置区域对应的区域图像进行匹配,并确定匹配成功的目标区域图像,以及目标区域图像与实景图像的拍摄位姿的相对位姿关系,基于该相对位姿关系和拍摄所述目标区域图像时的位姿信息,可以确定AR设备在拍摄实景图像时的三维位姿信息。
在另外一种可能的实施方式中,在确定AR设备的三维位姿信息时,还可以借助于AR设备内部的惯性测量单元IMU。具体的,可以获取惯性测量单元IMU所采集的数据,然后基于惯性测量单元IMU采集的数据,确定AR设备的三维位姿信息。
由于AR设备的三维位姿是实时变化的,基于惯性测量单元所采集的数据确定AR设备的三维位姿信息,可以实现实时的对于AR设备的三维位姿信息的更新,进一步的可以实时的调整三维虚拟箭头的展示姿态。
然而实际应用中,惯性测量单元(Inertial Measurement Unit,IMU)采集的数据可能有误差,因此,为了避免惯性测量单元IMU的测量误差对于AR设备的三维位姿信息的影响,可以每隔预设时长,基于AR设备拍摄的实景图像,对AR设备的三维位姿信息进行校准。
具体的,可以每隔预设时长,基于AR设备拍摄的实景图像,确定AR设备的三维位姿信息,然后将基于实景图像确定的三维位姿信息与基于惯性测量单元IMU采集的数据确定的三维位姿信息进行比对,若不一致,由于基于实景图像确定的三维位姿信息的精度更高,可以用基于实景图像确定的三维位姿信息对基于惯性测量单元IMU采集的数据确定的三维位姿信息进行更新,即将基于实景图像确定的三维位姿信息作为所述AR设备当前的三维位姿信息。
在另外一种可能的实施方式中,在初始确定AR设备的三维位姿信息时,可以基于AR设备拍摄的实景图像进行确定,然后在展示AR导航图的过程中,可以基于AR设备中内置的惯性测量单元IMU实时确定AR设备的三维位姿信息,并每隔预设时长,基于AR设备拍摄的实景图像,重新确定AR设备的三维位姿信息,并基于重新确定的AR设备的三维位姿信息,对惯性测量单元IMU所确定的AR设备的三维位姿信息进行更新。
这里,由于惯性测量单元的测量精度误差较大,因此基于AR设备拍摄的实景图像对AR设备的三维位姿进行校准,可以避免因惯性测量单元的测量精度带来的误差影响,进一步提高三维虚拟箭头展示姿态的展示精度。
针对步骤102、
在一种可能的实施方式中,AR设备的目的地信息可以是用户基于AR设备输入的,在基于AR设备的三维位姿信息,以及AR设备的目的地信息,获取AR设备的导航路径时,可以是用户基于AR设备输入目的地信息,然后AR设备将AR设备的三维位姿信息和AR设备的目的地信息发送至服务器,由服务器确定到达目的地信息对应的目标位置的导航路径,并发送至AR设备,其中,该导航路径中可以包含AR设备的当前位置。
针对步骤103、
在一种可能的实施方式中,在基于AR设备的三维位姿信息和导航路径,确定三维虚拟箭头的展示姿态时,可以先确定导航路径中距离AR设备最近的目标拐点,然后基于AR设备的三维位姿信息和目标拐点的位置信息,确定三维虚拟箭头的展示姿态。
具体的,导航路径中包括拐点和执行路段,所述拐点可以是转弯角度超过预设角度的位置点,例如可以将拐弯角度超过30°的位置点确定为拐点。
需要说明的是,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息,三维虚拟箭头对应有六个自由度,示例性的,若AR设备为手机,则AR设备中展示的三维虚拟箭头可以如图2所示。
在基于AR设备的三维位姿信息和目标拐点的位置信息,确定三维虚拟箭头的展示姿态时,可以先基于AR设备的三维位姿信息和目标拐点的位置信息,确定三维虚拟箭头在每个自由度上对应的状态变化量,然后基于三维虚拟箭头在每个自由度上的状态变化量,确定三维虚拟箭头的展示姿态。
三维虚拟箭头在每个自由度上的状态变化量分别表示延x、y、z轴的移动量和绕x、y、z轴的旋转量,基于所述三维虚拟箭头在每个自由度上的状态变化量,可以确定三维虚拟箭头指向目标拐点的展示姿态。
这里,在基于确定的展示姿态展示三维虚拟箭头时,三维虚拟箭头始终目标拐点对应的位置信息,所述指向目标拐点对应的位置信息,所述目标拐点的位置信息可以是三维坐标信息,其z轴的区域与AR设备的高度保持一致,且可以随着AR设备的高度变化而变化。
实际应用中,当AR设备靠近目标拐点时,需要提前调整三维虚拟箭头的展示姿态,以提示用户在目标拐点应拐向的方向。
具体的,在导航路径中每个拐点都对应有一个拐弯区域,当前拐点对应的拐弯区域为从上一拐点到当前拐点的直行路线中,距离当前拐点为预设距离的区域。
示例性的,若导航路径如图3所示,包括拐点1、拐点2、拐点3和拐点4,每个拐点对应的拐弯区域为分别为距离该拐点最近的灰色区域。
实际应用中各个拐点对应的拐弯区域的大小可以相同,也可以根据目标拐点拐弯角度的大小进行调整,例如,若目标拐点对应的拐弯角度小于第一预设角度,则说明该目标拐点对应的拐弯角度较小,因此用户无需过早提前拐弯,拐弯区域对应的区域尺寸可以为第一预设尺寸;若目标拐点对应的拐弯角度大于或等于第一预设角度,且小于第二预设角度,该目标拐点的拐弯区域的区域尺寸可以为第二预设尺寸;若目标拐点大于或等于所述第二预设角度,该目标拐点的拐弯区域的区域尺寸可以为第三预设尺寸,所述第一预设尺寸小于所述第二预设尺寸和所述第三预设尺寸,所述第二预设尺寸小于所述第三预设尺寸。
在一种可能的实施方式中,当检测到AR设备位于目标拐点的拐弯区域时,在确定三维虚拟箭头的展示姿态时,可以先基于目标拐点的位置信息,确定目标拐点对应的下一拐点,以及下一拐点的位置信息,然后基于AR设备的位姿信息和下一拐点的位置信息,确定三维虚拟箭头的展示姿态。
这里,所述目标拐点对应的下一拐点,可以是导航路径中,AR设备未到达到的区域中,距离目标拐点距离最近的拐点。
在基于AR设备的位姿信息和下一拐点的位置信息,确定三维虚拟箭头的展示姿态时,可以先基于AR设备的三维位姿信息和下一拐点的位置信息,确定三维虚拟箭头在每个自由度上对应的状态变化量,然后基于三维虚拟箭头在每个自由度上对应的状态变化量,确定三维虚拟箭头的展示姿态。
这里,当AR设备位于目标拐点的拐弯区域时,说明AR设备距离目标拐点较近,在这种情况下,基于下一拐点的位置信息确定三维虚拟箭头的展示姿态,可以提前提示用户目标拐点对应的转向信息,便于用户提前为在目标拐点的转向做准备。
针对步骤104、
在一种可能的实施方式中,在按照三维虚拟箭头的展示姿态,在AR设备展示AR导航图时,可以先按照对应的展示姿态,将三维虚拟箭头与AR设备拍摄的实景图像进行融合,所述AR导航图即包括多张连续的融合三维虚拟箭头的实景图像。
其中,在将三维虚拟箭头与AR设备拍摄的实景图像进行融合时,可以在AR设备拍摄的实景图像的预设位置处,按照确定的展示姿态添加所述三维虚拟箭头。
所述在AR设备展示包含所述三维虚拟箭头与所述实景图像的AR导航图,可以是AR设备从服务器获取包含三维虚拟箭头与所述实景图像的AR导航图之后,展示在AR设备上的,也可以是服务器在确定包含三维虚拟箭头与实景图像的AR导航图之后,将确定的AR导航图发送至AR设备,并控制AR设备进行展示。
基于上述方法,在为用户进行导航时,通过AR设备为用户展示包含三维虚拟箭头与实景图像的AR导航图,丰富了导航的展示形式;通过三维虚拟箭头进行导航,三维虚拟箭头可以指示多个方向,且三维虚拟箭头指示的方法更加明确,避免了用户无法准确判断行驶方向的问题。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思,本公开实施例中还提供了与导航方法对应的导航装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述导航方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图4所示,为本公开实施例提供的一种导航装置的架构示意图,所述装置包括:第一确定模块401、获取模块402、第二确定模块403、以及展示模块404;其中,
第一确定模块401,用于获取AR设备拍摄的实景图像,并确定所述AR设备的三维位姿信息;
获取模块402,用于基于所述AR设备的三维位姿信息,以及所述AR设备的目的地信息,获取所述AR设备的导航路径;
第二确定模块403,用于基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态;
展示模块404,用于按照所述三维虚拟箭头的展示姿态,在所述AR设备展示包含所述三维虚拟箭头与所述实景图像的AR导航图。
一种可能的实施方式中,所述第一确定模块401,在获取AR设备拍摄的实景图像时,用于:
在确定所述AR设备启动导航应用后,调用所述AR设备的图像采集装置实时拍摄所述实景图像。
一种可能的实施方式中,所述第二确定模块403,在基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态时,用于:
确定所述导航路径中距离所述AR设备最近的目标拐点;
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头的展示姿态。
一种可能的实施方式中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;所述三维虚拟箭头对应有六个自由度;
所述第二确定模块403,在基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头的展示姿态时,用于:
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头在每个自由度上对应的状态变化量;
基于所述三维虚拟箭头在每个自由度上对应的状态变化量,确定所述三维虚拟箭头的展示姿态。
一种可能的实施方式中,所述导航路径中每个拐点对应拐弯区域,当前拐点的拐弯区域为从上一拐点到所述当前拐点的直行路线中,距离所述当前拐点为预设距离的区域;
当所述AR设备位于所述目标拐点的拐弯区域时,所述第二确定方法用于根据以下方法确定所述三维虚拟箭头的展示姿态:
基于所述目标拐点的位置信息,确定所述目标拐点对应的下一拐点,以及所述下一拐点的位置信息;
基于所述AR设备的位姿信息和所述下一拐点的位置信息,确定所述三维虚拟箭头的展示姿态。
一种可能的实施方式中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;
所述第二确定模块403,用于根据以下方法确定所述AR设备的三维位姿信息:
基于AR设备拍摄的实景图像,以及预先构建的三维场景地图,确定所述AR设备的三维位姿信息。
一种可能的实施方式中,所述第二确定模块403,用于根据以下方法确定所述AR设备的三维位姿信息:
获取所述AR设备内部的惯性测量单元所采集的数据,并基于所述惯性测量单元所采集的数据,确定所述AR设备的三维位姿信息;
所述装置还包括校准模块405,所述校准模块405用于:
每隔预设时长,基于所述AR设备拍摄的实景图像,对所述AR设备的三维位姿信息进行校准。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
基于上述装置,在为用户进行导航时,通过AR设备为用户展示包含三维虚拟箭头与实景图像的AR导航图,丰富了导航的展示形式;通过三维虚拟箭头进行导航,三维虚拟箭头可以指示多个方向,且三维虚拟箭头指示的方法更加明确,避免了用户无法准确判断行驶方向的问题。
基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图5所示,为本公开实施例提供的计算机设备500的结构示意图,包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当计算机设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501在执行以下指令:
获取AR设备拍摄的实景图像,并确定所述AR设备的三维位姿信息;
基于所述AR设备的三维位姿信息,以及所述AR设备的目的地信息,获取所述AR设备的导航路径;
基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态;
按照所述三维虚拟箭头的展示姿态,在所述AR设备展示包含所述三维虚拟箭头与所述实景图像的AR导航图。
一种可能的实施方式中,处理器501执行的指令中,所述获取AR设备拍摄的实景图像,包括:
在确定所述AR设备启动导航应用后,调用所述AR设备的图像采集装置实时拍摄所述实景图像。
一种可能的实施方式中,处理器501执行的指令中,所述基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态,包括:
确定所述导航路径中距离所述AR设备最近的目标拐点;
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头的展示姿态。
一种可能的实施方式中,处理器501执行的指令中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;所述三维虚拟箭头对应有六个自由度;
所述基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头的展示姿态,包括:
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头在每个自由度上对应的状态变化量;
基于所述三维虚拟箭头在每个自由度上对应的状态变化量,确定所述三维虚拟箭头的展示姿态。
一种可能的实施方式中,处理器501执行的指令中,所述导航路径中每个拐点对应拐弯区域,当前拐点的拐弯区域为从上一拐点到所述当前拐点的直行路线中,距离所述当前拐点为预设距离的区域;
当所述AR设备位于所述目标拐点的拐弯区域时,根据以下方法确定所述三维虚拟箭头的展示姿态:
基于所述目标拐点的位置信息,确定所述目标拐点对应的下一拐点,以及所述下一拐点的位置信息;
基于所述AR设备的位姿信息和所述下一拐点的位置信息,确定所述三维虚拟箭头的展示姿态。
一种可能的实施方式中,处理器501执行的指令中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;
根据以下方法确定所述AR设备的三维位姿信息:
基于AR设备拍摄的实景图像,以及预先构建的三维场景地图,确定所述AR设备的三维位姿信息。
一种可能的实施方式中,处理器501执行的指令中,根据以下方法确定所述AR设备的三维位姿信息:
获取所述AR设备内部的惯性测量单元所采集的数据,并基于所述惯性测量单元所采集的数据,确定所述AR设备的三维位姿信息;
所述方法还包括:
每隔预设时长,基于所述AR设备拍摄的实景图像,对所述AR设备的三维位姿信息进行校准。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的导航方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的导航方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的导航方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种导航方法,其特征在于,包括:
获取AR设备拍摄的实景图像,并确定所述AR设备的三维位姿信息;其中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;
基于所述AR设备的三维位姿信息,以及所述AR设备的目的地信息,获取所述AR设备的导航路径;
基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态;其中,所述三维虚拟箭头对应有六个自由度;
按照所述三维虚拟箭头的展示姿态,在所述AR设备展示包含所述三维虚拟箭头与所述实景图像的AR导航图;
其中,所述基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态,包括:
确定所述导航路径中距离所述AR设备最近的目标拐点;
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头在每个自由度上对应的状态变化量;
基于所述三维虚拟箭头在每个自由度上对应的状态变化量,确定所述三维虚拟箭头的展示姿态。
2.根据权利要求1所述的方法,其特征在于,所述获取AR设备拍摄的实景图像,包括:
在确定所述AR设备启动导航应用后,调用所述AR设备的图像采集装置实时拍摄所述实景图像。
3.根据权利要求1所述的方法,其特征在于,所述导航路径中每个拐点对应拐弯区域,当前拐点的拐弯区域为从上一拐点到所述当前拐点的直行路线中,距离所述当前拐点为预设距离的区域;
当所述AR设备位于所述目标拐点的拐弯区域时,根据以下方法确定所述三维虚拟箭头的展示姿态:
基于所述目标拐点的位置信息,确定所述目标拐点对应的下一拐点,以及所述下一拐点的位置信息;
基于所述AR设备的位姿信息和所述下一拐点的位置信息,确定所述三维虚拟箭头的展示姿态。
4.根据权利要求1~3任一所述的方法,其特征在于,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;
根据以下方法确定所述AR设备的三维位姿信息:
基于AR设备拍摄的实景图像,以及预先构建的三维场景地图,确定所述AR设备的三维位姿信息。
5.根据权利要求1所述的方法,其特征在于,根据以下方法确定所述AR设备的三维位姿信息:
获取所述AR设备内部的惯性测量单元所采集的数据,并基于所述惯性测量单元所采集的数据,确定所述AR设备的三维位姿信息;
所述方法还包括:
每隔预设时长,基于所述AR设备拍摄的实景图像,对所述AR设备的三维位姿信息进行校准。
6.一种导航装置,其特征在于,包括:
第一确定模块,用于获取AR设备拍摄的实景图像,并确定所述AR设备的三维位姿信息;其中,所述AR设备的三维位姿信息包括所述AR设备的位置信息和朝向信息;
获取模块,用于基于所述AR设备的三维位姿信息,以及所述AR设备的目的地信息,获取所述AR设备的导航路径;
第二确定模块,用于基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态;其中,所述三维虚拟箭头对应有六个自由度;
展示模块,用于按照所述三维虚拟箭头的展示姿态,在所述AR设备展示包含所述三维虚拟箭头与所述实景图像的AR导航图;
其中,所述第二确定模块,在基于所述AR设备的三维位姿信息和所述导航路径,确定三维虚拟箭头的展示姿态时,用于:
确定所述导航路径中距离所述AR设备最近的目标拐点;
基于所述AR设备的三维位姿信息和所述目标拐点的位置信息,确定所述三维虚拟箭头在每个自由度上对应的状态变化量;
基于所述三维虚拟箭头在每个自由度上对应的状态变化量,确定所述三维虚拟箭头的展示姿态。
7.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至5任一项所述的导航方法的步骤。
8.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至5任一项所述的导航方法的步骤。
CN202011549889.0A 2020-12-24 2020-12-24 一种导航方法、装置、计算机设备及存储介质 Active CN112729327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011549889.0A CN112729327B (zh) 2020-12-24 2020-12-24 一种导航方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011549889.0A CN112729327B (zh) 2020-12-24 2020-12-24 一种导航方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112729327A CN112729327A (zh) 2021-04-30
CN112729327B true CN112729327B (zh) 2024-06-07

Family

ID=75605923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011549889.0A Active CN112729327B (zh) 2020-12-24 2020-12-24 一种导航方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112729327B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115470244A (zh) * 2021-06-11 2022-12-13 腾讯科技(深圳)有限公司 基于电子地图的交互方法、装置、计算机设备和存储介质
CN113345013A (zh) * 2021-06-29 2021-09-03 视伴科技(北京)有限公司 一种生成指路标识信息的方法及装置
CN113566846B (zh) * 2021-07-22 2022-11-04 北京百度网讯科技有限公司 导航校准方法和装置、电子设备、计算机可读介质
CN113776553A (zh) * 2021-08-31 2021-12-10 深圳市慧鲤科技有限公司 Ar数据展示方法、装置、电子设备及存储介质
CN116452777A (zh) * 2022-01-06 2023-07-18 华为技术有限公司 一种增强现实***、增强现实场景定位方法及设备
CN117308939A (zh) * 2022-06-20 2023-12-29 中兴通讯股份有限公司 Ar导航方法、终端、存储介质
TWI826189B (zh) * 2022-12-16 2023-12-11 仁寶電腦工業股份有限公司 具六自由度之控制器追蹤系統及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204614232U (zh) * 2015-05-12 2015-09-02 南京信息工程大学 基于移动客户端和二维码的三维路径引导***
CN107256017A (zh) * 2017-04-28 2017-10-17 中国农业大学 路线规划方法及***
CN108917758A (zh) * 2018-02-24 2018-11-30 石化盈科信息技术有限责任公司 一种基于ar的导航方法及***
CN111627114A (zh) * 2020-04-14 2020-09-04 北京迈格威科技有限公司 室内视觉导航方法、装置、***及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107677263A (zh) * 2017-09-29 2018-02-09 北京金山安全软件有限公司 基于ar的导航方法、装置、电子设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204614232U (zh) * 2015-05-12 2015-09-02 南京信息工程大学 基于移动客户端和二维码的三维路径引导***
CN107256017A (zh) * 2017-04-28 2017-10-17 中国农业大学 路线规划方法及***
CN108917758A (zh) * 2018-02-24 2018-11-30 石化盈科信息技术有限责任公司 一种基于ar的导航方法及***
CN111627114A (zh) * 2020-04-14 2020-09-04 北京迈格威科技有限公司 室内视觉导航方法、装置、***及电子设备

Also Published As

Publication number Publication date
CN112729327A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112729327B (zh) 一种导航方法、装置、计算机设备及存储介质
KR102414587B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
CN109084732B (zh) 定位与导航方法、装置及处理设备
US9953461B2 (en) Navigation system applying augmented reality
CN112146649B (zh) Ar场景下的导航方法、装置、计算机设备及存储介质
CN110478901B (zh) 基于增强现实设备的交互方法及***
US10309762B2 (en) Reference coordinate system determination
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN108810473B (zh) 一种在移动平台上实现gps映射摄像机画面坐标的方法及***
US20130218461A1 (en) Reduced Drift Dead Reckoning System
KR20150114141A (ko) 모션 추정 시스템 및 방법
US20210118236A1 (en) Method and apparatus for presenting augmented reality data, device and storage medium
CN111815781A (zh) 增强现实数据呈现方法、装置、设备和计算机存储介质
CN113048980A (zh) 位姿优化方法、装置、电子设备及存储介质
EP3275182B1 (en) Methods and systems for light field augmented reality/virtual reality on mobile devices
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN108804161B (zh) 应用的初始化方法、装置、终端和存储介质
CN111815783A (zh) 虚拟场景的呈现方法及装置、电子设备及存储介质
KR101579970B1 (ko) 사진에 촬영된 지점의 위치를 계산하는 방법 및 장치
KR101914660B1 (ko) 자이로 센서를 기반으로 증강현실 컨텐츠의 표시를 제어하는 방법 및 그 장치
US9286939B2 (en) Information-processing system, information-processing device, storage medium, and method
CN111665943B (zh) 一种位姿信息展示方法及装置
KR101939530B1 (ko) 지형정보 인식을 기반으로 증강현실 오브젝트를 표시하는 방법 및 그 장치
CN111489376A (zh) 跟踪交互设备的方法、装置、终端设备及存储介质
CN112325905B (zh) 一种用于识别imu的测量误差的方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant