CN111650953B - 飞行器避障处理方法、装置、电子设备及存储介质 - Google Patents
飞行器避障处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111650953B CN111650953B CN202010519754.3A CN202010519754A CN111650953B CN 111650953 B CN111650953 B CN 111650953B CN 202010519754 A CN202010519754 A CN 202010519754A CN 111650953 B CN111650953 B CN 111650953B
- Authority
- CN
- China
- Prior art keywords
- scene
- virtual aircraft
- data
- equipment
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种飞行器避障处理方法、装置、电子设备及存储介质,其中,该方法包括:获取AR设备在目标现实场景中的位姿数据,以及根据所述位姿数据,控制所述AR设备展示AR场景,所述AR场景中包含所述AR设备控制的虚拟飞行器;基于所述虚拟飞行器在所述AR场景中的位姿数据,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息;基于所述AR设备的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,为所述AR设备生成针对所述虚拟飞行器的避障特效数据;将所述避障特效数据发送至所述AR设备,控制所述AR设备展示所述虚拟飞行器绕过障碍物飞行的飞行特效。
Description
技术领域
本公开涉及增强现实技术领域,具体而言,涉及一种飞行器避障处理方法、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪等多种技术手段,目前已经应用于多种场景。
以游戏场景为例,比如飞行类的游戏,在用户使用AR技术操控飞行器时,如何能够通过AR展示提供更加逼真的展示内容,是需要解决的问题。
发明内容
本公开实施例至少提供一种飞行器避障处理方案。
第一方面,本公开实施例提供了一种飞行器避障处理方法,包括:
获取AR设备在目标现实场景中的位姿数据,以及根据所述AR设备的位姿数据,控制所述AR设备展示AR场景,所述AR场景中包含所述AR设备控制的虚拟飞行器;
基于所述虚拟飞行器在所述AR场景中的位姿数据,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息;
基于所述AR设备的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,为所述AR设备生成针对所述虚拟飞行器的避障特效数据;
基于所述避障特效数据,控制所述AR设备展示所述虚拟飞行器绕过障碍物飞行的飞行特效。
能够根据AR设备控制的飞行器在目标现实场景中的位姿数据,确定出目标现实场景中针对该虚拟飞行器的障碍物信息,进一步地,根据AR设备在目标现实场景中的位姿数据,可以为AR设备生成针对虚拟飞行器的避障特效数据,进一步根据该避障特效数据,可以控制该AR设备展示虚拟飞行器绕过障碍物飞行的飞行特效,因为该过程结合AR设备的位姿数据,可以针对该AR设备的视角展示出虚拟飞行器的避障过程,使得虚拟飞行器的飞行展示内容更加逼真。
在一种可能的实施方式中,所述获取AR设备在目标现实场景中的位姿数据,包括:
获取AR设备拍摄所述目标现实场景的现实场景图像;
基于所述AR设备拍摄的所述现实场景图像,以及预先建立的用于表征所述目标现实场景的三维场景模型,确定该AR设备在所述目标现实场景中的位姿数据。
在一种可能的实施方式中,在基于所述虚拟飞行器在所述AR场景中的位姿数据,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息之前,所述飞行器避障处理方法还包括:
获取针对所述虚拟飞行器的位姿控制数据;
所述基于所述虚拟飞行器在所述AR场景中的位姿数据,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息,包括:
基于所述虚拟飞行器在所述AR场景中的位姿数据,以及所述位姿控制数据,确定所述虚拟飞行器的预测飞行航线数据;
基于所述预测飞行航线数据,以及所述目标现实场景中的各个障碍物的位置信息,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息。
在一种可能的实施方式中,所述基于所述预测飞行航线数据,以及所述目标现实场景中的各个障碍物的位置信息,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息,包括:
基于所述AR场景中确定针对所述虚拟飞行器的候选障碍物;
基于所述预测飞行航线数据,以及所述候选障碍物在所述目标现实场景中的位置信息,确定是否存在与所述预测飞行航线数据相交的目标障碍物;
将所述目标障碍物在所述目标现实场景中的位置信息,作为所述目标现实场景中针对所述虚拟飞行器的障碍物信息。
本公开实施例中,通过AR场景确定针对虚拟飞行器的候选障碍物,无需针对目标现实场景中的所有障碍物进行确定,在确定作为目标现实场景中针对虚拟飞行器的障碍物信息时,可以提高效率。
在一种可能的实施方式中,所述基于所述AR设备的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,为所述AR设备生成针对所述虚拟飞行器的避障特效数据,包括:
基于所述虚拟飞行器在所述AR场景中的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,确定针对所述虚拟飞行器的避障航线;
基于所述AR设备的位姿数据以及针对所述虚拟飞行器的避障航线,为所述AR设备生成针对所述虚拟飞行器的避障特效数据。
第二方面,本公开实施例提供了一种飞行器避障处理装置,包括:
获取模块,用于获取AR设备在目标现实场景中的位姿数据,以及根据所述AR设备的位姿数据,控制所述AR设备展示AR场景,所述AR场景中包含所述AR设备控制的虚拟飞行器;
确定模块,用户基于所述虚拟飞行器在所述AR场景中的位姿数据,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息;
生成模块,用于基于所述AR设备的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,为所述AR设备生成针对所述虚拟飞行器的避障特效数据;
发送模块,用于基于所述避障特效数据,控制所述AR设备展示所述虚拟飞行器绕过障碍物飞行的飞行特效。
在一种可能的实施方式中,所述获取模块在用于获取AR设备在目标现实场景中的位姿数据时,包括:
获取AR设备拍摄所述目标现实场景的现实场景图像;
基于所述AR设备拍摄的所述现实场景图像,以及预先建立的用于表征所述目标现实场景的三维场景模型,确定该AR设备在所述目标现实场景中的位姿数据。
在一种可能的实施方式中,在确定模块基于所述虚拟飞行器在所述AR场景中的位姿数据,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息之前,所述获取模块还用于:
获取针对所述虚拟飞行器的位姿控制数据;
所述确定模块在用于基于所述虚拟飞行器在所述AR场景中的位姿数据,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息时,包括:
基于所述虚拟飞行器在所述AR场景中的位姿数据,以及所述位姿控制数据,确定所述虚拟飞行器的预测飞行航线数据;
基于所述预测飞行航线数据,以及所述目标现实场景中的各个障碍物的位置信息,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息。
在一种可能的实施方式中,所述确定模块在用于基于所述预测飞行航线数据,以及所述目标现实场景中的各个障碍物的位置信息,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息时,包括:
基于所述AR场景中确定针对所述虚拟飞行器的候选障碍物;
基于所述预测飞行航线数据,以及所述候选障碍物在所述目标现实场景中的位置信息,确定是否存在与所述预测飞行航线数据相交的目标障碍物;
将所述目标障碍物在所述目标现实场景中的位置信息,作为所述目标现实场景中针对所述虚拟飞行器的障碍物信息。
在一种可能的实施方式中,所述生成模块在用于基于所述AR设备的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,为所述AR设备生成针对所述虚拟飞行器的避障特效数据时,包括:
基于所述虚拟飞行器在所述AR场景中的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,确定针对所述虚拟飞行器的避障航线;
基于所述AR设备的位姿数据以及针对所述虚拟飞行器的避障航线,为所述AR设备生成针对所述虚拟飞行器的避障特效数据。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的飞行器避障处理方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的飞行器避障处理方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种飞行器避障处理方法的流程图;
图2示出了本公开实施例所提供的一种确定针对虚拟飞行器的障碍物信息的方法流程图;
图3示出了本公开实施例所提供的一种确定针对虚拟飞行器的障碍物信息的具体方法流程图;
图4示出了本公开实施例所提供的一种为AR设备生成针对虚拟飞行器的避障特效数据的方法流程图;
图5示出了本公开实施例所提供的种飞行器避障处理装置的结构示意图;
图6示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
目前AR技术在交互类游戏中的应用场景较少,比如飞行的相关游戏中,用户可以通过携带的AR设备操控匹配的虚拟飞行器,在类似的应用场景中,如何能够通过AR技术使得展示效果更加逼真,比如针对虚拟飞行器的飞行避障问题,为本公开要讨论的技术问题。
基于上述研究,本公开提供了一种飞行器避障处理方案,能够根据AR设备控制的飞行器在目标现实场景中的位姿数据,确定出目标现实场景中针对该虚拟飞行器的障碍物信息,进一步地,根据AR设备在目标现实场景中的位姿数据,可以为AR设备生成针对虚拟飞行器的避障特效数据,进一步根据该避障特效数据,可以控制该AR设备展示虚拟飞行器绕过障碍物飞行的飞行特效,因为该过程结合AR设备的位姿数据,可以针对该AR设备的视角展示出虚拟飞行器的避障过程,使得虚拟飞行器的飞行展示内容更加逼真。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种飞行器避障处理方法进行详细介绍,本公开实施例所提供的飞行器避障处理方法的执行主体一般为具有一定计算能力的计算机设备,具体可以为终端设备或服务器或其它处理设备,比如可以是与AR设备连接的服务器,AR设备比如可以包括AR眼镜、平板电脑、智能手机、智能穿戴设备等具有显示功能和数据处理能力的设备,AR设备可以通过应用程序连接服务器。在一些可能的实现方式中,该飞行器避障处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的飞行器避障处理方法的流程图,该方法包括以下步骤S101~S104:
S101,获取AR设备在目标现实场景中的位姿数据,以及根据该AR设备的位姿数据,控制AR设备展示AR场景,AR场景中包含AR设备控制的虚拟飞行器。
示例性地,AR设备在目标现实场景中的位姿数据可以包括用户手持或佩戴AR设备时,用于显示虚拟飞行器的显示部件所在的位置和/或显示角度。
其中,AR设备的显示部件具体指该AR设备中用于显示虚拟飞行器的部件,示例性地,AR设备为手机或者平板时,对应的显示部件可以为显示屏,当AR设备为AR眼镜时,对应的显示部件可以为用于显示虚拟飞行器的镜片。
具体获取AR设备在目标现实场景中的位姿数据的方式将在后文进行介绍。
示例性地,在AR设备的位姿数据确定后,可以根据该AR设备的位姿数据,控制AR设备展示与该位姿数据匹配的AR场景,比如可以在该AR场景中展示叠加在现实场景中的虚拟飞行器。
S102,基于虚拟飞行器在AR场景中的位姿数据,确定目标现实场景中针对虚拟飞行器的障碍物信息。
示例性地,虚拟飞行器在AR场景中的位姿数据可以根据控制该虚拟飞行器的AR设备发送的控制数据来确定,根据控制该虚拟飞行器发射的控制数据确定虚拟飞行器在AR场景中的位姿数据。
示例性地,目标现实场景中针对虚拟飞行器的障碍物信息可以包含阻碍虚拟飞行器飞行的障碍物的位置信息,比如虚拟飞行器从A位置飞向B位置时,在飞行导航路线中遇到的障碍物在目标现实场景中的位置信息,具体可以为障碍物的轮廓在目标现实场景中的位置信息,具体确定障碍物在目标现实场景中的位置信息的方式将在后文进行详细阐述。
S103,基于AR设备的位姿数据,以及目标现实场景中针对虚拟飞行器的障碍物信息,为该AR设备生成针对虚拟飞行器的避障特效数据。
示例性地,本公开实施例中的AR设备可以为关联AR设备组中的任一AR设备,其中处于同一个关联AR设备组中的各个AR设备可以进入同一个AR场景内容,在应用场景中,这些AR设备可以选择相同的AR体验包进入多人互动AR场景,比如,针对游戏类的AR场景,每个AR设备可以通过登录AR游戏账号,进入同一个AR房间体验AR场景,进入相同的AR房间的AR设备可以作为关联AR设备组。
因为不同的AR设备,在对应的当前位姿数据不同时,其展示的视角也不同,且针对相同的AR设备,在AR设备的位姿数据变化时,展示的视角同样也不相同,故在为AR设备生成虚拟飞行器的避障特效数据时,需要结合该AR设备的位姿数据共同生成。
示例性地,避障特效数据可以用于表示虚拟飞行器从起始位置飞向目标位置时,如何进行避障的数据,比如可以包括如何绕开障碍物的数据,示例性地,障碍物包括A、B和C,该避障特效数据可以包括从起始位置到目的地位置时,如何绕开障碍物A、B和C的数据。
S104,基于避障特效数据,控制AR设备展示虚拟飞行器绕过障碍物飞行的飞行特效。
在为AR设备生成针对虚拟飞行器的避障特效数据后,可以基于避障特效数据控制该AR设备展示虚拟飞行器绕过障碍物飞行的飞行特效,即用户可以通过该AR设备观看到叠加在现实场景中的虚拟飞行器在飞行时如何自动绕开障碍物。
本公开实施例中,能够根据AR设备控制的飞行器在目标现实场景中的位姿数据,确定出目标现实场景中针对该虚拟飞行器的障碍物信息,进一步地,根据AR设备在目标现实场景中的位姿数据,可以为AR设备生成针对虚拟飞行器的避障特效数据,进一步根据该避障特效数据,可以控制该AR设备展示虚拟飞行器绕过障碍物飞行的飞行特效,因为该过程结合AR设备的位姿数据,可以针对该AR设备的视角展示出虚拟飞行器的避障过程,使得虚拟飞行器的飞行展示内容更加逼真。
下面将结合具体实施例对上述S101~S104进行详细阐述。
针对S101,在获取AR设备在目标现实场景中的位姿数据,可以包括:
(1)获取AR设备拍摄目标现实场景的现实场景图像;
(2)基于AR设备拍摄的现实场景图像,以及预先建立的用于表征目标现实场景的三维场景模型,确定该AR设备在目标现实场景中的位姿数据。
示例性地,三维场景模型可以基于预先拍摄的该目标现实场景的多张样本图像来构建,具体在构建时,可以通过提取每张样本图像中的特征点进行构建,在生成三维场景模型后,可以保存三维场景模型中每个特征点对应的样本图像,以及该样本图像在该三维场景模型中对应的拍摄位姿,这样在获取到AR设备拍摄的该目标现实场景的现实场景图像后,可以对该现实场景图像进行特征点提取,基于提取的特征点确定与该现实场景图像匹配的样本图像,最终得到AR设备在该三维场景模型中的位姿数据。
因为该三维场景模型为表征该目标现实场景的模型,因此可以将AR设备在三维场景模型中的位姿数据作为AR设备在目标现实场景中的位姿数据。
这里的三维场景模型可以基于预先对该目标现实场景拍摄的多张现实场景图像来构建,在构建完成后,还可以再通过该目标现实场景对应的真实二维地图对构建完成的三维场景模型进行修正,得到表征该目标现实场景的准确度较高的三维场景模型。
此外,还可以通过AR设备安装的定位部件和位姿传感器获取该AR设备在目标现实场景中的位姿数据。
在一种实施方式中,在基于虚拟飞行器在AR场景中的位姿数据,确定目标现实场景中针对虚拟飞行器的障碍物信息之前,本公开实施例提供的飞行器避障处理方法还包括:
获取针对虚拟飞行器的位姿控制数据。
示例性地,位姿控制数据包括用于指示虚拟飞行器在飞行时的位姿的控制数据,具体可以包括针对虚拟飞行器的位置控制数据和/或姿态控制数据,其中位置控制数据可以决定虚拟飞行器飞向的目标位置,姿态控制数据可以决定虚拟飞行器的飞行姿态。
进一步地,针对上述S102,在基于虚拟飞行器在AR场景中的位姿数据,确定目标现实场景中针对虚拟飞行器的障碍物信息时,如图2所示,可以包括:
S1021,基于虚拟飞行器在AR场景中的位姿数据,以及位姿控制数据,确定虚拟飞行器的预测飞行航线数据;
S1022,基于预测飞行航线数据,以及目标现实场景中的各个障碍物的位置信息,确定目标现实场景中针对虚拟飞行器的障碍物信息。
示例性地,以任一位置为虚拟飞行器的当前起始位置,基于该位姿控制数据,可以确定要控制该虚拟飞行器从当前起始位置要飞向的目的地位置,在不考虑障碍物的情况下,可以得到该虚拟飞行器的预测飞行航线数据,可以为虚拟飞行器从当前起始位置直线飞向目的地位置时经过的每个位置点,这些位置点可以构成虚拟飞行器的预测飞行航线。
示例性地,目标现实场景中各个障碍物的位置信息可以预先确定,根据预测飞行航线数据,可以在目标现实场景中的各个障碍物中,选择阻碍虚拟飞行器按照预测飞行航线数据进行飞行的障碍物的位置信息,作为该目标现实场景中针对该虚拟飞行器的障碍物信息。
具体地,针对S1022,在基于预测飞行航线数据,以及目标现实场景中的各个障碍物的位置信息,确定目标现实场景中针对虚拟飞行器的障碍物信息时,如图3所示,可以包括:
S10221,基于AR场景中确定针对虚拟飞行器的候选障碍物;
S10222,基于预测飞行航线数据,以及候选障碍物在目标现实场景中的位置信息,确定是否存在与预测飞行航线数据相交的目标障碍物;
S10223,将目标障碍物在目标现实场景中的位置信息,作为目标现实场景中针对虚拟飞行器的障碍物信息。
AR场景是根据AR设备的位姿数据,控制AR设备展示的场景,因为用户在通过AR设备控制虚拟飞行器进行飞行时,可以始终通过AR设备跟踪虚拟飞行器,这样在控制虚拟飞行器飞行时,可以优先在AR场景中筛选针对虚拟飞行器的障碍物信息,从而缩小筛选范围,提高找到针对虚拟飞行器的障碍物信息的速度。
示例性地,在当前时间段展示的AR场景中包含5个候选障碍物,且可以根据预先存储的目标现实场景中各个障碍物的位置信息,确定这5个候选障碍物的位置信息,然后根据预测飞行航线数据和候选障碍物的位置信息,判断是否存在与该预测飞行航线数据相交的目标障碍物,若存在,即可以将该目标障碍物在目标现实场景中的位置信息作为目标现实场景中针对虚拟飞行器的障碍物信息。
当然,若不存在,可以确定虚拟飞行器在预测飞行航线中不存在障碍物。
针对上述S103,在基于AR设备的位姿数据,以及目标现实场景中针对虚拟飞行器的障碍物信息,为AR设备生成针对虚拟飞行器的避障特效数据时,如图4所示,可以包括:
S1031,基于虚拟飞行器在AR场景中的位姿数据,以及目标现实场景中针对虚拟飞行器的障碍物信息,确定针对虚拟飞行器的避障航线;
S1032,基于AR设备的位姿数据以及针对虚拟飞行器的避障航线,为AR设备生成针对虚拟飞行器的避障特效数据。
具体地,可以基于虚拟飞行器在AR场景中位姿数据,以及目标现实场景中针对虚拟飞行器的障碍物的轮廓的位置信息,可以确定针对虚拟飞行器的避障航线,可以为绕开障碍物的轮廓的位置点构成的航线。
基于AR设备的位姿数据,以及构成避障航线中的各个位置点,可以为该AR设备生成针对寻飞行器的避障特效数据。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与飞行器避障处理方法对应的飞行器避障处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述飞行器避障处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图5所示,为本公开实施例提供的一种飞行器避障处理装置500的示意图,该飞行器避障处理装置包括:
获取模块501,用于获取AR设备在目标现实场景中的位姿数据,以及根据该AR设备的位姿数据,控制AR设备展示AR场景,AR场景中包含AR设备控制的虚拟飞行器;
确定模块502,用户基于虚拟飞行器在AR场景中的位姿数据,确定目标现实场景中针对虚拟飞行器的障碍物信息;
生成模块503,用于基于AR设备的位姿数据,以及目标现实场景中针对虚拟飞行器的障碍物信息,为AR设备生成针对虚拟飞行器的避障特效数据;
发送模块504,用于基于避障特效数据,控制AR设备展示虚拟飞行器绕过障碍物飞行的飞行特效。
在一种可能的实施方式中,获取模块501在用于获取AR设备在目标现实场景中的位姿数据时,包括:
获取AR设备拍摄目标现实场景的现实场景图像;
基于AR设备拍摄的现实场景图像,以及预先建立的用于表征目标现实场景的三维场景模型,确定该AR设备在目标现实场景中的位姿数据。
在一种可能的实施方式中,在确定模块502基于虚拟飞行器在AR场景中的位姿数据,确定目标现实场景中针对虚拟飞行器的障碍物信息之前,获取模块还用于:
获取针对虚拟飞行器的位姿控制数据;
确定模块502在用于基于虚拟飞行器在AR场景中的位姿数据,确定目标现实场景中针对虚拟飞行器的障碍物信息时,包括:
基于虚拟飞行器在AR场景中的位姿数据,以及位姿控制数据,确定虚拟飞行器的预测飞行航线数据;
基于预测飞行航线数据,以及目标现实场景中的各个障碍物的位置信息,确定目标现实场景中针对虚拟飞行器的障碍物信息。
在一种可能的实施方式中,确定模块502在用于基于预测飞行航线数据,以及目标现实场景中的各个障碍物的位置信息,确定目标现实场景中针对虚拟飞行器的障碍物信息时,包括:
基于AR场景中确定针对虚拟飞行器的候选障碍物;
基于预测飞行航线数据,以及候选障碍物在目标现实场景中的位置信息,确定是否存在与预测飞行航线数据相交的目标障碍物;
将目标障碍物在目标现实场景中的位置信息,作为目标现实场景中针对虚拟飞行器的障碍物信息。
在一种可能的实施方式中,生成模块503在用于基于AR设备的位姿数据,以及目标现实场景中针对虚拟飞行器的障碍物信息,为AR设备生成针对虚拟飞行器的避障特效数据时,包括:
基于虚拟飞行器在AR场景中的位姿数据,以及目标现实场景中针对虚拟飞行器的障碍物信息,确定针对虚拟飞行器的避障航线;
基于AR设备的位姿数据以及针对虚拟飞行器的避障航线,为AR设备生成针对虚拟飞行器的避障特效数据。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的飞行器避障处理方法,本公开实施例还提供了一种电子设备600,如图6所示,为本公开实施例提供的电子设备600结构示意图,包括:
处理器61、存储器62、和总线63;存储器62用于存储执行指令,包括内存621和外部存储器622;这里的内存621也称内存储器,用于暂时存放处理器61中的运算数据,以及与硬盘等外部存储器622交换的数据,处理器61通过内存621与外部存储器622进行数据交换,当所述电子设备600运行时,所述处理器61与所述存储器62之间通过总线63通信,使得所述处理器61执行以下指令:获取AR设备在目标现实场景中的位姿数据,以及根据所述位姿数据,控制所述AR设备展示AR场景,所述AR场景中包含所述AR设备控制的虚拟飞行器;基于所述虚拟飞行器在所述AR场景中的位姿数据,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息;基于所述AR设备的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,为所述AR设备生成针对所述虚拟飞行器的避障特效数据;基于所述避障特效数据,控制所述AR设备展示所述虚拟飞行器绕过障碍物飞行的飞行特效。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的飞行器避障处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的飞行器避障处理方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的飞行器避障处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种飞行器避障处理方法,其特征在于,包括:
获取AR设备在目标现实场景中的位姿数据,以及根据所述AR设备的位姿数据,控制所述AR设备展示AR场景,所述AR场景中包含所述AR设备控制的虚拟飞行器;
获取所述虚拟飞行器的位姿控制数据;所述位姿控制数据包括用于指示虚拟飞行器在飞行时的位姿的控制数据;
基于所述虚拟飞行器在所述AR场景中的位姿数据以及所述位姿控制数据,确定所述虚拟飞行器的预测飞行航线数据,并基于所述预测飞行航线数据以及所述目标现实场景中的各个障碍物的位置信息,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息;所述虚拟飞行器在所述AR场景中的位姿数据基于控制所述虚拟飞行器的AR设备发送的控制数据确定;
基于所述AR设备的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,为所述AR设备生成针对所述虚拟飞行器的避障特效数据;
基于所述避障特效数据,控制所述AR设备展示所述虚拟飞行器绕过障碍物飞行的飞行特效。
2.根据权利要求1所述的飞行器避障处理方法,其特征在于,所述获取AR设备在目标现实场景中的位姿数据,包括:
获取AR设备拍摄所述目标现实场景的现实场景图像;
基于所述AR设备拍摄的所述现实场景图像,以及预先建立的用于表征所述目标现实场景的三维场景模型,确定该AR设备在所述目标现实场景中的位姿数据。
3.根据权利要求1所述的飞行器避障处理方法,其特征在于,所述基于所述预测飞行航线数据,以及所述目标现实场景中的各个障碍物的位置信息,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息,包括:
基于所述AR场景中确定针对所述虚拟飞行器的候选障碍物;
基于所述预测飞行航线数据,以及所述候选障碍物在所述目标现实场景中的位置信息,确定是否存在与所述预测飞行航线数据相交的目标障碍物;
将所述目标障碍物在所述目标现实场景中的位置信息,作为所述目标现实场景中针对所述虚拟飞行器的障碍物信息。
4.根据权利要求1至3任一所述的飞行器避障处理方法,其特征在于,所述基于所述AR设备的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,为所述AR设备生成针对所述虚拟飞行器的避障特效数据,包括:
基于所述虚拟飞行器在所述AR场景中的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,确定针对所述虚拟飞行器的避障航线;
基于所述AR设备的位姿数据以及针对所述虚拟飞行器的避障航线,为所述AR设备生成针对所述虚拟飞行器的避障特效数据。
5.一种飞行器避障处理装置,其特征在于,包括:
获取模块,用于获取AR设备在目标现实场景中的位姿数据,以及根据所述AR设备的位姿数据,控制所述AR设备展示AR场景,所述AR场景中包含所述AR设备控制的虚拟飞行器;
所述获取模块还用于获取所述虚拟飞行器的位姿控制数据;所述位姿控制数据包括用于指示虚拟飞行器在飞行时的位姿的控制数据;
确定模块,用户基于所述虚拟飞行器在所述AR场景中的位姿数据,以及所述位姿控制数据,确定所述虚拟飞行器的预测飞行航线数据,并基于所述预测飞行航线数据以及所述目标现实场景中的各个障碍物的位置信息,确定所述目标现实场景中针对所述虚拟飞行器的障碍物信息;所述虚拟飞行器在所述AR场景中的位姿数据基于控制所述虚拟飞行器的AR设备发送的控制数据确定;
生成模块,用于基于所述AR设备的位姿数据,以及所述目标现实场景中针对所述虚拟飞行器的障碍物信息,为所述AR设备生成针对所述虚拟飞行器的避障特效数据;
发送模块,用于基于所述避障特效数据,控制所述AR设备展示所述虚拟飞行器绕过障碍物飞行的飞行特效。
6.根据权利要求5所述的飞行器避障处理装置,其特征在于,所述获取模块在用于获取AR设备在目标现实场景中的位姿数据时,包括:
获取AR设备拍摄所述目标现实场景的现实场景图像;
基于所述AR设备拍摄的所述现实场景图像,以及预先建立的用于表征所述目标现实场景的三维场景模型,确定该AR设备在所述目标现实场景中的位姿数据。
7.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的飞行器避障处理方法的步骤。
8.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至4任一所述的飞行器避障处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010519754.3A CN111650953B (zh) | 2020-06-09 | 2020-06-09 | 飞行器避障处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010519754.3A CN111650953B (zh) | 2020-06-09 | 2020-06-09 | 飞行器避障处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111650953A CN111650953A (zh) | 2020-09-11 |
CN111650953B true CN111650953B (zh) | 2024-04-16 |
Family
ID=72342980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010519754.3A Active CN111650953B (zh) | 2020-06-09 | 2020-06-09 | 飞行器避障处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111650953B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022056933A1 (zh) * | 2020-09-21 | 2022-03-24 | 深圳市大疆创新科技有限公司 | 用于穿越机的飞行模拟方法及模拟终端 |
CN112212865B (zh) * | 2020-09-23 | 2023-07-25 | 北京市商汤科技开发有限公司 | Ar场景下的引导方法、装置、计算机设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106228615A (zh) * | 2016-08-31 | 2016-12-14 | 陈昊 | 基于增强现实的无人飞行器体验***及其体验方法 |
CN206193950U (zh) * | 2016-08-31 | 2017-05-24 | 陈昊 | 基于增强现实的无人飞行器体验*** |
CN106856566A (zh) * | 2016-12-16 | 2017-06-16 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种基于ar设备的信息同步方法及*** |
CN109478070A (zh) * | 2016-08-04 | 2019-03-15 | 深圳市大疆创新科技有限公司 | 障碍物识别和避让方法和*** |
CN110189578A (zh) * | 2019-05-20 | 2019-08-30 | 北京悉见科技有限公司 | 一种基于增强现实进行飞行员训练的方法和装置 |
CN110244760A (zh) * | 2019-06-06 | 2019-09-17 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置和电子设备 |
CN110507994A (zh) * | 2019-09-05 | 2019-11-29 | 腾讯科技(深圳)有限公司 | 控制虚拟飞行器飞行的方法、装置、设备及存储介质 |
CN110559653A (zh) * | 2019-09-12 | 2019-12-13 | 腾讯科技(深圳)有限公司 | 虚拟飞行器的控制方法、装置、终端及存储介质 |
CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
CN110765620A (zh) * | 2019-10-28 | 2020-02-07 | 上海科梁信息工程股份有限公司 | 飞行器视景仿真方法、***、服务器及存储介质 |
CN110825106A (zh) * | 2019-10-22 | 2020-02-21 | 深圳市道通智能航空技术有限公司 | 一种飞行器的避障方法、飞行器、飞行***及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190221035A1 (en) * | 2018-01-12 | 2019-07-18 | International Business Machines Corporation | Physical obstacle avoidance in a virtual reality environment |
US10438414B2 (en) * | 2018-01-26 | 2019-10-08 | Microsoft Technology Licensing, Llc | Authoring and presenting 3D presentations in augmented reality |
-
2020
- 2020-06-09 CN CN202010519754.3A patent/CN111650953B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109478070A (zh) * | 2016-08-04 | 2019-03-15 | 深圳市大疆创新科技有限公司 | 障碍物识别和避让方法和*** |
CN106228615A (zh) * | 2016-08-31 | 2016-12-14 | 陈昊 | 基于增强现实的无人飞行器体验***及其体验方法 |
CN206193950U (zh) * | 2016-08-31 | 2017-05-24 | 陈昊 | 基于增强现实的无人飞行器体验*** |
CN106856566A (zh) * | 2016-12-16 | 2017-06-16 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | 一种基于ar设备的信息同步方法及*** |
CN110189578A (zh) * | 2019-05-20 | 2019-08-30 | 北京悉见科技有限公司 | 一种基于增强现实进行飞行员训练的方法和装置 |
CN110244760A (zh) * | 2019-06-06 | 2019-09-17 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置和电子设备 |
CN110507994A (zh) * | 2019-09-05 | 2019-11-29 | 腾讯科技(深圳)有限公司 | 控制虚拟飞行器飞行的方法、装置、设备及存储介质 |
CN110559653A (zh) * | 2019-09-12 | 2019-12-13 | 腾讯科技(深圳)有限公司 | 虚拟飞行器的控制方法、装置、终端及存储介质 |
CN110738737A (zh) * | 2019-10-15 | 2020-01-31 | 北京市商汤科技开发有限公司 | 一种ar场景图像处理方法、装置、电子设备及存储介质 |
CN110825106A (zh) * | 2019-10-22 | 2020-02-21 | 深圳市道通智能航空技术有限公司 | 一种飞行器的避障方法、飞行器、飞行***及存储介质 |
CN110765620A (zh) * | 2019-10-28 | 2020-02-07 | 上海科梁信息工程股份有限公司 | 飞行器视景仿真方法、***、服务器及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于增强现实技术的飞行视景***;张仟新;张钰鹏;;航空电子技术;20160315(01);第22-24、35页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111650953A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102417645B1 (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
CN111638793B (zh) | 飞行器的展示方法、装置、电子设备及存储介质 | |
CN107820593B (zh) | 一种虚拟现实交互方法、装置及*** | |
CN112148197A (zh) | 增强现实ar交互方法、装置、电子设备及存储介质 | |
CN112148189A (zh) | 一种ar场景下的交互方法、装置、电子设备及存储介质 | |
CN106125903B (zh) | 多人交互***及方法 | |
CN111569414B (zh) | 虚拟飞行器的飞行展示方法、装置、电子设备及存储介质 | |
US10977869B2 (en) | Interactive method and augmented reality system | |
CN109073385A (zh) | 一种基于视觉的定位方法及飞行器 | |
US20200097732A1 (en) | Markerless Human Movement Tracking in Virtual Simulation | |
WO2019019248A1 (zh) | 一种虚拟现实交互方法、装置及*** | |
CN109420336A (zh) | 基于增强现实的游戏实现方法和装置 | |
CN112882576B (zh) | Ar交互方法、装置、电子设备及存储介质 | |
CN111652987B (zh) | 一种ar合影图像生成的方法及装置 | |
Oskiper et al. | Augmented reality binoculars | |
CN111650953B (zh) | 飞行器避障处理方法、装置、电子设备及存储介质 | |
CN111833457A (zh) | 图像处理方法、设备及存储介质 | |
CN110794955A (zh) | 定位跟踪方法、装置、终端设备及计算机可读取存储介质 | |
CN111617471A (zh) | 虚拟射击的展示方法、装置、电子设备及存储介质 | |
CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
CN112637665B (zh) | 增强现实场景下的展示方法、装置、电子设备及存储介质 | |
CN111651057A (zh) | 一种数据展示方法、装置、电子设备及存储介质 | |
CN111665945B (zh) | 一种游览信息展示方法及装置 | |
CN112905014A (zh) | Ar场景下的交互方法、装置、电子设备及存储介质 | |
CN112148125A (zh) | 一种ar交互状态控制的方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |