CN206193950U - 基于增强现实的无人飞行器体验*** - Google Patents

基于增强现实的无人飞行器体验*** Download PDF

Info

Publication number
CN206193950U
CN206193950U CN201621021534.3U CN201621021534U CN206193950U CN 206193950 U CN206193950 U CN 206193950U CN 201621021534 U CN201621021534 U CN 201621021534U CN 206193950 U CN206193950 U CN 206193950U
Authority
CN
China
Prior art keywords
unmanned vehicle
augmented reality
user terminal
system based
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201621021534.3U
Other languages
English (en)
Inventor
陈昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201621021534.3U priority Critical patent/CN206193950U/zh
Application granted granted Critical
Publication of CN206193950U publication Critical patent/CN206193950U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一种基于增强现实的无人飞行器体验***包括至少一个无人飞行器本体(1)和至少一个对应的用户终端(2),所述无人飞行器本体(1)和用户终端(2)相互之间经由无线通信设备连接,所述无人飞行器本体(1)设有用于采集实景图像数据的拍摄设备(3)和用于测量无人飞行器本体(1)参数数据的测量设备(4),所述用户终端(2)设有用于生成虚拟场景的虚拟场景发生器(5)和三维图像建模处理器(6),所述三维图像建模处理器(6)连接所述虚拟场景发生器(5)以及经由无线通信设备无线连接所述无人飞行器本体(1),所述三维图像建模处理器(6)生成嵌入所述虚拟场景的增强现实的无人飞行器体验环境。

Description

基于增强现实的无人飞行器体验***
技术领域
本实用新型属于无人飞行器体验领域,特别是涉及一种基于增强现实的无人飞行器体验***。
背景技术
无人飞行器的应用领域正在不断拓展,无论是行业无人机还是消费无人机都得到长足的进步,尤其是多旋翼式无人飞行器为代表的小微型无人飞行器,其各种组成部分开始模块化,产业日趋成熟。
无人机体验比赛活动已经在世界范围内得到一定的普及,尤其是在极客群体中,采用头戴显示器、头戴眼镜、监视屏等方式来与小型无人机共享视野,然后以主视角或者第三视角方式(主视角方式较为常见)来操控无人机完成规定飞行线路的飞行,以完成时间最短者为胜。
无人机体验活动已经成为除了无人机航拍以外的一个非常大的消费级无人机市场。但是,目前无人机体验领域,主要依赖于设置于地面的障碍物或者事先划定的比赛线路,去引导体验无人机穿越障碍,完成空中规定动作。有碍于地面障碍物理性质与体验场地大小的限制等条件约束,而无人机体验通常又是需要较大的范围和较高的飞行高度,场地越大越容易呈现出更具备想象力和更加精彩的比赛。换句话说,当前无人机体验比赛中场地条件的物理限制,导致比赛中并不能完全发挥出体验无人机的全部性能,体验无人机玩家也很难体验大范围远距离高速飞行控制的体验乐趣。
专利文献CN105704501A公开了一种基于无人机全景视频的虚拟现实直播***,所述***包括无人机、移动控制终端、VR直播云服务器、沉浸式可视设备,所述无人机内设置有VR处理器,并且无人机搭载有全景视频相机,所述无人机与移动控制端采用无线数据连接,所述VR直播云服务器与移动控制终端、可视设备采用互联网或者虚拟专用网方式连接,其中,所述全景视频相机包含双目或多目摄像头,用于采集现场360°全景视频,保证视场的全方位覆盖,能够提供立体三维建模所需要的全部信息;所述VR处理器作为VR图像处理中心,接收所述360°全景视频以及全景视频相机参数,确定场景内各目标的相关信息,最终生成三维全景视频,所述相关信息包括场景内各目标的空间位置、距离、大小、方位、速度;所述移动控制终端用于将从无人机的VR处理器回传的三维全景视频实时上传到VR直播云服务器;所述VR直播云服务器用于高速缓存一套或多套无人机对应的移动控制终端传输过来的三维全景视频,根据直播用户需求进行实时转播;所述沉浸式可视设备具有内部图形处理器及控制器,用于实时接收VR直播云服务器转播的三维全景视频,并快速处理视频图像还原真实的3D场景,实时展示。该专利能直接通过身体的各种动作控制无人机的飞行,并同时获取到飞机的视角。但该专利无法建立无人飞行器体验比赛场地,该比赛场地可以根据需要在实景空间的基础上嵌入所需的虚拟场景以实现种类丰富的比赛环境,且体验比赛不受地面场地限制,提高体验玩家沉浸感,提高无人飞行器体验比赛的安全性和比赛裁判的自动化判断。
专利文献CN105629470A公开的一种头戴式显示器包括:连接模块,用于建立与目标设备的通信连接;接收模块,用于接收所述目标设备发送的显示信息;创建模块,用于根据所述目标设备的类型创建虚拟现实场景;显示器,用于显示所述虚拟现实场景,并将所述显示信息叠加显示到所述虚拟现实场景上。该专利实现了通过显示虚拟现实场景,并将显示信息叠加显示到虚拟现实场景上,从而不仅可以提升观看视频信息时的体验,同时可以营造逼真的操作环境,但该专利只是简单叠加显示信息和虚拟场景,无法将虚拟场景嵌入到实景空间,无法建立无人飞行器体验比赛场地,该比赛场地可以根据需要在实景空间的基础上嵌入所需的虚拟场景以实现种类丰富的比赛环境,且体验比赛不受地面场地限制,提高体验玩家沉浸感,提高无人飞行器体验比赛的安全性和比赛裁判的自动化判断。
专利文献CN103699106 A公开了一种基于VR-Forces仿真平台的多无人机协同任务规划仿真***,所述多无人机协同任务规划仿真***由n个无人机仿真子***、一个地面控制中心仿真子***和一个任务规划仿真场景管理子***组成;所述n个无人机仿真子***、一个地面控制中心仿真子***和一个任务规划仿真场景管理子***各自运行在同一个局域网中的不同计算机上。该专利仿真不同的多无人机协同任务规划场景,并保证各个无人机仿真实体状态信息和仿真时间的一致性,同时以二维图像形式实时地展示出多无人机协同任务规划仿真过程的任务规划仿真场景。但该专利无法建立无人飞行器体验比赛场地,该比赛场地可以根据需要在实景空间的基础上嵌入所需的虚拟场景以实现种类丰富的比赛环境,且体验比赛不受地面场地限制,提高体验玩家沉浸感,提高无人飞行器体验比赛的安全性和比赛裁判的自动化判断。
专利文献CN105759833公开了一种沉浸式无人机驾驶飞行***包括机载装置和地面装置,机载装置与地面装置通过无线连接;所述机载装置位于无人机上,控制无人机飞行状态及采集无人机的位置信息和周围环境的图像,并将图像和位置信息给地面装置,并接收地面装置的头部角度信息和控制指令;所述地面装置接收机载装置发送的位置信息和图像进行分析,通过地面装置的计算机增强现实技术处理,将无人机所在位置的周边环境信息、道路信息、交通信息、标示信息、地标信息模拟仿真后在叠加到真实世界画面空间中,通过虚拟现实目镜呈现给操控者。该专利借助虚拟现实与增强现实技术的优势,使无人机在飞行过程中变得更加有趣,在飞行过程中我们不仅能通过无人机得到实时的图像画面,还能通过现有的增强现实技术,让我们通过画面知道无人机自身状态、所在位置的高度、交通、位置标示、公共设施、道路环境、以及所在地图信息介绍、追踪锁定动态目标等各种功能。但该专利只是简单仿真叠加显示信息和环境场景,无法将虚拟场景嵌入到实景空间,无法建立无人飞行器体验比赛场地,该比赛场地可以根据需要在实景空间的基础上嵌入所需的虚拟场景以实现种类丰富的比赛环境,且体验比赛不受地面场地限制,提高体验玩家沉浸感,提高无人飞行器体验比赛的安全性和比赛裁判的自动化判断。
本申请注意到以上问题,别出心裁利用增强现实设备结合无人机操控***,来解决无人机体验范围设计和高度限制设计等问题。通过增强现实技术,可以不设物理条件的限制,设置空中虚拟障碍、规划空中虚拟比赛线路,体验玩家等体验用户通过无人机拍摄的飞行实境和增强现实设备提供的虚拟比赛场景向结合,控制无人机进行如空中体验等增强现实体验,极大的提升了无人机如空中体验的体验的可玩性。
在背景技术部分中公开的上述信息仅仅用于增强对本实用新型背景的理解,因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。
实用新型内容
本实用新型的目的是通过以下技术方案予以实现。
一种基于增强现实的无人飞行器体验***包括至少一个无人飞行器本体和至少一个对应的用户终端,所述无人飞行器本体和用户终端相互之间经由无线通信设备连接,所述无人飞行器本体设有用于采集实景图像数据的拍摄设备和用于测量无人飞行器本体参数数据的测量设备,所述用户终端设有用于生成虚拟场景的虚拟场景发生器和三维图像建模处理器,所述三维图像建模处理器连接所述虚拟场景发生器以及经由无线通信设备无线连接所述无人飞行器本体,所述三维图像建模处理器生成嵌入所述虚拟场景的增强现实的无人飞行器体验环境。
优选地,无人飞行器本体上设有数传图传同步模块。
优选地,所述测量设备包括定位单元、高度计、陀螺仪、加速度计中的一个或多个。
优选地,所述定位单元为GPS模块、所述高度计为气压高度计、所述陀螺仪为MEMS陀螺仪、所述加速度计为MEMS加速度计、所述拍摄设备为CCD相机、和/或所述无线通信设备由具有不同优先级的无线局域网通信设备、平流层通信网络设备和卫星网络通信设备中的一个或多个组成。
优选地,无人飞行器本体上设有第一应用处理器,和/或所述用户终端上设有第二应用处理器,所述第一应用处理器和/或所述第二应用处理器包括CPU、内存和存储器。
优选地,所述虚拟场景发生器包括虚拟对象模型生成器和用于生成所述虚拟图像模型的坐标的虚拟对象坐标生成器。
优选地,所述用户终端设有显示器和用于控制无人飞行器本体的飞行控制器。
优选地,所述虚拟场景发生器为设在用户终端之外的虚拟场景绘制装置,所述虚拟场景绘制装置经由无线通信设备无线连接无人飞行器本体和用户终端。
优选地,所述无人飞行器体验***设有追踪装置和计时器。
优选地,用户终端是头戴式操作控制器。
因此,本基于增强现实的无人飞行器体验***及其体验方法有如下优势:
1.如无人飞行器体验比赛的体验***成本大为减低,例如,比赛场景、线路更新更为简单、方便;
2.如无人飞行器体验比赛的体验***不受地面场地限制,由地面障碍物体验体验发展为空中虚拟障碍物体验体验;
3.体验用户体验无人飞行器实境和虚拟比赛场景结合,提高用户沉浸感;
4.由于是利用虚拟现实技术实现线路规划和障碍物布局,所以无人飞行器不会真的发生撞击、损毁等安全事故;
5.无人飞行器是否发生违规、脱离线路等事件的判断,依赖数据处理即可完成,更加精准,脱离了人工判断等不确定因素。
上述说明仅是本实用新型技术方案的概述,为了能够使得本实用新型的技术手段更加清楚明白,达到本领域技术人员可依照说明书的内容予以实施的程度,并且为了能够让本实用新型的上述和其它目的、特征和优点能够更明显易懂,下面以本实用新型的具体实施方式进行举例说明。
附图说明
通过阅读下文优选的具体实施方式中的详细描述,本实用新型各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的,而并不认为是对本实用新型的限制。显而易见地,下面描述的附图仅仅是本实用新型的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。而且在整个附图中,用相同的附图标记表示相同的部件。
在附图中:
图1是根据本实用新型一个实施例的基于增强现实的无人飞行器体验***的结构示意图;
图2是根据本实用新型另一个实施例的基于增强现实的无人飞行器体验***的结构示意图。
以下结合附图和实施例对本实用新型作进一步的解释。
具体实施方式
下面将参照附图更详细地描述本实用新型的具体实施例。虽然附图中显示了本实用新型的具体实施例,然而应当理解,可以以各种形式实现本实用新型而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本实用新型,并且能够将本实用新型的范围完整的传达给本领域的技术人员。
需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式,而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本实用新型的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本实用新型的范围。本实用新型的保护范围当视所附权利要求所界定者为准。
为便于对本实用新型实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个附图并不构成对本实用新型实施例的限定。
图1为本实用新型的一个实施例的基于增强现实的无人飞行器体验***的结构示意图,本实用新型实施例将结合图1进行具体说明。
如图1所示,本实用新型的一个实施例提供了一种基于增强现实的无人飞行器体验***,基于增强现实的无人飞行器体验***包括至少一个无人飞行器本体1和至少一个对应的用户终端2,所述无人飞行器本体1和用户终端2相互之间经由无线通信设备连接,所述无人飞行器本体1设有用于采集实景图像数据的拍摄设备3和用于测量无人飞行器本体1参数数据的测量设备4,所述用户终端2设有用于生成虚拟场景的虚拟场景发生器5和三维图像建模处理器6,所述三维图像建模处理器6基于所述图像数据和参数数据建立实景空间且所述三维图像建模处理器6将所述虚拟场景生成器5生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。
实施例中,无人飞行器本体1是无人飞行器的本体部分,无人飞行器简称“无人机”,英文缩写为“UAV”(unmanned aerial vehicle),是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机。从技术角度定义可以分为:无人直升机、无人固定翼机、无人多旋翼飞行器、无人飞艇、无人伞翼机等。
本实用新型实施例中优选的无人飞行器为多旋翼无人飞行器,多旋翼无人飞行器可以是四旋翼、六旋翼及旋翼数量大于六的无人飞行器。
本实用新型技术方案采用的无人飞行器主要是指小、微型多旋翼无人飞行器,这种无人飞行器体积小、成本低、飞行稳定性较好,飞行成本低等。本实用新型使用的飞行器,典型的以四轴多旋翼飞行器为代表。因此,在一个实施例中,无人飞行器本体1可以例如是多旋翼无人飞行器本体。本实用新型的体验***可以容纳多个无人飞行器及其对应的用户终端进行竞速比赛。
本实用新型实施例优选的是,所述测量设备4包括定位单元、高度计、陀螺仪、加速度计中的一个或多个,所述参数数据包括空间位置、高度、转动角度和转动角加速度中的一个或多个。
在一个实施例中,所述定位单元为GPS模块或北斗定位模块、所述高度计为气压高度计、所述陀螺仪为MEMS陀螺仪、所述加速度计为MEMS加速度计、所述拍摄设备为CCD相机、和/或所述无线通信设备由具有不同优先级的无线局域网通信设备、平流层通信网络设备和卫星网络通信设备中的一个或多个组成。
在一个实施例中,测量设备4采集并计算无人飞行器本体1的各种传感器数据和GPS数据,该模块的采集陀螺仪和加速度计的AD值,即3个维度的陀螺仪值和3个维度的加速度值,每个值为16位精度。AD值通过姿态解算算法得到飞行器当前的姿态,姿态使用四元数表示,然后将四元数转化为欧拉角,用于表示无人飞行器的飞行姿态,并通过无线通信模块向用户终端实时传送。其中,GPS模块通过高灵敏度GPS接收器,在捕获到有效的卫星信号时,用于确定无人飞行器当前的经纬度位置。MEMS陀螺仪通过传感器实时收集飞行器姿态信息。MEMS陀螺仪传感器测量值的实质为无人飞行器围绕三维方向,即x、y和z轴的转动角速度,当无人飞行器姿态发生变化时就会产生相应的传感器数据,因此在设计上以毫秒为周期设定触发机制,定期监听传感器事件,并辅以MEMS三轴加速度计数据,可以得到准确的无人飞行器本体1欧拉角数据。MEMS加速度计通过传感器实时收集无人机飞行器在三维方向的x、y和z轴上速度的变换。由于MEMS加速度计没有积分误差,所以在相对静止的条件下可以校正MEMS陀螺仪的误差。气压高度计通过传感器,实时收集无人飞行器垂直于地面方向的海拔高度数据。
在一个实施例中,拍摄设备3可以是摄像头或机载CCD相机,负责采集高清视频图像数据。
在一个实施例中,无线通信设备主要负责通过各类无线通信网络建立与地面智能控制端之间的通信路由,接收和发送的无人飞行器本体1飞行控制信号和各类应用层指令消息;同时将无人飞行器本体1采集的视频、音频、传感器数据以及其他应用软件信息通过无线网络发送至用户终端2。
本实用新型实施例中优选地是,所述无线通信设备由具有不同优先级的无线局域网通信设备、平流层通信网络设备和卫星网络通信设备中的一个或多个组成。无线局域网通信设备可以是蓝牙、ZigBee或Wi-Fi器中的一个,无线局域设备可通过2.4GHz通信频率建立短距离通信,在室内或低速移动的室外环境会优选该设备建立用户终端2和无人飞行器本体1之间的通信连接。平流层通信设备一般用充氦飞艇、气球作为安置转发站的平台,平台高度距地面17km~22km,无人飞行器在大范围野外飞行时,可以优选平流层通信建立用户终端2和无人飞行器本体1之间的通信连接。卫星通信设备利用卫星通信信道建立用户终端2和无人飞行器本体1之间的通信连接,一般是在无其他可用无线通信网络的情况下,会使用卫星通信器,作为应急通信。在一个实施例中,依据无线网络成本或无线网络接入速度,选择无线传输网络,本实用新型设计以下为优先级方案,Wi-Fi网络:优先级为0;平流层通信网络:优先级为1;卫星通信网络:优先级为2;优先级别0-2,所选择无线网络优先级由高到低,即如果同时存在多种无线信号,且信号强度有效时用户终端2和无人飞行器本体1之间的无线通信会首先选择Wi-Fi网络作为无线接入网络,依次类推。优选地,无线通信设备对2G、3G和4G移动网路通信设定优先级,其中,4G优先级大于3G,3G的优先级大于2G。
在一个实施例中,用户终端2可以是无人飞行器的无线电遥控设备,例如,用户终端2可包括如无人飞行器飞行控制台的飞行控制器,用于控制无人飞行器本体1的飞行。进一步地,用户终端2也可以是用户移动设备,诸如手机、pad等个人移动终端。进一步地,用户终端2可以是头盔式操作控制器,更进一步地,用户终端2可以是VR操作控制器,该控制器可包括用于控制无人飞行器本体1的飞行控制器。
本实用新型实施例中优选地是,虚拟场景生成器5产生具有空间坐标系的虚拟场景,虚拟场景生成器5可以是虚拟图形绘制***,例如虚拟图形的三维建模***。虚拟场景生成器5产生的虚拟场景可以是在悬浮在空中的空心圆筒,用来让无人飞行器本体1穿越;虚拟场景可以是一个高于地面若干米的物理台型障碍,让无人飞行器本体1飞越;虚拟场景生成器5也可以设计一个竖直插于地面的标杆,让无人飞行器本体1绕过等。
在一个实施例中,所述虚拟场景发生器5为设在用户终端之外的虚拟场景绘制装置,所述虚拟场景绘制装置经由无线通信设备无线连接无人飞行器本体1和用户终端2。所述虚拟场景绘制装置可以是独立的虚拟图形绘制***。
本实用新型实施例中优选地是,所述增强现实的无人飞行器体验环境中的虚拟场景按照几何一致性和/或运动一致性嵌入在所述实景空间中。其中,所述的几何一致性是指无论在虚拟环境中静止或漫游,实体对象都应与集成的图像保持透视关系一致性。也就是说,几何一致性对虚拟场景嵌入实景空间的几何位置关系进行了一致性的限定。因此,几何一致性重点在于让生成的虚拟场景和实景空间建立在同一个三维坐标系下的位置对应关系。几何一致性对提高增强现实的真实感起到了相当重要的作用,不正确的几何关系会让用户对真实物体和虚拟物体之间的位置产生错觉,这在一些重要的场合可能会导致比较严重的后果。因此,虚拟场景按照几何一致性嵌入在所述实景空间中提高了体验***的真实性和精确性。而所述运动一致性就是指当虚拟环境中的对象作出诸如平移或旋转等运动时,模型的尺寸和视角都应随时与静止图像建立的虚拟环境保持一致;本实用新型依据实景图像数据中携带的各类无人飞行器本体1的传感器数据,包括如无人机高度、速度、方位、俯仰、GPS等数据,保证虚拟场景结合、对准、定位时的几何一致性和运动一致性。
在一个实施例中,三维图像建模处理器6接收无人飞行器本体1传送的实景图像数据和实时传感器数据经过处理组织建立起实景空间,而由虚拟场景生成器5生成虚拟对象依几何一致性、运动一致性等嵌入实景空间中,形成虚实融合的增强现实无人机体验环境;这里几何一致性,是指无论在虚拟环境中静止或漫游,实体对象都应与集成的图像保持透视关系一致性;而运动一致性,就是指当虚拟环境中的对象做出诸如平移或旋转等运动时,模型的尺寸和视角都应随时与静止图像建立的虚拟环境保持一致。优选地,所述三维图像建模处理器6是独立的三维图像处理***,该***可包括用于建立三维模型的图像建模计算器和用于处理图像的图像处理器。进一步地,所述三维图像建模处理器6可包括用于建立实景空间的图像建模单元和用于虚拟对象依几何一致性、运动一致性等嵌入实景空间的图像处理处理器。
因此,本实用新型通过自由设定的不同虚拟对象模型,能够实现无穷无尽的无人飞行器竞速比赛线路设计,而不需要实际像F1比赛那样,需要建设价格昂贵的高标准跑道,只需要有足够宽阔、无遮挡的物理空间,就能轻松实现虚拟赛道布局。
图2为本实用新型的一个实施例的基于增强现实的无人飞行器体验***的结构示意图,本实用新型实施例将结合图2进行具体说明。
如图2所示,本实用新型的一个实施例提供了一种基于增强现实的无人飞行器体验***,基于增强现实的无人飞行器体验***包括至少一个无人飞行器本体1和至少一个对应的用户终端2,所述无人飞行器本体1和用户终端2相互之间经由无线通信设备连接,所述无人飞行器本体1设有用于采集实景图像数据的拍摄设备3和用于测量无人飞行器本体1参数数据的测量设备4,所述用户终端2设有用于生成虚拟场景的虚拟场景发生器5和三维图像建模处理器6,所述三维图像建模处理器6基于所述图像数据和参数数据建立实景空间且所述三维图像建模处理器6将所述虚拟场景生成器5生成的虚拟场景嵌入所述实景空间以形成增强现实的无人飞行器体验环境。无人飞行器本体1上设有将图像数据和参数数据同步的数传图传同步模块7和用于处理图像数据和参数数据的第一应用处理器8,和/或所述用户终端上设有用于处理图像数据和参数数据的第二应用处理器9,所述第一应用处理器8和/或所述第二应用处理器9包括CPU、内存和存储器。
在一个实施例中,作为无人飞行器本体1的的核心处理模块的第一应用处理器8包括CPU,RAM内存,操作***和应用软件。该模块负责多任务调度,包括访问测量设备4、访问无线通信设备、存储器读写和无人机传感器数据处理等等。进一步地,第一应用处理器8还可以将视频或图片进行高效率压缩编码处理,使得图像或视频数据便于实时在各类无线通信网络中传输,回传至用户终端2。当然,也可以通过独立的图像处理模块将视频或图片进行高效率压缩编码处理。
在一个实施例中,数传图传同步模块7负责将拍摄设备3采集到的无人飞行器本体1上的图像数据和各类传感器采集到的无人机高度、方位、俯仰、GPS等飞行数据同步,保证回传至用户终端2的图像和飞行数据时间同步。
在一个实施例中,第二应用处理器9作为用户终端2的核心处理模块,负责多任务调度,包括访问测量设备、访问无线通信设备、存储器读写和传感器数据处理等等。进一步地,第二应用处理器9可包括实景处理模块,其将无人飞行器回传的视频实景图像和传感器数据,进行解压、解码处理,并传送至三维图像建模处理器进行进一步处理。
在本实用新型实施例中优选地,所述第一应用处理器8和/或所述第二应用处理器9可以包括通用处理器、数字信号处理器、专用集成电路ASIC,现场可编程门阵列FPGA、模拟电路、数字电路、及其组合、或其他已知或以后开发的处理器。所述第一应用处理器8和/或所述第二应用处理器9可包括存储器,存储器可以是易失性存储器或非易失性存储器。存储器可以包括一个或多个只读存储器ROM、随机存取存储器RAM、快闪存储器、电子可擦除可编程只读存储器EEPROM或其它类型的存储器。
在本实用新型实施例中优选地,所述虚拟场景发生器5包括用于生成虚拟图像模型的虚拟对象模型生成器10和用于生成所述虚拟图像模型的坐标的虚拟对象坐标生成器11。虚拟对象模型生成器10生成无人飞行器竞速比赛所需的虚拟障碍、虚拟线路等图像模型。虚拟对象坐标生成器11生成无人机竞速比赛所需的虚拟对象所在位置、高度的坐标。虚拟场景生成器5结合虚拟对象模型生成器10和虚拟对象坐标生成器11生成的虚拟对象模型和虚拟对象坐标产生具有空间坐标系的虚拟场景。例如,虚拟场景可以是在悬浮在空中的空心圆筒、高于地面若干米的物理台型障碍、竖直插于地面的标杆等的组合。
在本实用新型实施例中优选地,所述用户终端2设有用于呈现所述增强现实的无人飞行器体验环境的显示器12和用于控制无人飞行器本体的飞行控制器13。显示器12将***形成的虚实融合的增强现实环境呈现给用户,该模块不限制呈现的具体实体,可以为无人机遥控器的显示界面,也可为手机控制端显示屏幕界面,还可为头盔式操作控制器的显示单元;限于当前显示器12的呈现效果,目前还只能做到增强现实,而非能够骗过人眼的虚拟现实程度,然而这种体验对于竞速飞手来说,只要能够让其确认空中存在一个虚拟障碍,即已经达到效果。对于竞速飞行来说,飞手更愿意体验的是高速飞行中,准确给出飞行指令,并完成高难度穿越的成就感,而并非关注虚拟呈现的障碍物、场景的图像效果有多真实。所以显示效果的真实性并不影响本实用新型的实施。在一个实施例中,显示器12可以包括液晶显示屏。所述显示器12同时向第三方显示所述增强现实的无人飞行器体验环境。更优选地,所述显示器12设有将体验环境提供给用户的用户频段和/或提供给第三方的观看频段。
在本实用新型实施例中优选地,所述用户终端2设有人机交互界面用于用户对无人飞行器的操作,该界面不限制操作实体,可以为实体无人机遥控器,也可为手机控制端平面操作界面,还可为头盔式操作控制器等。
在本实用新型实施例中优选地,所述无人飞行器体验***设有用于追踪在所述增强现实的无人飞行器体验环境中的无人飞行器本体的追踪装置14和用于计算比赛时间的计时器15。追踪装置14用于无人飞行器本体1的空间定位跟踪和虚拟对象在真实空间中的定位,即虚拟和真实对象的匹配和排列。对无人飞行器本体1空间相对位置和视觉方位的获取采用如跟踪传感器的追踪装置14进行注册或标记,优选的实用例采用惯性导航装置进行跟踪。惯性导航装置通过惯性原理来测定无人飞行器本体1的运动加速度,通常所指的惯性装置包括陀螺仪和加速度计。但本实用新型不排除使用其他方式进行虚拟场景对实景的跟踪注册或标记,包括:采用红外线、超声波、电磁、光学、无线电波等进行跟踪。所述计时器15以备竞速比赛中计算各个选手飞行开始时间、抵达终点事件、飞行用时、飞行总时长等参数,能够有效辅助该竞速比赛的完成,并确保公正性。
尽管以上结合附图对本实用新型的实施方案进行了描述,但本实用新型并不局限于上述的具体实施方案和应用领域,上述的具体实施方案仅仅是示意性的、指导性的,而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本实用新型权利要求所保护的范围的情况下,还可以做出很多种的形式,这些均属于本实用新型保护之列。

Claims (10)

1.一种基于增强现实的无人飞行器体验***,其包括至少一个无人飞行器本体(1)和至少一个对应的用户终端(2),所述无人飞行器本体(1)和用户终端(2)相互之间经由无线通信设备连接,其特征在于:所述无人飞行器本体(1)设有用于采集实景图像数据的拍摄设备(3)和用于测量无人飞行器本体(1)参数数据的测量设备(4),所述用户终端(2)设有用于生成虚拟场景的虚拟场景发生器(5)和三维图像建模处理器(6),所述三维图像建模处理器(6)连接所述虚拟场景发生器(5)以及经由无线通信设备无线连接所述无人飞行器本体(1),所述三维图像建模处理器(6)生成嵌入所述虚拟场景的增强现实的无人飞行器体验环境。
2.根据权利要求1所述的基于增强现实的无人飞行器体验***,其特征在于:无人飞行器本体(1)上设有数传图传同步模块(7)。
3.根据权利要求1所述的基于增强现实的无人飞行器体验***,其特征在于:所述测量设备(4)包括定位单元、高度计、陀螺仪、加速度计中的一个或多个。
4.根据权利要求3所述的基于增强现实的无人飞行器体验***,其特征在于:所述定位单元为GPS模块、所述高度计为气压高度计、所述陀螺仪为MEMS陀螺仪、所述加速度计为MEMS加速度计、所述拍摄设备为CCD相机、和/或所述无线通信设备由具有不同优先级的无线局域网通信设备、平流层通信网络设备和卫星网络通信设备中的一个或多个组成。
5.根据权利要求1所述的基于增强现实的无人飞行器体验***,其特征在于:无人飞行器本体(1)上设有第一应用处理器(8),和/或所述用户终端上设有第二应用处理器(9),所述第一应用处理器(8)和/或所述第二应用处理器(9)包括CPU、内存和存储器。
6.根据权利要求1所述的基于增强现实的无人飞行器体验***,其特征在于:所述虚拟场景发生器(5)包括虚拟对象模型生成器(10)和用于生成所述虚拟对象模型的坐标的虚拟对象坐标生成器(11)。
7.根据权利要求1所述的基于增强现实的无人飞行器体验***,其特征在于:所述用户终端(2)设有显示器(12)和用于控制无人飞行器本体的飞行控制器(13)。
8.根据权利要求1所述的基于增强现实的无人飞行器体验***,其特征在于: 所述虚拟场景发生器(5)为设在用户终端之外的虚拟场景绘制装置,所述虚拟场景绘制装置经由无线通信设备无线连接无人飞行器本体(1)和用户终端(2)。
9.根据权利要求1所述的基于增强现实的无人飞行器体验***,其特征在于:所述无人飞行器体验***设有追踪装置(14)和计时器(15)。
10.根据权利要求1所述的基于增强现实的无人飞行器体验***,其特征在于:用户终端(2)是头戴式操作控制器。
CN201621021534.3U 2016-08-31 2016-08-31 基于增强现实的无人飞行器体验*** Active CN206193950U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201621021534.3U CN206193950U (zh) 2016-08-31 2016-08-31 基于增强现实的无人飞行器体验***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201621021534.3U CN206193950U (zh) 2016-08-31 2016-08-31 基于增强现实的无人飞行器体验***

Publications (1)

Publication Number Publication Date
CN206193950U true CN206193950U (zh) 2017-05-24

Family

ID=58729396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201621021534.3U Active CN206193950U (zh) 2016-08-31 2016-08-31 基于增强现实的无人飞行器体验***

Country Status (1)

Country Link
CN (1) CN206193950U (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475442A (zh) * 2017-06-29 2018-08-31 深圳市大疆创新科技有限公司 用于无人机航拍的增强现实方法、处理器及无人机
CN109459029A (zh) * 2018-11-22 2019-03-12 亮风台(上海)信息科技有限公司 一种用于确定目标对象的导航路线信息的方法与设备
CN111650953A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
CN112261284A (zh) * 2020-09-16 2021-01-22 华恩慧图科技(石家庄)有限公司 一种无人机影像高效处理***
CN112669469A (zh) * 2021-01-08 2021-04-16 国网山东省电力公司枣庄供电公司 基于无人机和全景相机的发电厂虚拟漫游***及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475442A (zh) * 2017-06-29 2018-08-31 深圳市大疆创新科技有限公司 用于无人机航拍的增强现实方法、处理器及无人机
CN109459029A (zh) * 2018-11-22 2019-03-12 亮风台(上海)信息科技有限公司 一种用于确定目标对象的导航路线信息的方法与设备
CN109459029B (zh) * 2018-11-22 2021-06-29 亮风台(上海)信息科技有限公司 一种用于确定目标对象的导航路线信息的方法与设备
CN111650953A (zh) * 2020-06-09 2020-09-11 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
CN111650953B (zh) * 2020-06-09 2024-04-16 浙江商汤科技开发有限公司 飞行器避障处理方法、装置、电子设备及存储介质
CN112261284A (zh) * 2020-09-16 2021-01-22 华恩慧图科技(石家庄)有限公司 一种无人机影像高效处理***
CN112669469A (zh) * 2021-01-08 2021-04-16 国网山东省电力公司枣庄供电公司 基于无人机和全景相机的发电厂虚拟漫游***及方法
CN112669469B (zh) * 2021-01-08 2023-10-13 国网山东省电力公司枣庄供电公司 基于无人机和全景相机的发电厂虚拟漫游***及方法

Similar Documents

Publication Publication Date Title
CN106228615A (zh) 基于增强现实的无人飞行器体验***及其体验方法
CN206193950U (zh) 基于增强现实的无人飞行器体验***
CN104035446B (zh) 无人机的航向生成方法和***
US10761798B2 (en) Systems and methods for gimbal simulation
CN104637370B (zh) 一种摄影测量与遥感综合教学的方法及***
CN108351653B (zh) 用于uav飞行控制的***和方法
ES2203076T3 (es) Sistema de visualizacion de imagenes tridimensionales realistas virtuales en tiempo real.
CN105704501A (zh) 一种基于无人机全景视频的虚拟现实直播***
CN108351649A (zh) 用于uav交互指令和控制的***和方法
CN105759833A (zh) 一种沉浸式无人机驾驶飞行***
CN106530896A (zh) 一种用于无人机飞行演示的虚拟***
CN106796761A (zh) 用于支持模拟移动的***和方法
CN106408515A (zh) 一种增强现实的视景合成***
CN107608371A (zh) 城市社区环境下四旋翼自主避障无人机
CN106775528A (zh) 一种虚拟现实的旅游***
CN106990791A (zh) 一种输电线路杆塔的三维建模***及方法
CN103988220A (zh) 存储内容和ar通信的本地传感器加强
CN108955645A (zh) 应用于通信铁塔智能巡检的三维建模方法及装置
CN113406970A (zh) 一种高效倾斜摄影采集影像方法、设备及储存介质
CN109035665A (zh) 一种新型森林火灾预警***及火灾预警方法
CN110187700A (zh) 基于虚拟现实的仿生扑翼飞行机器人远程控制***和方法
CN107466384A (zh) 一种追踪目标的方法及装置
CN108132490A (zh) 基于定位***和ar/mr的探测***及探测方法
CN106843275A (zh) 一种无人机定点绕飞方法、装置以及***
CN114642874A (zh) 显示***及服务器

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant