CN110189578A - 一种基于增强现实进行飞行员训练的方法和装置 - Google Patents

Abstract

本公开提供了基于增强现实进行飞行员训练的方法，包括生成与飞行员操控场景相关联的人机界面并进行AR显示，其中，所述飞行员操控场景包括用于操控飞行器的一个或多个现实操控元件，所述人机界面包括一个或多个附加的虚拟操控元件。基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象，并进行AR显示。检测与所述附加的虚拟操控元件中的至少一个相关联的输入。响应于所述输入，生成针对所述至少一个虚拟对象的动作。利用该方法，可以在用于训练的飞行器硬件条件不变的情况下实现更丰富的飞行员训练，能够训练更多飞行员技能并真实模拟复杂飞行状况。

Description

一种基于增强现实进行飞行员训练的方法和装置

技术领域

本公开涉及计算机应用领域，具体地涉及一种基于增强现实(AR)进行飞行员训练的方法和装置。

背景技术

对于飞行员的训练，比如，态势感知训练，可以通过实战训练和模拟飞行等方式来进行。模拟飞行通过计算机软件以及外部硬件设备来对真实世界飞行中所遇到的各种元素进行模拟，以训练飞行员在各种因素下的判断和操控。实战训练中，飞行员驾驶飞机在空中进行实际飞行，在实际状态下训练飞行员的判断和操控。

发明内容

本公开提供了一种基于增强现实(AR)进行飞行员训练的方法和装置。利用所述方法和装置，使得飞行员在实战训练中可以在用于训练的飞行器硬件条件不变的情况下实现更丰富的飞行员训练，能够训练更多飞行员技能并真实模拟复杂飞行状况。

根据本公开的一个方面，提供了一种基于AR进行飞行员训练的方法，所述方法包括：生成与飞行员操控场景相关联的人机界面并进行AR显示，其中，所述飞行员操控场景包括用于操控飞行器的一个或多个现实操控元件，所述人机界面包括一个或多个附加的虚拟操控元件；基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象，并进行AR显示；检测与所述附加的虚拟操控元件中的至少一个相关联的输入；以及响应于所述输入，生成针对所述至少一个虚拟对象的动作。

根据本公开的另一方面，提供了一种基于AR进行飞行员训练的装置，所述装置包括：人机界面生成单元，用于生成与飞行员操控场景相关联的人机界面并进行AR显示，其中，所述飞行员操控场景包括用于操控飞行器的一个或多个现实操控元件，所述人机界面包括一个或多个附加的虚拟操控元件；虚拟对象生成单元，用于基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象，并进行AR显示；输入检测单元，用于检测与所述附加的虚拟操控元件中的至少一个相关联的输入；动作生成单元，用于响应于所述输入生成针对所述至少一个虚拟对象的动作。

附图说明

通过参照下面的附图，可以实现对于本公开内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。

图1示出了根据本公开的实施例的用于飞行员训练的方法的流程图。

图2示出了根据本公开的实施例的涉及电子干扰的用于飞行员训练的方法的流程图。

图3示出了根据本公开的实施例的关于记录的用于飞行员训练的方法的流程图。

图4示出了根据本公开的一个实施例的用于飞行员训练的***400的方框图。

图5是根据本公开的一个实施例的用于飞行员训练的装置500的方框图。

图6示出了根据本公开的实施例的用于飞行员训练的计算设备600的硬件结构图。

具体实施方式

现有的飞行员的训练，比如态势感知训练，可以通过实战训练和模拟飞行等方式来进行。在实战训练中，由于训练成本的限制，无法提供足够多种类的飞行器机型，也无法在各种复杂的战场环境中进行飞行员训练。例如，用于飞行员训练的飞行器可能比较低端，而飞行员将要实际参战的飞行器为高端机型，低端机型不具备各种新型武器装备、雷达照视设备等，这使得飞行员的训练受到了限制。而模拟飞行采用虚拟现实的方式，并非真正操控飞行器，模拟飞行真实体验程度受到虚拟现实技术的限制，无法获得真正高空驾驶飞行器的操控体验，对于飞行员的训练有一定的局限性。

本公开提供了一种基于AR进行飞行员训练的方法和装置。该方法和装置在飞行员驾驶飞行器的过程中，提供虚拟操控元件以使得飞行员能够通过飞行器的现实操控元件和人机界面的虚拟操控元件在飞行器飞行场景中进行训练。利用所述方法和装置，使得飞行员在实战训练中可以在用于训练的飞行器硬件条件不变的情况下实现更丰富的飞行员训练，能够训练更多飞行员技能并真实模拟复杂飞行状况。

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

现在结合附图来描述本公开的实施例的用于飞行员训练的方法和装置。

图1示出了根据本公开的实施例的用于飞行员训练的方法100的流程图。

如图1所示，在块102，生成与飞行员操控场景相关联的人机界面并进行AR显示，其中，所述飞行员操控场景包括用于操控飞行器的一个或多个现实操控元件，所述人机界面包括一个或多个附加的虚拟操控元件。在本公开的实施例中，“飞行员操控场景”指的是供飞行员对飞行器进行操控的场景，例如，飞行器的控制台或其他飞行员训练设备的控制台。其中，所述飞行员操控场景包括用于操控飞行器的一个或多个现实操控元件。例如，在实战训练中飞行员通过在飞行员操控场景进行各种操作、通过与一个或多个现实操控元件进行交互来操控飞行器以进行训练。在一个实施例中，生成与飞行员操控场景相关联的人机界面包括生成增强现实的人机界面，例如，通过眼镜、头盔等可穿戴装备，或者通过全息投影等投影装备，这使得在飞行员操控场景上叠加虚拟的人机界面，人机界面包括一个或多个附加的虚拟操控元件。在各个实施例中，附加的虚拟操控元件能够用于触发增强的操控功能，例如，新型武器、雷达照视、态势感知等，这使得在飞行员训练中能够模拟各种机型的操作台，模拟不同武器和设备，用普通机型模拟高端机型。需要指出的是，在本公开的实施例中，生成与飞行员操控场景相关联的人机界面可以通过各种设备来实现，这些设备在本文中统称为飞行员终端设备。

在块104，基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象，并进行AR显示。在本公开的实施例中，“飞行器飞行场景”指的是飞行器在空中飞行的场景，包括机舱外的所有环境状况。在一个实施例中，生成至少一个虚拟对象并进行AR显示可以例如，通过眼镜、头盔等可穿戴装备，或者通过全息投影等投影装备，这使得在飞行器飞行场景上叠加虚拟对象。在一个实施例中，基于飞行器窗口的边缘构建虚拟地图，例如，构建一个以窗口为入口的外延虚拟世界的三维地图，可以基于该虚拟地图进行AR显示，使得用户看起来像是看到窗外的敌机。需要指出的是，在本公开的实施例中，生成虚拟对象可以通过各种设备来实现，这些设备在本文中统称为飞行员终端设备。在该实施例中，所述至少一个虚拟对象包括使用各种增强现实方法渲染的虚拟对象。

在一个实施例中，基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象包括基于飞行器的位置信息生成所述至少一个虚拟对象。在一个实施例中，获取飞行器的实时位置信息，将所述实时位置信息与所述飞行员训练方案中的位置信息进行匹配，基于匹配结果生成所述至少一个虚拟对象。例如，当飞行器飞行到某个位置时，通过各种定位技术确定飞行器的空间位置，如果在飞行员训练方案中设计有当时需要显示某一虚拟对象，则触发显示该虚拟对象的三维模型，这样的虚拟对象可以是飞行器、各种武器发出的导弹、障碍物等。在该实施例中，虚拟对象的空间位置可以根据飞行员训练方案的设定而变化以模拟真实的敌机飞行器、导弹、云层等战场中会遇到的对象。在另一实施例中，基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象包括基于时间信息生成所述至少一个虚拟对象。在一个实施例中，获取飞行器的实时时间信息，将所述实时时间信息与所述飞行员训练方案中的时间信息进行匹配，基于匹配结果生成所述至少一个虚拟对象。例如，在飞行员训练方案设计有在特定时间飞机前方出现坠落的残骸，则基于时间信息生成残骸的三维模型。在另一个实施例中，基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象，包括生成建筑物、植被等不同的环境对应的三维模型，以满足态势感知训练中不同的环境需求，例如在飞行员起飞前，根据训练方案生成起飞环境的虚拟模型，进行AR显示，训练飞行员在不同环境的起飞、降落或者飞行路线设定。

在一个实施例中，生成至少一个虚拟对象，并进行AR显示，包括：生成所述至少一个虚拟对象的三维模型，在特定位置，进行AR显示；其中，所述至少一个虚拟对象包括虚拟飞行器、虚拟障碍物中的至少一个。在一个实施例中，所述至少一个虚拟对象的三维模型可以是精确的三维模型，例如，各种类型的敌机的精确模拟，各种类型的导弹的精确模拟等等。在一个实施例中，基于飞行器窗口的边缘构建虚拟地图，例如，构建一个以窗口为入口的外延虚拟世界的三维地图，在三维地图的特定位置进行AR显示。

在本公开的实施例中，生成所述至少一个虚拟对象可以利用SLAM算法，该算法基于双目摄像头的高性能空间定位和跟踪算法，让展示的虚拟信息可以稳定在设定区域，实现较好的展示效果。在一个实施例中，采用高效SLAM算法，环境识别初始化时间在5秒内，跟踪帧率在30fps，结合图像处理专用ASIC芯片，完成SLAM前端Fast特征提取芯片，帧率能达到50fps，空间定位稳定，10ms每帧，1cm精度。产生更稳定的呈现效果。

在块106，检测与所述附加的虚拟操控元件中的至少一个相关联的输入。在各个实施例中，该检测可以通过飞行员终端设备来实现，例如，利用终端设备的传感器和识别模块能够识别出飞行员“触碰”哪个或者哪些虚拟操控元件从而检测到所述输入。具体地，可以利用传感器数据来识别飞行员的手部位置(诸如空间坐标)，基于飞行员手部位置数据判断出飞行员手部的停留或者手部的按下动作，将飞行员的手部位置与各个虚拟操控元件的位置(诸如虚拟操控元件的空间坐标)进行匹配以确定飞行员“触碰”哪个或者哪些虚拟操控元件。需要指出的是，也可以使用本领域已知的各种手势识别方法来检测所述输入。在一种实施方式中，可以对用户的手部进行指尖深度检测，来确定用户的指尖移动。在块108，响应于所述输入，生成针对所述至少一个虚拟对象的动作。在各个实施例中，生成针对所述至少一个虚拟对象的动作可以通过飞行员终端设备来实现。

根据本公开的各个实施例，在飞行员驾驶飞行器的过程中，提供虚拟操控元件以使得飞行员能够通过飞行器的现实操控元件和人机界面的虚拟操控元件在飞行器飞行场景中进行训练，使得飞行员在实战训练中可以在用于训练的飞行器硬件条件不变的情况下实现更丰富的飞行员训练，能够训练更多飞行员技能并真实模拟复杂飞行状况。例如，飞行员实际在使用较低型号的飞行器进行飞行训练时，通过虚拟操控元件模拟高端型号的飞行器使得飞行员能够在训练中操控了模拟的高端型号，扩展了训练的内容，同时保有了空中训练的真实性。又例如，飞行员实际训练中没有面对各种新型敌机和导弹***，通过虚拟对象设置，能够使得飞行员在训练中面对各种新型敌机和武器，训练飞行员的应对能力和操控技能。根据本公开的各个实施例，在保持较低训练成本的情况下，给飞行员训练带来了更大训练空间和更多的训练方案。

在一个实施例中，可以获取躲避所述至少一个虚拟对象的操作方案的AR显示数据，并进行AR显示。在一个实施例中，通过所述人机界面提示躲避所述至少一个虚拟对象的操作方案。例如，人机界面可以为飞行员呈现躲避所述至少一个虚拟对象的可选的方案。在一个实施例中，飞行员可以在两个或更多个方案中选择一个躲避方案。可选地，方案可以以图表的方式进行呈现，例如，躲避路线示意图。在一个实施例中，根据飞行员训练方案中设定的躲避方案或者飞行员选择的躲避方案，提示飞行员操作系数，例如上升特定距离、旋转特定角度等等。

在另一实施例中，可以生成至少一个第二虚拟对象并进行AR显示，控制第二虚拟对象沿预设轨迹向所述至少一个虚拟对象行进。例如，当检测到的输入是利用武器攻击的情况下，生成虚拟导弹以使其沿着特定轨迹向所述至少一个虚拟对象发射。在一个实施例中，所述至少一个虚拟对象和所述至少一个第二虚拟对象在空间中生成虚拟的碰撞或***效果以使得虚拟对象的三维模型发生变化，例如损坏或坠毁。

图2示出了根据本公开的实施例的用于飞行员训练的方法200的流程图。在图2中，块202、204、206和208的操作可以分别参考上面参照图1描述的块102、104、106和108的操作。

进而，如图2所示，在块210，基于来自传感器的信息，确定飞行器的实时的飞行状况参量，所述飞行状况参量包括飞行速度值、飞行加速度值、飞行位移参量、飞行器姿态参量、飞行器震动频率值和振幅值、飞行器飞行场景的风力值、飞行器飞行场景的风速值、飞行器飞行场景的气压值中的一个或多个。在一个实施例中，可以通过飞行器上载有的传感器确定所述实时的飞行状况参量，本公开的实施例中的用于飞行员训练的终端设备通过与飞行器直接或间接通信来获得飞行状况参量。飞行器上载有的传感器包括但不限于倾角传感器、气压传感器、加速度传感器、速度传感器、超声波传感器、惯性传感器、气象探测仪表、光线传感器等。上述飞行状况参量可以直接通过传感器的数据得出，也可以通过飞行测量领域的各种计算方法根据传感器的数据计算出飞行器的飞行状况参量。在另一个实施例中，可以通过公开的实施例中的用于飞行员训练的终端设备上的传感器确定飞行器的飞行状况参量。终端设备上的传感器可以包括但不限于加速度计、陀螺仪、摄像头、距离传感器、磁场传感器。在另一实施例中，可以通过来自飞行器上载有的传感器和终端设备上的传感器中的一个或多个来确定飞行器的飞行状况参量。上述飞行状况可以直接通过传感器的数据得出，也可以通过飞行测量领域的各种计算方法根据传感器的数据计算出飞行器的飞行状况参量。

在块212，根据所述飞行器的实时的飞行状况参量，生成所述至少一个虚拟对象的对应飞行状况参量，以及基于所述对应飞行状况参量，调整所述至少一个虚拟对象的三维模型的AR显示。在一个实施例中，可以根据飞行器的位移参量(诸如位移向量)，生成所述至少一个虚拟对象的对应位移参量(诸如上述位移向量的反向量)，以及基于所述对应位移参量，调整所述至少一个虚拟对象的三维模型的AR显示。例如，根据飞行器向某方向的位移，生成虚拟对象相反方向的位移，然后基于这个相反方向的位移来调整虚拟对象的三维模型的AR显示。在一个实施例中，根据飞行器的位移，调整所述至少一个虚拟对象的呈现大小。在另一实施例中，根据飞行器的位移，调整所述至少一个虚拟对象的呈现的细节水平，这是通过将不同细节水平的三维模型进行AR显示来实现的。例如，随着飞行器向虚拟对象的方向位移，向飞行员呈现更大的虚拟对象，或者向飞行员呈现更多细节的虚拟对象，这使得对虚拟对象的模拟更接近真实战场的状况。在另一实施例中，根据飞行器的位移，呈现所述至少一个虚拟对象的局部。例如，当虚拟对象与飞行器足够接近时，呈现给飞行员的是虚拟对象的三维模型的特定局部表面，而不是整个虚拟对象。在一个实施例中，可以根据飞行器的飞行器姿态参量(诸如俯仰角、偏航角、滚转角)，调整所述至少一个虚拟对象的三维模型的AR显示。例如，根据飞行器的不同姿态，向飞行员呈现从不同角度看到的虚拟对象的三维模型。

在另一个实施例中，可以根据飞行器震动频率和振幅，生成所述至少一个虚拟对象的对应震动频率和振幅，以及基于所述对应震动频率和振幅，调整所述至少一个虚拟对象的三维模型的AR显示。在一个实施例中，根据飞行器的震动频率和振幅，设定所述至少一个虚拟对象的震动频率和振幅。在另一个实施例中，根据飞行器飞行场景的风的状况，呈现在所述风的状况的影响下的所述至少一个虚拟对象。可以根据飞行器飞行场景的风力或飞行器飞行场景的风速，生成所述至少一个虚拟对象的对应飞行状况参量，以及基于所述对应飞行状况参量，调整所述至少一个虚拟对象的三维模型的AR显示，例如，通过预设的虚拟对象的三维模型的尺寸、重量、表面状况以及飞行器飞行场景的风力和风速，可以计算出虚拟对象受到风力影响的特定方向的速度变化、偏移状况等，向飞行员呈现根据所计算出的速度、偏移的虚拟对象的三维模型。例如，飞行状况是大风的情况下，计算出虚拟对象是逆风的，则可以呈现出降速移动的虚拟对象。例如，飞行状况是大风的情况下，计算出虚拟对象应受风力而晃动，则可以呈现出受风力而晃动的虚拟对象。在其他实施例中，还可以根据飞行器的飞行速度值、飞行加速度值、飞行器飞行场景的气压值中的一个或多个，调整所述至少一个虚拟对象的三维模型的AR显示。需要指出的是，还可以采用各种根据飞行状况调整虚拟对象的三维模型的AR显示的方式以使得虚拟对象的呈现更加接近真实，上述仅为根据所述飞行器的实际飞行状况调整所述至少一个虚拟对象的呈现的示例，本发明的实施例不受到上述示例的限制。

在本公开的另一实施例中，还可以基于飞行员训练方案生成干扰消息，并且响应于所述干扰消息，在所述人机界面中，生成与所述干扰消息相关联的飞行参数。例如，根据飞行员训练方案，在特定时段出现电子干扰，这时在人机界面中向飞行员呈现混乱的飞行参数，例如，无法获得当前飞行的正确参数(例如，高度、角度、速度等)。这能够实现复杂作战环境的模拟，能够训练飞行员遇到电子干扰情况下的操作技能。

根据本公开的各个实施例，能够训练飞行员的态势感知能力，通过传感器数据以增强现实的方式模拟出更加真实的战场环境，使得飞行员在复杂环境中感知飞行可能受到的威胁并做出自己的判断。例如，训练飞行员在遇到不同方位的多架敌机时应该如何应对，训练飞行员判断出不容易被察觉的威胁(例如，飞行器上方的敌机、飞行器后方的炮弹等)。

图3示出了根据本公开的实施例的关于记录的用于飞行员训练的方法的流程图300。

如图3所示，在块302，针对特定时段，生成所述飞行器的飞行记录，所述记录包括第一视角飞行轨迹、第一视角实景记录、传感器记录信息中的至少一个。在本公开的实施例中，“第一视角”指的是在飞行器飞行过程中的飞行员视角。传感器记录信息可以是来自上文提到的各种传感器中的一个或多个的记录信息。

在块304，对所述记录进行回放，所述回放包括第一视角回放、第三视角回放中的至少一个。在一个实施例中，记录的回放可以采用视频回放的方式。在其他实施例中，可以控制回放的速率，或者可以在重要的节点暂停或者放大图像。在一个实施例中，可以第一视角回放飞行轨迹，例如通过线条的方式在第一视角下显示飞行轨迹。在另一实施例中，可以第一视角回放实景记录。在块306，生成基于所述传感器记录信息的分析数据。在各个实施例中，传感器记录信息包括来自飞行器上装载的传感器(例如但不限于上文提到的各种传感器)的信息，还包括来自飞行员终端设备上的传感器(例如但不限于上文提到的各种传感器)的信息。在一个实施例中，分析数据可以包括在特定时间段内飞行器的飞行速度、加速度、震动状况。在一个实施例中，可以通过传感器的信息计算出飞行员驾驶的平稳程度，例如，统计是否存在高于阈值的加速度、是否存在振幅高于阈值的状况等。在另一实施例中，可以通过各种显示方式(文字、图表等)来呈现分析数据。在块308，显示与所述飞行记录相关的指导建议。在一个实施例中，通过与飞行员训练方案的高分操作过程(例如，该过程中的轨迹参数)进行比对，为飞行员提供关于该飞行记录的指导建议。在块310，生成与飞行员操控过程相关联的评估信息，所述评估信息包括飞行员操作水平、对飞行方案的达标水平中的至少一个。在一个实施例中，可以利用历史飞行员操控过程及其评估分数，采用机器学***的得分。在一个实施例中，可以通过将记录中的飞行员操控过程与标准操作过程的指标(例如，轨迹曲线、特定操作动作等)进行比较来计算对飞行方案的达标水平，例如，对飞行员操控过程进行打分。在另一实施例中，可以根据统计指标的计数来计算对飞行方案的达标水平，统计指标包括但不限于飞行器未成功躲避至少一个虚拟对象的次数、飞行器击落至少一个虚拟对象的次数等。在块312，生成针对所述飞行轨迹的分析数据。在各个实施例中，可以通过本领域已知的各种飞行轨迹数据分析方式对飞行轨迹进行分析，并以可视化形式呈现分析数据。在一个实施例中，将飞行器飞行轨迹呈现在地图上，并根据预先设置的飞行轨迹计算关于飞行器偏航的分析数据。在另一个实施例中，将飞行器飞行轨迹呈现在地图上，并根据预先设置的飞行区域计算关于飞行器离开指定空域的分析数据。

如上参照图1至图3对根据本公开的飞行员训练方法进行描述。这里要说明的是，图1至图3示出的仅仅是根据本公开的飞行员训练方法的一个实施例，在本公开的其它实施例中，还可以对图1至图3中示出的飞行员训练方法的步骤进行删除、修改、替换和排序。例如，在一些实施例中，可以仅包含图3中的步骤302、304、306、308、310和312中的一个或多个。

图4示出了根据本公开的一个实施例的用于飞行员训练的***400的方框图。如图4所示，飞行员训练***包括至少一个终端设备402(在图4中示例性地示出为402A和402B)和平台服务器404。终端设备402具有用于飞行员训练的装置500(下文中称为飞行员训练装置500)。平台服务器404与至少一个终端设备402进行通信。在一些实施例中，终端设备402中的复杂计算可以通过平台服务器404实现并将计算结果反馈给终端设备402以供应用。

在一个实施例中，基于飞行员训练方案，在所述人机界面中，生成与一个或多个另外的飞行器相关联的飞行阵列信息。在该实施例中，各个飞行器上的终端设备402将各自的飞行信息发送到平台服务器404，终端设备402从平台服务器404接收另外的飞行器的信息(诸如位置信息、飞行速度信息等)，这使得可以在终端设备402的人机界面中，呈现包括飞行员所处于的自身飞行器和一个或多个其他飞行器的阵列，帮助飞行员调整自身飞行器在阵列中的空间位置，辅助飞行员完成排阵任务。在其他实施例中，也可以通过对各个飞行器的数据进行分析以提示飞行员进行相应操作。

图5是根据本公开的一个实施例的用于飞行员训练的装置500的方框图。如图5所示，飞行员训练装置500包括人机界面生成单元510、虚拟对象生成单元520、输入检测单元530和动作生成单元540。

人机界面生成单元510，被配置为生成与飞行员操控场景相关联的人机界面并进行AR显示，其中，所述飞行员操控场景包括用于操控飞行器的一个或多个现实操控元件，所述人机界面包括一个或多个附加的虚拟操控元件。人机界面生成单元510的操作可以参考上面参照图1描述的块102的操作。

虚拟对象生成单元520，被配置为基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象，并进行AR显示。虚拟对象生成单元520的操作可以参考上面参照图1描述的块104的操作。

输入检测单元530，被配置为检测与所述附加的虚拟操控元件中的至少一个相关联的输入。输入检测单元530的操作可以参考上面参照图1描述的块106的操作。

动作生成单元540，被配置为响应于所述输入生成针对所述至少一个虚拟对象的动作。动作生成单元540的操作可以参考上面参照图1描述的块108的操作。

如上参照图1到图5，对根据本公开的飞行员训练方法及装置的实施例进行了描述。上面的飞行员训练装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。

图6示出了根据本公开的实施例的用于飞行员训练的计算设备600的硬件结构图。如图6所示，计算设备600可以包括至少一个处理器610、存储器620、内存630和通信接口640，并且至少一个处理器610、存储器620、内存630和通信接口640经由总线660连接在一起。至少一个处理器610执行在存储器620中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器620中存储计算机可执行指令，其当执行时使得至少一个处理器610：生成与飞行员操控场景相关联的人机界面并进行AR显示，其中，所述飞行员操控场景包括用于操控飞行器的一个或多个现实操控元件，所述人机界面包括一个或多个附加的虚拟操控元件；基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象，并进行AR显示；检测与所述附加的虚拟操控元件中的至少一个相关联的输入；以及响应于所述输入，生成针对所述至少一个虚拟对象的动作。

应该理解，在存储器620中存储的计算机可执行指令当执行时使得至少一个处理器610进行本公开的各个实施例中以上结合图1-5描述的各种操作和功能。

在本公开中，计算设备600可以包括但不限于：个人计算机、服务器计算机、工作站、桌面型计算机、膝上型计算机、笔记本计算机、移动计算设备、智能电话、平板计算机、蜂窝电话、个人数字助理(PDA)、手持装置、消息收发设备、可佩戴计算设备、消费电子设备等等。

根据一个实施例，提供了一种比如非暂时性机器可读介质的程序产品。非暂时性机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-5描述的各种操作和功能。具体地，可以提供配有可读存储介质的***或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

根据一个实施例，提供了一种比如非暂时性机器可读介质的程序产品。非暂时性机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-5描述的各种操作和功能。具体地，可以提供配有可读存储介质的***或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该***或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

本领域技术人员应当理解，上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本发明的保护范围应当由所附的权利要求书来限定。

需要说明的是，上述各流程和各***结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或临时设置的电路)可以基于成本和时间上的考虑来确定。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (10)

1.一种基于增强现实AR进行飞行员训练的方法，所述方法包括：

生成与飞行员操控场景相关联的人机界面并进行AR显示，其中，所述飞行员操控场景包括用于操控飞行器的一个或多个现实操控元件，所述人机界面包括一个或多个附加的虚拟操控元件；

基于飞行员训练方案及飞行器飞行状况，生成至少一个虚拟对象，并进行AR显示；

检测与所述附加的虚拟操控元件中的至少一个相关联的输入；以及

响应于所述输入，生成针对所述至少一个虚拟对象的动作。

2.根据权利要求1所述的方法，其中，基于所述飞行员训练方案及所述飞行器飞行状况生成所述至少一个虚拟对象，包括：

获取飞行器的实时位置信息，将所述实时位置信息与所述飞行员训练方案中的位置信息进行匹配，基于匹配结果生成所述至少一个虚拟对象；或者

获取飞行器的实时时间信息，将所述实时时间信息与所述飞行员训练方案中的时间信息进行匹配，基于匹配结果生成所述至少一个虚拟对象。

3.根据权利要求2所述的方法，其中，所述至少一个虚拟对象包括虚拟飞行器、虚拟障碍物中的至少一个。

4.根据权利要求1所述的方法，还包括：

基于来自传感器的信息，确定飞行器的实时的飞行状况参量，所述飞行状况参量包括飞行速度值、飞行加速度值、飞行位移参量、飞行器姿态参量、飞行器震动频率值和振幅值、飞行器飞行场景的风力值、飞行器飞行场景的风速值、飞行器飞行场景的气压值中的一个或多个；以及

根据所述飞行器的实时的飞行状况参量，生成所述至少一个虚拟对象的对应飞行状况参量，以及基于所述对应飞行状况参量，调整所述至少一个虚拟对象的三维模型的AR显示。

5.根据权利要求1所述的方法，其中，响应于所述输入生成针对所述至少一个虚拟对象的动作包括以下中的至少一个：

获取躲避所述至少一个虚拟对象的操作方案的AR显示数据，并进行AR显示；或者

生成至少一个第二虚拟对象并进行AR显示，控制所述三维模型沿预设轨迹向所述至少一个虚拟对象行进。

6.根据权利要求1所述的方法，还包括：

针对特定时段，生成所述飞行器的飞行记录，所述记录包括第一视角飞行轨迹、第一视角实景记录、传感器记录信息中的至少一个。

7.根据权利要求6所述的方法，还包括以下中的一个或多个：

第一视角回放飞行轨迹；

第一视角回放实景记录；

生成基于所述传感器记录信息的分析数据；

显示与所述飞行记录相关的指导建议；

生成与飞行员操控过程相关联的评估信息，所述评估信息包括飞行员操作水平、对飞行方案的达标水平中的至少一个；或者

生成针对所述飞行轨迹的分析数据。

8.一种飞行员训练***，包括：

至少一个终端设备，包括用于实施如权利要求1到7中任一所述的方法的单元；以及

平台服务器，用于与所述至少一个终端设备通信。

9.一种计算设备，包括：

至少一个处理器，以及

与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如权利要求1到7中任一所述的方法。

10.一种非暂时性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如权利要求1到7中任一所述的方法。