CN114265330B - 一种基于模拟飞行的增强现实显示效果评估***及方法 - Google Patents

Abstract

本发明属于增强现实效果评估技术领域，具体公开了一种基于模拟飞行的增强现实显示效果评估***及方法，***包括：信息处理模块、显示器、AR眼镜及模拟飞行操纵杆。显示器用于显示动态模拟仿真飞行任务中的无信息增强的飞行信息；AR眼镜用于显示动态模拟仿真飞行任务中的有信息增强的飞行信息。针对有无信息增强的两种动态模拟飞行任务中，飞行员分别按照显示器和AR眼镜的指示完成飞行任务，在飞行任务的执行过程中，通过信息处理模块记录飞行员的飞行任务的实验成绩数据，最后对有和无信息增强两种条件下的实验任务数据进行对比分析，比较两组数据的差异是否有统计学意义，以此推断AR增强现实的显示效果。

Description

一种基于模拟飞行的增强现实显示效果评估***及方法

技术领域

本发明属于增强现实显示效果评估技术领域，特别是关于一种基于模拟飞行的增强现实显示效果评估***及方法。

背景技术

增强现实(Augmented Reality，简称AR)技术是通过信息处理模块技术将现实世界中不存在的虚拟对象重合在真实环境中，即把虚拟对象和真实世界重合于同一空间的一种技术。该技术展现了现实世界的信息，也将虚拟世界中的信息同步展现，模糊现实世界与虚拟世界之间的界线，使人们充分沉浸在体验的氛围中。AR显示技术已应用于医疗、军事、机械制造-装配-维修、教育及生活娱乐等各大领域。

目前，飞行员的培训多采用理论培训及模拟机培训。理论培训阶段由地面教员负责，模拟机培训则由飞行教员结合操作讲解。模拟机1:1还原机舱内实景，仪表、设备、材质都和真正的飞机一模一样，包括起飞、降落失重感和气流颠簸等都能精准模拟，让学员们体会到100％实际操作感受。但是目前的模拟机价格非常昂贵，许多学员无法直接使用模拟机进行训练；另一方面，AR功能是不稳定的，严重者会影响到用户体验，甚至无法达到模拟效果。因此针对该项技术在飞行中的应用，开发一种基于模拟飞行的AR效果的评估实验***，并建立相应的实验方法具有广阔的应用前景。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于模拟飞行的增强现实显示效果评估***及方法，其能够解决传统应用于飞行模拟任务的AR显示效果无法评估的问题。

本发明提供了一种基于模拟飞行的增强现实显示效果评估***，其特征在于，所述***包括：信息处理模块、显示器、AR眼镜及模拟飞行操纵杆；

所述显示器用于显示动态模拟仿真飞行任务中的无信息增强的飞行信息，飞行员根据显示器的提示操纵模拟飞行操纵杆进行模拟飞行；

所述AR眼镜用于显示动态模拟仿真飞行任务中的有信息增强的飞行信息，飞行员根据AR眼镜的提示操纵模拟飞行操纵杆进行模拟飞行；

所述信息处理模块用于记录各飞行员在动态模拟仿真飞行任务中的实验成绩数据。

优选地，所述动态模拟仿真飞行任务包括多名具有飞行经验的飞行员，所有飞行员被分成A组和B组被试实验对象；

所述A组被试用于先完成无信息增强的动态模拟仿真飞行任务，再完成有信息增强的动态模拟仿真飞行任务；

所述B组被试用于先完成有信息增强的动态模拟仿真飞行任务，再完成无信息增强的动态模拟仿真飞行任务。

优选地，所述飞行员用于按照显示器画面和/或AR显示信息的提示分别完成不限于以下的模拟飞行任务：

起飞、上升、巡航、地面目标搜索、空对地突击、返航及着陆。

优选地，所述增强信息包括在模拟飞行任务中，飞行员巡航时的各航路点信息、地面目标信息及着陆机场的跑道信息。

优选地，所述信息处理模块包括图像检测模型，所述图像检测模型用于检测模拟飞行过程中的虚拟物体类型参数以及虚拟物***置参数。

优选地，所述虚拟物体类型参数的预测值的数量为至少两个，不同预测值与不同虚拟物体类型对应，任一预测值指示***所显示的图像中存在具有相应虚拟物体类型的虚拟物体的概率；

根据所述虚拟物体检测参数的预测值来显示评估效果，包括：

在至少两个预测值指示的各概率中，数值最大的概率大于相应的虚拟物体类型所对应的预设概率的情况下，确定所述***加载功能处于正常状态；否则，确定所述***加载功能处于异常状态。

优选地，所述***还包括驾驶舱模拟框架、模拟座椅、模拟操纵面板、用于供使用者穿戴的姿态捕捉设备、处理装置，所述模拟飞行操纵杆、模拟座椅、模拟操纵面板均设置在所述驾驶舱模拟框架内；

其中，所述处理装置与所述姿态捕捉设备、模拟操纵面板、AR眼镜连接，所述姿态捕捉设备用于实时捕捉使用者的姿态信息并反馈至所述处理装置，所述模拟飞行操纵杆、模拟操纵面板用于实时反馈使用者触发的操纵信息至所述处理装置，所述处理装置用于根据所述姿态捕捉设备、模拟飞行操纵杆、模拟操纵面板实时反馈的信息，将对应的增强现实图像发送到AR眼镜进行显示。

本发明还提供了一种基于模拟飞行的增强现实显示效果评估方法，所述方法应用于所述的***，所述方法包括：

通过显示器显示动态模拟仿真飞行任务中的无信息增强的飞行信息，飞行员根据显示器的提示操纵模拟飞行操纵杆进行模拟飞行；

通过AR眼镜显示动态模拟仿真飞行任务中的有信息增强的飞行信息，飞行员根据AR眼镜的提示操纵模拟飞行操纵杆进行模拟飞行；

通过信息处理模块记录各飞行员在动态模拟仿真飞行任务中的实验成绩数据。

与现有技术相比，根据本发明的一种基于模拟飞行的增强现实显示效果评估***及方法，所述***包括：信息处理模块、显示器、AR眼镜及模拟飞行操纵杆；所述显示器用于显示动态模拟仿真飞行任务中的无信息增强的飞行信息，飞行员根据显示器的提示操纵模拟飞行操纵杆进行模拟飞行；所述AR眼镜用于显示动态模拟仿真飞行任务中的有信息增强的飞行信息，飞行员根据AR眼镜的提示操纵模拟飞行操纵杆进行模拟飞行；所述信息处理模块用于记录各飞行员在动态模拟仿真飞行任务中的实验成绩数据。针对有无信息增强的两种动态模拟飞行任务中，飞行员分别按照显示器和AR眼镜的指示进行飞行任务，在飞行任务的执行过程中，通过信息处理模块记录飞行员的飞行任务的实验成绩数据，最后进行对比分析在有和无信息增强两种条件下的实验任务数据进行对比分析，比较两组数据的差异是否有统计学意义，以此推断AR增强现实的效果。

附图说明

图1是根据本发明基于模拟飞行的增强现实显示效果评估***的原理框图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

如图1所示，本发明实施例提供了一种基于模拟飞行的增强现实显示效果评估***，所述***包括：信息处理模块、显示器、AR眼镜及模拟飞行操纵杆；所述显示器用于显示动态模拟仿真飞行任务中的无信息增强的飞行信息，飞行员根据显示器的提示操纵模拟飞行操纵杆进行模拟飞行；所述AR眼镜用于显示动态模拟仿真飞行任务中的有信息增强的飞行信息，飞行员根据AR眼镜的提示操纵模拟飞行操纵杆进行模拟飞行；所述信息处理模块用于记录各飞行员在动态模拟仿真飞行任务中的实验成绩数据。针对有无信息增强的两种动态模拟飞行任务中，飞行员分别按照显示器和AR眼镜的指示完成飞行任务，在飞行任务的执行过程中，通过信息处理模块记录飞行员的飞行任务的实验成绩数据，最后对有和无信息增强两种条件下的实验任务数据进行对比分析，比较两组数据的差异是否有统计学意义，以此推断AR增强现实的效果。

该***基于动态模拟飞行任务，在任务信息有、无增强现实显示的两种情况下，由大样本飞行员完成实际操作，获得客观的模拟任务绩效数据，对比分析信息增强对于模拟飞行任务的效果。

进一步的方案，动态模拟仿真飞行任务包括多名具有飞行经验的飞行员，所有飞行员被分成A组和B组被试作为实验对象；所述A组被试用于先完成无信息增强的动态模拟仿真飞行任务，再完成有信息增强的动态模拟仿真飞行任务；所述B组被试用于先完成有信息增强的动态模拟仿真飞行任务，再完成无信息增强的动态模拟仿真飞行任务。每组飞行员的经验相近，随机被分成A组和B组，然后进行各自的动态模拟仿真飞行任务。具体地，A组先进行无信息增强的动态模拟仿真飞行任务，飞行任务开启时，飞行员根据显示器显示信息的提示来进行飞行。可以得到飞行员通过只看显示器进行飞行任务的实验数据。通过信息处理模块将飞行过程中的实验数据记录下来供后续比较分析。然后进行有信息增强的动态模拟仿真飞行任务，飞行员观看显示器飞行的同时，AR眼镜也向飞行员提供有增强作用的信息，信息处理模块记录对应的实验数据。最后对比分析有信息增强和无信息增强的实验数据，以此推断AR增强现实的效果。

进一步的方案，飞行员用于按照显示器画面和/或AR显示信息的提示分别完成不限于以下的模拟飞行任务：起飞、上升、巡航、地面目标搜索、空对地突击、返航及着陆。启动***，主试人员向飞行员讲明实验目的、实验任务和注意事项；飞行员登录***，填写基本信息；模拟任务练习，每名飞行员首先进行模拟任务的练习，使之熟悉基本实验任务流程、实验方法及注意事项；然后正式实验，正常起飞，增速保持上升状态，根据显示器指令或AR眼镜的指令高度的指示，按显示器画面和/或AR显示信息提示，巡航，搜索地面目标、锁定目标，并按指令投弹。完成1次打击后，按指令以上述同样方法实施，直至完成3个地面目标的打击任务，返航着陆；***的信息处理模块自动记录被试的实验成绩数据，并可将该数据导出为excel文件。最后对所有被试分别在有和无信息增强两种条件下的实验任务数据进行对比分析，比较两组数据的差异是否有统计学意义，以此推断AR增强现实的效果。

其中，增强信息包括在模拟飞行任务中，飞行员巡航时的各航路点信息、地面目标信息及着陆机场的跑道信息。这些增强信息均能通过AR眼镜进行显示和提示，飞行员在模拟飞行任务中便可以直接感知，如果AR眼镜内提供的信息增强效果好，那飞行员便能更好的完成飞行任务，实验成绩数据会更好，如此也可以推断此时AR增强现实的效果佳。若AR眼镜内提供的信息增强效果不好，或者出现了故障，则与没有增强信息的飞行任务的实验数据没有统计学意义，如此也可以推断此时AR增强现实的效果不佳。

进一步的方案，增强信息包括在模拟飞行任务中的定位单元、高度计、陀螺仪、加速度计中的一个或多个，以及飞行器的空间位置、高度、转动角度和转动角加速度中的一个或多个。

优选的方案，所述信息处理模块包括图像检测模型，所述图像检测模型用于检测模拟飞行过程中的虚拟物体类型参数以及虚拟物***置参数。

由此可知，虚拟物体类型参数以及虚拟物***置参数具体为地面目标的具体图像参数及位置参数，图像参数包含图像大小、形状、状态等。如果图像检测模型能实时准确的检测到这些参数并能在AR眼镜中显示出来，那么飞行员就能获取到这些参数信息，在飞行任务过程中，比如在对地面目标突击时就能更加准确。如果最后得到实验数据显示没有击中，或者跟没有信息增强的飞行任务中的飞行员的实验数据没有统计学意义，说明AR增强现实的效果不佳。

进一步的方案，所述虚拟物体类型参数的预测值的数量为至少两个，不同预测值与不同虚拟物体类型对应，任一预测值指示***所显示的图像中存在具有相应虚拟物体类型的虚拟物体的概率；根据所述虚拟物体检测参数的预测值来显示评估效果，包括：在至少两个预测值指示的各概率中，数值最大的概率大于相应的虚拟物体类型所对应的预设概率的情况下，确定所述***加载功能处于正常状态；否则，确定所述***加载功能处于异常状态。在有AR眼镜的加持下，若AR眼镜的预测值准确，最后反映到飞行员执行飞行任务过程中就是能精确打击到地面目标，此时说明***加载功能处于正常状态，即AR增强现实效果明显。

进一步的方案，***还包括驾驶舱模拟框架、模拟座椅、模拟操纵面板、用于供使用者穿戴的姿态捕捉设备、处理装置，所述模拟飞行操纵杆、模拟座椅、模拟操纵面板均设置在所述驾驶舱模拟框架内；其中，所述处理装置与所述姿态捕捉设备、模拟操纵面板、AR眼镜连接，所述姿态捕捉设备用于实时捕捉使用者的姿态信息并反馈至所述处理装置，所述模拟飞行操纵杆、模拟操纵面板用于实时反馈使用者触发的操纵信息至所述处理装置，所述处理装置用于根据所述姿态捕捉设备、模拟飞行操纵杆、模拟操纵面板实时反馈的信息，将对应的增强现实图像发送到AR眼镜进行显示。

具体地，驾驶舱模拟框架、模拟座椅、模拟操纵面板、模拟飞行操纵杆、AR眼镜、姿态捕捉设备以及处理装置。其中，所述模拟座椅、模拟操纵面板、模拟飞行操纵杆、均设置在所述驾驶舱模拟框架内，处理装置设置在所述驾驶舱模拟框架外，当然也可以设置在驾驶舱模拟框架内。

其中，所述处理装置与所述姿态捕捉设备、模拟操纵面板、模拟飞行操纵杆、AR眼镜连接，连接方式并不做限制，可以是电子线等形式的有线连接，还可以是蓝牙等形式的无线连接。如此处理装置便可以接收各设备器件的信息，然后通过AR眼镜显示出相应的信息。

所述姿态捕捉设备用于实时捕捉使用者的姿态信息并反馈至所述处理装置4，所述模拟飞行操纵杆6、模拟操纵面板5实时反馈使用者触发的操纵信息至所述处理装置4，所述处理装置4用于根据所述姿态捕捉设备、模拟飞行操纵杆6、模拟操纵面板5实时反馈的信息，将对应的增强现实图像发送到AR眼镜3进行显示。

本发明实施例还提供了一种基于模拟飞行的增强现实显示效果评估方法，所述方法应用于前述的***，所述方法包括：

通过显示器显示动态模拟仿真飞行任务中的无信息增强的飞行信息，飞行员根据显示器的提示操纵模拟飞行操纵杆进行模拟飞行；

通过AR眼镜显示动态模拟仿真飞行任务中的有信息增强的飞行信息，飞行员根据显示器和AR眼镜中增强的信息提示操纵模拟飞行操纵杆进行模拟飞行；

通过信息处理模块记录各飞行员在动态模拟仿真飞行任务中的实验成绩数据。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述基础，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (6)

1.一种基于模拟飞行的增强现实显示效果评估***，其特征在于，所述***包括：信息处理模块、显示器、AR眼镜及模拟飞行操纵杆；

所述显示器用于显示动态模拟仿真飞行任务中的无信息增强的飞行信息，飞行员根据显示器的提示操纵模拟飞行操纵杆进行模拟飞行；

所述AR眼镜用于显示动态模拟仿真飞行任务中的有信息增强的飞行信息，飞行员根据AR眼镜的提示操纵模拟飞行操纵杆进行模拟飞行；

所述信息处理模块用于记录各飞行员在动态模拟仿真飞行任务中的实验成绩数据；所述信息处理模块包括图像检测模型，所述图像检测模型用于检测模拟飞行过程中的虚拟物体类型参数以及虚拟物***置参数；所述虚拟物体类型参数的预测值的数量为至少两个，不同预测值与不同虚拟物体类型对应，任一预测值指示***所显示的图像中存在具有相应虚拟物体类型的虚拟物体的概率；

根据虚拟物体检测参数的预测值来显示评估效果，包括：

在至少两个预测值指示的各概率中，数值最大的概率大于相应的虚拟物体类型所对应的预设概率的情况下，确定***加载功能处于正常状态；否则，确定所述***加载功能处于异常状态。

2.根据权利要求1所述的基于模拟飞行的增强现实显示效果评估***，其特征在于，所述动态模拟仿真飞行任务包括多名具有飞行经验的飞行员，所有飞行员被分成A组和B组被试作为实验对象；

所述A组被试用于先完成无信息增强的动态模拟仿真飞行任务，再完成有信息增强的动态模拟仿真飞行任务；

所述B组被试用于先完成有信息增强的动态模拟仿真飞行任务，再完成无信息增强的动态模拟仿真飞行任务。

3.根据权利要求2所述的基于模拟飞行的增强现实显示效果评估***，其特征在于，所述飞行员用于按照显示器画面和/或AR显示信息的提示分别完成不限于以下的模拟飞行任务：

起飞、上升、巡航、地面目标搜索、空对地突击、返航及着陆。

4.根据权利要求1所述的基于模拟飞行的增强现实显示效果评估***，其特征在于，增强信息包括在模拟飞行任务中，飞行员巡航时的各航路点信息、地面目标信息及着陆机场的跑道信息。

5.根据权利要求1所述的基于模拟飞行的增强现实显示效果评估***，其特征在于，所述***还包括驾驶舱模拟框架、模拟座椅、模拟操纵面板、用于供使用者穿戴的姿态捕捉设备、处理装置，所述模拟飞行操纵杆、模拟座椅、模拟操纵面板均设置在所述驾驶舱模拟框架内；

其中，所述处理装置与所述姿态捕捉设备、模拟操纵面板、AR眼镜连接，所述姿态捕捉设备用于实时捕捉使用者的姿态信息并反馈至所述处理装置，所述模拟飞行操纵杆、模拟操纵面板用于实时反馈使用者触发的操纵信息至所述处理装置，所述处理装置用于根据所述姿态捕捉设备、模拟飞行操纵杆、模拟操纵面板实时反馈的信息，将对应的增强现实图像发送到AR眼镜进行显示。

6.一种基于模拟飞行的增强现实显示效果评估方法，其特征在于，所述方法应用于如权利要求1～5任一项所述的***，所述方法包括：

通过显示器显示动态模拟仿真飞行任务中的无信息增强的飞行信息，飞行员根据显示器的提示操纵模拟飞行操纵杆进行模拟飞行；

通过AR眼镜显示动态模拟仿真飞行任务中的有信息增强的飞行信息，飞行员根据AR眼镜的提示操纵模拟飞行操纵杆进行模拟飞行；

通过信息处理模块记录各飞行员在动态模拟仿真飞行任务中的实验成绩数据。

Images