CN111156855A - 一种电子战装备虚拟训练人机交互*** - Google Patents

Abstract

本发明公开了一种电子战装备虚拟训练人机交互***，包括参训者、交互***和VR训练***，参训者通过VR交互设备进行人机交互，实现电子战装备VR训练，所述VR设备包括手势、声音及各类传感器等交互信号的产生及输出设备，所述交互***包括交互信号的接收与检测，对交互信号进行分析与处理，对交互指令进行解析，准确理解用户的要求，所述VR训练***包括电子战装备虚拟认知、操作、维修及运用训练内容，在虚拟训练过程中，***自动根据用户的操作意图进行流程控制，最终生成相应的训练内容输入到参训者VR眼镜中。有益效果：人机交互***实现了参训者与虚拟装备之间简单、自然和高效的交互功能，大大提高了电子战装备虚拟训练的效率。

Description

一种电子战装备虚拟训练人机交互***

技术领域

本发明涉及电子战装备技术领域，具体来说，涉及一种电子战装备虚拟训练人机交互***。

背景技术

虚拟现实(VirtualReality，简称VR)是一门具有前沿性的多学科交叉的研究方向，综合了计算机图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，在多维信息空间上创建一个虚拟信息环境，能使用户具有身临其境的沉浸感，具有与环境完善的交互能力，并有助于启发构思。一个完整的虚拟现实***，主要由模拟环境***、感知***、人机交互***和传感设备等若干子***组成。模拟环境***是由计算机生成动态三维立体的虚拟场景，具有非常精美，非常逼真和沉浸其中的特点；感知***主要包括由***生成的视觉、听觉、触觉、嗅觉、味觉和运动等在内的一切人类的感知能力范围；人机交互***是指人产生的一切行为动作的数据，通过***自动分析与处理，再实时响应生成内容并反馈到人的各种感官器官上；传感设备主要是在虚拟现实应用中用到的各种交互设备和传感器，比如位置、速度、温度等。

人机交互***设计又称为互动设计，是指设计人和服务互动的一种机制。以用户体验为基础进行的人机交互设计是要考虑用户的背景、使用经验和在操作过程中的感受等，从而设计符合最终用户的产品，使得最终用户在使用产品时感到愉悦，符合自己的逻辑，提高产品的使用效率。虚拟现实中的人机交互不同于传统的人机交互，例如人通过鼠标、键盘、屏幕或者某种传感器来进行交互，而是***通过人的五官感受或反应动作来实时地、同步地进行调整，进而呈现出来的图像或者声音等变化，这种交互是利用人的自身感官需求和自然技能对虚拟环境中的事物进行各种操作，是一种自然地交互行为。

虚拟现实人机交互的设计原则如下：

（1）功能可见性强。即参训者在使用虚拟现实***过程中，对于交互部分的功能越容易发现和了解越好，并且能够快速地使用和操作。

（2）交互反馈性强。即当参训者在虚拟现实环境中产生了相关操作或行为，应当能够及时、准确地进行各种相应的反馈，以便参训者能够进行下一步的操作或行为。

（3）合理的限制性。在虚拟现实***中需要在特定的时刻或者特定的部位限制参训者操作，以防由于参训者的误操作造成***功能的混乱。

（4）映射要一致性。要确保所设计的交互功能能够准确地表达控制与其控制效果之间的对应关系，以及同一功能的表现和操作具有一致性。

（5）要有启发性。在必要的时刻或部位要提供明确和充分的操作提示。

（6）要有开放性。虚拟现实***不同于传统人机交互***，参训者是在仿真的虚拟环境中，身临其境的、通过多种感知***来进行体验和进行交互操作的，因此，对于交互的开放性也需要随着技术的发展不断增强。

利用虚拟现实技术可以给人带来全方位的立体感受，让人沉浸在美妙的虚拟环境中，并且改变了人机之间简单、被动、生硬的交互状态，实现了更加真实、全面、深度的人机交互。因此，虚拟现实是当前最前沿、最具发展前景的技术之一。

当前，VR训练交互设备主要有头盔显示器、数据手套、数据衣服、三维位置传感器和三维声音产生器等。虚拟现实的人机交互能力依赖于立体显示和传感器技术的发展，设备过重、分辨率低、延迟大、有线、跟踪精度低、视场不够宽、眼睛容易疲劳等。三维图形的生成技术已比较成熟，而关键是怎样“实时生成”，在不降低图形的质量和复杂程度的基础上，要尽可能提高刷新频率。电子战装备训练需要实现不同训练环境下装备功能在VR视景仿真中的逼真复现，实现人机交互功能，从而精确模拟装备认知、操作与运用训练的效果。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的在于提供一种电子战装备训练人机交互***，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种电子战装备虚拟训练人机交互***，其特征在于，包括参训者、交互***和VR训练***，所述参训者通过VR交互设备进行人机交互，实现电子战装备VR训练，所述VR设备包括手势、声音及各类传感器等交互信号的产生及输出设备，所述交互***包括信号检测、信号处理、指令解析，准确理解用户的要求，所述VR训练***包括电子战装备虚拟认知、操作、维修及运用训练内容，在虚拟训练过程中，***自动根据用户的操作意图进行流程控制，最终生成相应的训练内容输入到参训者VR眼镜中。

进一步的，所述参训者通过VR交互设备与VR训练***连接，所述传感器包括参训者穿戴的位置传感器、压力传感器、温度传感器、湿度传感器等。

进一步的，所述信号检测是指交互信号的接收与检测，比如基于UWB超宽带定位技术来实现虚拟训练实验室内人员实时精确定位功能，为多人协同训练提供广域位置信息，UWB 人员定位***由硬件定位设备 （定位基站、定位标签）、定位引擎和应用软件三部分组成，定位设备包括若干台UWB基站和一定数量的UWB定位标签，定位标签通过无线脉冲向定位基站发送UWB超宽带信号，定位基站架设在需要提供定位服务的区域捕获UWB信号。

进一步的，所述信号处理是指交互信号的分析与处理，比如基于UWB超宽带定位技术来实现虚拟训练实验室内人员实时精确定位功能，交互***接收检测到定位信号后，定位基站之间通过同步控制器链接并同步，同步控制器接入服务器，由定位引擎解算，同时向上层应用软件输出定位数据，由上层应用软件实现各种基于高精度定位的应用。

进一步的，所述指令解析是***对接收到的交互电信号进行翻译与解析，将电信号解析为动作指令，准确理解用户的意图和要求。

进一步的，所述VR训练***包括电子战装备虚拟认知、操作、维修及运用训练内容，电子战装备虚拟训练内容很多，而且内容动态更新的，为了便于组织和实施训练，电子战装备虚拟训练内容分为四大版块，装备虚拟认知训练主要针对新的参训者进行电子战基础理论和装备认知训练，完成专业入门级训练，装备虚拟操作训练主要针对已经具备一定的装备理论基础知识的参训者进行装备分机面板操作和整机操作，以及装备的使用功能，装备虚拟维修训练主要针对从事装备保障的参训者进行装备故障检测及故障排除能力的训练，装备虚拟运用训练主要单套装备战术运用、多套装备协同训练以及大规模联合作战等多个层次多种规模的演练训练。

进一步的，所述VR训练***还包括知识库，所述知识库包括装备知识库、装备模型库、训练规则库和训练场景库，这些知识库的构建是电子战装备虚拟训练***不可或缺的，并且是能够实时更新的动态知识数据库。

进一步的，***工作流控制是实现电子战装备训练内容的管理和训练过程的控制，电子战是一个复杂的任务***，一般是由多个子任务组成，由多个任务小组成员共同参与的，各个子任务之间存在着复杂的信息交互、相互依赖和相互制约的关系，随着虚拟现实、科学可视化计算以及分布式计算机仿真的发展，电子战训练往往在局域网环境下需以协同或对抗的方式完成分布的交互任务，分布式的多角色协同***根据“分治”的思想将任务合理的划分为相对较小、比较容易开展和组织实施的子任务，由多个不同的任务角色成员交互协作完成整个任务。

进一步的，所述训练内容实时生成是指虚拟训练场景总是随着用户观察的视角、所处的位置以及用户的交互行为不断地产生变化而实时、动态地进行更新和重绘。

该电子战装备多人协同虚拟训练方法，包括以下步骤：

步骤1，VR训练***首先需要对各种型号电子战装备外观及功能进行建模，完成电子战装备仿真场景的搭建；

步骤2，VR训练***其次需要对各种型号电子战装备性能指标进行建模，完成电子战装备作战功能及战技指标仿真；

步骤3，VR训练***还需要对电子战训练场地的地形地貌、天气水文等建模，从而为训练提供逼真的实战训练环境；

步骤4，VR训练***还需要对电磁环境建模，从而为训练提供复杂度可配置的电子对抗电磁环境；

步骤5，VR训练***需要动态更新训练知识库和装备模型库内容，为虚拟训练提供知识支撑；

步骤6，VR训练***需要设计好训练规则库和训练场景库，适应不同层次训练的需要；

步骤7，参训人员穿戴VR头盔和VR数据手套等VR硬件设备，参与电子战装备虚拟训练；

步骤8，参训人员通过VR交互硬件，借助于手势、语音和各种传感串器，发出各种交互指令，意图与其他参训人员进行协同训练，或与外部训练环境进行交互；

步骤9，VR训练***检测到用户发出的交互电信号，并进行信号接收、信号检测、信号分析与处理，形成可以并识别和理解并执行的交互指令；

步骤10，VR训练***根据参训人员的交互指令，不断实时、动态地进行更新和生成训练内容，进行电子战装备虚拟训练。

本发明的有益效果为：

1、人机交互***通过VR头盔、操作手柄、数据手或传感器套等硬件设备，打通了人与外部的VR训练***之间的沟通通道，人产生的一切行为动作变成数据，通过VR训练***自动分析与处理交互数据，再实时响应生成内容并反馈到人的各种感官器官上，从而实现人与电子装备虚拟训练***之间一体化交流与沟通，完成电子战虚拟训练任务。

2、人机交互***实现了参训者与虚拟装备之间简单、自然和高效的交互功能，能大大提高电子战装备虚拟训练的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种电子战装备虚拟训练人机交互***的***图。

图2是根据本发明实施例的一种电子战装备虚拟训练人机交互***的工作流程图。

具体实施方式

下面，结合附图以及具体实施方式，对发明做出进一步的描述：

根据本发明的实施例，提供了一种电子战装备虚拟训练人机交互***。

如图1所示，电子战装备训练人机交互***包括参训者、交互***和VR训练***，参训者通过VR交互设备进行人机交互，实现电子战装备VR训练，VR设备包括手势、声音及各类传感器等交互信号的产生及输出设备。交互***包括信号检测、信号处理、指令解析，准确理解用户的要求，VR训练***包括电子战装备虚拟认知、操作、维修及运用训练内容，在虚拟训练过程中，***自动根据用户的操作意图进行流程控制，最终生成相应的训练内容输入到参训者VR眼镜中。

所述参训者通过VR交互设备与VR训练***连接，所述传感器包括参训者穿戴的位置传感器、压力传感器、温度传感器、湿度传感器等。

所述信号检测是指交互信号的接收与检测，比如基于UWB超宽带定位技术来实现虚拟训练实验室内人员实时精确定位功能，为多人协同训练提供广域位置信息，UWB 人员定位***由硬件定位设备 （定位基站、定位标签）、定位引擎和应用软件三部分组成，定位设备包括若干台UWB基站和一定数量的UWB定位标签，定位标签通过无线脉冲向定位基站发送UWB超宽带信号，定位基站架设在需要提供定位服务的区域捕获UWB信号。

所述信号处理是指交互信号的分析与处理，比如基于UWB超宽带定位技术来实现虚拟训练实验室内人员实时精确定位功能，交互***接收检测到定位信号后，定位基站之间通过同步控制器链接并同步，同步控制器接入服务器，由定位引擎解算，同时向上层应用软件输出定位数据，由上层应用软件实现各种基于高精度定位的应用。

所述指令解析是***对接收到的交互电信号进行翻译与解析，将电信号解析为动作指令，准确理解用户的意图和要求。

所述VR训练***包括电子战装备虚拟认知、操作、维修及运用训练内容，电子战装备虚拟训练内容很多，而且内容动态更新的，为了便于组织和实施训练，电子战装备虚拟训练内容分为四大版块，装备虚拟认知训练主要针对新的参训者进行电子战基础理论和装备认知训练，完成专业入门级训练，装备虚拟操作训练主要针对已经具备一定的装备理论基础知识的参训者进行装备分机面板操作和整机操作，以及装备的使用功能，装备虚拟维修训练主要针对从事装备保障的参训者进行装备故障检测及故障排除能力的训练，装备虚拟运用训练主要单套装备战术运用、多套装备协同训练以及大规模联合作战等多个层次多种规模的演练训练。

所述VR训练***还包括知识库，所述知识库包括装备知识库、装备模型库、训练规则库和训练场景库，这些知识库的构建是电子战装备虚拟训练***不可或缺的，并且是能够实时更新的动态知识数据库。

***工作流控制是实现电子战装备训练内容的管理和训练过程的控制，电子战是一个复杂的任务***，一般是由多个子任务组成，由多个任务小组成员共同参与的，各个子任务之间存在着复杂的信息交互、相互依赖和相互制约的关系，随着虚拟现实、科学可视化计算以及分布式计算机仿真的发展，电子战训练往往在局域网环境下需以协同或对抗的方式完成分布的交互任务，分布式的多角色协同***根据“分治”的思想将任务合理的划分为相对较小、比较容易开展和组织实施的子任务，由多个不同的任务角色成员交互协作完成整个任务。

所述训练内容实时生成是指虚拟训练场景总是随着用户观察的视角、所处的位置以及用户的交互行为不断地产生变化而实时、动态地进行更新和重绘。

如图2所示，在实际训练过程中，该电子战装备虚拟训练人机交互***的使用练方法及工作流程包括以下步骤：

步骤1，参训人员穿戴相应的VR设备，VR训练***进行初始化。

步骤2，VR训练***的人机交互分***软件开始工作，不断地自动定时检测是否有人发出交互动作。

步骤3，一旦检测到有人做出交互动作，***自动对所采集到的交互数据进行分析与处理，根据事先定义的数据协议，解析相应的指令。

步骤4，电子战虚拟训练***通常的指令包括三大类，一类是控制指令，即用户在训练过程中发出的确定操作指令、取消操作指令和选择操作指令，VR训练***根据不同的指令进行相应的响应。第二类是训练内容选择指令，即用户在训练过程中发出的改变或选择当前需要进行训练的任务内容，电子战虚拟训练主要包括装备认知训练、装备操作训练、装备维修训练和装备综合运用训练等，VR训练***根据不同的选择指令进行生成相应的训练内容，并发布到参训者的VR眼镜上。第三类是人员状态和训练状态指令，即在训练过程中实时反馈的用户工作状态，是待机，还是操作，如果正在操作，是在操作什么内容。训练状态反馈的***工作状态，比如***是单人训练，不是多人协同训练，当前的训练任务是什么。

步骤5，***通过人机交互功能，自动根据用户的操作意图进行流程控制，最终生成相应的训练内容输入到参训者VR眼镜中。

综上所述，借助于本发明的上述技术方案，人机交互***改变了人机之间简单、被动、生硬的交互状态，实现了更加真实、全面、深度的人机交互，从而利用虚拟现实技术可以给人带来全方位的立体感受，让人沉浸在美妙的虚拟环境中，让电子战装备训练取得更好的效果。电子战装备虚拟训练***在室内轻松开展联合作战背景下的装备操作、装备检修、作战运用训练，成本低，危险性小，方便定制各种不同训练场景，训练条件设置高度自由，训练难度随意调整，大大提高实战化条件下的训练水平。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种电子战装备虚拟训练人机交互***，其特征在于，包括参训者、交互***和VR训练***，所述参训者通过VR交互设备进行人机交互，实现电子战装备VR训练，所述VR设备包括手势、声音及各类传感器的交互信号的产生及输出设备，所述交互***包括信号检测、信号处理、指令解析，准确理解用户的要求，所述VR训练***包括电子战装备虚拟认知、操作、维修及运用训练内容，在虚拟训练过程中，***自动根据用户的操作意图进行流程控制，最终生成相应的训练内容输入到参训者VR眼镜中。

2.根据权利要求1所述的一种电子战装备虚拟训练人机交互***，其特征在于，所述参训者通过VR交互设备与VR训练***连接，所述传感器包括参训者穿戴的位置传感器、压力传感器、温度传感器、湿度传感器。

3.根据权利要求1所述的一种电子战装备虚拟训练人机交互***，其特征在于，所述信号检测是指交互信号的接收与检测，比如基于UWB超宽带定位技术来实现虚拟训练实验室内人员实时精确定位功能，为多人协同训练提供广域位置信息，UWB 人员定位***由硬件定位设备、定位引擎和应用软件三部分组成，定位设备包括若干台UWB基站和一定数量的UWB定位标签，定位标签通过无线脉冲向定位基站发送UWB超宽带信号，定位基站架设在需要提供定位服务的区域捕获UWB信号。

4.根据权利要求1所述的一种电子战装备虚拟训练人机交互***，其特征在于，所述信号处理是指交互信号的分析与处理，如基于UWB超宽带定位技术来实现虚拟训练实验室内人员实时精确定位功能，交互***接收检测到定位信号后，定位基站之间通过同步控制器链接并同步，同步控制器接入服务器，由定位引擎解算，同时向上层应用软件输出定位数据，由上层应用软件实现各种基于高精度定位的应用。

5.根据权利要求1所述的一种电子战装备虚拟训练人机交互***，其特征在于，所述指令解析是***对接收到的交互电信号进行翻译与解析，将电信号解析为动作指令，准确理解用户的意图和要求。

6.根据权利要求1所述的一种电子战装备虚拟训练人机交互***，其特征在于，所述VR训练***包括电子战装备虚拟认知、操作、维修及运用训练内容，电子战装备虚拟训练内容很多，而且内容动态更新的，为了便于组织和实施训练，电子战装备虚拟训练内容分为四大版块，装备虚拟认知训练主要针对新的参训者进行电子战基础理论和装备认知训练，完成专业入门级训练，装备虚拟操作训练主要针对已经具备一定的装备理论基础知识的参训者进行装备分机面板操作和整机操作，以及装备的使用功能，装备虚拟维修训练主要针对从事装备保障的参训者进行装备故障检测及故障排除能力的训练，装备虚拟运用训练主要单套装备战术运用、多套装备协同训练以及大规模联合作战的多个层次多种规模的演练训练。

7.根据权利要求1所述的一种电子战装备虚拟训练人机交互***，其特征在于，所述VR训练***还包括知识库，所述知识库包括装备知识库、装备模型库、训练规则库和训练场景库。

8.根据权利要求1所述的一种电子战装备虚拟训练人机交互***，其特征在于，***工作流控制是实现电子战装备训练内容的管理和训练过程的控制，电子战是一个复杂的任务***，由多个子任务组成，由多个任务小组成员共同参与的，各个子任务之间存在着信息交互、相互依赖和相互制约的关系，随着虚拟现实、科学可视化计算以及分布式计算机仿真的发展，电子战训练往往在局域网环境下需以协同或对抗的方式完成分布的交互任务，分布式的多角色协同***根据“分治”的思想将任务合理的划分为相对较小、比较容易开展和组织实施的子任务，由多个不同的任务角色成员交互协作完成整个任务。

9.根据权利要求1所述的一种电子战装备虚拟训练人机交互***，其特征在于，所述训练内容实时生成是指虚拟训练场景总是随着用户观察的视角、所处的位置以及用户的交互行为不断地产生变化而实时、动态地进行更新和重绘。

10.一种电子战装备虚拟训练人机交互方法，其特征在于，用于权利要求1所述的电子战装备虚拟训练人机交互***，包括以下步骤：

步骤1，VR训练***首先需要对各种型号电子战装备外观及功能进行建模，完成电子战装备仿真场景的搭建；

步骤2，VR训练***其次需要对各种型号电子战装备性能指标进行建模，完成电子战装备作战功能及战技指标仿真；

步骤3，VR训练***还需要对电子战训练场地的地形地貌、天气水文等建模，从而为训练提供逼真的实战训练环境；

步骤4，VR训练***还需要对电磁环境建模，从而为训练提供复杂度可配置的电子对抗电磁环境；

步骤5，VR训练***需要动态更新训练知识库和装备模型库内容，为虚拟训练提供知识支撑；

步骤6，VR训练***需要设计好训练规则库和训练场景库，适应不同层次训练的需要；

步骤7，参训人员穿戴VR头盔和VR数据手套等VR硬件设备，参与电子战装备虚拟训练；

步骤8，参训人员通过VR交互硬件，借助于手势、语音和各种传感串器，发出各种交互指令，意图与其他参训人员进行协同训练，或与外部训练环境进行交互；

步骤9，VR训练***检测到用户发出的交互电信号，并进行信号接收、信号检测、信号分析与处理，形成可以并识别和理解并执行的交互指令；

步骤10，VR训练***根据参训人员的交互指令，不断实时、动态地进行更新和生成训练内容，进行电子战装备虚拟训练。

Images