CN109782907A - 一种基于多混合现实设备的虚拟装填协同训练*** - Google Patents
一种基于多混合现实设备的虚拟装填协同训练*** Download PDFInfo
- Publication number
- CN109782907A CN109782907A CN201811627407.1A CN201811627407A CN109782907A CN 109782907 A CN109782907 A CN 109782907A CN 201811627407 A CN201811627407 A CN 201811627407A CN 109782907 A CN109782907 A CN 109782907A
- Authority
- CN
- China
- Prior art keywords
- mixed reality
- model
- server
- polyhybird
- intelligent glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于多混合现实设备的虚拟装填协同训练***,硬件设施主要包括一台服务器、多台计算机、多台混合现实智能眼镜、一个操纵控制手柄、及一台无线路由器;本发明通过构建具有较高仿真度的虚拟装填装备三维模型,建立装填操作三维物理仿真运动引擎,利用核心计算机及无线网络设备将其投影至每个混合现实智能眼镜中;当模型进行仿真运动时,***利用坐标同步算法及室内SLAM标定技术,确定了以三维模型为参照的统一的世界坐标系,并进行混合现实设备局部坐标系的精确计算,实现所有混合现实设备从自身所在方位和角度对三维模型进行观察的效果;各用户可通过操纵手柄、手势、语音操作等方式进行虚拟协同化训练。
Description
技术领域
本方法与混合现实技术、人机交互和虚拟仿真相关,具体涉及一种基于多混合现实设备的虚拟装填协同训练***。
技术背景
混合现实技术(MR)是虚拟现实技术的进一步发展,该技术通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,以增强用户体验的真实感;
传统的装填训练需要主操作员用操纵手柄对模型部件执行一系列的:平移、旋转、伸缩、抓放、刚柔转换等操作,辅助操作员在操作控制台处手动进行模型的解锁和开锁操作。这种传统的装填训练因占用较大物理空间须在室外进行,极受外界环境因素的干扰。在装填训练过程中教练评价的主观性太强,导致训练没有一套科学的评价方法。同时,因装填设备成本高,某些训练只能单人单机进行,导致训练效率低。操作员与装填设备的交互完全通过操纵控制台,导致操作员交互方式单一且操作不灵活。在训练过程中有可能发生不可预测的意外事故,这样会对装填设备造成损坏,重则导致操作员受伤。
本发明通过将装填模型构建成虚拟三维仿真模型并投影在混合现实智能眼镜上,提高了操作员训练时的操作感和沉浸感;训练时操作员能够通过操纵手柄、手势、语音的方式操作虚拟模型,提高了操作的灵活性,使交互方式更加多元化;操作过程中***会给予操作员智能提示并将提示信息通过碰撞块校准、碰撞检测、全息文字以及智能语音播报的形式呈现出来,使得操作更加简单。本发明支持多人协同训练,提升了训练效果和操作效率;***会将训练过程中的操作指
发明内容
为了解决传统装填训练存在的问题,本发明的目的在于提供一种基于多混合现实设备的虚拟装填协同训练***;为操作员提供简单易操作、交互方式多元化、高沉浸感的多用户协同装填训练体验。
为了达到上述目的,本方法采用的技术方案为:
一种基于多混合现实设备的虚拟装填协同训练***的硬件设施主要包括:一台服务器、多台计算机、多台混合现实智能眼镜、一个操纵控制手柄及一台无线路由器。
服务器、多台计算机以及多台混合现实智能眼镜是通过无线路由器进行网络连接。
服务器将构建的高仿真度的虚拟装填设备三维模型影像投影至所述多台混合现实设备。
操作员通过操作控制手柄、手势、语音的方式来与三维虚拟装填模型进行交互。
操纵控制手柄通过手柄驱动将操作的数字信号传输至服务器。
混合现实智能眼镜包括:处理器、存储器、摄像头、耳麦,混合现实智能眼镜能够通过摄像头、耳麦采集操作员的手势及语音信息,智能眼镜将采集到的音频数据以及摄像头捕捉到的手势影像数据实时同步至服务器。
进一步地,服务器具有处理器和存储器,所述处理器能够把接收到的交互信息解析成模型运动相对应的指令信息,三维虚拟装填模型根据特定的指令做出运动,模型影像信息同步到多台混合现实智能设备中。所述存储器可以将训练时模型的运动状态信息记录并保存。
本发明的有益效果体现在:
本发明通过将装填模型构建成虚拟三维仿真模型并投影在混合现实智能眼镜上,提高了操作员训练时的操作感和沉浸感;训练时操作员能够通过操纵手柄、手势、语音的方式操作虚拟模型,提高了操作的灵活性,使交互方式更加多元化;操作过程中***会给予操作员智能提示并将提示信息通过碰撞块校准、碰撞检测、全息文字以及智能语音播报的形式呈现出来,使得操作更加简单。本发明支持多人协同训练,提升了训练效果和操作效率;***会将训练过程中的操作指令存储在数据库中,便于日后操作重现。
附图说明
图1为本发明一种基于多混合现实设备的虚拟装填协同训练***的结构图。
图2为本发明一种基于多混合现实设备的虚拟装填协同训练***的网络连接图。
图3为本发明一种基于多混合现实设备的虚拟装填协同训练***的指令信息传输图。
图4为本发明一种基于多混合现实设备的虚拟装填协同训练***的设备间消息同步机制图。
图5为本发明一种基于多混合现实设备的虚拟装填协同训练***的模型运动信息保存图。
图6为本发明一种基于多混合现实设备的虚拟装填协同训练***的模型运动复现图。
具体实施方式
下面结合附图和实施例对本方法作详细描述。
本发明设计了一种基于多混合现实设备的虚拟装填协同训练***。其中软件包括自主开发的一套基于Unity 3D显示引擎的虚拟装填协同训练***,硬件包括:一台服务器、多台计算机、多台混合现实智能眼镜、一个操纵控制手柄、及一台无线路由器;
如图1,一种基于多混合现实设备的虚拟装填协同训练***的实现包括以下内容:1.构建高仿真度的虚拟装填设备三维模型;2.服务器、多混合现实设备及计算机的网络连接;3.三维虚拟装填模型空间位置的绝对化和模型位姿的多视角观察;4.多操作员协同与模型进行交互;5.交互信息传输至服务器并解析成可控制模型运动的指令;6.多混合现实设备模型状态的一致性;7.模型运动信息的保存以及训练过程的复现;
本发明具有良好的操作性且沉浸感高,设备简单便捷,易于携带,不受外界环境干扰,能够在室内空间穿戴混合现实设备进行虚拟装填协同训练;通过语音、手势识别与混合现实设备交互,解放双手;多人协同训练,提升了体验感和训练效果;训练过程中的操作指令以文本的方式保存在计算机中,便于日后操作重现。
一种基于多混合现实设备的虚拟装填协同训练***的实现如下:
第一,构建高仿真度的虚拟装填设备三维模型;本发明利用3DS Max三维建模工具进行虚拟装填模型的构建,其中选用的建模方法有:网格建模、面片建模以及NURBS建模;其中,对于外表看起来坚硬且细节较少的模型可以使用网格建模方法;而对于复杂的、表面光滑的、有组织的模型选择面片建模和NURBS建模方法更合适;这三种建模方法多样化的结合使用可以得到最完美的建模效果。
运动部件建模完成后,将模型导入至Unity 3D渲染引擎中,利用Unity 3D中的shader着色器对模型表面纹理进行渲染。为保证虚拟渲染场景的仿真度,利用Unity 3D渲染引擎为模型部件提供重力、碰撞、柔性、惯性、天气等逼真的物理仿真特性。通过分析模型各个部件之间的运动依赖关系设置模型部件之间的父子嵌套关系,最终完成整个三维虚拟装填模型运动场景树的构建;
第二,服务器、多混合现实设备及计算机的网络连接;
服务器、多混合现实智能眼镜以及PC通过无线路由器进行连接,如图2;网络连接中遵循TCP/IP协议,***运行时服务器自动打开网络监听,实时监控网络,等待混合现实智能眼镜客户端与其进行匹配连接;操作员佩戴上混合现实智能眼镜进入虚拟训练场景,对模型的操作信息通过无线网络传入服务器,同时每个混合现实智能眼镜都对应连接了一台PC,每个PC端都会将智能眼镜观察的模型影像显示在屏幕上,满足了多视角的模型观察体验。
第三,三维虚拟装填模型空间位置的绝对化和模型位姿的多视角观察;本发明利用室内SLAM标定技术将三维虚拟装填模型的空间坐标位置绝对化,并确定了以三维模型为参照的统一的世界坐标系,多名操作员同时佩戴混合现实设备时均可在三维场景中漫游,全方位地观察模型,混合现实设备将实时观察到的模型影像发送给多台计算机,计算机将影像显示在屏幕中;操作员可以在虚拟三维场景中全方位观察模型,其他人员也能够通过计算机显示器观察到模型多视角的状态。
第四,多操作员协同与模型进行交互;本发明支持多个操作员同时佩戴多台混合现实智能眼镜协同化训练;装填训练任务被细分成多个子任务,整个训练任务的完成依赖于每个子任务的完成;在每一个子任务进行之前,需要先将子任务中要操作的模型运动部件进行解锁,之后才能用操纵控制手柄控制该部件的运动;在子任务结束之后,也需要对这个运动部件进行上锁。如图3,在训练过程中,有一名主操作员和若干名辅助操作员,主操作员佩戴智能眼镜进入虚拟训练场景,通过操纵控制手柄控制模型的运动状态;辅助操作员主要辅助主操作员,在每个子任务进行之前对目标部件进行解锁,在任务结束之后对目标部件进行上锁。辅助操作员在对某一部件进行解锁和上锁时,会凝视目标部件,将视点放在目标部件上,然后做出固定的手势或者说出“解锁”/“上锁”,就能够对目标部件进行解锁/上锁。
第五,交互信息传输至服务器并解析成可控制模型运动的指令;如图3,操作员通过操作手柄、手势、语音的方式与三维虚拟装填模型进行交互。与手柄配套的手柄操作驱动连接在服务器的USB接口上,手柄操作驱动将手柄输入的操作控制流解析为模型的操作指令流传送给服务器;服务器中有相应的代码程序,用来设定每条指令模型的特定响应;操作员进行手势、语音操作时,混合现实智能眼镜会将视点集中在要***作的三维虚拟模型部件上,当操作员给出特定的手势动作或者语音时,混合现实智能眼镜中就将视点中的模型部件信息和手势、语音信息传送到服务器上;服务器上有一套特定的程序用来解析当前的手势操作和语音操作对应的指令信息,并将指令信息作用在三维虚拟装填模型上来控制模型的运动;
第六,多混合现实设备模型状态的一致性;针对本发明涉及到的多人多设备实时操作协同的特点,在服务器-客户端一对一通讯模式中引入host域内消息一致性检测,在传统socket网络连接的基础上加入设备间实时消息同步机制。如图4,在服务器和客户端中有任意被标记为[SyncVar]标签的host域共享消息数据被修改时,数据通过无线网络共享到在host域内的所有设备,并且在响应接受到的数据操作前,设备将收到的数据信息在host域进行公示,检查所有设备收到的数据信息是否一致,如果一致,则根据消息数据进行进一步渲染,否则,所有设备都放弃对此消息的响应,直至设备共享消息数据变为一致。
第七,模型运动信息的保存以及训练过程的复现;训练过程中模型的运动信息以指令集的形式保存在数据库中,模型的每一种操作对应一种特定的指令,时间轴顺序上特定指令集的连接就构成了完整的训练过程。如图5,训练开始时,先将模型的运动指令信息保存在内存中,如果指令在训练过程中中断,就将内存中保存的指令清空,只有当整个训练过程结束时,才将内存中所有的指令保存至数据库中;如图6,当要回顾某训练过程时,首先在***中选择训练过程,之后***将载入该训练场景的信息,载入场景信息主要是先锁定数据库中的指令集,再将指令集存储在服务器的内存中;播放视频即将内存中的指令逐条读取,复现模型的运动。
Claims (3)
1.一种基于多混合现实设备的虚拟装填协同训练***,其特征在于,一台服务器、多台计算机、多台混合现实智能眼镜、一个操纵控制手柄及一台无线路由器;服务器、多台计算机以及多台混合现实智能眼镜是通过无线路由器进行网络连接;服务器将构建的高仿真度的虚拟装填设备三维模型影像投影至所述多台混合现实设备;操作员通过操作控制手柄、手势、语音的方式来与三维虚拟装填模型进行交互;操纵控制手柄通过手柄驱动将操作的数字信号传输至服务器。
2.根据权利要求1所述的一种基于多混合现实设备的虚拟装填协同训练***,其特征在于,混合现实智能眼镜包括:处理器、存储器、摄像头、耳麦,混合现实智能眼镜能够通过摄像头、耳麦采集操作员的手势及语音信息,智能眼镜将采集到的音频数据以及摄像头捕捉到的手势影像数据实时同步至服务器。
3.根据权利要求1所述的一种基于多混合现实设备的虚拟装填协同训练***,其特征在于,服务器具有处理器和存储器,所述处理器能够把接收到的交互信息解析成模型运动相对应的指令信息,三维虚拟装填模型根据特定的指令做出运动,模型影像信息同步到多台混合现实智能设备中,所述存储器将训练时模型的运动状态信息记录并保存。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811627407.1A CN109782907A (zh) | 2018-12-28 | 2018-12-28 | 一种基于多混合现实设备的虚拟装填协同训练*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811627407.1A CN109782907A (zh) | 2018-12-28 | 2018-12-28 | 一种基于多混合现实设备的虚拟装填协同训练*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109782907A true CN109782907A (zh) | 2019-05-21 |
Family
ID=66498879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811627407.1A Pending CN109782907A (zh) | 2018-12-28 | 2018-12-28 | 一种基于多混合现实设备的虚拟装填协同训练*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109782907A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111028595A (zh) * | 2019-11-30 | 2020-04-17 | 国网河南省电力公司孟州市供电公司 | 一种利用vr技术实现电缆头制作虚拟场景的方法 |
CN111047708A (zh) * | 2019-11-26 | 2020-04-21 | 中国人民解放军空军工程大学 | 一种基于混合现实的复杂设备高风险项目训练*** |
CN111258473A (zh) * | 2020-01-15 | 2020-06-09 | 西安理工大学 | 一种提高自闭症儿童泛化能力的训练方法 |
CN111341168A (zh) * | 2020-02-28 | 2020-06-26 | 西安交通大学 | 一种协同装填训练教学***及方法 |
CN111899590A (zh) * | 2020-08-25 | 2020-11-06 | 成都合纵连横数字科技有限公司 | 一种仿真操作培训过程的混合现实观摩方法 |
CN112230772A (zh) * | 2020-10-14 | 2021-01-15 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
CN112419827A (zh) * | 2020-12-16 | 2021-02-26 | 江苏一鼎堂软件科技有限公司 | 一种基于mr混合现实技术智能制造实训*** |
CN113593347A (zh) * | 2021-08-10 | 2021-11-02 | 中国人民解放军63919部队 | 一种基于虚拟现实的多人协同训练*** |
CN115470710A (zh) * | 2022-09-26 | 2022-12-13 | 北京鼎成智造科技有限公司 | 一种空中博弈仿真方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103941861A (zh) * | 2014-04-02 | 2014-07-23 | 北京理工大学 | 一种应用混合现实技术的多人合作训练*** |
CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学*** |
KR20160142648A (ko) * | 2015-06-03 | 2016-12-13 | 주식회사 지엔아이씨티 | 가상현실을 통한 프리젠테이션 훈련 시스템 |
CN106340217A (zh) * | 2016-10-31 | 2017-01-18 | 华中科技大学 | 基于增强现实技术的制造装备智能***及其实现方法 |
CN106980385A (zh) * | 2017-04-07 | 2017-07-25 | 吉林大学 | 一种虚拟装配装置、***及方法 |
CN107111894A (zh) * | 2014-09-08 | 2017-08-29 | 西姆克斯有限责任公司 | 用于专业和教育训练的增强现实模拟器 |
CN107122045A (zh) * | 2017-04-17 | 2017-09-01 | 华南理工大学 | 一种基于混合现实技术的虚拟人机示教***及方法 |
CN107145223A (zh) * | 2017-04-06 | 2017-09-08 | 北京讯腾智慧科技股份有限公司 | 基于Unity三维引擎和VR头盔的多点交互控制***和方法 |
CN108334199A (zh) * | 2018-02-12 | 2018-07-27 | 华南理工大学 | 基于增强现实的移动式多模态交互方法及装置 |
-
2018
- 2018-12-28 CN CN201811627407.1A patent/CN109782907A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103941861A (zh) * | 2014-04-02 | 2014-07-23 | 北京理工大学 | 一种应用混合现实技术的多人合作训练*** |
CN107111894A (zh) * | 2014-09-08 | 2017-08-29 | 西姆克斯有限责任公司 | 用于专业和教育训练的增强现实模拟器 |
KR20160142648A (ko) * | 2015-06-03 | 2016-12-13 | 주식회사 지엔아이씨티 | 가상현실을 통한 프리젠테이션 훈련 시스템 |
CN105788390A (zh) * | 2016-04-29 | 2016-07-20 | 吉林医药学院 | 基于增强现实的医学解剖辅助教学*** |
CN106340217A (zh) * | 2016-10-31 | 2017-01-18 | 华中科技大学 | 基于增强现实技术的制造装备智能***及其实现方法 |
CN107145223A (zh) * | 2017-04-06 | 2017-09-08 | 北京讯腾智慧科技股份有限公司 | 基于Unity三维引擎和VR头盔的多点交互控制***和方法 |
CN106980385A (zh) * | 2017-04-07 | 2017-07-25 | 吉林大学 | 一种虚拟装配装置、***及方法 |
CN107122045A (zh) * | 2017-04-17 | 2017-09-01 | 华南理工大学 | 一种基于混合现实技术的虚拟人机示教***及方法 |
CN108334199A (zh) * | 2018-02-12 | 2018-07-27 | 华南理工大学 | 基于增强现实的移动式多模态交互方法及装置 |
Non-Patent Citations (1)
Title |
---|
张茂于: "《产业专利分析报告 第51册 虚拟现实与增强现实》", 30 June 2017 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047708A (zh) * | 2019-11-26 | 2020-04-21 | 中国人民解放军空军工程大学 | 一种基于混合现实的复杂设备高风险项目训练*** |
CN111047708B (zh) * | 2019-11-26 | 2022-12-13 | 中国人民解放军空军工程大学 | 一种基于混合现实的复杂设备高风险项目训练*** |
CN111028595A (zh) * | 2019-11-30 | 2020-04-17 | 国网河南省电力公司孟州市供电公司 | 一种利用vr技术实现电缆头制作虚拟场景的方法 |
CN111258473A (zh) * | 2020-01-15 | 2020-06-09 | 西安理工大学 | 一种提高自闭症儿童泛化能力的训练方法 |
CN111258473B (zh) * | 2020-01-15 | 2021-08-06 | 西安理工大学 | 一种提高自闭症儿童泛化能力的训练方法 |
CN111341168A (zh) * | 2020-02-28 | 2020-06-26 | 西安交通大学 | 一种协同装填训练教学***及方法 |
CN111899590B (zh) * | 2020-08-25 | 2022-03-11 | 成都合纵连横数字科技有限公司 | 一种仿真操作培训过程的混合现实观摩方法 |
CN111899590A (zh) * | 2020-08-25 | 2020-11-06 | 成都合纵连横数字科技有限公司 | 一种仿真操作培训过程的混合现实观摩方法 |
CN112230772A (zh) * | 2020-10-14 | 2021-01-15 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
CN112230772B (zh) * | 2020-10-14 | 2021-05-28 | 华中师范大学 | 一种虚实融合的教具自动生成方法 |
CN112419827A (zh) * | 2020-12-16 | 2021-02-26 | 江苏一鼎堂软件科技有限公司 | 一种基于mr混合现实技术智能制造实训*** |
CN113593347A (zh) * | 2021-08-10 | 2021-11-02 | 中国人民解放军63919部队 | 一种基于虚拟现实的多人协同训练*** |
CN115470710A (zh) * | 2022-09-26 | 2022-12-13 | 北京鼎成智造科技有限公司 | 一种空中博弈仿真方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109782907A (zh) | 一种基于多混合现实设备的虚拟装填协同训练*** | |
CN108986189B (zh) | 基于三维动画中实时多人动作捕捉并直播的方法和*** | |
CN102413885B (zh) | 用于对运动捕捉应用模型跟踪的***和方法 | |
CN103941861B (zh) | 一种应用混合现实技术的多人合作训练*** | |
US20200005538A1 (en) | Remote Collaboration Methods and Systems | |
CN102596340B (zh) | 用于将动画或运动应用到角色的***和方法 | |
CN102947777B (zh) | 用户跟踪反馈 | |
CN102741885B (zh) | 装饰显示环境 | |
CN104778872B (zh) | 用于机械臂遥操作人机交互研究的仿真实验训练平台 | |
CN103854300B (zh) | 多客户端联网控制下三维场景协作搬运的实现方法 | |
CN102622774B (zh) | 起居室电影创建 | |
CN111047708B (zh) | 一种基于混合现实的复杂设备高风险项目训练*** | |
CN104881115B (zh) | 一种利用设备操控终端实现个性化交互的方法及*** | |
Barakonyi et al. | Agents that talk and hit back: Animated agents in augmented reality | |
CN110515467A (zh) | 一种虚拟现实培训领域中的多人协同交互*** | |
CN106327589A (zh) | 基于Kinect的3D虚拟试衣镜的实现方法及*** | |
CN104637088B (zh) | 一种对智能家电实现3d图形虚拟管控***及其实现方法 | |
CN103246765A (zh) | 一种装备虚拟训练平台开发方法 | |
CN106780769B (zh) | 一种减少近距离对象遮挡的三维模型绘制***及绘制方法 | |
CN110515455A (zh) | 一种基于Leap Motion和局域网内协同的虚拟装配方法 | |
CN110083235A (zh) | 交互***及数据处理方法 | |
CN115220578A (zh) | 一种基于光学动作捕捉的交互式vr***与方法 | |
Sénécal et al. | Modelling life through time: cultural heritage case studies | |
Fu et al. | Real-time multimodal human–avatar interaction | |
CN109815557A (zh) | 一种机器人模型的展示方法、装置及智能终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190521 |