CN111047708B - 一种基于混合现实的复杂设备高风险项目训练*** - Google Patents

一种基于混合现实的复杂设备高风险项目训练*** Download PDF

Info

Publication number
CN111047708B
CN111047708B CN201911174115.1A CN201911174115A CN111047708B CN 111047708 B CN111047708 B CN 111047708B CN 201911174115 A CN201911174115 A CN 201911174115A CN 111047708 B CN111047708 B CN 111047708B
Authority
CN
China
Prior art keywords
virtual
mixed reality
server
dimensional model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911174115.1A
Other languages
English (en)
Other versions
CN111047708A (zh
Inventor
王崴
罗又文
邱盎
瞿珏
程月盟
杨洁
雷松贵
李淘金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Engineering University of PLA
Original Assignee
Air Force Engineering University of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Engineering University of PLA filed Critical Air Force Engineering University of PLA
Priority to CN201911174115.1A priority Critical patent/CN111047708B/zh
Publication of CN111047708A publication Critical patent/CN111047708A/zh
Application granted granted Critical
Publication of CN111047708B publication Critical patent/CN111047708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于混合现实的复杂设备高风险项目训练***，包括复杂设备、服务器、混合现实设备、控制器和无线路由器；服务器与混合现实设备通过无线路由器进行网络连接；复杂设备由实装训练部分和控制台组成；服务器采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，并通过无线网络与混合现实设备进行通讯。本发明将传统实装训练成本较高的部分全息虚拟化，成本较低的部分实物化，具有良好的操作性且沉浸感高，设备简单便携不易受外界环境干扰，能够在室内空间进行大型设备的高风险项目训练，降低了训练成本，提升了体验感和训练效果。

Description

一种基于混合现实的复杂设备高风险项目训练***
技术领域
本发明属于人机交互领域技术领域，具体涉及一种基于混合现实的复杂设备高风险项目训练***。
背景技术
混合现实技术(MR)提供了一种全新的沉浸式虚拟信息显示与交互的支撑手段，是在增强现实技术(AR)上的进一步发展，更加强调用户可视化环境中真实世界和虚拟世界、物理实体和虚拟信息融合的真实性和实时性。该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
一般来说，对于大型设备诸如吊车、装填车等的操作训练，直接在实装上训练存在一定的风险，在训练过程中有可能发生不可预测的意外事故，这样会对设备造成损坏，重则导致操作员受伤，且因为占用较大的物理空间须在室外进行，极易受到外界环境因素的干扰，因此在这些领域往往运用虚拟仿真训练。传统的纯虚拟仿真或半实物仿真都具有局限性，虚拟仿真(如VR)虚拟环境虽然较为真实，但与现实的割裂感强，操作体验较差，难以达到预期的训练效果；半实物仿真用户在观察视角上具有很大的局限性，只能看到部分固定角度的视角；在交互方面，VR虚拟仿真多采用与显示设备相配套的控制手柄来映射交互功能，与真正的实装操作有存在一定的差距，影响了训练效果；而半实物仿真训练虽然操作更为真实，但是交互方式单一，训练较为枯燥，且无法在训练的过程中进行智能化的提示和引导。因此，有必要发明一种简单易操作、交互方式多元化、高沉浸感训练体验的训练***，以提高大型复杂设备高风险项目训练的效率和效果。
发明内容
为了解决上述问题，本发明的目的是提出一种基于混合现实的复杂设备高风险项目训练***，本发明建立复杂设备的虚拟三维仿真模型并投影在混合现实眼镜中，控制台采用实物，通过识别控制台的机械支撑平台、控制台上的标志使虚拟模型与真实物体精密配合达到虚实融合的效果，且等比大小的虚拟模型可以从不同的角度、方位观看，提高了训练人员的操作感和沉浸感；且交互方式多元化，操作更加简单，提升了操作效率和训练效果。
为了达到上述目的，本发明采用以下技术方案予以解决。
一种基于混合现实的复杂设备高风险项目训练***，包括复杂设备、服务器、混合现实设备、控制器和无线路由器；所述服务器与混合现实设备通过无线路由器进行网络连接；所述复杂设备由实装训练部分和控制台组成；
所述服务器采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，并通过无线网络与混合现实设备进行通讯；
所述混合现实设备接收虚拟三维模型及其空间定位和运动信息，并对其进行投影显示，以与佩戴用户进行交互；
佩戴用户通过控制操作台、手势或语音的方式与虚拟三维模型进行交互；
所述控制台固定于训练场地上，且其上贴有标志图片；通过在服务器中设置虚拟三维模型与标志图片的位置关系，使得当混合现实设备读取到控制台上的标志图片，即可实现虚拟三维模型显示位置与控制台实际位置的配合，进而实现虚实融合；
所述控制台通过驱动将佩戴用户的操作信号传输至服务器，服务器对该操作进行解算后，生成新的空间定位和运动信息，反馈至混合现实设备进行投影显示。
进一步地，所述混合现实设备包含存储器、处理器、图像采集器和声音采集器；
所述图像采集器用于采集佩戴用户的手势指令，并将采集到的手势指令数据实时同步至服务器；
所述声音采集器用于采集佩戴用户的语音指令；并将采集到的语音指令数据实时同步至服务器；
所述处理器用于将服务器传来的交互信息解析成虚拟三维模型运动相对应的指令信息，并控制虚拟三维模型根据该指令信息进行对应运动；
所述存储器将训练时模型的运动状态信息记录并保存。
进一步地，所述采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，其具体为：
首先，利用Rhino的3DS Max模型构建实装训练部分的各部件；
其次，通过分析实装训练部分的各部件之间的运动依赖关系，设置实装训练部分的各部件之间的父子嵌套关系，进而构建整个三维虚拟装填模型运动场景树；
最后，采用以Unity 3D为核心的三维仿真渲染引擎，用Unity Shader着色器对模型表面进行纹理渲染，得到虚拟三维模型。
更进一步地，所述利用Rhino的3DS Max模型构建实装训练部分的各部件，其采用网格建模、面片建模和/或NURBS建模；其中，对于外表看起来坚硬且细节较少的部位采用网格建模；对于表面光滑的、有组织的部位采用面片建模和/或NURBS建模。
进一步地，所述构建虚拟三维模型为利用室内SLAM标定法将虚拟三维模型的空间坐标位置绝对化，并确定以该虚拟三维模型为参照的统一世界坐标系。
进一步地，所述服务器与多个混合现实设备进行通讯，每个混合现实设备与服务器形成一对一通讯；多个混合现实设备间具有相同的认知层级。
更进一步地，在服务器-混合现实设备的一对一通讯模式中引入host域内消息一致性检测，即在多个混合现实设备间加入实时信息同步机制。
与现有技术相比，本发明的有益效果为：
(1)本发明将复杂设备的实装训练部分即主体部分进行虚拟化，通过混合现实智能眼镜以全息影像的形式投影；将复杂设备的控制台部分按照原物单独制作，配合基于图像识别的跟踪注册，实现了虚拟模型和实物控制台的虚实融合。
(2)本发明能够实现多用户佩戴多台混合现实设备从自身所在方位和角度对虚拟三维模型进行观察的效果，支持多用户通过操作台、手势、语音等交互方式协同进行虚拟协同化训练，***同时也具有训练过程复现与分析的功能。
(3)本发明将传统实装训练成本较高的部分(大型设备)进行全息虚拟化，并将其与成本较低的控制台进行虚实融合，具有良好的操作性且沉浸感高，设备简单便携不易受外界环境干扰，能够在室内空间进行大型设备的高风险项目训练，降低了训练成本，提升了体验感和训练效果。
附图说明
下面结合附图和具体实施例对本发明做进一步详细说明。
图1为本发明的实施流程图；
图2为本发明实施例的服务器与多个混合现实设备的网络连接图；
图3为本发明实施例中用户训练过程的虚实融合示意图；
图4为本发明实施例中用户训练过程的操作示例场景图；
图5为本发明实施例中的控制指令信息传输图；
图6为本发明实施例中的虚拟三维模型运动信息保存流程图；
图7为本发明实施例中的虚拟三维模型运动信息复现流程图；
具体实施方式
下面结合附图对本发明的实施例及效果作进一步详细描述。
参考图1，一种基于混合现实的复杂设备高风险项目训练***，包括复杂设备、服务器、混合现实设备、控制器和无线路由器；所述服务器与混合现实设备通过无线路由器进行网络连接；所述复杂设备由实装训练部分和控制台组成。
所述服务器采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，并通过无线网络与混合现实设备进行通讯；所述混合现实设备接收虚拟三维模型及其空间定位和运动信息，并对其进行投影显示，以与佩戴用户进行交互；佩戴用户通过控制操作台、手势或语音的方式与虚拟三维模型进行交互；所述控制台固定于训练场地上，且其上贴有标志图片；通过在服务器中设置虚拟三维模型与标志图片的位置关系，使得当混合现实设备读取到控制台上的标志图片，即可实现虚拟三维模型显示位置与控制台实际位置的配合，进而实现虚实融合；其具体过程为：利用Unity 3D中Vuforia SDK进行基于图像识别的虚拟模型跟踪注册，通过向Vuforia服务器上传识别图片，下载包含图片识别信息的Unity Package和License Key，在Unity中配置虚拟模型与图片的位置，再将图片贴在机械支架以及控制台相应位置上。当混合现实设备的摄像头识别到图片，生成虚拟三维模型与控制台形成虚实融合的效果；***虚实融合的空间示意图如图2所示，训练场景的现实场景如图3所示。
控制台通过驱动将佩戴用户的操作信号传输至服务器，服务器对该操作进行解算后，生成新的空间定位和运动信息，反馈至混合现实设备进行投影显示。
本发明的混合现实设备包含存储器、处理器、图像采集器和声音采集器；所述图像采集器用于采集佩戴用户的手势指令，并将采集到的手势指令数据实时同步至服务器；所述声音采集器用于采集佩戴用户的语音指令；并将采集到的语音指令数据实时同步至服务器；
所述处理器用于将服务器传来的交互信息解析成虚拟三维模型运动相对应的指令信息，并控制虚拟三维模型根据该指令信息进行对应运动；所述存储器将训练时模型的运动状态信息记录并保存。
示例性地，本发明的虚拟三维模型构建过程具体为：
首先，利用Rhino的3DS Max模型构建实装训练部分的各部件；
其次，通过分析实装训练部分的各部件之间的运动依赖关系，设置实装训练部分的各部件之间的父子嵌套关系，进而构建整个三维虚拟装填模型运动场景树；
最后，采用以Unity 3D为核心的三维仿真渲染引擎，用Unity Shader着色器对模型表面进行纹理渲染，得到虚拟三维模型。
建模过程中，本发明利用Rhino、3DS Max三维建模工具进行虚拟装填模型的构建，其中选用的建模方法有：网格建模、面片建模以及NURBS建模；其中，对于外表看起来坚硬且细节较少的模型可以使用网格建模方法；而对于复杂的、表面光滑的、有组织的模型选择面片建模和NURBS建模方法更合适；这三种建模方法多样化的结合使用可以得到最完美的建模效果。运动部件建模完成后，将模型导入至Unity 3D渲染引擎中，利用Unity 3D中的shader着色器对模型表面纹理进行渲染。为保证虚拟渲染场景的仿真度，利用Unity 3D渲染引擎为模型部件提供重力、碰撞、柔性、惯性、天气等逼真的物理仿真特性。通过分析模型各个部件之间的运动依赖关系设置模型部件之间的父子嵌套关系，最终完成整个三维虚拟装填模型运动场景树的构建。
具体地，本发明的服务器与多个混合现实设备进行通讯，每个混合现实智能眼镜与服务器形成一对一通讯；多个混合现实智能眼镜间具有相同的认知层级。
示例性地，服务器、多个混合现实智能眼镜以及PC通过无线路由器进行连接，如图4所示；网络连接中遵循TCP/IP协议，***运行时服务器自动打开网络监听，实时监控网络，等待混合现实智能眼镜客户端与其进行匹配连接；用户佩戴上混合现实智能眼镜进入虚拟训练场景，其对模型的操作信息通过无线网络传入服务器，服务器运算之后再将结果传回到混合现实设备的客户端。
本发明***能够实现三维虚拟模型位姿的多视角观察：服务器与多个混合现实设备同时进行交互时，服务器利用室内SLAM标定法将虚拟三维模型的空间坐标位置绝对化，并确定以该虚拟三维模型为参照的统一世界坐标系；这样多名用户同时佩戴混合现实设备均可在三维场景中漫游，全方位地观察模型。混合现实设备将实时观察到的模型影像发送给服务器，通过连接其他投影设备，其他人员也能观察到模型多视角的状态。
本发明多用户协同观察与交互时，在服务器-混合现实智能眼镜的一对一通讯模式中引入host域内消息一致性检测，即在多个混合现实智能眼镜间加入实时信息同步机制。其具体交互过程为：用户通过操作控制台、手势、语音等任一种或多种方式与虚拟三维模型(三维虚拟装填模型)进行交互，控制流程如图5所示。
与控制台配套的操作驱动连接在服务器的USB接口上，控制台操作驱动将操作手柄输入的操作控制流，解析为虚拟三维模型的操作指令流，传送给服务器；服务器中有相应的代码程序，用来设定每条指令模型的特定响应；用户进行手势、语音操作时，混合现实显示设备会将视点集中在要***作的虚拟三维模型部件上，当用户给出特定的手势动作或者语音时，混合现实显示设备中就将视点中的模型部件信息和手势、语音信息传送到服务器上；服务器上有一套特定的程序，用来解析当前的手势操作和语音操作对应的指令信息，并将指令信息作用在虚拟三维模型上来控制该模型的运动。
本发明涉及到的多人多设备协同操作训练，在服务器-客户端一对一通讯模式中引入host域内消息一致性检测，在传统socket网络连接的基础上，加入设备间实时消息同步机制：即在服务器和客户端中有任意被标记为[SyncVar]标签的host域共享消息数据被修改时，数据通过无线网络共享到在host域内的所有设备，并且在响应接受到的数据操作前，设备将收到的数据信息在host域进行公示，检查所有设备收到的数据信息是否一致，如果一致，则根据消息数据进行进一步渲染，否则，所有设备都放弃对此消息的响应，直至设备共享消息数据变为一致。
本发明训练过程中信息保存及复现过程为：
训练过程中信息保存：训练过程中虚拟三维模型的运动信息以指令集的形式保存在数据库中，其每一种操作对应一种特定的指令，时间轴顺序上特定指令集的连接就构成了完整的训练过程。如图6所示，训练开始时，先将模型的运动指令信息保存在内存中，如果指令在训练过程中中断，就将内存中保存的指令清空；当整个训练过程结束时，将内存中所有的指令保存至数据库中。
训练过程复现：如图7所示，当要回顾某训练过程时，首先在***中选择训练过程，之后***将载入该训练场景的信息，载入场景信息主要是先锁定数据库中的指令集，再将指令集存储在服务器的内存中；播放视频即将内存中的指令逐条读取，复现模型的运动。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于混合现实的复杂设备高风险项目训练***，其特征在于，包括复杂设备、服务器、混合现实设备、控制器和无线路由器；所述服务器与混合现实设备通过无线路由器进行网络连接；所述复杂设备由实装训练部分和控制台组成；
所述服务器采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，并通过无线网络与混合现实设备进行通讯；
所述混合现实设备接收虚拟三维模型及其空间定位和运动信息，并对其进行投影显示，以与佩戴用户进行交互；
佩戴用户通过控制操作台、手势或语音的方式与虚拟三维模型进行交互；
所述控制台固定于训练场地上，且其上贴有标志图片；通过在服务器中设置虚拟三维模型与标志图片的位置关系，使得当混合现实设备读取到控制台上的标志图片，即可实现虚拟三维模型显示位置与控制台实际位置的配合，进而实现虚实融合；
所述控制台通过驱动将佩戴用户的操作信号传输至服务器，服务器对该操作进行解算后，生成新的空间定位和运动信息，反馈至混合现实设备进行投影显示。
2.根据权利要求1所述的基于混合现实的复杂设备高风险项目训练***，其特征在于，所述混合现实设备包含存储器、处理器、图像采集器和声音采集器；
所述图像采集器用于采集佩戴用户的手势指令，并将采集到的手势指令数据实时同步至服务器；
所述声音采集器用于采集佩戴用户的语音指令；并将采集到的语音指令数据实时同步至服务器；
所述处理器用于将服务器传来的交互信息解析成虚拟三维模型运动相对应的指令信息，并控制虚拟三维模型根据该指令信息进行对应运动；
所述存储器将训练时模型的运动状态信息记录并保存。
3.根据权利要求1所述的基于混合现实的复杂设备高风险项目训练***，其特征在于，所述采用三维建模工具构建与实装训练部分相同的虚拟三维模型，解算虚拟三维模型的空间定位和运动信息，其具体为：
首先，利用Rhino的3DS Max模型构建实装训练部分的各部件；
其次，通过分析实装训练部分的各部件之间的运动依赖关系，设置实装训练部分的各部件之间的父子嵌套关系，进而构建整个三维虚拟装填模型运动场景树；
最后，采用以Unity 3D为核心的三维仿真渲染引擎，用Unity Shader着色器对模型表面进行纹理渲染，得到虚拟三维模型。
4.根据权利要求3所述的基于混合现实的复杂设备高风险项目训练***，其特征在于，所述利用Rhino的3DS Max模型构建实装训练部分的各部件，其采用网格建模、面片建模和/或NURBS建模；其中，对于外表看起来坚硬且细节较少的部位采用网格建模；对于表面光滑的、有组织的部位采用面片建模和/或NURBS建模。
5.根据权利要求1所述的基于混合现实的复杂设备高风险项目训练***，其特征在于，所述构建虚拟三维模型为利用室内SLAM标定法将虚拟三维模型的空间坐标位置绝对化，并确定以该虚拟三维模型为参照的统一世界坐标系。
6.根据权利要求5所述的基于混合现实的复杂设备高风险项目训练***，其特征在于，所述服务器与多个混合现实设备进行通讯，每个混合现实设备与服务器形成一对一通讯；多个混合现实设备间具有相同的认知层级。
7.根据权利要求6所述的基于混合现实的复杂设备高风险项目训练***，其特征在于，在服务器-混合现实设备的一对一通讯模式中引入host域内消息一致性检测，即在多个混合现实设备间加入实时信息同步机制。
CN201911174115.1A 2019-11-26 2019-11-26 一种基于混合现实的复杂设备高风险项目训练*** Active CN111047708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911174115.1A CN111047708B (zh) 2019-11-26 2019-11-26 一种基于混合现实的复杂设备高风险项目训练***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911174115.1A CN111047708B (zh) 2019-11-26 2019-11-26 一种基于混合现实的复杂设备高风险项目训练***

Publications (2)

Publication Number Publication Date
CN111047708A CN111047708A (zh) 2020-04-21
CN111047708B true CN111047708B (zh) 2022-12-13

Family

ID=70233425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911174115.1A Active CN111047708B (zh) 2019-11-26 2019-11-26 一种基于混合现实的复杂设备高风险项目训练***

Country Status (1)

Country Link
CN (1) CN111047708B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680736A (zh) * 2020-06-03 2020-09-18 长春博立电子科技有限公司 一种基于虚拟现实的人工智能行为分析模型训练***及其方法
WO2022036473A1 (zh) * 2020-08-17 2022-02-24 南京翱翔智能制造科技有限公司 一种基于动态三维重建的混合现实协同场景共享方法
CN111899590B (zh) * 2020-08-25 2022-03-11 成都合纵连横数字科技有限公司 一种仿真操作培训过程的混合现实观摩方法
CN113566829A (zh) * 2021-07-19 2021-10-29 上海极赫信息技术有限公司 基于高精度定位技术的混合现实的导览方法、***及mr设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184342A (zh) * 2011-06-15 2011-09-14 青岛科技大学 一种虚实融合的手功能康复训练***及方法
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184342A (zh) * 2011-06-15 2011-09-14 青岛科技大学 一种虚实融合的手功能康复训练***及方法
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
导弹装备分布式虚拟协同操作训练***设计;蔡启航等;《传感器与微***》;20180803(第08期);全文 *

Also Published As

Publication number Publication date
CN111047708A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111047708B (zh) 一种基于混合现实的复杂设备高风险项目训练***
KR101918262B1 (ko) 혼합 현실 서비스 제공 방법 및 시스템
CN109859538A (zh) 一种基于混合现实的关键设备培训***及方法
CN102509330B (zh) 基于电力gis的变电站虚拟三维***的应用方法
Klinker et al. Fata morgana-a presentation system for product design
CN102880464B (zh) 一种三维游戏引擎***
CN109782907A (zh) 一种基于多混合现实设备的虚拟装填协同训练***
CN104750931A (zh) 应用于室内设计的智能设备控制布置***
CN106600688A (zh) 基于三维建模技术的虚拟现实***
CN108765576B (zh) 基于OsgEarth的VIVE虚拟地球漫游浏览方法
CN110321000B (zh) 一种面向智能***复杂任务的虚拟仿真***
CN110138831A (zh) 一种进行远程协助的方法与设备
CN110083235A (zh) 交互***及数据处理方法
CN114341943A (zh) 使用平面提取的简单环境求解器
CN107932510A (zh) 基于动作采集的nao机器人***
CN111467789A (zh) 一种基于HoloLens的混合现实交互***
CN103093502A (zh) 一种基于旋转三视图的三维模型信息获取方法
CN115661412A (zh) 一种基于混合现实的航空发动机辅助装配***及方法
CN114169546A (zh) 一种基于深度学习的mr远程协同装配***及方法
CN113628324A (zh) 一种智慧高速公路vr互动教学***
Fu et al. Real-time multimodal human–avatar interaction
CN109857258B (zh) 一种虚拟远程遥控方法及装置、***
CN211062003U (zh) 一种基于计算机视觉的多人协同***
CN115556115A (zh) 基于mr技术的协作机器人控制***
CN206421330U (zh) 一种虚拟现实资源平台***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant