CN112419827A - 一种基于mr混合现实技术智能制造实训*** - Google Patents

一种基于mr混合现实技术智能制造实训*** Download PDF

Info

Publication number
CN112419827A
CN112419827A CN202011484650.XA CN202011484650A CN112419827A CN 112419827 A CN112419827 A CN 112419827A CN 202011484650 A CN202011484650 A CN 202011484650A CN 112419827 A CN112419827 A CN 112419827A
Authority
CN
China
Prior art keywords
mixed reality
module
virtual object
feedback
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011484650.XA
Other languages
English (en)
Inventor
郑烜斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yidingtang Software Technology Co ltd
Original Assignee
Jiangsu Yidingtang Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yidingtang Software Technology Co ltd filed Critical Jiangsu Yidingtang Software Technology Co ltd
Priority to CN202011484650.XA priority Critical patent/CN112419827A/zh
Publication of CN112419827A publication Critical patent/CN112419827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及MR混合现实技术领域，公开了一种基于MR混合现实技术智能制造实训***，其技术方案要点是包括：虚拟物体构建模块，由于构建虚拟物体；现实物体采集模块，用于采集现实物体的影像；运动姿态捕捉模块，用于捕捉现实物体的运动状态；交互反馈模块，用于根据现实物体的运动状态计算虚拟物体的反馈运动轨迹；场景构建模块，用于根据现实物体和虚拟物体构建混合现实场景；混合现实显示模块，用于根据混合现实场景、虚拟物体的反馈运动轨迹合成并显示混合现实影像；服务器模块，用于支持混合现实技术服务，在混合现实场景中训练能够节约实际训练的成本，更加有利于实际生产使用。

Description

一种基于MR混合现实技术智能制造实训***
技术领域
本发明涉及MR混合现实技术领域，更具体地说，它涉及一种基于MR混合现实技术智能制造实训***。
背景技术
混合现实(Mixed Reality,简称MR)，通过电脑技术，将现实世界与虚拟世界合并在一起，从而建立出一个新的环境，以及符合一般视觉上所认知的虚拟影像，在这之中现实世界中的物件能够与虚拟世界中的物件共同存在并且即时地产生互动。例如使用者戴着它在客厅玩游戏，客厅就是游戏的地图，同时一些电脑设计好的虚拟元素也会融入进来。使用者根本感受不到现实和虚拟二者的差异。
MR目前最重要的标志是：利用MR技术，用户可以看到真实世界(AR的特点)，同时也会看到虚拟的物体(VR的特点)。MR将虚拟物体置于真实世界中，并让用户可以与这些虚拟物体进行互动。因此，MR对比VR和AR，具有更强烈的体验现场感、混合性和逼真性。
目前在智能机器人投入制造生产时，预先要对其进行大量的训练，训练完成才能够进入实际使用，但是使用实际训练，将会耗费大量的训练成本，不利于实际生产使用。
发明内容
本发明的目的是提供一种基于MR混合现实技术智能制造实训***，在混合现实场景中训练能够节约实际训练的成本，更加有利于实际生产使用。
本发明的上述技术目的是通过以下技术方案得以实现的：一种基于MR混合现实技术智能制造实训***，包括：
虚拟物体构建模块，由于构建虚拟物体；
现实物体采集模块，用于采集现实物体的影像；
运动姿态捕捉模块，用于捕捉现实物体的运动状态；
交互反馈模块，用于根据现实物体的运动状态计算虚拟物体的反馈运动轨迹；
场景构建模块，用于根据现实物体和虚拟物体构建混合现实场景；
混合现实显示模块，用于根据混合现实场景、虚拟物体的反馈运动轨迹合成并显示混合现实影像；
服务器模块，用于支持混合现实技术服务。
作为本发明的一种优选技术方案，所述交互反馈模块中还包括智能设备仿真模块，用于根据现实物体的运动状态的参数对虚拟物体的反馈进行仿真模拟，并得到仿真反馈数据作为虚拟物体的反馈运动轨迹。
作为本发明的一种优选技术方案，所述服务器模块还包括三维驱动模块，用于根据虚拟物体的反馈运动轨迹合成虚拟物体的运动影像。
作为本发明的一种优选技术方案，还包括存储器模块，用于存储虚拟物体的三维数据，用于存储合成的混合现实影像。
作为本发明的一种优选技术方案，所述场景构建模块中还设置有视角转化模块，所述视角转换模块用于根据观察视角的转化，驱动混合现实显示模块依据观察视角的变化调整混合现实影像的变化。
作为本发明的一种优选技术方案，还包括训练数据记录模块，用于记录现实物体的运动状态和对应的虚拟物体的反馈运动轨迹。
综上所述，本发明具有以下有益效果：能够用于智能制造实际训练，能够采用虚拟的物品对实际的智能制造设备进行训练，在训练中，采用混合现实技术实现重复训练并记录得到训练数据，从而得到训练结果；在混合现实场景中训练能够节约实际训练的成本，更加有利于实际生产使用。
附图说明
图1是本发明的***框图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
如图1所示，本发明提供一种基于MR混合现实技术智能制造实训***，包括对应信号传输连接的虚拟物体构建模块、现实物体采集模块、运动姿态捕捉模块、交互反馈模块、场景构建模块、混合现实显示模块、服务器模块、存储器模块、训练数据记录模块；
具体的：
虚拟物体构建模块，由于构建虚拟物体，通过调用存储器模块中虚拟物体的三维数据，来构建出虚拟物体；
现实物体采集模块，用于采集现实物体的影像，以便于构建混合现实场景；
运动姿态捕捉模块，用于捕捉现实物体的运动状态，以便于实时调整混合现实场景；
交互反馈模块，用于根据现实物体的运动状态计算虚拟物体的反馈运动轨迹，交互反馈模块中还包括智能设备仿真模块，用于根据现实物体的运动状态的参数对虚拟物体的反馈进行仿真模拟，并得到仿真反馈数据作为虚拟物体的反馈运动轨迹；
场景构建模块，用于根据现实物体和虚拟物体构建混合现实场景，场景构建模块中还设置有视角转化模块，视角转换模块用于根据观察视角的转化，驱动混合现实显示模块依据观察视角的变化调整混合现实影像的变化，以便给观察者提供更真实的视觉体验；
混合现实显示模块，用于根据混合现实场景、虚拟物体的反馈运动轨迹合成并显示混合现实影像，给观察者展示混合现实影像；
服务器模块，用于支持混合现实技术服务，服务器模块还包括三维驱动模块，用于根据虚拟物体的反馈运动轨迹合成虚拟物体的运动影像。
存储器模块，用于存储虚拟物体的三维数据，用于存储合成的混合现实影像。
训练数据记录模块，用于记录现实物体的运动状态和对应的虚拟物体的反馈运动轨迹。
本发明的一种基于MR混合现实技术智能制造实训***，能够用于智能制造实际训练，能够采用虚拟的物品对实际的智能制造设备进行训练，在训练中，采用混合现实技术实现重复训练并记录得到训练数据，从而得到训练结果；在混合现实场景中训练能够节约实际训练的成本，更加有利于实际生产使用。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于MR混合现实技术智能制造实训***，其特征是：包括：
虚拟物体构建模块，由于构建虚拟物体；
现实物体采集模块，用于采集现实物体的影像；
运动姿态捕捉模块，用于捕捉现实物体的运动状态；
交互反馈模块，用于根据现实物体的运动状态计算虚拟物体的反馈运动轨迹；
场景构建模块，用于根据现实物体和虚拟物体构建混合现实场景；
混合现实显示模块，用于根据混合现实场景、虚拟物体的反馈运动轨迹合成并显示混合现实影像；
服务器模块，用于支持混合现实技术服务。
2.根据权利要求1所述的一种基于MR混合现实技术智能制造实训***，其特征是：所述交互反馈模块中还包括智能设备仿真模块，用于根据现实物体的运动状态的参数对虚拟物体的反馈进行仿真模拟，并得到仿真反馈数据作为虚拟物体的反馈运动轨迹。
3.根据权利要求1所述的一种基于MR混合现实技术智能制造实训***，其特征是：所述服务器模块还包括三维驱动模块，用于根据虚拟物体的反馈运动轨迹合成虚拟物体的运动影像。
4.根据权利要求1所述的一种基于MR混合现实技术智能制造实训***，其特征是：还包括存储器模块，用于存储虚拟物体的三维数据，用于存储合成的混合现实影像。
5.根据权利要求1所述的一种基于MR混合现实技术智能制造实训***，其特征是：所述场景构建模块中还设置有视角转化模块，所述视角转换模块用于根据观察视角的转化，驱动混合现实显示模块依据观察视角的变化调整混合现实影像的变化。
6.根据权利要求1所述的一种基于MR混合现实技术智能制造实训***，其特征是：还包括训练数据记录模块，用于记录现实物体的运动状态和对应的虚拟物体的反馈运动轨迹。
CN202011484650.XA 2020-12-16 2020-12-16 一种基于mr混合现实技术智能制造实训*** Pending CN112419827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011484650.XA CN112419827A (zh) 2020-12-16 2020-12-16 一种基于mr混合现实技术智能制造实训***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011484650.XA CN112419827A (zh) 2020-12-16 2020-12-16 一种基于mr混合现实技术智能制造实训***

Publications (1)

Publication Number Publication Date
CN112419827A true CN112419827A (zh) 2021-02-26

Family

ID=74775154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011484650.XA Pending CN112419827A (zh) 2020-12-16 2020-12-16 一种基于mr混合现实技术智能制造实训***

Country Status (1)

Country Link
CN (1) CN112419827A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362671A (zh) * 2021-07-13 2021-09-07 中国人民解放军海军工程大学 一种船用核应急演练模拟***及演练方法
CN113642925A (zh) * 2021-08-31 2021-11-12 重庆电子工程职业学院 基于mr混合现实的智慧物流规划布局方案评价***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射***和方法
CN103996322A (zh) * 2014-05-21 2014-08-20 武汉湾流新技术有限公司 一种基于增强现实的焊接操作训练模拟方法及***
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练***
CN110491233A (zh) * 2019-08-23 2019-11-22 北京枭龙科技有限公司 一种基于混合现实的新能源汽车拆装***及方法
CN110599603A (zh) * 2019-09-20 2019-12-20 上海大学 基于增强现实的机械设备可视化交互与设备状态监控***及其方法
CN110751734A (zh) * 2019-09-23 2020-02-04 华中科技大学 一种适用于工作现场的混合现实助手***
CN111729283A (zh) * 2020-06-19 2020-10-02 杭州赛鲁班网络科技有限公司 一种基于混合现实技术的训练***及其方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射***和方法
CN103996322A (zh) * 2014-05-21 2014-08-20 武汉湾流新技术有限公司 一种基于增强现实的焊接操作训练模拟方法及***
CN109782907A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于多混合现实设备的虚拟装填协同训练***
CN110491233A (zh) * 2019-08-23 2019-11-22 北京枭龙科技有限公司 一种基于混合现实的新能源汽车拆装***及方法
CN110599603A (zh) * 2019-09-20 2019-12-20 上海大学 基于增强现实的机械设备可视化交互与设备状态监控***及其方法
CN110751734A (zh) * 2019-09-23 2020-02-04 华中科技大学 一种适用于工作现场的混合现实助手***
CN111729283A (zh) * 2020-06-19 2020-10-02 杭州赛鲁班网络科技有限公司 一种基于混合现实技术的训练***及其方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362671A (zh) * 2021-07-13 2021-09-07 中国人民解放军海军工程大学 一种船用核应急演练模拟***及演练方法
CN113642925A (zh) * 2021-08-31 2021-11-12 重庆电子工程职业学院 基于mr混合现实的智慧物流规划布局方案评价***
CN113642925B (zh) * 2021-08-31 2023-12-12 重庆电子工程职业学院 基于mr混合现实的智慧物流规划布局方案评价***

Similar Documents

Publication Publication Date Title
CN105373224B (zh) 一种基于普适计算的混合现实游戏***及方法
US6124862A (en) Method and apparatus for generating virtual views of sporting events
CN102848389B (zh) 基于视觉运动捕捉的机械臂标定及跟踪***实现方法
EP2058768A1 (en) Image viewer, image displaying method and information storage medium
US20060170652A1 (en) System, image processing apparatus, and information processing method
CN109284264B (zh) 一种图像文件格式及生成方法及装置及应用
CN111161422A (zh) 一种用于增强虚拟场景实现的模型展示方法
CN103258338A (zh) 利用真实数据来驱动仿真的虚拟环境的方法和***
CN109817031B (zh) 一种基于vr技术的肢体运动教学方法
CN112419827A (zh) 一种基于mr混合现实技术智能制造实训***
CN111862348B (zh) 视频显示方法、视频生成方法、装置、设备及存储介质
CN107911737A (zh) 媒体内容的展示方法、装置、计算设备及存储介质
CN101872243B (zh) 一种实现跟随现实空间方向的360°全景播放***及其方法
CN106162204A (zh) 全景视频生成、播放方法、装置及***
CN105894584A (zh) 一种三维沉浸式环境下与现实环境交互的方法和装置
CN110544314B (zh) 虚拟现实与仿真模型的融合方法、***、介质及设备
CN114047824A (zh) 多终端用户在虚拟空间交互的方法
EP2065854B1 (en) posture dependent normal vectors for texture mapping
CN106390454A (zh) 一种现实场景虚拟游戏***
CN103780873A (zh) 一种变电站视频监控***实现3d场景显示的方法
CN207601427U (zh) 一种基于虚拟现实混合的仿真实验室
CN206433094U (zh) 博物馆展陈用远程vr影像数据演示***
CN110610536A (zh) 一种vr设备用显示真实场景的方法
CN112634695A (zh) 基于mr混合现实技术的物流实训***
CN111242107A (zh) 用于设置空间中的虚拟对象的方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226

RJ01 Rejection of invention patent application after publication