CN106601062A - 一种用于模拟矿井灾害逃生训练的交互方法 - Google Patents

一种用于模拟矿井灾害逃生训练的交互方法 Download PDF

Info

Publication number
CN106601062A
CN106601062A CN201611026775.1A CN201611026775A CN106601062A CN 106601062 A CN106601062 A CN 106601062A CN 201611026775 A CN201611026775 A CN 201611026775A CN 106601062 A CN106601062 A CN 106601062A
Authority
CN
China
Prior art keywords
virtual reality
mine
hand
skeleton
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611026775.1A
Other languages
English (en)
Inventor
孙农亮
王伟志
冯文琪
刘清
刘一清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN201611026775.1A priority Critical patent/CN106601062A/zh
Publication of CN106601062A publication Critical patent/CN106601062A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Strategic Management (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于模拟矿井灾害逃生训练的交互方法，其采用的逃生训练***，包括虚拟现实眼镜、全方位型VR跑步机、体感交互设备和计算机，全方位型VR跑步机根据人体的移动状态控制虚拟现实矿井场景中人物模型的动作，并通过体感交互设备进行人体骨骼跟踪和手势识别，完成虚拟现实矿井场景中人物模型的相关交互操作，最终将三维虚拟矿井的实时信息通过虚拟现实眼镜输出，使受训者完成全方位模拟仿真现实情况的虚拟现实矿井逃生训练。本发明使训练者在原地进行高度还原真实火灾情况的操作，培训体验好。

Description

一种用于模拟矿井灾害逃生训练的交互方法
技术领域
本发明涉及一种用于模拟矿井灾害逃生训练的交互方法。
背景技术
安全问题长期以来困扰着煤炭行业的发展，为了使井下作业人员熟悉井下环境、掌握自救方法，虚拟矿井逃生训练显得尤为重要。目前的虚拟矿井逃生训练***过分依赖键盘鼠标等传统交互设备，受训者无法通过肢体操作控制虚拟巷道中的自由跑动、不能实现与巷道内虚拟设施的互动，因此体验效果不佳，缺乏在逃生过程中的紧张感和沉浸感。
发明内容
本发明的目的在于提出一种用于模拟矿井灾害逃生训练的交互方法，以便使受训者完成全方位模拟仿真现实情况的虚拟现实矿井逃生训练。
为了实现上述目的，本发明采用如下技术方案：
一种用于模拟矿井灾害逃生训练的交互方法，其采用的逃生训练***包括虚拟现实眼镜、全方位型VR跑步机、体感交互设备和计算机；
其中，虚拟现实眼镜、全方位型VR跑步机、体感交互设备分别与计算机相连；所述实现方法包括：
通过计算机生成等比例三维全景仿真虚拟现实矿井***的步骤；
通过虚拟现实眼镜呈现立体感的虚拟现实矿井场景的步骤；
通过全方位型VR跑步机将人体的移动状态转换为对虚拟现实矿井场景中人物模型的移动操作控制的步骤；以及
通过体感交互设备获取人体骨骼的实时追踪，并对人体手部骨骼节点进行识别，从而完成对虚拟现实矿井场景中人物模型相关交互操作控制的步骤。
优选地，所述人体的移动状态包括行走、跳跃和跑动。
优选地，所述交互操作包括触碰式交互操作或抓取式交互操作。
优选地，利用虚拟现实眼镜中包括陀螺仪和加速计在内的惯性传感器实时感知人体头部的位置，并对应调整显示画面的视角，使人体融入到虚拟现实矿井场景中。
优选地，所述虚拟现实眼镜通过虚幻引擎底层插件的支持，从虚拟现实矿井***构建的矿井地图中获取场景相机捕捉到的画面，并以每帧不高于13ms的速度刷新画面。
优选地，所述全方位型VR跑步机上的运动轨迹和速度数据通过全方位型VR跑步机底部的八块轨迹追踪板获取并传输至计算机，实时转化为人物模型的相应方向向量和运动速度，控制人物模型和场景相机按人体运动方向与速度在虚拟现实矿井场景中移动。
优选地，所述体感交互设备获取人体骨骼的实时追踪的步骤如下：
1)体感交互设备选用Kinect，根据Kinect获取到人体的25个骨骼节点，在三维建模软件中建立与Kinect骨骼节点一致的人物模型；
2在虚幻引擎中建立Avatar***，获取骨架网格物体动画的实例，将3DMax中建立的三维人物模型与Kinect骨骼关节点相对应，并通过Microsoft Kinect SDK开发包和OpaqueMultimedia开发的第三方插件，逐帧获取人物骨骼节点空间位置和方向信息；
其中，Kinect Interface接口获取人体骨骼对应的关节点，Get Centered Body函数和GetJoint Absolute Position函数获取当前操作骨骼和对应关节点追踪的位置信息；
3)最后，将追踪到的人体骨骼与虚幻引擎里的人物模型的骨骼节点一一对应，使人物模型的运动轨迹与人体做出的动作反应相一致。
优选地，所述触碰式交互操作的过程具体如下：
1)在虚幻引擎导入的人体骨骼手部绑定碰撞体，通过Attach To函数将两碰撞体与人体骨骼的手部节点参数hand_l或hand_r依次根据父子关系使用Snap to Target方式进行绑定，此时经体感交互设备控制人体骨骼的手部即存在碰撞；
2)在虚拟现实矿井场景中需要控制操作的位置设置相应的触发器；
3)通过体感交互设备控制人体骨骼移动至所需控制操作位置后，手部碰撞体通过触碰方式开启触发器操作事件。
优选地，所述抓取式交互操作的过程具体如下：
1)在虚拟现实矿井场景中创建静态网格物体，并对应加入碰撞准备人物骨骼关节点与静态网格物体的绑定；
2)通过Get Hand State as Exceution函数，添加左右手枚举值和KinectInterface接口参数，从而在每帧图像中获取Kinect识别的手势状态；
3)当识别手部状态为Open状态时，使用Attach To函数将碰撞体和人体骨骼的手部关节点绑定，使用Move Component to函数添加待操作的静态网格物体引用，并将待操作目标物***置设置为关节点参数hand_l/hand_r所在位置；
4)当识别手部状态为Close状态时，则使用虚幻引擎自带的Set Visibility函数和Detach函数将人体骨骼绑定的碰撞体隐藏，从而不与其他物体发生碰撞进行操作。
本发明具有如下优点：
本发明方法采用虚拟现实眼镜、全方位型VR跑步机、体感交互设备和计算机相结合的形式，全方位型VR跑步机根据人体的移动状态控制虚拟现实矿井场景中人物模型的动作，并通过体感交互设备进行人体骨骼跟踪和手势识别，完成虚拟现实矿井场景中人物模型的交互操作等，最终将三维虚拟矿井的实时信息，通过虚拟现实眼镜输出，使受训者完成全方位模拟仿真现实情况的虚拟现实矿井逃生训练。本发明能够节省搭建真实逃生***的人力物力，并使训练者在原地进行高度还原真实火灾情况的操作，获得较好的培训体验。
附图说明
图1为本发明方法所采用的逃生训练***的结构示意图；
其中，1-计算机，2-体感交互设备，3-虚拟现实眼镜，4-人体，5-全方位型VR跑步机。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
结合图1所示，一种模拟矿井灾害逃生训练***，包括计算机1、体感交互设备2、虚拟现实眼镜3和全方位型VR跑步机5。其中：
体感交互设备2、虚拟现实眼镜 3和全方位型VR跑步机5分别与计算机1相连。
本发明中的体感交互设备2例如可以采用Kinect等。
本发明中的虚拟现实眼镜3例如可以采用Oculus Rift，当然，该虚拟现实眼镜 3还可以是PlayStation VR、Vive Pre、Oculus rift DK2等。
本发明中的全方位型VR跑步机5例如可以采用Virtuix Omni等。
一种用于模拟矿井灾害逃生训练的交互方法，采用上述逃生训练***，该方法包括：
a通过计算机1生成等比例三维全景仿真虚拟现实矿井***的步骤；
b通过虚拟现实眼镜3呈现立体感的虚拟现实矿井场景的步骤；
c通过全方位型VR跑步机5将人体的移动状态转换为对虚拟现实矿井场景中人物模型的移动操作控制的步骤；以及
d通过体感交互设备2获取人体骨骼的实时追踪，并对人体手部骨骼节点进行识别，从而完成对虚拟现实矿井场景中人物模型相关交互操作控制的步骤。
在步骤a中建立的等比例三维全景仿真虚拟现实矿井***具有如下特点：
1.结合矿井地形生成适配具体矿井的相关虚拟现实矿井场景；
2.结合受训者的具体交互操作对虚拟现实矿井***进行实时更新；
3.规划最佳路径、逃生时进行逃生路线培训。
在步骤b中，利用虚拟现实眼镜3作为逃生训练***的视觉输出设备，分别为受训者的双眼提供不同的画面，通过双眼视差产生较强立体感。
利用虚拟现实眼镜3中包括陀螺仪和加速计在内的惯性传感器实时感知受训者头部的位置，并对应调整显示画面的视角，使受训者融入到虚拟现实矿井场景中。
在步骤c中，人体的移动状态包括行走、跳跃和跑动。通过全方位型VR跑步机5可以将上述移动状态转化为虚拟现实矿井场景中人物模型对应的移动状态。
受训者使用特制低摩擦鞋，借助腰部辅助圆环支撑，通过全方位型VR跑步机5的碗状构造底座，在全方位型VR跑步机5上前后左右走动，全方位型VR跑步机5的碗装构造底座保证受训者走动后仍保持在原位置，受训者在全方位型VR跑步机5上的运动轨迹和速度数据通过全方位型VR跑步机5底部的八块轨迹追踪板获取并传输至计算机，实时转化为人物模型的相应方向向量和运动速度，控制人物模型和场景相机按人体运动方向与速度在虚拟现实矿井场景中移动，从而增强沉浸感和可操控性。
在步骤d中，体感交互设备2获取人体骨骼的实时追踪的步骤如下：
1)选取Kinect作为本发明中的体感交互设备2，根据体感交互设备获取到人体的25个骨骼节点，在三维建模软件中建立与Kinect骨骼节点一致的人物模型；
2)在虚幻引擎中建立Avatar***，获取骨架网格物体动画的实例，将3DMax中建立的三维人物模型与Kinect骨骼关节点相对应，并通过Microsoft Kinect SDK开发包和OpaqueMultimedia开发的第三方插件，逐帧获取人物骨骼节点空间位置和方向信息；
其中，Kinect Interface接口获取人体骨骼对应的关节点，Get Centered Body函数和GetJoint Absolute Position函数获取当前操作骨骼和对应关节点追踪的位置信息；
3)最后，将追踪到的人体骨骼与虚幻引擎里的人物模型的骨骼节点一一对应，使人物模型的运动轨迹与人体做出的动作反应相一致。
在步骤d中，体感交互设备2体感交互的方式，使得人机交互操作更加简单自然，所有的交互操作都可由肢体动作完成。除了使用者与 3D人物模型的动作一致外，用自然交互方式在场景中与物体的交互也是一项重要功能。
本发明中相关交互操作包括触碰式交互操作或抓取式交互操作。
具体的，触碰式交互操作的过程具体如下：
1)在虚幻引擎导入的人体骨骼手部绑定碰撞体，通过Attach To函数将两碰撞体与人体骨骼的手部节点参数hand_l或hand_r依次根据父子关系使用Snap to Target方式进行绑定，此时经体感交互设备控制人体骨骼的手部即存在碰撞；
2)在虚拟现实矿井场景中需要控制操作的位置，诸如巷道闸门、报警装置、升降机等地点，设置相应的触发器；
3)通过体感交互设备2控制人体骨骼移动至所需控制操作位置后，手部碰撞体通过触碰方式开启触发器操作事件，播放预设闸门关闭动画、报警灯报警广播、启动升降器升起等动画、声音及特效，从而实现对场景中进入区域、触发按钮等简单交互。
而抓取式交互操作则是通过体感交互设备2追踪获取到四个手部骨骼关节点的相对位置，从而判定手部动作识别手势状态进行相应操作。
抓取式交互操作的过程具体如下：
1)在虚拟现实矿井场景中创建灭火器、逃生面具、救生舱、井下作业设备等静态网格物体，并对应加入碰撞准备人物骨骼关节点与静态网格物体的绑定；
2)通过Get Hand State as Exceution函数，添加左右手枚举值和KinectInterface接口参数，从而在每帧图像中获取Kinect识别的手势状态；
3)当识别手部状态为Open状态时，结合上述过程使用Attach To函数将碰撞体和人体骨骼的手部关节点绑定，使用Move Component to函数添加待操作的静态网格物体引用，并将待操作目标物***置设置为关节点参数hand_l/hand_r所在位置；
4)当识别手部状态为Close状态时，则使用虚幻引擎自带的Set Visibility函数和Detach函数将人体骨骼绑定的碰撞体隐藏，从而不与其他物体发生碰撞进行操作。
本发明中逃生训练***的具体使用过程如下：
受训者进入全方位型VR跑步机5，面向体感交互设备2站立，佩戴虚拟现实眼镜3。
受训者进入仿真虚拟现实矿井***，准备工作就绪，开启各交互设备。
虚拟现实眼镜3呈现培训***界面，界面采用卡片式UI设计，受训者抬起左手水平挥动，由Kinect识别手势操作进行菜单切换；通过界面中心的准星选中菜单选项；视觉悬停3秒即为确认选中，进入受训者所选灾害模式及相应矿井地图开始训练。
逃生训练分为教程训练和自主训练两种模式：
教程训练通过对矿井救生通道的总体介绍和标注救生设施所处位置，帮助受训者了解矿井内部情况并掌握逃生方法和路线；自主训练则完全由受训者自主选择逃生方式。
训练开始，虚拟现实眼镜3通过虚幻引擎底层插件的支持，从虚拟现实矿井***构建的矿井地图中获取场景相机捕捉到的画面，并以每帧不高于13ms的速度刷新画面，从而保持虚拟现实眼镜3呈现画面的流畅，达到实时传输的效果。上述画面刷新速度同时可以降低受训者的眩晕感，增强其沉浸于矿井地形的感受。
教程训练模式下，根据***提示，受训者穿戴低摩擦鞋在全方位型VR跑步机5上前后左右走动，全方位型VR跑步机5的碗装构造底座保证受训者走动后仍保持在原位置，受训者在全方位型VR跑步机上的运动轨迹和速度传输至培训***，实时转化为虚拟现实矿井场景中人物模型的相应方向向量和运动速度，控制培训***中的人物模型和场景相机按受训者运动方向与速度在场景中移动，从而增强沉浸感和可操控性。
当受训者通过全方位型VR跑步机5控制虚拟现实矿井场景中人物模型走动至可交互物体前，伸出右手利用手势控制物体的抓取和放置，实现关闭巷道闸门、启动报警装置、开启升降机，使用灭火器、逃生面具、救生舱等其他井下救生设备。
受训者完成训练后，***界面显示继续训练和退出***选项卡，受训者通过射线检测和视觉悬停进行选择，继续逃生训练或退出***。
当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。

Claims (9)

1.一种用于模拟矿井灾害逃生训练的交互方法，其采用的逃生训练***包括虚拟现实眼镜、全方位型VR跑步机、体感交互设备和计算机；其中，虚拟现实眼镜、全方位型VR跑步机、体感交互设备分别与计算机相连；其特征在于，所述实现方法包括：
通过计算机生成等比例三维全景仿真虚拟现实矿井***的步骤；
通过虚拟现实眼镜呈现立体感的虚拟现实矿井场景的步骤；
通过全方位型VR跑步机将人体的移动状态转换为对虚拟现实矿井场景中人物模型的移动操作控制的步骤；以及
通过体感交互设备获取人体骨骼的实时追踪，并对人体手部骨骼节点进行识别，从而完成对虚拟现实矿井场景中人物模型相关交互操作控制的步骤。
2.根据权利要求1所述的一种用于模拟矿井灾害逃生训练的交互方法，其特征在于，所述人体的移动状态包括行走、跳跃和跑动。
3.根据权利要求1所述的一种用于模拟矿井灾害逃生训练的交互方法，其特征在于，所述交互操作包括触碰式交互操作或抓取式交互操作。
4.根据权利要求1所述的一种用于模拟矿井灾害逃生训练的交互方法，其特征在于，利用虚拟现实眼镜中包括陀螺仪和加速计在内的惯性传感器实时感知人体头部的位置，并对应调整显示画面的视角，使人体融入到虚拟现实矿井场景中。
5.根据权利要求1所述的一种用于模拟矿井灾害逃生训练的交互方法，其特征在于，所述虚拟现实眼镜通过虚幻引擎底层插件的支持，从虚拟现实矿井***构建的矿井地图中获取场景相机捕捉到的画面，并以每帧不高于13ms的速度刷新画面。
6.根据权利要求1所述的一种用于模拟矿井灾害逃生训练的交互方法，其特征在于，所述全方位型VR跑步机上的运动轨迹和速度数据通过全方位型VR跑步机底部的八块轨迹追踪板获取并传输至计算机，实时转化为人物模型的相应方向向量和运动速度，控制人物模型和场景相机按人体运动方向与速度在虚拟现实矿井场景中移动。
7.根据权利要求1所述的一种用于模拟矿井灾害逃生训练的交互方法，其特征在于，所述体感交互设备获取人体骨骼的实时追踪的步骤如下：
1)体感交互设备选用Kinect，根据Kinect获取到人体的25个骨骼节点，在三维建模软件中建立与Kinect骨骼节点一致的人物模型；
2)在虚幻引擎中建立Avatar***，获取骨架网格物体动画的实例，将3DMax中建立的三维人物模型与Kinect骨骼关节点相对应，并通过Microsoft Kinect SDK开发包和OpaqueMultimedia开发的第三方插件，逐帧获取人物骨骼节点空间位置和方向信息；
其中，Kinect Interface接口获取人体骨骼对应的关节点，Get Centered Body函数和Get Joint Absolute Position函数获取当前操作骨骼和对应关节点追踪的位置信息；
3)最后，将追踪到的人体骨骼与虚幻引擎里的人物模型的骨骼节点一一对应，使人物模型的运动轨迹与人体做出的动作反应相一致。
8.根据权利要求7所述的一种用于模拟矿井灾害逃生训练的交互方法，其特征在于，所述触碰式交互操作的过程具体如下：
1)在虚幻引擎导入的人体骨骼手部绑定碰撞体，通过Attach To函数将两碰撞体与人体骨骼的手部节点参数hand_l或hand_r依次根据父子关系使用Snap to Target方式进行绑定，此时经体感交互设备控制人体骨骼的手部即存在碰撞；
2)在虚拟现实矿井场景中需要控制操作的位置设置相应的触发器；
3)通过体感交互设备控制人体骨骼移动至所需控制操作位置后，手部碰撞体通过触碰方式开启触发器操作事件。
9.根据权利要求8所述的一种用于模拟矿井灾害逃生训练的交互方法，其特征在于，所述抓取式交互操作的过程具体如下：
1)在虚拟现实矿井场景中创建静态网格物体，并对应加入碰撞准备人物骨骼关节点与静态网格物体的绑定；
2)通过Get Hand State as Exceution函数，添加左右手枚举值和Kinect Interface接口参数，从而在每帧图像中获取Kinect识别的手势状态；
3)当识别手部状态为Open状态时，使用Attach To函数将碰撞体和人体骨骼的手部关节点绑定，使用Move Component to函数添加待操作的静态网格物体引用，并将待操作目标物***置设置为关节点参数hand_l/hand_r所在位置；
4)当识别手部状态为Close状态时，则使用虚幻引擎自带的Set Visibility函数和Detach函数将人体骨骼绑定的碰撞体隐藏，从而不与其他物体发生碰撞进行操作。
CN201611026775.1A 2016-11-22 2016-11-22 一种用于模拟矿井灾害逃生训练的交互方法 Pending CN106601062A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611026775.1A CN106601062A (zh) 2016-11-22 2016-11-22 一种用于模拟矿井灾害逃生训练的交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611026775.1A CN106601062A (zh) 2016-11-22 2016-11-22 一种用于模拟矿井灾害逃生训练的交互方法

Publications (1)

Publication Number Publication Date
CN106601062A true CN106601062A (zh) 2017-04-26

Family

ID=58592615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611026775.1A Pending CN106601062A (zh) 2016-11-22 2016-11-22 一种用于模拟矿井灾害逃生训练的交互方法

Country Status (1)

Country Link
CN (1) CN106601062A (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107489446A (zh) * 2017-09-13 2017-12-19 徐州翰林科技有限公司 一种灾后矿井逃生训练控制***
CN107544677A (zh) * 2017-10-24 2018-01-05 广州云友网络科技有限公司 利用模块化轨道和体感装置模拟运动场景的方法和***
CN107643698A (zh) * 2017-09-13 2018-01-30 徐州翰林科技有限公司 一种灾后矿井逃生训练平台***
CN107731016A (zh) * 2017-10-10 2018-02-23 东莞华南设计创新院 一种基于虚拟现实的化工培训***
CN107783652A (zh) * 2017-10-17 2018-03-09 广州杰赛科技股份有限公司 虚拟现实的实现方法、***和装置
CN108230804A (zh) * 2017-12-25 2018-06-29 郑玉宣 一种虚拟现实矿山应急演练和操作技能培训方法及***
CN108281077A (zh) * 2017-12-26 2018-07-13 丰羽教育科技（上海）有限公司 一种基于穿戴设备的虚拟逃生指引方法及***
CN108376198A (zh) * 2018-02-27 2018-08-07 山东师范大学 一种基于虚拟现实的人群仿真方法及***
CN108399799A (zh) * 2018-02-11 2018-08-14 广州特种机电设备检测研究院 一种基于虚拟现实技术的电梯检验培训***及方法
CN108572731A (zh) * 2018-03-16 2018-09-25 中国科学院自动化研究所 基于多Kinect和UE4的动捕数据表现方法及装置
CN108615427A (zh) * 2018-04-19 2018-10-02 广州特种机电设备检测研究院 一种基于虚拟现实技术的电梯检验教学***及方法
CN108682292A (zh) * 2018-04-19 2018-10-19 广州特种机电设备检测研究院 一种基于虚拟现实技术的电梯检验考核***及方法
CN108806384A (zh) * 2018-07-24 2018-11-13 李慧 一种虚拟地震逃生训练的方法
CN108785975A (zh) * 2018-03-12 2018-11-13 上海电气集团股份有限公司 结合虚拟现实技术的抗阻训练装置及方法
CN108961905A (zh) * 2018-08-02 2018-12-07 李慧 一种基于虚拟现实技术的火灾逃生演练方法
CN109191983A (zh) * 2018-10-29 2019-01-11 广州供电局有限公司 基于vr的配网带电作业仿真培训方法、装置及***
CN109268010A (zh) * 2018-09-22 2019-01-25 太原理工大学 一种虚拟现实矿井综采工作面的远程巡检干预方法
CN110162163A (zh) * 2018-03-08 2019-08-23 长春大学 一种基于体感和vr技术的虚拟消防演练方法及***
CN110354482A (zh) * 2019-07-16 2019-10-22 上海海事大学 头眼手足一体式安全设备
CN111580648A (zh) * 2020-04-24 2020-08-25 岭东核电有限公司 一种基于虚拟现实的模拟演练方法及装置
CN111862715A (zh) * 2020-07-27 2020-10-30 中国南方电网有限责任公司超高压输电公司贵阳局 一种基于vr技术的防冰作业授权培训评价***
CN112527109A (zh) * 2020-12-04 2021-03-19 上海交通大学 基于坐姿的vr全身动作控制方法、***及计算机可读介质
JP2021068209A (ja) * 2019-10-23 2021-04-30 スコネック エンターテインメント カンパニー リミテッド 仮想現実制御システム
CN113012513A (zh) * 2021-03-10 2021-06-22 上海市精神卫生中心（上海市心理咨询培训中心） 一种孤独症患者购物能力训练方法及***
CN113870645A (zh) * 2021-10-15 2021-12-31 重庆科华安全设备有限责任公司 一种矿山采掘工作面透水灾害虚拟仿真应急救援演练方法
CN114020978A (zh) * 2021-09-28 2022-02-08 北京市农林科学院信息技术研究中心 基于多源信息融合的园区数字化漫游展示方法及***
CN115223418A (zh) * 2022-04-22 2022-10-21 哈尔滨工程大学 一种基于ar技术的海员航海训练***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226390A (zh) * 2013-05-15 2013-07-31 清华大学 全景式火灾紧急逃生的虚拟现实***
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法
CN105374251A (zh) * 2015-11-12 2016-03-02 中国矿业大学(北京) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226390A (zh) * 2013-05-15 2013-07-31 清华大学 全景式火灾紧急逃生的虚拟现实***
CN104750397A (zh) * 2015-04-09 2015-07-01 重庆邮电大学 一种基于体感的虚拟矿井自然交互方法
CN105374251A (zh) * 2015-11-12 2016-03-02 中国矿业大学(北京) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王涛等: "浅谈Kinect与3DSMAX整合技术在三维动画中的应用", 《艺术科技》 *

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107489446A (zh) * 2017-09-13 2017-12-19 徐州翰林科技有限公司 一种灾后矿井逃生训练控制***
CN107643698A (zh) * 2017-09-13 2018-01-30 徐州翰林科技有限公司 一种灾后矿井逃生训练平台***
CN107731016A (zh) * 2017-10-10 2018-02-23 东莞华南设计创新院 一种基于虚拟现实的化工培训***
CN107783652B (zh) * 2017-10-17 2020-11-13 广州杰赛科技股份有限公司 虚拟现实的实现方法、***和装置
CN107783652A (zh) * 2017-10-17 2018-03-09 广州杰赛科技股份有限公司 虚拟现实的实现方法、***和装置
CN107544677B (zh) * 2017-10-24 2020-09-01 广州云友网络科技有限公司 利用模块化轨道和体感装置模拟运动场景的方法和***
CN107544677A (zh) * 2017-10-24 2018-01-05 广州云友网络科技有限公司 利用模块化轨道和体感装置模拟运动场景的方法和***
CN108230804A (zh) * 2017-12-25 2018-06-29 郑玉宣 一种虚拟现实矿山应急演练和操作技能培训方法及***
CN108281077A (zh) * 2017-12-26 2018-07-13 丰羽教育科技（上海）有限公司 一种基于穿戴设备的虚拟逃生指引方法及***
CN108399799A (zh) * 2018-02-11 2018-08-14 广州特种机电设备检测研究院 一种基于虚拟现实技术的电梯检验培训***及方法
CN108376198A (zh) * 2018-02-27 2018-08-07 山东师范大学 一种基于虚拟现实的人群仿真方法及***
CN108376198B (zh) * 2018-02-27 2022-03-04 山东师范大学 一种基于虚拟现实的人群仿真方法及***
CN110162163A (zh) * 2018-03-08 2019-08-23 长春大学 一种基于体感和vr技术的虚拟消防演练方法及***
CN110162163B (zh) * 2018-03-08 2023-05-09 长春大学 一种基于体感和vr技术的虚拟消防演练方法及***
CN108785975A (zh) * 2018-03-12 2018-11-13 上海电气集团股份有限公司 结合虚拟现实技术的抗阻训练装置及方法
CN108572731A (zh) * 2018-03-16 2018-09-25 中国科学院自动化研究所 基于多Kinect和UE4的动捕数据表现方法及装置
CN108615427A (zh) * 2018-04-19 2018-10-02 广州特种机电设备检测研究院 一种基于虚拟现实技术的电梯检验教学***及方法
CN108682292A (zh) * 2018-04-19 2018-10-19 广州特种机电设备检测研究院 一种基于虚拟现实技术的电梯检验考核***及方法
CN108806384A (zh) * 2018-07-24 2018-11-13 李慧 一种虚拟地震逃生训练的方法
CN108961905A (zh) * 2018-08-02 2018-12-07 李慧 一种基于虚拟现实技术的火灾逃生演练方法
CN109268010A (zh) * 2018-09-22 2019-01-25 太原理工大学 一种虚拟现实矿井综采工作面的远程巡检干预方法
CN109268010B (zh) * 2018-09-22 2020-07-03 太原理工大学 一种虚拟现实矿井综采工作面的远程巡检干预方法
CN109191983A (zh) * 2018-10-29 2019-01-11 广州供电局有限公司 基于vr的配网带电作业仿真培训方法、装置及***
CN110354482A (zh) * 2019-07-16 2019-10-22 上海海事大学 头眼手足一体式安全设备
CN110354482B (zh) * 2019-07-16 2024-01-02 上海海事大学 头眼手足一体式安全设备及其使用方法
JP2021068209A (ja) * 2019-10-23 2021-04-30 スコネック エンターテインメント カンパニー リミテッド 仮想現実制御システム
JP7000397B2 (ja) 2019-10-23 2022-02-04 スコネック エンターテインメント カンパニー リミテッド 仮想現実制御システム
CN111580648A (zh) * 2020-04-24 2020-08-25 岭东核电有限公司 一种基于虚拟现实的模拟演练方法及装置
CN111862715A (zh) * 2020-07-27 2020-10-30 中国南方电网有限责任公司超高压输电公司贵阳局 一种基于vr技术的防冰作业授权培训评价***
CN112527109A (zh) * 2020-12-04 2021-03-19 上海交通大学 基于坐姿的vr全身动作控制方法、***及计算机可读介质
CN112527109B (zh) * 2020-12-04 2022-05-17 上海交通大学 基于坐姿的vr全身动作控制方法、***及计算机可读介质
CN113012513A (zh) * 2021-03-10 2021-06-22 上海市精神卫生中心（上海市心理咨询培训中心） 一种孤独症患者购物能力训练方法及***
CN114020978A (zh) * 2021-09-28 2022-02-08 北京市农林科学院信息技术研究中心 基于多源信息融合的园区数字化漫游展示方法及***
CN114020978B (zh) * 2021-09-28 2024-06-11 北京市农林科学院信息技术研究中心 基于多源信息融合的园区数字化漫游展示方法及***
CN113870645A (zh) * 2021-10-15 2021-12-31 重庆科华安全设备有限责任公司 一种矿山采掘工作面透水灾害虚拟仿真应急救援演练方法
CN115223418A (zh) * 2022-04-22 2022-10-21 哈尔滨工程大学 一种基于ar技术的海员航海训练***

Similar Documents

Publication Publication Date Title
CN106601062A (zh) 一种用于模拟矿井灾害逃生训练的交互方法
EP3592443B1 (en) Augmented ride system and method
US11609426B2 (en) System and method for distanced interactive experiences
US10751609B2 (en) Mapping arena movements into a 3-D virtual world
Cheng et al. Turkdeck: Physical virtual reality based on people
CN107667331B (zh) 共享空间多人沉浸式虚拟现实中共享触觉交互和用户安全
KR101670147B1 (ko) 휴대용 디바이스, 가상 현실 시스템 및 방법
CN103488291B (zh) 一种基于运动捕捉的浸入式虚拟现实***
CN103226390B (zh) 全景式火灾紧急逃生的虚拟现实***
CN203405772U (zh) 一种基于运动捕捉的浸入式虚拟现实***
CN106652625A (zh) 交互式虚拟现实消防训练***
JP2007229500A (ja) ユーザーを仮想現実に没入させるための方法及び装置
JP2022512479A (ja) 環境触覚を仮想現実に統合するためのシステム及び方法
JP2022520016A (ja) 情報の表示方法、装置、電子機器及びコンピュータプログラム
US20170371410A1 (en) Dynamic virtual object interactions by variable strength ties
CN206363567U (zh) 交互式虚拟现实消防训练***
Vichitvejpaisal et al. Firefighting simulation on virtual reality platform
Mahmoud et al. Believable NPCs in serious games: HTN planning approach based on visual perception
US11733515B2 (en) System and method for distanced interactive experiences
Carrozzino et al. Virtual reality training for post-earthquake rescue operators
Silverman The Rule of 27s: A Comparative Analysis of 2D Screenspace and Virtual Reality Environment Design
Calandra et al. Impact of avatar representation in a virtual reality-based multi-user tunnel fire simulator for training purposes
Sookhanaphibarn et al. Virtual reality system for fire evacuation training in a 3D virtual world
Calabrese A Software Template for Multi-User Virtual Reality Applications
Lamberti Impact of Avatar Representation in a Virtual Reality-Based Multi-user Tunnel Fire Simulator for Training Purposes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426