CN106873775A - 一种虚拟现实交互的实现方法、***及mr手套 - Google Patents

一种虚拟现实交互的实现方法、***及mr手套 Download PDF

Info

Publication number
CN106873775A
CN106873775A CN201710028784.2A CN201710028784A CN106873775A CN 106873775 A CN106873775 A CN 106873775A CN 201710028784 A CN201710028784 A CN 201710028784A CN 106873775 A CN106873775 A CN 106873775A
Authority
CN
China
Prior art keywords
finger
user
gloves
identification information
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710028784.2A
Other languages
English (en)
Inventor
周汉民
赵迪
童星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongke Calling Agel Ecommerce Ltd
Original Assignee
Shenzhen Zhongke Calling Agel Ecommerce Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongke Calling Agel Ecommerce Ltd filed Critical Shenzhen Zhongke Calling Agel Ecommerce Ltd
Priority to CN201710028784.2A priority Critical patent/CN106873775A/zh
Publication of CN106873775A publication Critical patent/CN106873775A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种虚拟现实交互的实现方法、***和MR手套,包括:将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及手指的标识信息发送给MR手套;将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感,以增加用户体感中的触碰感,从而提高用户的体感交互沉浸感,提高产品黏性。

Description

一种虚拟现实交互的实现方法、***及MR手套
技术领域
本发明涉及虚拟现实技术领域,特别是涉及一种虚拟现实交互的实现方法、***及MR手套。
背景技术
虚拟现实(VR,VirtualReality)技术是利用电脑或其他智能计算设备为核心,结合光电传感技术生成逼真的视、听、触一体化的特定范围内虚拟的环境。在VR***中主要包括输入设备和输出设备。而头戴式显示器(HMD,HeadMountDisplay)是一种虚拟现实显示输出设备,形如眼镜,通过感应人的眼部活动,接受指令,呈现图像,可直接在眼镜上现实各种数据提供给用户,它配合对应的输入设备的交互,能够让用户产生独立封闭的沉浸式交互体验。
在现有技术中,VR***中基于2D或者3D摄像头,均能实现手势交互,但是通常,VR***可以将采集的图像实时显示在HMD上给予用户沉浸感,但是没有触碰感,沉浸感不强,降低产品对用户的吸引力。
发明内容
基于此,有必要提供一种虚拟现实交互的实现方法,包括:
将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及手指的标识信息发送给MR(Mixed reality)手套;
将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
在其中一个实施例中,所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作;
所述将所述响应动作作用在所述标识信息对应的手指上包括:
将震动、加压、收紧、加热、冷却中的一种或几种动作,作用在所述标识信息对应的手指上。
在其中一个实施例中,所述响应动作还包括发光;
所述将所述响应动作作用在所述标识信息对应的手指上包括:控制所述标识信息对应的手指上发光。
在其中一个实施例中,所述将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置包括:
3D摄像头发射结构光或红外激光扫描场景物体,3D摄像头的接收器接收物体反射光,捕捉人体深度数据,并提取人体骨骼数据;
利用所述骨骼数据于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。
在其中一个实施例中,所述将触碰感交互需求信息及所述手指的标识信息发送给MR手套包括:
通过蓝牙或wifi通讯方式,将触碰感交互需求信息及所述手指的标识信息发送给MR手套。
在其中一个实施例中,所述当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及所述手指的标识信息发送给MR手套的步骤之前,还包括:
接收MR手套发送的用户手部的加速度、角速度及角度数据。
本发明还提供了一种虚拟现实交互的实现***,包括:
3D摄像头、上位机和MR手套;其中,
所述3D摄像头,用于捕捉用户的身体骨骼数据;
所述上位机内设置有虚拟现实客户端,用于将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
所述上位机,还用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及所述手指的标识信息发送给MR手套;
所述MR手套,用于将接收到的所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
在其中一个实施例中,所述响应动作包括震动、加压、、收紧、加热、冷却中的一种或几种动作;所述MR手套还用于,将震动、加压、收紧、加热、冷却中的一种或几种动作,作用在所述标识信息对应的手指上。
在其中一个实施例中,所述响应动作还包括发光;
所述MR手套还用于,控制所述标识信息对应的手指上发光。
在其中一个实施例中,所述3D摄像头包括3D深度摄像头和接收器;
所述3D深度摄像头,用于发射结构光或红外激光扫描场景物体;
所述接收器,用于接收物体反射光,捕捉人体深度数据,并提取人体骨骼数据;
所述上位机,还用于利用所述骨骼数据于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。
在其中一个实施例中,所述上位机,还用于通过蓝牙、wifi通讯方式,将触碰感交互需求信息及所述手指的标识信息发送给MR手套。
在其中一个实施例中,所述上位机还用于接收MR手套发送的用户手部的加速度、角速度及角度数据。
本发明还提供了一种虚拟现实交互的实现***,包括:
位置定位模块,用于将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
信息发送模块,用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及所述手指的标识信息发送给MR手套;
动作响应模块,用于将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
在其中一个实施例中,所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作;
所述动作响应模块,还用于将震动、加压、收紧、加热、冷却中的一种或几种动作,作用在所述标识信息对应的手指上。
在其中一个实施例中,所述响应动作还包括发光;
所述动作响应模块,还用于控制所述标识信息对应的手指上发光。
在其中一个实施例中,所述位置定位模块,具体用于将3D摄像头捕捉到的用户的身体骨骼数据,于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。
在其中一个实施例中,所述信息发送模块,通过蓝牙或wifi通讯方式,将触碰感交互需求信息及所述手指的标识信息发送给MR手套。
在其中一个实施例中,所述位置定位模块还用于接收MR手套发送的用户手部的加速度、角速度及角度数据。
本发明还提供了一种MR手套,所述MR手套应用于如上所述的虚拟现实的实现方法中,用于实现所述方法,所述MR手套包括:
信息接收模块,用于接收所述触碰感交互需求信息和手指的标识信息;
动作发生模块,用于将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
从上述可知,本发明提供的一种虚拟现实交互的实现方法,包括:
将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及手指的标识信息发送给MR手套;
将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感,以增加用户体感中的触碰感,从而提高用户的体感交互沉浸感,提高产品黏性。
附图说明
图1为一个实施例中一种虚拟现实交互的实现方法流程图;
图2为图1中步骤20的分步骤流程图;
图3为一个实施例中一种虚拟现实交互的实现***结构示意图;
图4为另一个实施例中一种虚拟现实交互的实现***结构示意图;
图5为一个实施例中一种MR手套的结构示意图;
图6为另一个实施例中一种MR手套的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
除非上下文另有特定清楚的描述,本发明中的元件和组件,数量既可以单个的形式存在,也可以多个的形式存在,本发明并不对此进行限定。本发明中的步骤虽然用标号进行了排列,但并不用于限定步骤的先后次序,除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础,否则步骤的相对次序是可以调整的。可以理解,本文中所使用的术语“和/或”涉及且涵盖相关联的所列项目中的一者或一者以上的任何和所有可能的组合。
在一个实施例中,如图1所示,一种虚拟现实交互的实现方法,包括以下步骤:
S20、将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
3D摄像头的内部光学部件是实现实时人体动作捕捉的部分,其主要包括两个光学部件部件:红外线发射器和红外线/VGA摄像头组。红外线发射器发出一道“激光”覆盖整个3D摄像头的可视范围,摄像头组接收反射光线来识别用户。红外摄像头识别图像的是一个“深度场”(Depth Field ),其中每一像素的颜色代表了那一点物体到摄像头的距离。比如离摄像头近的身体呈亮红色、绿色等,而离摄像头远的物体则呈暗灰色。
3D摄像头内置软件接手深度场后,运行一系列的滤镜程序,区分人体和其他的物体。***识别人体时遵从一些基本的规律,比如一个人的身高是从xx到xx,“人体应该有四肢”等等。这样程序就不会把茶几或是狗狗当初另一个用户了。还有程序能让***在用户穿着宽松的衣服,或者长发披肩的时候识别出用户的身体。
人体部位识别完成后,3D摄像头内置的***将数据整合成一个由活动关节组成的骨架图。例如Kinect内置的***内预存了200 多个常见的人体姿势,以便当Kinect接收的信息不全的时候猜测用户的动作。
在其中一个实施例中,如图2所示,步骤S20具体包括步骤:
S202、3D摄像头发射结构光或红外激光扫描场景物体;
S204、3D摄像头的接收器接收物体反射光,捕捉人体深度数据,并提取人体骨骼数据;
S206、利用所述骨骼数据于unity3D或 android开发的程序里跟踪到用户身体部位在三维空间的位置。
S40、当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及手指的标识信息发送给MR手套;
当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,说明用户的手指在虚拟现实世界中与目标虚拟物体发生了触碰,则将触碰交互需求信息及与目标虚拟物体触碰的手部的标识信息发送给用户穿戴的MR手套,使得该MR手套可知该触碰感交互需求信息是与哪个手指对应的。其中,目标虚拟物体可以是在虚拟现实世界中用户想去触碰的物体,也可以是虚拟现实世界中的的任何虚拟物体。所述预设距离可以是***设定或者用户自定义的,例如0.1cm。
S60、将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
用户穿戴的MR手套将接收到的触碰感交互需求信息转换成响应动作,并将该响应动作响应动作作用在所述标识信息对应的手指上,以使该手指产生与所述响应动作对应的触感,以增加用户体感中的触碰感,从而提高用户的体感交互沉浸感,提高产品黏性。
在其中一个实施例中,用户的触碰感交互需求信息与用户的手势和手指触碰的目标虚拟物体有关。例如,“手指点击”的手势,每个“手指点击”的手势对应的触碰感交互需求信息不同,有的只是简单的震动感、尖锐感,有的可因被触碰的虚拟物品不同而产生的或热或冷的触摸感。而“将手握成拳向前方击打”的手势,其对应的触碰感交互需求信息也相对简单,只有整只手的震动感,当然,震动感的大小与3D摄像头捕捉到的用户动作,即出拳的速度有关系,出拳速度快说明力气大,产生的震动感当然也大。
具体的,结合该目标虚拟物体的物理性质以及该手指的手势,可以提高确定该触碰感交互需求信息的准确性,显得更加逼真,并将该触碰感交互需求信息和该手指的标识信息发送给该MR手套。例如,冰雕具有寒凉的物理属性,该用户用五个手指抚摸该冰雕,可以确定该用户的五个手指需要冷却。此时,将五个手指需要冷却的信息和该五个手指的标识信息发送给该MR手套。
在其中一个实施例中,所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作;
所述将所述响应动作作用在所述标识信息对应的手指上包括:
将震动、加压、收紧、加热、冷却中的一种或几种动作,作用在所述标识信息对应的手指上。
在其中一个实施例中,所述响应动作还包括发光;
所述将所述响应动作作用在所述标识信息对应的手指上包括:控制所述标识信息对应的手指上发光。
在使该手指产生与所述响应动作对应的触感,以增加用户体感中的触碰感的同时,还控制所述标识信息对应的手指上发光,例如可以在MR手套的每个手指上设置有LED灯,当有手指与目标虚拟物体触碰时,同时控制该手指的LED灯发亮,增强了视觉效果,给用户更加直观的感受,从而进一步提高用户的体感交互沉浸感,提高产品黏性。
在其中一个实施例中,所述将触碰感交互需求信息及所述手指的标识信息发送给MR手套包括:
通过蓝牙或wifi方式,将触碰感交互需求信息及所述手指的标识信息发送给MR手套。
在其中一个实施例中,步骤S40之前还包括:
S30、接收MR手套发送的用户手部的加速度、角速度及角度数据。
通过接收MR手套发送的用户手部的加速度、角速度及角度数据等运动数据,再结合3D摄像头捕捉到的用户的身体骨骼数据,可以更加精准的在虚拟现实空间中定位出用户的三维空间位置,让用户的体验更好。在其中一个实施例中,MR手套通过六轴陀螺仪实时检测用户手部的加速度、角速度及角度数据等运动数据,当然也可以根据实际需要,使用三轴陀螺仪或者九轴陀螺仪。
本发明还提供了一种虚拟现实交互的实现***,如图3所示,包括:
3D摄像头2、上位机4和MR手套6;其中,
所述3D摄像头2,用于捕捉用户的身体骨骼数据;
所述上位机4内设置有虚拟现实客户端41,用于将3D摄像头2捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
所述上位机4,还用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及所述手指的标识信息发送给MR手套6;
所述MR手套6,用于将接收到的所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
3D摄像头的内部光学部件是实现实时人体动作捕捉的部分,其主要包括两个光学部件部件:红外线发射器和红外线/VGA摄像头组。红外线发射器发出一道“激光”覆盖整个3D摄像头的可视范围,摄像头组接收反射光线来识别用户。红外摄像头识别图像的是一个“深度场”(Depth Field ),其中每一像素的颜色代表了那一点物体到摄像头的距离。比如离摄像头近的身体呈亮红色、绿色等,而离摄像头远的物体则呈暗灰色。
3D摄像头内置软件接手深度场后,运行一系列的滤镜程序,区分人体和其他的物体。***识别人体时遵从一些基本的规律,比如一个人的身高是从xx到xx,“人体应该有四肢”等等。这样程序就不会把茶几或是狗狗当初另一个用户了。还有程序能让***在用户穿着宽松的衣服,或者长发披肩的时候识别出用户的身体。
人体部位识别完成后,3D摄像头内置的***将数据整合成一个由活动关节组成的骨架图。例如Kinect内置的***内预存了200 多个常见的人体姿势,以便当Kinect接收的信息不全的时候猜测用户的动作。
其中,所述上位机可以是电视机、机顶盒、PC、游戏主机等,上位机的操作***也可以是Windows、Android、IOS、Linux中的一种,本发明对此不做限制。
当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,说明用户的手指在虚拟现实世界中与目标虚拟物体发生了触碰,则上位机将触碰交互需求信息及与目标虚拟物体触碰的手指的标识信息发送给用户穿戴的MR手套,使得MR手套可知该触碰交互需求信息是与哪个手指对应的。其中,目标虚拟物体可以是在虚拟现实世界中用户想去触碰的物体,也可以是虚拟现实世界中的的任何虚拟物体。所述预设距离可以是***设定或者用户自定义的,例如0.1cm。
MR手套将接收到的触碰感交互需求信息转换成响应动作,并将该响应动作用在所述标识信息对应的手指上,以使该手指产生与所述响应动作对应的触感,以增加用户体感中的触碰感,从而提高用户的体感交互沉浸感,提高产品黏性。
在其中一个实施例中,所述3D摄像头2包括3D深度摄像头21和接收器22;
所述3D深度摄像头21,用于发射结构光或红外激光扫描场景物体;
所述接收器22,用于接收物体反射光,捕捉人体深度数据,并提取人体骨骼数据;
所述上位机4,还用于利用所述骨骼数据于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。
在其中一个实施例中,所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作;所述MR手套还用于,将震动、加压、收紧、加热、冷却中的一种或几种动作,作用在所述标识信息对应的手指上。
在其中一个实施例中,用户的触碰感交互需求信息与用户的手势和手指触碰的目标虚拟物体有关。例如,“手指点击”的手势,每个“手指点击”的手势对应的触碰感交互需求信息不同,有的只是简单的震动感、尖锐感,有的可因被触碰的虚拟物品不同而产生的或热或冷的触摸感。而“将手握成拳向前方击打”的手势,其对应的触碰感交互需求信息也相对简单,只有整只手的震动感,当然,震动感的大小与3D摄像头捕捉到的用户动作,即出拳的速度有关系,出拳速度快说明力气大,产生的震动感当然也大。
具体的,结合该目标虚拟物体的物理性质以及该手指的手势,可以提高确定该触碰感交互需求信息的准确性,显得更加逼真,上位机将该触碰感交互需求信息和该手指的标识信息发送给该MR手套。例如,冰雕具有寒凉的物理属性,该用户用五个手指抚摸该冰雕,可以确定该用户的五个手指需要冷却。此时,将五个手指需要冷却的信息和该五个手指的标识信息发送给该MR手套。
在其中一个实施例中,所述响应动作还包括发光;
所述MR手套还用于,控制所述标识信息对应的手指上发光。
在使该手指产生与所述响应动作对应的触感,以增加用户体感中的触碰感的同时,还控制所述标识信息对应的手指上发光,例如可以在MR手套的每个手指上设置有LED灯,当有手指与目标虚拟物体触碰时,同时控制该手指的LED灯发亮,增强了视觉效果,给用户更加直观的感受,从而进一步提高用户的体感交互沉浸感,提高产品黏性。
在其中一个实施例中,所述上位机,还用于通过蓝牙或wifi通讯方式,将触碰感交互需求信息及所述手指的标识信息发送给MR手套。
在其中一个实施例中,所述上位机还用于接收MR手套发送的用户手部的加速度、角速度及角度数据。
通过接收MR手套发送的用户手部的加速度、角速度及角度数据等运动数据,再结合3D摄像头捕捉到的用户的身体骨骼数据,可以更加精准的在虚拟现实空间中定位出用户的三维空间位置,让用户的体验更好。在其中一个实施例中,MR手套通过六轴陀螺仪实时检测用户手部的加速度、角速度及角度数据等运动数据并通过蓝牙或wifi通讯方式发给上位机,上位机结合3D摄像头捕捉到的用户的身体骨骼数据和该运动数据于虚拟现实客户端中准确定位出用户的三维空间位置。在实际应用当中,RM手套也可以根据实际需要,使用三轴陀螺仪或者九轴陀螺仪实时检测用户手部的加速度、角速度及角度数据等运动数据。
本发明还提供了一种虚拟现实交互的实现***,如图4所示,包括:
位置定位模块3,用于将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
信息发送模块5,用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及手指的标识信息发送给MR手套;
动作响应模块7,用于将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
在其中一个实施例中,所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作;
所述动作响应模块,还用于将震动、加压、收紧、加热、冷却中的一种或几种动作,作用在所述标识信息对应的手指上。
在其中一个实施例中,所述响应动作还包括发光;
所述动作响应模块,还用于控制所述标识信息对应的手指上发光。
在其中一个实施例中,所述位置定位模块,具体用于将3D摄像头捕捉到的用户的身体骨骼数据,于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。
在其中一个实施例中,所述信息发送模块,通过蓝牙或wifi通讯方式,将触碰感交互需求信息及所述手指的标识信息发送给MR手套。
在其中一个实施例中,所述位置定位模块还用于接收MR手套发送的用户手部的加速度、角速度及角度数据。
请参阅图5,图5是本发明提供的MR手套的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分。所述MR手套能用于实现前述图3至图4所示实施例提供的虚拟现实交互实现体统中的实现方法,具体参见前述图1至图2所示实施例的描述,此处不再赘述。如图5所示,所述MR手套包括:
信息接收模块61,用于接收所述触碰感交互需求信息和手指的标识信息;
动作发生模块62,用于将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
在其中一个实施例中,如图6所示,所述MR手套包括控制器、控制键、通讯模块、六轴陀螺仪,多个马达及多个LED灯,所述控制器分别与控制键、通讯模块、六轴陀螺仪,多个马达及多个LED灯连接,控制键是MR手套的工作开关,通讯模块用于通过蓝牙或wifi通讯方式与上位机等外部设备连接,控制器可控制马达及LED等的开与关。
在本发明各个实施例中的装置可以集成在一个处理装置中,也可以是各个装置单独物理存在,也可以两个或两个以上装置集成在一个装置中。上述集成的装置既可以采用硬件的形式实现,也可以采用软件功能装置的形式实现。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (19)

1.一种虚拟现实交互的实现方法,其特征在于,包括:
将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及手指的标识信息发送给MR手套;
将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
2.根据权利要求1所述的方法,其特征在于,所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作;
所述将所述响应动作作用在所述标识信息对应的手指上包括:
将震动、加压、收紧、加热、冷却中的一种或几种动作,作用在所述标识信息对应的手指上。
3.根据权利要求2所述的方法,其特征在于,所述响应动作还包括发光;
所述将所述响应动作作用在所述标识信息对应的手指上包括:控制所述标识信息对应的手指上发光。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置包括:
3D摄像头发射结构光或红外激光扫描场景物体,3D摄像头的接收器接收物体反射光,捕捉人体深度数据,并提取人体骨骼数据;
利用所述骨骼数据于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。
5.根据权利要求1所述的方法,其特征在于,所述将触碰感交互需求信息及所述手指的标识信息发送给MR手套包括:
通过蓝牙或wifi通讯方式,将触碰感交互需求信息及所述手指的标识信息发送给MR手套。
6.根据权利要求1所述的方法,其特征在于,所述当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及所述手指的标识信息发送给MR手套的步骤之前,还包括:
接收MR手套发送的用户手部的加速度、角速度及角度数据。
7.一种虚拟现实交互的实现***,其特征在于,包括:
3D摄像头、上位机和MR手套;其中,
所述3D摄像头,用于捕捉用户的身体骨骼数据;
所述上位机内设置有虚拟现实客户端,用于将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
所述上位机,还用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及手指的标识信息发送给MR手套;
所述MR手套,用于将接收到的所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
8.根据权利要求7所述的***,其特征在于,所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作;所述MR手套还用于,将震动、加压、收紧、加热、冷却中的一种或几种动作,作用在所述标识信息对应的手指上。
9.根据权利要求8所述的***,其特征在于,所述响应动作还包括发光;
所述MR手套还用于,控制所述标识信息对应的手指上发光。
10.根据权利要求7-9任一项所述的的***,其特征在于,所述3D摄像头包括3D深度摄像头和接收器;
所述3D深度摄像头,用于发射结构光或红外激光扫描场景物体;
所述接收器,用于接收物体反射光,捕捉人体深度数据,并提取人体骨骼数据;
所述上位机,还用于利用所述骨骼数据于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。
11.根据权利要求7所述的***,其特征在于,所述上位机,还用于通过蓝牙或wifi通讯方式,将触碰感交互需求信息及所述手指的标识信息发送给MR手套。
12.根据权利要求7所述的***,其特征在于,所述上位机还用于接收MR手套发送的用户手部的加速度、角速度及角度数据。
13.一种虚拟现实交互的实现***,其特征在于,包括:
位置定位模块,用于将3D摄像头捕捉到的用户的身体骨骼数据,于虚拟现实空间中定位出用户的三维空间位置;
信息发送模块,用于当捕捉到的用户手部骨骼数据于所述虚拟现实空间中定位出的三维空间位置与虚拟现实空间中的目标虚拟物***置重叠或达致预设距离时,将触碰感交互需求信息及手指的标识信息发送给MR手套;
动作响应模块,用于将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
14.根据权利要求7所述的***,其特征在于,所述响应动作包括震动、加压、收紧、加热、冷却中的一种或几种动作;
所述动作响应模块,还用于将震动、加压、收紧、加热、冷却中的一种或几种动作,作用在所述标识信息对应的手指上。
15.根据权利要求14所述的***,其特征在于,所述响应动作还包括发光;
所述动作响应模块,还用于控制所述标识信息对应的手指上发光。
16.根据权利要求13-15任一项所述的***,其特征在于,所述位置定位模块,具体用于将3D摄像头捕捉到的用户的身体骨骼数据,于unity3D或android开发的程序里跟踪到用户身体部位在三维空间的位置。
17.根据权利要求13所述的***,其特征在于,所述信息发送模块,通过蓝牙或wifi通讯方式,将触碰感交互需求信息及所述手指的标识信息发送给MR手套。
18.根据权利要求13所述的***,其特征在于,所述位置定位模块还用于接收MR手套发送的用户手部的加速度、角速度及角度数据。
19.一种MR手套,其特征在于,所述MR手套用于实现如权利要求1-6任一项所述的方法,所述MR手套包括:
信息接收模块,用于接收所述触碰感交互需求信息和手指的标识信息;
动作发生模块,用于将所述触碰感交互需求信息转换成响应动作,并将所述响应动作作用在所述标识信息对应的手指上,以使所述手指产生与所述响应动作对应的触感。
CN201710028784.2A 2017-01-16 2017-01-16 一种虚拟现实交互的实现方法、***及mr手套 Pending CN106873775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710028784.2A CN106873775A (zh) 2017-01-16 2017-01-16 一种虚拟现实交互的实现方法、***及mr手套

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710028784.2A CN106873775A (zh) 2017-01-16 2017-01-16 一种虚拟现实交互的实现方法、***及mr手套

Publications (1)

Publication Number Publication Date
CN106873775A true CN106873775A (zh) 2017-06-20

Family

ID=59157508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710028784.2A Pending CN106873775A (zh) 2017-01-16 2017-01-16 一种虚拟现实交互的实现方法、***及mr手套

Country Status (1)

Country Link
CN (1) CN106873775A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340871A (zh) * 2017-07-25 2017-11-10 深识全球创新科技(北京)有限公司 集成手势识别与超声波触觉反馈的装置及其方法和用途
CN108319372A (zh) * 2018-03-16 2018-07-24 京东方科技集团股份有限公司 一种虚拟设备及方法
CN108428261A (zh) * 2018-03-16 2018-08-21 赛诺贝斯(北京)营销技术股份有限公司 自助型会议签到智能一体机
WO2018233344A1 (zh) * 2017-06-22 2018-12-27 京东方科技集团股份有限公司 触觉反馈装置及方法、可读存储介质、电子产品
CN111369685A (zh) * 2020-03-03 2020-07-03 西南交通大学 一种事故救援虚拟演练交互***及方法
WO2020224566A1 (zh) * 2019-05-06 2020-11-12 于毅欣 一种虚拟现实、增强现实、融合现实手部操作方法及装置
WO2021136502A1 (zh) * 2020-01-02 2021-07-08 于毅欣 一种可用于获取手部数据的方法和装置
CN115547129A (zh) * 2022-10-19 2022-12-30 肇庆医学高等专科学校 一种心脏三维可视化的ar实现***与方法
US11798234B2 (en) 2019-07-19 2023-10-24 Huawei Technologies Co., Ltd. Interaction method in virtual reality scenario and apparatus
WO2023246159A1 (zh) * 2022-06-21 2023-12-28 腾讯科技(深圳)有限公司 一种虚拟现实的交互方法、相关装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103543830A (zh) * 2013-10-28 2014-01-29 四川大学 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法
CN204904208U (zh) * 2015-09-07 2015-12-23 众景视界(北京)科技有限公司 用于虚拟现实和增强现实交互控制中的手套
CN105653029A (zh) * 2015-12-25 2016-06-08 乐视致新电子科技(天津)有限公司 在虚拟现实***中获得沉浸感的方法、***及智能手套
CN106293082A (zh) * 2016-08-05 2017-01-04 成都华域天府数字科技有限公司 一种基于虚拟现实的人体解剖交互***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103543830A (zh) * 2013-10-28 2014-01-29 四川大学 一种人体骨骼点映射至立体显示中虚拟三维空间点的方法
CN204904208U (zh) * 2015-09-07 2015-12-23 众景视界(北京)科技有限公司 用于虚拟现实和增强现实交互控制中的手套
CN105653029A (zh) * 2015-12-25 2016-06-08 乐视致新电子科技(天津)有限公司 在虚拟现实***中获得沉浸感的方法、***及智能手套
CN106293082A (zh) * 2016-08-05 2017-01-04 成都华域天府数字科技有限公司 一种基于虚拟现实的人体解剖交互***

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018233344A1 (zh) * 2017-06-22 2018-12-27 京东方科技集团股份有限公司 触觉反馈装置及方法、可读存储介质、电子产品
CN107340871A (zh) * 2017-07-25 2017-11-10 深识全球创新科技(北京)有限公司 集成手势识别与超声波触觉反馈的装置及其方法和用途
WO2019019240A1 (zh) * 2017-07-25 2019-01-31 深识全球创新科技(北京)有限公司 集成手势识别与超声波触觉反馈的装置及其方法和用途
CN108319372A (zh) * 2018-03-16 2018-07-24 京东方科技集团股份有限公司 一种虚拟设备及方法
CN108428261A (zh) * 2018-03-16 2018-08-21 赛诺贝斯(北京)营销技术股份有限公司 自助型会议签到智能一体机
WO2020224566A1 (zh) * 2019-05-06 2020-11-12 于毅欣 一种虚拟现实、增强现实、融合现实手部操作方法及装置
US11798234B2 (en) 2019-07-19 2023-10-24 Huawei Technologies Co., Ltd. Interaction method in virtual reality scenario and apparatus
WO2021136502A1 (zh) * 2020-01-02 2021-07-08 于毅欣 一种可用于获取手部数据的方法和装置
CN111369685A (zh) * 2020-03-03 2020-07-03 西南交通大学 一种事故救援虚拟演练交互***及方法
WO2023246159A1 (zh) * 2022-06-21 2023-12-28 腾讯科技(深圳)有限公司 一种虚拟现实的交互方法、相关装置、设备以及存储介质
CN115547129A (zh) * 2022-10-19 2022-12-30 肇庆医学高等专科学校 一种心脏三维可视化的ar实现***与方法
CN115547129B (zh) * 2022-10-19 2023-10-03 肇庆医学高等专科学校 一种心脏三维可视化的ar实现***与方法

Similar Documents

Publication Publication Date Title
CN106873775A (zh) 一种虚拟现实交互的实现方法、***及mr手套
CN107820593B (zh) 一种虚拟现实交互方法、装置及***
CN104102412B (zh) 一种基于增强现实技术的手持式阅览设备及其方法
JP5087101B2 (ja) プログラム、情報記憶媒体及び画像生成システム
CN103345064B (zh) 一种集成3d识别的帽子及帽子的3d识别方法
CN203941499U (zh) 一种基于立体视觉的动作采集和反馈***
US9639989B2 (en) Video processing device, video processing method, and video processing system
JP5081964B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
CN109840947A (zh) 增强现实场景的实现方法、装置、设备及存储介质
CN104699247A (zh) 一种基于机器视觉的虚拟现实交互***及方法
CN206584310U (zh) 一种应用于虚拟现实中的mr手套
TW201814435A (zh) 基於手勢的互動方法及裝置
US20140306891A1 (en) Holographic object feedback
CN112198959A (zh) 虚拟现实交互方法、装置及***
CN105739525A (zh) 一种配合体感操作实现虚拟飞行的***
CN110969905A (zh) 混合现实的远程教学互动、教具互动***及其互动方法
CN106200944A (zh) 一种对象的控制方法、控制装置和控制***
US20180005445A1 (en) Augmenting a Moveable Entity with a Hologram
CN106648038A (zh) 在虚拟现实中显示交互对象的方法和装置
JP2017102298A (ja) 表示制御装置及び表示制御方法
CN105739703A (zh) 面向无线头戴显示设备的虚拟现实体感交互***及方法
JP2023126474A (ja) 拡張現実のためのシステムおよび方法
CN107924586A (zh) 搜索图像内容
CN109905572A (zh) 一种无线传输的ar***
CN110389664B (zh) 一种基于增强现实的火灾场景模拟分析装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170620

RJ01 Rejection of invention patent application after publication