CN103197757A - 一种沉浸式虚拟现实***及其实现方法 - Google Patents

一种沉浸式虚拟现实***及其实现方法 Download PDF

Info

Publication number
CN103197757A
CN103197757A CN2012100063389A CN201210006338A CN103197757A CN 103197757 A CN103197757 A CN 103197757A CN 2012100063389 A CN2012100063389 A CN 2012100063389A CN 201210006338 A CN201210006338 A CN 201210006338A CN 103197757 A CN103197757 A CN 103197757A
Authority
CN
China
Prior art keywords
data
data processing
processing equipment
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100063389A
Other languages
English (en)
Inventor
魏斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Water Power (beijing) Network Technology Co Ltd
Original Assignee
Water Power (beijing) Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Water Power (beijing) Network Technology Co Ltd filed Critical Water Power (beijing) Network Technology Co Ltd
Priority to CN2012100063389A priority Critical patent/CN103197757A/zh
Publication of CN103197757A publication Critical patent/CN103197757A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种沉浸式虚拟现实***，所述***至少包括：至少一个可佩带在使用者身体上的显示器，至少一个动作捕捉装置，以及至少一个数据处理装置；其中，所述显示器用于捕捉使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置，以及接收至少一个所述数据处理装置发送的数据，并向使用者传递虚拟环境的视频和/或音频；所述动作捕捉装置捕捉使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个所述数据处理装置；所述数据处理装置用于处理从至少一个所述显示器和至少一个所述动作捕捉装置获取并传输至所述数据处理装置的数据，并将处理后的结果发送至至少一个显示器。本发明还提供了一种实现沉浸式虚拟现实的方法。

Description

一种沉浸式虚拟现实***及其实现方法
技术领域
本发明涉及本发明涉及一种虚拟现实***和方法，更详细地，本发明涉及一种沉浸式虚拟现实***和方法。
背景技术
虚拟现实(Virtual Reality，VR)技术是一种先进的、数字化的人机接口技术，，其特点在于计算机产生一种人为虚拟的环境，生成一个以视觉感受为主，包括听觉、触觉的综合感知的人工环境，人们可以通过视觉、听觉、触觉和加速度感等多种感觉通道感知计算机模拟的虚拟世界，也可以通过移动、语音、表情、手势及视线等最自然的方式和虚拟世界交互，从而产生身临其境的体验。虚拟现实技术是计算机技术、传感器技术、人机交互技术、人工智能技术等多种技术的综合发展，目前已经在军事、医学、教育、娱乐、制造业、工程训练等各个方面得到应用，它被认为是当前及将来影响人们生活的重要技术之一。
虚拟现实***按照沉浸性的程度不同分为沉浸式***与非沉浸式***。沉浸式虚拟现实***是通过一些特殊的外部设备、高性能计算机以及相应的软件来实现的，它使人完全沉浸到计算机创造的图形世界里，犹如感受真实世界。沉浸式虚拟现实***是一种高级的虚拟现实***，它提供一个完全沉浸的体验，让使用者有一种置身于虚拟境界之中的感觉。它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它感觉封闭起来，并提供一个新的、虚拟的感觉空间，并利用位置***、数据手套、其它手控输入设备、声音等使得参与者产生一种身临其境、全心投入和沉浸其中的感觉。
沉浸式虚拟现实***包括洞穴(CAVE)沉浸式虚拟现实***、大屏幕三维立体沉浸式虚拟现实***、柱面环幕投影沉浸式虚拟现实***等，这些沉浸式虚拟现实***以大幅面甚至是超大幅面的虚拟现实立体投影为显示方式，为参与者提供具有高度临场感的投入型虚拟空间环境，让所要交互的虚拟三维世界高度逼真地浮现于参与者的眼前。然而，这些沉浸式虚拟***需要固定场所安装大型显示设备才能使用，限制了其使用范围。
可佩带显示器的出现解决了显示设备庞大的问题，这种显示方式体积小，便于携带和运输，最有可能得到广泛的普及。然而，人体部位的跟踪和数据传输的延时是采用可佩带式显示器的沉浸式虚拟现实***所面临的技术难题。
例如CN97198214.7的空间跟踪***(Spatial tracking system)提供了人体部位跟踪的解决方案，例如3DSuit动作捕捉产品和Xsens Technologies生产的MVN惯性动作捕捉产品，采用惯性传感器等手段，对人体主要骨骼部位的运动进行实时测量。这类设备的的优点是使使用者全身心地沉浸到虚拟世界中去，缺点是***设备复杂，价格昂贵，难以普及推广。
发明内容
由于本发明人广泛而深入的研究，本发明人提出了根据本发明的技术方案，使得上述问题能够被解决。
本发明提供了一种沉浸式虚拟现实***，所述***至少包括：
至少一个可佩带在使用者身体上的显示器，至少一个动作捕捉装置，以及至少一个数据处理装置；
其中，
所述显示器用于向使用者显示图像和声音，并用于捕捉使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置，以及接收至少一个所述数据处理装置发送的数据，并向使用者传递虚拟环境的视频和/或音频；
所述动作捕捉装置捕捉使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个所述数据处理装置；
所述数据处理装置用于处理从至少一个所述显示器和至少一个所述动作捕捉装置获取并传输至所述数据处理装置的数据，并将处理后的结果发送至至少一个显示器。
根据本发明的沉浸式虚拟现实***，优选所述显示器包括至少一个角度感应装置。所述角度感应装置至少能捕获围绕z轴的旋转动作，优选所述角度感应装置是电子指南针。还优选所述角度感应装置能感应围绕x、y和z三个轴的旋转动作，更优选所述角度感应装置是三轴陀螺仪。
根据本发明的沉浸式虚拟现实***，优选所述动作捕获装置包括至少一个红外线发射器和至少一个红外线摄像头。更优选所述动作捕获装置是体感摄影机，最优选所述动作捕获装置是Kinect体感摄影机和/或WAVI Xtion体感摄影机。
根据本发明的沉浸式虚拟现实***，优选所述数据处理装置是电脑，例如PC机、笔记本电脑；个人数字助理(Personal Digital Assistant，PDA)，例如戴尔公司生产的Dell Axim X51V掌上电脑；平板电脑，例如苹果公司生产的iPad和iTouch、惠普公司生产的TouchPad；移动电话，例如苹果公司生产的iPhone，诺基亚公司生产的Nokia N85；音频处理终端，例如MP3和iPod；视频处理终端，例如MP4；和/或游戏机，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wii、GBA、3DS和NDS。
根据本发明的沉浸式虚拟现实***，至少一个显示器(COM1)、至少一个动作捕获装置(COM2)和至少一个数据处理装置(COM3)组成一个VRS。根据本发明的虚拟现实***也可以由多个VRS构成。
根据本发明的沉浸式虚拟现实***，其还包括至少一个数据交换装置，用于处理多个VRS之间的数据传输。优选所述数据交换装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
根据本发明的沉浸式虚拟现实***，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输速度优选不小于18432000bps(bit per second，比特每秒)，更优选不小于55296000bps，更优选不小于55296000bps，还更优选不小于147456000bps。优选数据传输装置采用WHDI传输方式。
本发明还提供了一种实现沉浸式虚拟现实的方法，所述方法至少包括以下部分：
通过至少一个动作捕获装置捕获使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个数据处理装置，
通过至少一个显示器捕获使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置，
通过至少一个所述数据处理装置处理来自所述动作捕获装置和所述显示器的数据，并将处理后的数据发送至至少一个所述显示器；
通过至少一个所述显示器将从至少一个所述数据处理装置接收到的处理后的数据转换为视频和/或音频，使使用者能感受到跟随自己动作变化的虚拟现实环境。
根据本发明的实现沉浸式虚拟现实的方法，优选所述显示器包括至少一个角度感应装置。所述角度感应装置至少能捕获围绕z轴的旋转动作，优选所述角度感应装置是电子指南针。还优选所述角度感应装置能感应围绕x、y和z三个轴的旋转动作，更优选所述角度感应装置是三轴陀螺仪。
根据本发明的实现沉浸式虚拟现实的方法，优选所述动作捕获装置包括至少一个红外线发射器和至少一个红外线摄像头。更优选所述动作捕获装置是体感摄影机，最优选所述动作捕获装置是Kinect摄像头和/或WAVI Xtion摄像头。
根据本发明的实现沉浸式虚拟现实的方法，优选所述数据处理装置是电脑，例如PC机、笔记本电脑；个人数字助理(Personal Digital Assistant，PDA)，例如戴尔生产的Dell Axim X51V掌上电脑；平板电脑，例如苹果公司生产的iPad和iTouch、惠普公司生产的TouchPad；移动电话，例如苹果公司生产的iPhone，诺基亚公司生产的Nokia N85；音频处理终端，例如MP3和iPod；视频处理终端，例如MP4；和/或游戏机，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wii、GBA、3DS和NDS。
根据本发明的实现沉浸式虚拟现实的方法，至少一个显示器(COM1)、至少一个动作捕获装置(COM2)和至少一个数据处理装置(COM3)组成一个VRS。根据本发明的虚拟现实***也可以由多个VRS构成。
根据本发明的实现沉浸式虚拟现实的方法，其还包括通过至少一个数据交换装置处理多个VRS之间的数据传输。优选所述数据交换装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
根据本发明的实现沉浸式虚拟现实的方法，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输速度优选不小于18432000bps(bit per second，比特每秒)，更优选不小于55296000bps，更优选不小于36864000bps，还更优选不小于147456000bps。优选数据传输装置采用WHDI传输方式。。
附图说明
附图1是根据本发明的显示器的结构图；
附图2a-2d是根据本发明的x、y和z轴的示意图；
附图3是根据本发明的显示器的工作原理图；
附图4是根据本发明的动作捕获装置的结构图；
附图5是根据本发明的动作捕获装置能够捕获的人体主要节点部位示意图；
附图6是根据本发明的数据处理装置的结构图；
附图7是根据本发明的数据处理装置的工作原理图；
附图8是根据本发明的数据交换装置的工作原理图；
附图9是根据本发明的实施例1的沉浸式虚拟现实***的拓扑结构图；
附图10是根据本发明的实施例2的沉浸式虚拟现实***的拓扑结构图；
附图11是根据本发明的实施例3的沉浸式虚拟现实***的拓扑结构图；
附图12是根据本发明的实施例4的沉浸式虚拟现实***的拓扑结构图；
附图13是根据本发明的实施例5的沉浸式虚拟现实***的拓扑结构图；
附图14是根据本发明的实施例6的沉浸式虚拟现实***的拓扑结构图。
具体实施方式
下面，将结合附图更为详细地阐述本发明。说明书中出现的实例仅用于解释、阐述和说明本发明，具有包括但不限于的含义，而不意味着对本发明的内容有任何形式的限制。
显示器(COM1)用于向使用者传递虚拟环境的视频和/或音频，使使用者产生身临其境的感受；并且包括至少一个角度感应装置，所述角度感应装置用于捕获头部转动动作，所述头部转动动作包括头部的旋转动作和小幅度偏转动作。显示器(COM1)还可以用于实现使用者与其它使用者之间的语音沟通。
参照附图1，显示器(COM1)具有显示装置(101)，话筒(102)，耳机(103)，角度感应装置(104)，信号处理装置(106)，以及数据传输装置(105)。
显示装置(101)是用于显示图像的部分，为了便于使用者感受到更为逼真的视觉效果，显示装置(101)的位置通常在人的眼部附近，该显示装置可以是CRT、LCD等任何显示设备。话筒(102)是用于捕获声音，并将声音信号转换为模拟信号的装置，一般安置在人的口部附近。耳机(103)是将模拟信号转换为声音信号，并将声音播出的装置，一般安置在人的耳部附近。
角度感应装置(104)能感应围绕z轴的旋转动作，更好地，角度感应装置(104)能够感应围绕x、y和z三个轴的旋转动作。如图2所示，所述围绕z轴的旋转动作是指使用者头部以竖直方向为轴的旋转动作，即，产生转动(yaw)(α)角变化的动作，例如使用者运动或基本静止状态下头部左右转动动作，也包括例如使用者直立站立或坐立状态下头部和身体几乎无位移或位移很小的情况下的头部左右转动动作。所述围绕x、y和z三个轴的旋转动作是指除了围绕z轴的旋转动作以外，还包括使用者头部沿竖直方向的轴向运动动作，即，产生转动(yaw)角(α)、偏转(pitch)角(β)和俯仰(roll)角(γ)，例如使用者的任何头部转动动作，包括头部转动动作、点头动作、后仰动作、摆头动作等，当然也包括例如使用者直立站立或坐立状态下头部和身体几乎无位移或位移很小的情况下的头部转动动作、点头动作、后仰动作、摆头动作。在前一种情况下，角度感应装置(104)可以是电子指南针；在后一种情况下，角度感应装置(104)可以是三轴陀螺仪。角度感应装置(104)使得头部的旋转动作和小幅度的偏转动作能够被根据本发明的沉浸式虚拟现实***所识别，弥补了动作捕获装置(COM2)难以识别头部的旋转动作和小幅度偏转动作的缺陷，能够辅助数据处理装置(COM3)渲染对应的视频图形，使得根据本发明的沉浸式虚拟现实***能够为使用者带来更为逼真的模拟现实效果。
信号处理装置(106)是显示器(COM1)的中央控制部分，用于处理显示器(COM1)接收和/或捕获到的数据。例如，如附图3所示，信号处理装置(106)具有图像处理装置(1061)、声音处理装置(1062)、控制装置(1063)和存储装置(1064)。其中，图像处理装置(1061)将接收到的文字、图形的数字信号转换成模拟信号，并将模拟信号传输至显示装置(101)显示；例如，图像处理装置(1061)可以是显卡。声音处理装置(1062)将从话筒(102)接收到的声音的模拟信号转换成数字信号，并传输给数据处理装置(COM3)；也将来自数据处理装置(COM3)的声音数字信号转换成模拟信号，并发送给耳机(103)播放；例如声音处理装置(1062)可以是声卡。控制装置(1063)用于控制显示器(COM1)的所有程序执行，协调外部设备操作；控制装置(1063)可以是中央处理器(CPU)。存储装置(1064)用于存储显示器(COM1)的程序和数据；存储装置(1064)可以是内存和/或硬盘。数据传输装置(105)是用于显示器(COM1)与其他装置(例如数据处理装置(COM3))之间数据传输，可采用WHDI、WiFi、Ethernet Net、RF、USB等方式。
动作捕获装置(COM2)用于捕获使用者主要节点部位的运动轨迹，其至少包括至少一个红外线发射器(201)和至少一个红外线摄像头(202)。如附图4所示，动作捕获装置(COM2)还可以包括控制器(203)，输出接口(205)，以及追焦马达(204)。使用时，动作捕获装置(COM2)面向使用者，使得使用者的活动范围落入动作捕获装置(COM2)的测量空间中。动作捕获装置(COM2)还可以包括彩色摄像头用于拍摄彩色图像。
红外线发射器(201)用于在在动作捕获装置(COM2)的测量空间中均匀投射红外光，所述测量空间是红外线发射器(201)所能覆盖的范围。红外线摄像头(202)(又称单色CMOS传感器或红外CMOS传感器)用于记录测量空间中的散斑数据，并将所得数据传输给控制器(203)。控制器(202)用于处理来自红外线摄像头(202)的数据，完成对人体主要节点部位的动作捕获，处理后的数据通过输出接口(205)传递给相连的其他装置(例如数据处理装置(COM3))。追焦马达(204)用于调整摄像设备的上下左右角度，以确保测量空间能更好得覆盖人体对象。
红外线发射器(201)向空间连续发射的均匀红外光照射到粗糙物体(如人体表面或衣物表面)上时，形成随机的反射斑点，即散斑。散斑具有高度随机性，也会随着距离而变换图案，空间中任何两处的散斑都会是不同的图案，相当于将整个空间加上了标记，所以任何物体进入该空间、以及移动时，都可以确切记录到该物体的位置。红外线摄像头(202)可以记录空间中出现的散斑，从而获取散斑信息，并传输给控制器(203)。
控制器(203)根据来自红外线摄像头(202)的数据形成具有3D深度的图像数据，并进行例如人体结构识别、人体骨骼模型建立等处理。人体结构识别采用机器学习技术(machine learning)，建立大量的图像资料库。将3D深度人体图像的每个像素传输至图像资料库中，以辨别像素分别属于哪个身体部位的可能性，从而确定人体部位。为了减轻计算量，可以采取分割遮罩技术，即将背景物体剔除，在处理流程中仅传送分割遮罩的部分，同时可以通过组合人体的基本面部数据和骨架数据来识别测量空间中每个人的身份。骨骼模型处理，是通过评估输出的像素来确定活动关节点，然后根据活动关节点生成骨骼***，并准确地评估人体实际所处位置。同时在控制器(203)中预存多个常见的人体姿势，以便在接收到的图像数据采集信息不全面时能够猜测并匹配出玩家的动作。
如附图5所示，动作捕获装置(COM2)捕获的人体动作轨迹，一般来说包括人体主要节点部位的运动轨迹，人体主要节点部位的运动轨迹一般是指人体主要节点部位在空间的位移轨迹，所述主要节点部位至少包括头部、手部、肘部、肩部、腰部、膝部和/或脚部，还可以包括髋部、腕部和/或踝部。动作捕获装置(COM2)可以是体感摄影机，其可以通过商业方式获取，例如微软公司的Kinect体感摄影机，或者华硕公司的WAVI Xtion体感摄影机。
然而，虽然动作捕获装置(COM2)能够捕获使用者主要节点部位的运动轨迹，但是其难以或不能识别头部转动动作。所述头部转动动作包括头部的旋转动作和/或小幅度偏转动作；头部的旋转动作是指头部相对于躯体几乎不产生位移或产生很小位移的以颈椎为轴的旋转动作，例如扭头动作，当然也包括使用者直立站立或坐立状态下头部和身体几乎无位移或位移很小的情况下的扭头动作、摇头动作；头部的小幅度偏转动作是指头部相对于躯体产生很小位移的摆动动作，例如幅度较小的摆头动作，当然也包括使用者直立站立或坐立状态下头部和身体几乎无位移或位移很小的情况下的点头动作、头部后仰动作或摆头动作。然而这些头部转动动作会使使用者的视角发生很大的变化，因而虚拟现实***必须要能够识别这些动作，并使***模拟的虚拟环境对上述动作有所反应和变化。经过本发明人广泛而深入的研究，根据本发明，在显示器(COM1)上安装角度感应装置(104)能够解决这个问题，角度感应装置(104)至少能够感应围绕z轴的旋转动作，当使用者头部作出旋转动作，例如扭头或摇头时，角度感应装置(104)能够感应到使用者的动作并发送相关数据，数据处理装置(COM3)接收到相关数据并进行处理，将处理后的数据发送回显示器(COM1)，使使用者能从显示器(COM1)感受到(例如看见和/或听见)随着扭头动作进行而产生的虚拟环境变化，使使用者有更好的身临其境的感受。更好地，角度感应装置(104)能够感应围绕x、y和z三个轴的旋转动作，即能够感应使用者的任何头部转动动作。当使用者头部作出旋转动作和/或小幅度偏转动作，例如即使是扭头和/或幅度较小的摆头、点头动作时，角度感应装置(104)也能够感应到使用者的动作并发送相关数据，数据处理装置(COM3)接收到相关数据并进行处理，将处理后的数据发送回显示器(COM1)，使使用者能从显示器(COM1)感受到(例如看见和/或听见)随着动作进行而产生的虚拟环境变化，使使用者有更好的身临其境的感受。
数据处理装置(COM3)用于处理从显示器(COM1)和动作捕获装置(COM2)获取的数据，并将处理后的结果发送至显示器(COM1)。如附图6所示，数据处理装置(COM3)通常包括控制器(301)，运算器(302)，存储器(303)，输入装置(304)，以及输出装置(305)。
控制器(301)用于控制程序执行，其根据存储器中的指令序列(程序)工作，并控制执行指令，根据指令控制机器的各部件协调操作。运算器(302)用于进行数据加工处理，例如各种算术、逻辑运算等。存储器(303)用于记忆程序和数据，例如以二进制代码形式存放程序和数据。输入装置(304)用于将外接装置发送的数据输入运算器(302)。输出装置(305)用于将运算器(302)处理完的数据输出至外接装置。所述外接装置例如显示器(COM1)、动作捕获装置(COM2)、数据交换装置(COM4)、鼠标、键盘和/或触摸式显示屏(例如电容屏或电阻屏)。
输入设备(304)把需要的程序和数据传输至运算器(302)，再通过运算器(302)存于存储器(303)。在运算处理过程中，数据从存储器(303)读入运算器(302)进行运算，运算结果存入存储器(303)，或由运算器(302)经输出设备(305)输出。指令也以数据形式存于存储器(303)中，运算时指令由存储器(303)送入控制器(301)，由控制器(301)产生控制流以控制数据流的流向以及控制各部件的工作，对数据流进行加工处理。
数据处理装置(COM3)可以是例如电脑，例如PC机、笔记本电脑；个人数字助理(Personal Digital Assistant，PDA)，例如戴尔公司生产的Dell AximX51V掌上电脑；平板电脑，例如苹果公司生产的iPad和iTouch、惠普公司生产的TouchPad；移动电话，例如苹果公司生产的iPhone，诺基亚公司生产的Nokia N85音频处理终端，例如MP3和iPod；视频处理终端，例如MP4；和/或游戏机，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wii、GBA、3DS和NDS。
数据处理装置(COM3)的工作原理如附图7所示。数据处理装置(COM3)负责对接收到的数据进行数据处理(701)。接收到的数据是本地使用者输入数据(702)和/或远程使用者输入数据(703)。本地使用者输入数据(702)是指从本地使用者处获取的数据，包括例如通过本地显示器(COM1)的话筒(102)捕获的音频数据、通过本地显示器(COM1)的角度感应装置(104)获取的头部转动动作数据、通过本地动作捕获装置(COM2)获取的本地使用者人体动作轨迹数据等。远程使用者输入数据(703)是指从远程使用者处获取并被发送到本地的数据，包括例如通过远程显示器(COM1’)的话筒(102’)捕获的音频数据、通过远程显示器(COM1’)的角度感应装置(104’)获取的头部转动动作数据、通过远程动作捕获装置(COM2’)获取的远程使用者人体动作轨迹数据等。
数据处理(701)通常包括数据获取模块(7011)、输入数据整理模块(7012)、数据处理模块(7014)、3D渲染模块(7016)、音频渲染模块(7015)和输出数据整理模块(7017)，并且还包括本地数据输出模块(7018)和/或远程数据输出模块(7013)。
数据获取模块(7011)获取本地使用者输入数据(702)和/或远程使用者输入数据(703)，并将数据传输至输入数据整理模块(7012)。输入数据整理模块(7012)将接收到的数据分门别类并整理为数据处理模块所能使用的数据格式，例如图像数据BITMAP、音频数据MP3、视频数据MPEG4等，并将整理后的数据传输给数据处理模块(7014)和/或远程数据输出模块(7013)。在有远程使用者的情况下远程数据输出模块(7013)将所有本地使用者输入数据，发送给各个远程使用者所在的沉浸式虚拟现实***的数据处理装置(COM3’)。远程使用者输出数据(705)是本地虚拟现实***发送给其他虚拟现实***数据处理装置(COM3’，即远程使用者所在的沉浸式虚拟现实***的数据处理装置)的数据，其包括本地虚拟现实***显示器(COM1)的话筒(102)捕获的音频数据、显示器(COM1)的角度感应装置(104)获取的头部转动动作数据、通过本地动作捕获装置(COM2)获取的本地使用者人体动作轨迹数据等。数据处理模块(7014)处理所接收到的整理后的数据，布置虚拟三维环境，将远程使用者与本地使用者放在虚拟现实环境中的各自位置上，并且设置远程使用者及本地使用者的肢体姿势与头部角度，依照本地使用者的头部角度，将3D摄像机(所述3D摄像机是由电脑***运算而构建的虚拟三维空间内的一个组成概念，其作用是定义一个指定位置方向及视野等信息的虚拟摄像机概念，以便根据该虚拟摄像机来渲染出一副三维空间内的画面。通常使用者所观察到的3D场景内的画面即为该3D场景内的3D摄像机所拍摄的画面。3D摄像机不负责渲染画面，只是决定了所要拍摄的内容。)的位置设置在本地使用者的眼部。数据处理模块(7014)将处理后的数据发送3D渲染模块(7016)和/或音频渲染模块(7015)。音频渲染模块(7015)依照每个本地使用者所在虚拟现实环境中的位置，渲染该使用者所听到的环境音频及其他使用者所发出的音频；优选音频音量根据音源与该使用者在虚拟现实环境中的距离进行调整，例如距离较近则音频音量较大，距离较远则音频音量较小。3D渲染模块(7016)依照设置好的摄像机分别渲染各个本地使用者所看到的视频画面。3D渲染模块(7016)和音频渲染模块(7015)将渲染后的数据发送至输出数据整理模块(7017)。输出数据整理模块(7017)将已经渲染好的画面与音频数据分门别类整理好以待发送给本地使用者佩带的显示器(COM1)；在有多个本地使用者的情况下，输出数据整理模块(7017)将已经渲染好的画面与音频数据分门别类整理好以待发送给各个对应的本地使用者佩带的显示器(COM1)。输出数据整理模块(7017)将整理好的数据发送给本地数据输出模块(7018)。本地数据输出模块(7018)将整理后的数据，即本地使用者输出数据(704)发送至对应的本地使用者佩带的显示器(COM1)。本地使用者输出数据(704)是经过数据处(701)处理后传输至本地使用者的数据，其包括处理后的远程使用者话筒(102’)捕获的音频数据、虚拟环境中的其他音频数据、虚拟环境中的视频数据等。
至少一个显示器(COM1)、至少一个动作捕获装置(COM2)和至少一个数据处理装置(COM3)组成一个VRS。具有一个显示器(COM1)、一个动作捕获装置(COM2)和一个数据处理装置(COM3)的根据本发明的虚拟现实***称为VRS-SM，具有两个以上显示器(COM1)、一个动作捕获装置(COM2)和一个数据处理装置(COM3)的根据本发明的虚拟现实***称为VRS-MM。根据本发明的虚拟现实***也可以由多个VRS构成。
数据交换装置(COM4)用于处理多个VRS(例如两个以上VRS-SM，或者两个以上VRS-MM，或者一个以上VRS-SM和一个以上VRS-MM)之间的数据传输(多个使用者远程交互的数据交换)，并且还可用于实现与之相连接的多个VRS所需要的共有虚拟环境。数据交换装置(COM4)将不同VRS之间交互的数据进行转发，使这些使用者即使在远程也可以获得身处同一场景的感受，进行交互交流。这些交互的数据主要包括使用者的肢体动作、语音等基本必要数据。数据交换装置(COM4)拥有场景数据和所有使用者的数据，才能处理所有参与者在场景内所做的任意事件。在多个使用者远程交互的处理上数据交换装置(COM4)是一个必不可少的关键部件。即，例如数据交换装置(COM4)接收数据处理装置(COM3)传出的数据，如有需要在对所接收数据(使用者数据)进行处理和/或增加数据信息(例如场景信息)后，传输给另一个数据处理装置(COM3’)；同时也将数据处理装置(COM3’)传出的数据，如有需要在对所接收数据进行处理和/或增加数据信息后，传输给数据处理装置(COM3)。而数据处理装置(COM3)将来自数据交换装置(COM4)的数据转发给本地VRS内的所有使用者，并根据来自数据交换装置(COM4)的数据，渲染出图像，使之能看到数据交换装置(COM4)所连接的其他VRS上使用者和听到他们的声音。在多个VRS的***中，数据处理装置(COM3)为数据交换装置(COM4)提供数据转发并负责渲染图像。在单个VRS的***中，数据处理装置(COM3)为数据交换装置(COM4)的工作可以在同一个装置上完成。
如图8所示，数据交换装置(COM4)通常包括控制器(401)，运算器(402)，存储器(403)，输入装置(404)，以及输出装置(405)。
控制器(401)用于控制程序执行，其根据存储器中的指令序列(程序)工作，并控制执行指令，根据指令控制机器的各部件协调操作。运算器(402)用于进行数据加工处理，例如各种算术、逻辑运算等。存储器(403)用于记忆程序和数据，例如以二进制代码形式存放程序和数据。输入装置(404)用于将外接装置发送的数据输入运算器(402)。输出装置(405)用于将运算器(402)处理完的数据输出至外接装置。所述外接装置例如数据处理装置(COM3)、鼠标、键盘和/或触摸式显示屏(例如电容屏或电阻屏)。
输入设备(404)把需要的程序和数据传输至运算器(402)，再通过运算器(402)存于存储器(403)。在运算处理过程中，数据从存储器(403)读入运算器(402)进行运算，运算结果存入存储器(403)，或由运算器(402)经输出设备(405)输出。指令也以数据形式存于存储器(403)中，运算时指令由存储器(403)送入控制器(401)，由控制器(401)产生控制流以控制数据流的流向以及控制各部件的工作，对数据流进行加工处理。
数据交换装置(COM4)可以是例如电脑，例如PC机、笔记本电脑；个人数字助理(Personal Digital Assistant，PDA)，例如戴尔公司生产的Dell AximX51V掌上电脑；平板电脑，例如苹果公司生产的iPad和iTouch、惠普公司生产的TouchPad；移动电话，例如苹果公司生产的iPhone，诺基亚公司生产的Nokia N85；音频处理终端，例如MP3和iPod；视频处理终端，例如MP4；和/或游戏机，例如PS2、PS3、PSP、NGC、NDSL、XBOX、Wii、GBA、3DS和NDS。
在一个根据本发明的虚拟现实***中，数据处理装置(COM3)和数据交换装置(COM4)可以是同一个装置。优选在一个根据本发明的虚拟现实***中，数据处理装置(COM3)和数据交换装置(COM4)不是同一个装置。
根据本发明的虚拟现实***，显示器(COM1)、动作捕获装置(COM2)、数据处理装置(COM3)和数据交换装置(COM4)之间的数据传输通过数据传输装置(例如数据传输装置(105)、输出接口(205)、输入装置(304)、输出装置(305)、输入装置(404)和/或输出装置(405))进行，所述数据传输装置采取的数据传输方式可以是有线传输，也可以是无线传输。然而采用有线传输方式时，数据传输装置上的连接线有可能会干扰使用者的活动，影响使用者的体验，因而，根据本发明，数据传输装置优选采用无线传输方式，例如蓝牙、红外、Wifi、WHDI等。采用无线传输时，最主要的问题在于传输速度，***捕获到使用者在三维空间的运动，然后将使用者在虚拟现实环境中“应该”体验到的视觉和/或听觉感受传送给使用者，如果由于传输速度产生延时，使用者感受到的可能是数秒以前的体验，这样会大大削弱虚拟现实***的功能。使用者所感觉到的延时主要来自于本地数据传输的传输延时，即在虚拟现实***的每一个VRS内各装置之间传输(显示器与动作捕捉装置、显示器与数据处理装置和/或动作捕捉装置与所述数据处理装置之间的传输)而引起的延时。传输延时分为输入延时(例如显示器(COM1)和/或动作捕获装置(COM2)向数据处理装置(COM3)传输信息产生的延时)和输出延时(例如数据处理装置(COM3)向动作捕获装置(COM1)传输信息产生的延时)。输入延迟，由于输入内容主要是由人体动作产生的数据及语音数据，数据量相对较小，对传输媒介带宽要求相对较低。而输出延迟，由于传输的是连续图形序列及音频，所以数据量相对较大，对传输媒介带宽相对较高。因而，根据本发明，还优选数据传输装置的传输速度不小于18432000bps(bit per second，比特每秒)，更优选不小于55296000bps，更优选不小于55296000bps，还更优选不小于147456000bps。更优选数据传输装置采用WHDI(Wireless Home Digital Interface，即无线家庭数字接口)传输方式。WHDI能够实现高达3Gbps的数据传输速度，工作范围可达30米，可穿透墙壁，发送数据延迟能够小于1毫秒。采用该技术的数据传输装置能够在市场上获得，例如AMIMON公司的MIPS-Based芯片或AMN2120/AMN2220芯片。
根据本发明的沉浸式虚拟现实***可以用于游戏、科研、多媒体、娱乐、仿真、远程会议等多个方面。
现在将结合实施例更为详尽地阐述本发明，实施例所列举的方式仅仅是根据本发明典型的实例，仅用于说明本发明，而不意味着对本发明进行任何限制。
实施例
实施例1
一个根据本发明的沉浸式虚拟现实***(VRS 1，如附图9所示)，包括一个显示器(COM1)，一个动作捕获装置(COM2)，一个数据处理装置(COM3)。显示器(COM1)是双眼式头戴视频显示器，具有一个显示装置(Myvu公司
Figure BSA00000655518300151
透射式微型液晶显示屏)、一个话筒(铁三角PRO 51Q)、一个耳机(森海塞尔PX80)、一个角度感应装置(电子指南针，日本旭化成株式会社AK8973数字罗盘芯片)、一个信号处理装置和一个数据传输装置(意法半导体公司生产的STLC4420型WiFi芯片)，其中，所述信号处理装置包括图像处理装置(Kopin生产的Microdisplay Controller(Custom)KCD-A210-BA，集成在Myvu公司
Figure BSA00000655518300161
透射式微型液晶显示屏上)、声音处理装置(基于I2S总线的UDA1341解码芯片)、控制装置(带有I2C总线接口的Samsung S3C2440芯片)和存储装置(两片并接的K4S511632B-CL75、512M bytes的SDRAM芯片)。显示器(COM1)电源部分采用MCP1700低压差稳压芯片供电。根据上述芯片的电器特性，设计本实施例显示器(COM1)的电路图，按照电路图完成印刷电路板(Printed circuit board，PCB)的设计和制作，组装形成显示器(COM1)。
动作捕获装置(COM2)是一个体感摄影机(微软公司Kinet摄像头)，数据处理装置(COM3)是一台电脑(外接TP-LINK公司生产的TL-WN321G型无线上网卡的联想家悦E2565台式电脑)。
显示器(COM1)开机后，初始化Samsung S3C2440芯片、UDA1341解码芯片、AK8973数字罗盘芯片和STLC4420芯片，然后在控制装置SamsungS3C2440芯片中执行主程序循环。在主程序循环中，控制装置获得来自角度传感器和话筒的数据、通过数据传输装置来自数据处理装置(COM3)的数据并存储在存储装置中，并通过数据传输装置将来自角度传感器和话筒的数据发送给数据处理装置(COM3)，将需要输出的影音数据输出到显示装置和耳机。
动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COM1)和动作捕获装置(COM2)的数据，得到虚拟场景信息，包括例如使用者在场景中的位置、肢体及头部动作、声音等信息，并转化为音视频信息发送给显示器(COM1)。显示器(COM1)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起存储装置内，并将需要输出的音频数据输出至耳机，将需要输出的视频数据输出至显示装置。
显示器(COM1)与数据处理装置(COM3)之间采用WiFi实现数据传输，动作捕获装置(COM2)与数据处理装置(COM3)按说明书进行有线连接。
运行结果表明根据本发明的沉浸式虚拟现实***(VRS1)能够正常地执行虚拟现实模拟程序，无明显延迟。
实施例2
一个根据本发明的沉浸式虚拟现实***(VRS2，如附图10所示)，包括三个显示器(COM1)，一个动作捕获装置(COM2)，一个数据处理装置(COM3)。显示器(COM1)除了角度感应装置采用三轴陀螺仪(霍尼韦尔公司HMC5883L三轴磁阻传感器)，信号传输装置采用CAT6023芯片外，与实施例1中的显示器(COM1)相同。
动作捕获装置(COM2)是一个体感摄影机(微软公司Kinet摄像头)，数据处理装置(COM3)是一台游戏机(外接SEAMON公司生产的SEM-ST1O11型WHDI STICK的索尼PlayStation 2)。
显示器(COM1)开机后，初始化Samsung S3C2440芯片、UDA1341解码芯片、HMC5883L三轴磁阻传感器和CAT6023芯片，然后在控制装置SamsungS3C2440芯片中执行主程序循环。在主程序循环中，每个控制装置获得来自各自角度传感器和话筒的数据、通过各自数据传输装置来自数据处理装置(COM3)的数据并存储在各自的存储装置中，并通过各自的数据传输装置将来自各自角度传感器和话筒的数据发送给数据处理装置(COM3)，将需要输出的影音数据输出到各自的显示装置和耳机。
动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COM1)和动作捕获装置(COM2)的数据，处理所有使用者的的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，并转化为音视频信息发送给对应的显示器(COM1)。显示器(COM1)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。
显示器(COM1)与数据处理装置(COM3)之间采用WHDI实现数据传输，动作捕获装置(COM2)与数据处理装置(COM3)按说明书进行有线连接。
运行结果表明根据本发明的沉浸式虚拟现实***(VRS2)能够正常地执行虚拟现实模拟程序，无明显延迟。
实施例3
一个根据本发明的沉浸式虚拟现实***(如附图11所示)，由两个相同的沉浸式虚拟现实***(VRS3和VRS3’)组成，VRS3除了显示器(COM1)中的角度感应装置采用三轴陀螺仪(霍尼韦尔公司HMC5883L三轴磁阻传感器)，信号传输装置采用CAT6023芯片，数据处理装置(COM3)是外接SEAMON公司生产的SEM-ST1011型WHDI STICK的联想家悦E2565台式电脑外，与实施例1中的VRS1相同。两个VRS3之间经由数据处理装置(COM3和COM3’)通过路由器(TP-Link公司生产的TL-R478+型路由器)相连接进行数据传输。
显示器(COM1，COM1’)开机后，初始化Samsung S3C2440芯片、UDA1341解码芯片、HMC5883L三轴磁阻传感器和CAT6023芯片，然后在控制装置Samsung S3C2440芯片中执行主程序循环。在主程序循环中，显示器(COM1)的控制装置获得来自其角度传感器和话筒的数据、其数据传输装置接收的来自数据处理装置(COM3)的数据并存储在其存储装置中，并通过其数据传输装置将来自其角度传感器和话筒的数据发送给数据处理装置(COM3)，将需要输出的影音数据输出到其显示装置和耳机。显示器(COM1’)运行与显示器(COM1)相同。
在VRS3中，动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COM1)、动作捕获装置(COM2)和数据处理装置(COM3’)的数据，处理所有使用者的的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，将对应VRS3’使用者的虚拟场景信息发送给数据处理装置(COM3’)，将对应VRS3使用者的虚拟场景信息转化为音视频信息发送给显示器(COM1)。
在VRS3’中，动作捕获装置(COM2’)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3’)。数据处理装置(COM3’)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COM1’)、动作捕获装置(COM2’)的数据，发送给数据处理装置(COM3)，同时也接收来自数据处理装置(COM3)虚拟场景信息，并转化为音视频信息发送给显示器(COM1’)。
显示器(COM1和COM1’)收到来自各自VRS的数据处理装置(COM3和COM3’)生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。
分别同时运行模拟程序，运行结果表明根据本发明的沉浸式虚拟现实***能够正常地执行虚拟现实模拟程序，无明显延迟。
实施例4
一个根据本发明的沉浸式虚拟现实***(如附图12所示)，由两个沉浸式虚拟现实***(VRS3和VRS4)组成。VRS3与实施例3相同；VRS4除具有三个显示器(COM1’)外，与VRS3相同。两个VRS之间经由数据处理装置(COM3和COM3’)通过数据交换装置(COM4)相连接，数据处理装置(COM3和COM3’)与数据交换装置(COM4)通过路由器(TP-Link公司生产的TL-R478+型路由器)相连接。数据交换装置(COM4)是联想公司生产的扬天A8800t台式电脑。
如实施例3，显示器(COM1和COM1’)开机初始化并执行主程序循环。在VRS3中，动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COM1)、动作捕获装置(COM2)的数据，并发送给数据交换装置(COM4)。
数据交换装置(COM4)接收到来自各个VRS的数据处理装置(COM3和COM3’)的数据后，处理所有使用者的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，将对应VRS3使用者的虚拟场景信息发送给数据处理装置(COM3)，将对应VRS4使用者的虚拟场景信息发送给数据处理装置(COM3’)。
数据处理装置(COM3)接收来自数据交换装置(COM4)的虚拟场景信息，并转化为音视频信息发送给显示器(COM1)。显示器(COM1)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。
VRS4的显示器(COM1’)、动作捕获装置(COM2’)、数据处理装置(COM3’)执行与VRS3的显示器(COM1)、动作捕获装置(COM2)、数据处理装置(COM3)基本相同的动作。
分别同时运行模拟程序，运行结果表明根据本发明的沉浸式虚拟现实***能够正常地执行虚拟现实模拟程序，无明显延迟。
实施例5
一个根据本发明的沉浸式虚拟现实***(如附图13所示)，由五个与实施例3的VRS3相同的沉浸式虚拟现实***(VRS1、VRS1’、VRS1”、VRS1”’和VRS1””)组成，五个VRS之间经由数据处理装置(COM3、COM3’、COM3”、COM3”’和COM3””)通过数据交换装置(COM4)相连接进行数据传输，数据处理装置(COM3、COM3’、COM3”、COM3”’和COM3””)与数据交换装置(COM4)通过路由器(TP-Link公司生产的TL-R478+型路由器)相连接。数据交换装置(COM4)是联想公司生产的扬天A8800t台式电脑。
如实施例3，显示器(COM1、COM1’等)开机初始化并执行主程序循环。在VRS3中，动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COM1)、动作捕获装置(COM2)的数据，并发送给数据交换装置(COM4)。
数据交换装置(COM4)接收到来自各个VRS的数据处理装置(COM3、COM3’等)的数据后，处理所有使用者的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，将对应各个VRS使用者的虚拟场景信息发送给对应的数据处理装置，例如将对应VRS3使用者的虚拟场景信息发送给数据处理装置(COM3)，将对应VRS3’使用者的虚拟场景信息发送给数据处理装置(COM3’)。
数据处理装置(COM3)接收来自数据交换装置(COM4)的虚拟场景信息，并转化为音视频信息发送给显示器(COM1)。显示器(COM1)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。
本实施例其他VRS的显示器(COM1’、COM1”等)、动作捕获装置(COM2’、COM2”等)、数据处理装置(COM3’、COM3”等)执行与VRS3的显示器(COM1)、动作捕获装置(COM2)、数据处理装置(COM3)基本相同的动作。
分别同时运行模拟程序，运行结果表明根据本发明的沉浸式虚拟现实***能够正常地执行虚拟现实模拟程序，无明显延迟。
实施例6
一个根据本发明的沉浸式虚拟现实***(如附图14所示)，由三个与实施例3的VRS3相同的沉浸式虚拟现实***(VRS3、VRS3’和VRS3”)和两个与实施例4的VRS4相同的沉浸式虚拟现实***(VRS4和VRS4’)组成，五个VRS之间经由数据处理装置(COM3、COM3’、COM3”、COM3”’和COM3””)通过数据交换装置(COM4)相连接进行数据传输，数据处理装置(COM3、COM3’、COM3”、COM3”’和COM3””)与数据交换装置(COM4)通过路由器(TP-Link公司生产的TL-R478+型路由器)相连接。数据交换装置(COM4)是联想公司生产的扬天A8800t台式电脑。
显示器(COM1、COM1’等)开机初始化并执行主程序循环。在VRS3中，动作捕获装置(COM2)将用户的动作捕获后，生成深度图数据，然后由深度图数据转换为骨骼动作数据，并将骨骼动作数据发送给数据处理装置(COM3)。数据处理装置(COM3)根据事先写入其中的实现虚拟现实的模拟程序处理来自显示器(COM1)、动作捕获装置(COM2)的数据，并发送给数据交换装置(COM4)。
数据交换装置(COM4)接收到来自各个VRS的数据处理装置(COM3、COM3’等)的数据后，处理所有使用者的交互关系，得到虚拟场景信息，包括例如各个使用者在场景中的位置、肢体及头部动作、声音、交互的场景信息等信息，将对应各个VRS的各个使用者的虚拟场景信息发送给对应的数据处理装置，例如将对应VRS3使用者的虚拟场景信息发送给数据处理装置(COM3)，将对应VRS4使用者的虚拟场景信息发送给数据处理装置(COM3”’)。
数据处理装置(COM3)接收来自数据交换装置(COM4)的虚拟场景信息，并转化为音视频信息发送给显示器(COM1)。显示器(COM1)收到来自数据处理装置(COM3)生成的音视频信息后，将该数据储存在起各自的存储装置内，并将需要输出的音频数据输出至各自的耳机，将需要输出的视频数据输出至各自的显示装置。
本实施例其他VRS的显示器(COM1’、COM1”等)、动作捕获装置(COM2’、COM2”等)、数据处理装置(COM3’、COM3”等)执行与VRS3的显示器(COM1)、动作捕获装置(COM2)、数据处理装置(COM3)基本相同的动作。
分别同时运行模拟程序，运行结果表明根据本发明的沉浸式虚拟现实***能够正常地执行虚拟现实模拟程序，无明显延迟。

Claims (24)

1.一种沉浸式虚拟现实***，所述***至少包括：
至少一个可佩带在使用者身体上的显示器，至少一个动作捕捉装置，以及
至少一个数据处理装置；
其中，
所述显示器用于向使用者显示图像，并用于捕捉使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置，以及接收至少一个所述数据处理装置发送的数据，并向使用者传递虚拟环境的视频和/或音频；
所述动作捕捉装置捕捉使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个所述数据处理装置；
所述数据处理装置用于处理从至少一个所述显示器和至少一个所述动作捕捉装置获取并传输至所述数据处理装置的数据，并将处理后的结果发送至至少一个显示器。
2.根据权利要求1所述的虚拟现实***，其特征在于所述显示器包括至少一个角度感应装置，所述角度感应装置至少能感应围绕z轴的旋转动作。
3.根据权利要求2所述的虚拟现实***，其特征在于所述角度感应装置是电子指南针。
4.根据权利要求3所述的虚拟现实***，其特征在于所述角度感应装置能感应围绕x、y和z三个轴的旋转动作。
5.根据权利要求4所述的虚拟现实***，其特征在于所述角度感应装置是三轴陀螺仪。
6.根据权利要求1-5任一项所述的虚拟现实***，其特征在于所述动作捕捉装置包括至少一个红外线发射器和至少一个红外线摄像头。
7.根据权利要求6所述的虚拟现实***，其特征在于所述动作捕捉装置是体感摄影机。
8.根据权利要求1-7任一项所述的虚拟现实***，所述数据处理装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
9.根据权利要求1-8任一项所述的虚拟现实***，还包括至少一个数据交换装置，用于处理多个VRS之间的数据传输。
10.根据权利要求9所述的虚拟现实***，所述数据交换装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
11.根据权利要求1-10任一项所述的虚拟现实***，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输速度不小于18432000bps。
12.根据权利要求11所述的虚拟现实***，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输采用WHDI传输方式。
13.一种实现沉浸式虚拟现实的方法，所述方法至少包括以下部分：
通过至少一个动作捕捉装置捕捉使用者主要节点部位的运动轨迹，并将运动轨迹数据发送至至少一个数据处理装置，
通过至少一个显示器捕捉使用者的头部转动动作，并将头部转动动作数据发送至至少一个所述数据处理装置，
通过至少一个所述数据处理装置处理来自所述动作捕捉装置和所述显示器的数据，并将处理后的数据发送至至少一个所述显示器；
通过至少一个所述显示器将从至少一个所述数据处理装置接收到的处理后的数据转换为视频和/或音频，使使用者能感受到跟随自己动作变化的虚拟现实环境。
14.根据权利要求13所述的实现沉浸式虚拟现实的方法，其特征在于所述显示器包括至少一个角度感应装置，所述角度感应装置至少能感应围绕z轴的旋转动作。
15.根据权利要求14所述的实现沉浸式虚拟现实的方法，其特征在于所述角度感应装置是电子指南针。
16.根据权利要求14所述的实现沉浸式虚拟现实的方法，其特征在于所述角度感应装置能感应围绕x、y和z三个轴的旋转动作。
17.根据权利要求16所述的实现沉浸式虚拟现实的方法，其特征在于所述角度感应装置是三轴陀螺仪。
18.根据权利要求13-17任一项所述的实现沉浸式虚拟现实的方法，其特征在于所述动作捕捉装置包括至少一个红外线发射器和至少一个红外线摄像头。
19.根据权利要求18所述的实现沉浸式虚拟现实的方法，其特征在于所述动作捕捉装置是体感摄影机。
20.根据权利要求13-19任一项所述的实现沉浸式虚拟现实的方法，所述数据处理装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
21.根据权利要求13-20任一项所述的虚拟现实***，还包括通过至少一个数据交换装置处理多个VRS之间的数据传输。
22.根据权利要求21所述的虚拟现实***，所述数据交换装置是电脑、个人数字助理、平板电脑、移动电话、音频处理终端、视频处理终端和/或游戏机。
23.根据权利要求13-22任一项所述的虚拟现实***，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输速度不小于18432000bps。
24.根据权利要求23所述的虚拟现实***，所述显示器与所述动作捕捉装置、所述显示器与所述数据处理装置和/或所述动作捕捉装置与所述数据处理装置之间的传输采用WHDI传输方式。
CN2012100063389A 2012-01-09 2012-01-09 一种沉浸式虚拟现实***及其实现方法 Pending CN103197757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100063389A CN103197757A (zh) 2012-01-09 2012-01-09 一种沉浸式虚拟现实***及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100063389A CN103197757A (zh) 2012-01-09 2012-01-09 一种沉浸式虚拟现实***及其实现方法

Publications (1)

Publication Number Publication Date
CN103197757A true CN103197757A (zh) 2013-07-10

Family

ID=48720413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100063389A Pending CN103197757A (zh) 2012-01-09 2012-01-09 一种沉浸式虚拟现实***及其实现方法

Country Status (1)

Country Link
CN (1) CN103197757A (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605208A (zh) * 2013-08-30 2014-02-26 北京智谷睿拓技术服务有限公司 内容投射***及方法
CN103631381A (zh) * 2013-12-10 2014-03-12 国家电网公司 输电线路巡视仿真***的人机交互***及人机交互方法
CN104023005A (zh) * 2014-05-06 2014-09-03 山东歌尔谷崧精密工业有限公司 虚拟会议***
CN104616544A (zh) * 2015-03-12 2015-05-13 马盼盼 一种智能教学***
CN104702911A (zh) * 2014-11-24 2015-06-10 段然 穿戴式摄录设备实时无线传输方法
CN104759095A (zh) * 2015-04-24 2015-07-08 吴展雄 一种虚拟现实头戴显示***
CN105260016A (zh) * 2015-09-24 2016-01-20 联想(北京)有限公司 一种信息处理方法及电子设备
CN105404393A (zh) * 2015-06-30 2016-03-16 指点无限（美国）有限公司 低延迟虚拟现实显示***
CN105791977A (zh) * 2016-02-26 2016-07-20 北京视博云科技有限公司 基于云服务的虚拟现实数据处理方法、设备及***
CN105872444A (zh) * 2016-04-22 2016-08-17 广东小天才科技有限公司 一种视频通话方法、装置及***
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及***
CN105912107A (zh) * 2016-04-05 2016-08-31 福建天晴数码有限公司 Windows***浏览器分屏的方法及***
CN105912108A (zh) * 2016-04-05 2016-08-31 福建天晴数码有限公司 Ios***浏览器分屏的方法及***
CN106020493A (zh) * 2016-03-13 2016-10-12 成都市微辣科技有限公司 一种基于虚拟现实的产品展示装置及方法
CN106110627A (zh) * 2016-06-20 2016-11-16 曲大方 体育和武术运动动作校正设备和方法
CN106200983A (zh) * 2016-07-25 2016-12-07 圣域科技（深圳）有限公司 一种结合虚拟现实与bim实现虚拟现实场景建筑设计的***
CN106385348A (zh) * 2016-09-21 2017-02-08 平越 分步辨别的虚拟现实娱乐***及其方法
CN106604200A (zh) * 2017-01-19 2017-04-26 浪潮（苏州）金融技术服务有限公司 一种音频数据处理方法和装置
CN106679933A (zh) * 2016-11-21 2017-05-17 福建省华渔教育科技有限公司 一种头显设备性能测试方法及***
CN106873760A (zh) * 2015-12-14 2017-06-20 技嘉科技股份有限公司 可携式虚拟现实***
CN106909163A (zh) * 2015-12-22 2017-06-30 深圳信息职业技术学院 沉浸式虚拟现实无人机驾驶***
CN107291999A (zh) * 2017-06-01 2017-10-24 中国农业大学 一种基于虚拟现实技术的耕作模拟方法及***
CN107291244A (zh) * 2017-07-04 2017-10-24 宁波美象信息科技有限公司 一种vr参观***
CN107430868A (zh) * 2015-03-06 2017-12-01 微软技术许可有限责任公司 沉浸式可视化***中用户语音的实时重构
US9870050B2 (en) 2013-10-10 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Interactive projection display
US9867532B2 (en) 2013-07-31 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd System for detecting optical parameter of eye, and method for detecting optical parameter of eye
US9867756B2 (en) 2013-08-22 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Eyesight-protection imaging system and eyesight-protection imaging method
CN107979763A (zh) * 2016-10-21 2018-05-01 阿里巴巴集团控股有限公司 一种虚拟现实设备生成视频、播放方法、装置及***
CN108108026A (zh) * 2018-01-18 2018-06-01 珠海金山网络游戏科技有限公司 一种vr虚拟现实动作捕捉***和动作捕捉方法
CN108475439A (zh) * 2016-02-16 2018-08-31 乐天株式会社 三维模型生成***、三维模型生成方法以及程序
CN108702490A (zh) * 2016-02-29 2018-10-23 微软技术许可有限责任公司 沉浸式交互远程呈现
US10191276B2 (en) 2013-06-28 2019-01-29 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging adjustment device and imaging adjustment method
CN109388142A (zh) * 2015-04-30 2019-02-26 广东虚拟现实科技有限公司 一种基于惯性传感器进行虚拟现实行走控制的方法及***
US10261345B2 (en) 2013-06-28 2019-04-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging adjustment device and imaging adjustment method
CN110099297A (zh) * 2018-01-31 2019-08-06 深圳市掌网科技股份有限公司 一种基于虚拟现实设备的无线传输方法及***
US10395510B2 (en) 2013-08-30 2019-08-27 Beijing Zhigu Rui Tuo Tech Co., Ltd Reminding method and reminding device
CN110264846A (zh) * 2019-07-11 2019-09-20 广东电网有限责任公司 一种基于cave的电网应急技能训练***
CN110291487A (zh) * 2017-02-01 2019-09-27 标致雪铁龙汽车股份有限公司 用于确定沉浸式虚拟现实***的时延的分析设备
US10481396B2 (en) 2013-06-28 2019-11-19 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging device and imaging method
US10551638B2 (en) 2013-07-31 2020-02-04 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging apparatus and imaging method
US10583068B2 (en) 2013-08-22 2020-03-10 Beijing Zhigu Rui Tuo Tech Co., Ltd Eyesight-protection imaging apparatus and eyesight-protection imaging method
CN114339405A (zh) * 2022-01-04 2022-04-12 广州博冠信息科技有限公司 Ar视频数据流远程制作方法及装置、设备、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030025652A1 (en) * 2001-08-01 2003-02-06 Susnfara Kenneth J. Virtual reality viewing system and method
CN1168057C (zh) * 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的***
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
JP2011109462A (ja) * 2009-11-18 2011-06-02 Konica Minolta Opto Inc 映像送信装置、撮影装置および遠隔作業支援システム
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1168057C (zh) * 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的***
US20030025652A1 (en) * 2001-08-01 2003-02-06 Susnfara Kenneth J. Virtual reality viewing system and method
US20100240988A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360 degree heads up display of safety/mission critical data
JP2011109462A (ja) * 2009-11-18 2011-06-02 Konica Minolta Opto Inc 映像送信装置、撮影装置および遠隔作業支援システム
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10481396B2 (en) 2013-06-28 2019-11-19 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging device and imaging method
US10191276B2 (en) 2013-06-28 2019-01-29 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging adjustment device and imaging adjustment method
US10261345B2 (en) 2013-06-28 2019-04-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Imaging adjustment device and imaging adjustment method
US10551638B2 (en) 2013-07-31 2020-02-04 Beijing Zhigu Rui Tuo Tech Co., Ltd. Imaging apparatus and imaging method
US9867532B2 (en) 2013-07-31 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd System for detecting optical parameter of eye, and method for detecting optical parameter of eye
US9867756B2 (en) 2013-08-22 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Eyesight-protection imaging system and eyesight-protection imaging method
US10583068B2 (en) 2013-08-22 2020-03-10 Beijing Zhigu Rui Tuo Tech Co., Ltd Eyesight-protection imaging apparatus and eyesight-protection imaging method
US10048750B2 (en) 2013-08-30 2018-08-14 Beijing Zhigu Rui Tuo Tech Co., Ltd Content projection system and content projection method
US10395510B2 (en) 2013-08-30 2019-08-27 Beijing Zhigu Rui Tuo Tech Co., Ltd Reminding method and reminding device
WO2015027599A1 (zh) * 2013-08-30 2015-03-05 北京智谷睿拓技术服务有限公司 内容投射***及内容投射方法
CN103605208B (zh) * 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射***及方法
CN103605208A (zh) * 2013-08-30 2014-02-26 北京智谷睿拓技术服务有限公司 内容投射***及方法
US9870050B2 (en) 2013-10-10 2018-01-16 Beijing Zhigu Rui Tuo Tech Co., Ltd Interactive projection display
CN103631381A (zh) * 2013-12-10 2014-03-12 国家电网公司 输电线路巡视仿真***的人机交互***及人机交互方法
CN104023005A (zh) * 2014-05-06 2014-09-03 山东歌尔谷崧精密工业有限公司 虚拟会议***
CN104702911A (zh) * 2014-11-24 2015-06-10 段然 穿戴式摄录设备实时无线传输方法
CN107430868B (zh) * 2015-03-06 2021-02-09 微软技术许可有限责任公司 沉浸式可视化***中用户语音的实时重构
CN107430868A (zh) * 2015-03-06 2017-12-01 微软技术许可有限责任公司 沉浸式可视化***中用户语音的实时重构
CN104616544A (zh) * 2015-03-12 2015-05-13 马盼盼 一种智能教学***
CN104759095A (zh) * 2015-04-24 2015-07-08 吴展雄 一种虚拟现实头戴显示***
CN109388142A (zh) * 2015-04-30 2019-02-26 广东虚拟现实科技有限公司 一种基于惯性传感器进行虚拟现实行走控制的方法及***
CN105404393A (zh) * 2015-06-30 2016-03-16 指点无限（美国）有限公司 低延迟虚拟现实显示***
CN108762496A (zh) * 2015-09-24 2018-11-06 联想(北京)有限公司 一种信息处理方法及电子设备
CN105260016A (zh) * 2015-09-24 2016-01-20 联想(北京)有限公司 一种信息处理方法及电子设备
CN105260016B (zh) * 2015-09-24 2018-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN108762496B (zh) * 2015-09-24 2020-12-18 联想(北京)有限公司 一种信息处理方法及电子设备
CN106873760A (zh) * 2015-12-14 2017-06-20 技嘉科技股份有限公司 可携式虚拟现实***
CN106909163A (zh) * 2015-12-22 2017-06-30 深圳信息职业技术学院 沉浸式虚拟现实无人机驾驶***
CN108475439B (zh) * 2016-02-16 2022-06-17 乐天集团股份有限公司 三维模型生成***、三维模型生成方法和记录介质
CN108475439A (zh) * 2016-02-16 2018-08-31 乐天株式会社 三维模型生成***、三维模型生成方法以及程序
CN105791977A (zh) * 2016-02-26 2016-07-20 北京视博云科技有限公司 基于云服务的虚拟现实数据处理方法、设备及***
CN105791977B (zh) * 2016-02-26 2019-05-07 北京视博云科技有限公司 基于云服务的虚拟现实数据处理方法、设备及***
CN108702490A (zh) * 2016-02-29 2018-10-23 微软技术许可有限责任公司 沉浸式交互远程呈现
CN106020493A (zh) * 2016-03-13 2016-10-12 成都市微辣科技有限公司 一种基于虚拟现实的产品展示装置及方法
CN105912107A (zh) * 2016-04-05 2016-08-31 福建天晴数码有限公司 Windows***浏览器分屏的方法及***
CN105912108A (zh) * 2016-04-05 2016-08-31 福建天晴数码有限公司 Ios***浏览器分屏的方法及***
CN105912108B (zh) * 2016-04-05 2018-10-12 福建天晴数码有限公司 Ios***浏览器分屏的方法及***
CN105912107B (zh) * 2016-04-05 2019-03-26 福建天晴数码有限公司 Windows***浏览器分屏的方法及***
CN105912110B (zh) * 2016-04-06 2019-09-06 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及***
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及***
CN105872444B (zh) * 2016-04-22 2019-11-29 广东小天才科技有限公司 一种视频通话方法、装置及***
CN105872444A (zh) * 2016-04-22 2016-08-17 广东小天才科技有限公司 一种视频通话方法、装置及***
CN106110627A (zh) * 2016-06-20 2016-11-16 曲大方 体育和武术运动动作校正设备和方法
CN106200983B (zh) * 2016-07-25 2019-06-18 圣域科技（深圳）有限公司 一种结合虚拟现实与bim实现虚拟现实场景建筑设计的***
CN106200983A (zh) * 2016-07-25 2016-12-07 圣域科技（深圳）有限公司 一种结合虚拟现实与bim实现虚拟现实场景建筑设计的***
CN106385348A (zh) * 2016-09-21 2017-02-08 平越 分步辨别的虚拟现实娱乐***及其方法
CN107979763A (zh) * 2016-10-21 2018-05-01 阿里巴巴集团控股有限公司 一种虚拟现实设备生成视频、播放方法、装置及***
CN106679933A (zh) * 2016-11-21 2017-05-17 福建省华渔教育科技有限公司 一种头显设备性能测试方法及***
CN106604200A (zh) * 2017-01-19 2017-04-26 浪潮（苏州）金融技术服务有限公司 一种音频数据处理方法和装置
CN110291487B (zh) * 2017-02-01 2023-03-24 标致雪铁龙汽车股份有限公司 用于确定沉浸式虚拟现实***的时延的分析设备
CN110291487A (zh) * 2017-02-01 2019-09-27 标致雪铁龙汽车股份有限公司 用于确定沉浸式虚拟现实***的时延的分析设备
CN107291999A (zh) * 2017-06-01 2017-10-24 中国农业大学 一种基于虚拟现实技术的耕作模拟方法及***
CN107291244A (zh) * 2017-07-04 2017-10-24 宁波美象信息科技有限公司 一种vr参观***
CN108108026A (zh) * 2018-01-18 2018-06-01 珠海金山网络游戏科技有限公司 一种vr虚拟现实动作捕捉***和动作捕捉方法
CN110099297A (zh) * 2018-01-31 2019-08-06 深圳市掌网科技股份有限公司 一种基于虚拟现实设备的无线传输方法及***
CN110264846A (zh) * 2019-07-11 2019-09-20 广东电网有限责任公司 一种基于cave的电网应急技能训练***
CN114339405A (zh) * 2022-01-04 2022-04-12 广州博冠信息科技有限公司 Ar视频数据流远程制作方法及装置、设备、存储介质

Similar Documents

Publication Publication Date Title
CN103197757A (zh) 一种沉浸式虚拟现实***及其实现方法
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
GB2556347B (en) Virtual Reality
TWI672168B (zh) 用於處理用於頭戴顯示器(hmd)之內容的系統，用於與由電腦產生以便呈現於hmd上之虛擬實境場景介接的周邊裝置，及模擬與呈現於hmd中之虛擬場景中的虛擬物件接觸之感受的方法
El Saddik et al. Haptics technologies: Bringing touch to multimedia
CN108815804B (zh) 基于myo臂环和移动端的vr上肢康复训练平台及方法
JP2022549853A (ja) 共有空間内の個々の視認
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
US20170039986A1 (en) Mixed Reality Social Interactions
Romanus et al. Mid-air haptic bio-holograms in mixed reality
CN106575159A (zh) 手套接口对象
CN106233227A (zh) 具有体积感测的游戏装置
CN112198959A (zh) 虚拟现实交互方法、装置及***
Zhang et al. The application of virtual reality technology in physical education teaching and training
CN104470593A (zh) 社交舞用的***和方法
JP7160669B2 (ja) プログラム、情報処理装置、および方法
CN107551554A (zh) 基于虚拟现实的实现室内运动场景模拟***和方法
CN105653020A (zh) 穿越时空的方法和装置以及使用其的眼镜或头盔
CN114708408A (zh) 一种水中虚拟现实和元宇宙场景搭建的体验***
WO2017061890A1 (en) Wireless full body motion control sensor
KR101618004B1 (ko) 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
CN107632702B (zh) 一种采用光感应数据手套的全息投影***及其工作方法
CN211536496U (zh) 基于游戏的虚拟现实***
CN207249607U (zh) 一种三维虚拟现实***
He Virtual reality for budget smartphones

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
DD01 Delivery of document by public notice

Addressee: Water power (Beijing) Network Technology Co., Ltd.

Document name: Notification of Publication of the Application for Invention

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice

Addressee: Wei Bin

Document name: Notification of Passing Examination on Formalities

DD01 Delivery of document by public notice

Addressee: Wei Bin

Document name: the First Notification of an Office Action

DD01 Delivery of document by public notice

Addressee: Wei Bin

Document name: Notification that Application Deemed not to be Proposed

RJ01 Rejection of invention patent application after publication

Application publication date: 20130710

RJ01 Rejection of invention patent application after publication