CN109683706A - 一种虚拟现实多人交互的方法及*** - Google Patents

一种虚拟现实多人交互的方法及*** Download PDF

Info

Publication number
CN109683706A
CN109683706A CN201811505584.2A CN201811505584A CN109683706A CN 109683706 A CN109683706 A CN 109683706A CN 201811505584 A CN201811505584 A CN 201811505584A CN 109683706 A CN109683706 A CN 109683706A
Authority
CN
China
Prior art keywords
client
virtual
people
interactions
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811505584.2A
Other languages
English (en)
Inventor
林蓝
张琪
张恒志
姜良奎
庞世俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRRC Qingdao Sifang Co Ltd
Original Assignee
CRRC Qingdao Sifang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRRC Qingdao Sifang Co Ltd filed Critical CRRC Qingdao Sifang Co Ltd
Priority to CN201811505584.2A priority Critical patent/CN109683706A/zh
Publication of CN109683706A publication Critical patent/CN109683706A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及的一种虚拟现实多人交互的方法及***,能够集成不同VR硬件和不同的空间定位设备,让不同地域的人在虚拟环境中实现面对面交流等一些活动,从而使不同地理位置的人有身临其境交流互动的感觉,提高了参与感,提高效率。通过IK计算,实现了在有效动作数据非常少的情况下,上半身动作的逼真模拟,在虚拟环境中可以看到对方正常的动作,使得各地相关人员在同一个虚拟的环境中互相语音和手势交流,不再需要现实中聚在一起讨论。

Description

一种虚拟现实多人交互的方法及***
技术领域
本发明涉及一种多人远程交互方法及***,特别涉及一种虚拟现实多人交互的方法及***。
背景技术
虚拟现实(Virtual Reality,简称VR)技术是一种基于可计算信息构造沉浸式人机交互环境的信息技术,采用以计算机为核心的现代高科技生成逼真的视、听、触觉等一体化的特定范围的虚拟环境,用户借助必要的设备以自然的方式对虚拟环境中的对象进行交互。
目前在多人交互方面主要是通过PC或者移动设备,网络以视频音频、文字等为主要传播,人与人之间的交流没有身临其境的感觉即所谓的真实感。
随着VR技术的兴起,以及各种VR设备的出现,例如HTC Oculus等桌面级、以及各种各样的光学动作捕捉设备,如Optitrack Realism Chingmu等硬件的出现,提供了各种各样的交互体验,但是桌面级与大空间级之间的多人交互,因为底层的技术各种各样,导致VR应用无法实现互相之间的交互。
发明内容
本发明的主要目的是为解决现有技术中的技术问题,提供一种可实现支持各类硬件均可交互的虚拟现实多人交互的方法。
本发明的另一个主要目的是提供一种虚拟现实多人交互的***。
为实现上述目的,本发明的技术方案是:
一种虚拟现实多人交互的方法,包括如下步骤:
步骤一、创建虚拟空间,定义统一坐标系;
步骤二、将不同硬件标定的硬件坐标原点,在虚拟空间统一坐标系中定义相应的虚拟坐标原点;
步骤三、获取硬件中坐标位置、朝向相对于硬件坐标原点的变化数据,将变化数据转换虚拟空间统一坐标系中,组成坐标矩阵;
步骤四、根据坐标矩阵,以虚拟坐标原点为原点转换为相应的位置、朝向变化。
进一步,在所述步骤一中,用户通过客户端登录,每个客户端连接应用服务器后,由应用服务器生成唯一的ID,应用服务器通知每个客户端生成ID对应的虚拟人物模型,所述客户端包括大空间客户端、独立客户端,所述大空间客户端为三维运动捕捉客户端,所述独立客户端为VR设备客户端。
进一步,在所述步骤四后增加一个步骤,该步骤为:获取硬件中手部动作数据并转发至其他硬件,根据手部动作数据映射到对应的虚拟人物模型的手部关节点。
进一步,根据手部动作数据通过IK算法得到肘部关节点的动作数据,再根据肘部关节点的动作数据通过IK算法得到肩部关节点的动作数据,将肘部关节点的动作数据、肩部关节点的动作数据转发至其他硬件,根据肘部关节点的动作数据、肩部关节点的动作数据映射到对应的虚拟人物模型的肘部关节点、肩部关节点。
进一步,在接收大空间客户端的手部动作数据时,首先获取左右手手柄的物理坐标,转换为虚拟空间坐标,该坐标再与虚拟人物模型所在虚拟空间的坐标相减,得到大空间客户端的手部动作数据。
进一步,所述手部动作数据包括左右手手柄的位置信息和朝向。
进一步,所述步骤四之后增加一个步骤,该步骤为:获取硬件的语音数据并转发至其他硬件。
本发明的另一个技术方案是:
一种应用上述的方法的虚拟现实多人交互的***,包括应用服务器、与应用服务器网络连接的客户端,所述客户端包括大空间客户端、独立客户端,所述大空间客户端通过中转服务器与应用服务器网络连接,所述独立客户端与应用服务器网络连接。
进一步,所述大空间客户端通过空间定位定位数据转发器、动作数据数据转发器与中转服务器连接。
进一步,所述大空间客户端包括动作服务器、多套虚拟现实动作设备,所述多套虚拟现实动作设备与动作服务器连接。
综上内容,本发明所述的一种虚拟现实多人交互的方法及***,能够集成不同VR硬件和不同的空间定位设备,让不同地域的人在虚拟环境中实现面对面交流等一些活动,从而使不同地理位置的人有身临其境交流互动的感觉,提高了参与感,提高效率。通过IK计算,实现了在有效动作数据非常少的情况下,上半身动作的逼真模拟,在虚拟环境中可以看到对方正常的动作,使得各地相关人员在同一个虚拟的环境中互相语音和手势交流,不再需要现实中聚在一起讨论。
附图说明
图1是本发明的结构示意图;
图2是本发明***的框架图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1和图2所示,本发明所述的一种虚拟现实多人交互的方法,包括如下步骤:
步骤一、创建虚拟空间,定义统一坐标系。
用户通过客户端登录,每个客户端连接应用服务器后,由应用服务器生成唯一的ID,应用服务器通知每个客户端生成ID对应的虚拟人物模型。这样在虚拟空间内即出现虚拟人物模型以代表每个所连接登录的用户。虚拟人物模型可以是预设好的模型,也可以根据用户的意愿自行进行调节。
用户可将通过工业设计软件设计好的场景、模型等内容上传至云服务器,自动同步到所有异地相关的用户客户端上,在创建虚拟空间时,可直接调取设计好的场景、模型等内容添加至虚拟空间。
客户端包括大空间客户端、独立客户端。大空间客户端为三维运动捕捉客户端,即各种各样的光学动作捕捉设备,例如Optitrack Realism Chingmu等硬件。OptitrackRealism Chingmu为一套用于多人全身运动捕捉的***,由成像模块,标定套件、处理软件、标志套件等组成。它通过红外成像对人身体关键点运动进行捕获,实时模拟出人身体运动,并赋予到虚拟形象中。Optirack运动捕捉***可满足从3m×3m到25m×20m空间中2~4人的全身运动捕捉,具有高速高精度的特点。独立客户端为VR设备客户端,例如HTC Oculus等桌面级设备。
大空间客户端具有多套左右手手柄、动作服务器,在现实环境中,多人可通过一个大空间客户端登录。为了识别每个用户,为大空间客户端、独立客户端的左右手手柄分配唯一ID,根据ID生成对应的虚拟人物模型,但由于本地的ID是重复的,因此为大空间客户端的每套左右手手柄ID标记设置唯一偏移,用以区分。动作服务器用于记录传输大空间客户端内所有手部动作数据。
应用服务器还允许接入非虚拟现实终端设备,例如,智能手机、平板电脑、台式电脑、笔记本电脑,非虚拟现实终端设备的用户能够看到虚拟空间内的场景。
步骤二、将不同硬件,标定的硬件坐标原点,在虚拟空间统一坐标系中定义相应的虚拟坐标原点,硬件包括大空间客户端、独立客户端的硬件。
步骤三、获取硬件中坐标位置、朝向相对于硬件坐标原点的变化数据,将变化数据转换虚拟空间统一坐标系中,组成坐标矩阵。在大空间客户端设置空间定位定位数据转发器,在大空间客户端的硬件中收集用户的空间位置、朝向并转发到应用服务器上。独立客户端其坐标***均是一个相对的坐标***,独立客户端的相对位置信息、朝向直接发送至应用服务器上。
步骤四、根据坐标矩阵,以虚拟坐标原点为原点转换为相应的位置、朝向变化。各客户端的硬件根据应用服务器转发的位置、朝向变化数据,在虚拟空间中映射虚拟人物模型位置、朝向的变化。通过上述过程,能够集成不同VR硬件和不同的空间定位设备,让不同地域的人在虚拟环境中实现面对面交流等一些活动,从而使不同地理位置的人有身临其境交流互动的感觉,提高了参与感,提高效率。
步骤五、获取硬件中手部动作数据并转发至其他硬件,根据手部动作数据映射到对应的虚拟人物模型的手部关节点。
采用VR设备客户端的独立客户端的用户通过手柄做了动作,该手部动作数据会被上传至应用服务器,通过应用服务器打包转发至其他客户端,在其他客户端上根据该数据进行映射,使其他人看到该动作。
通过大空间客户端登录的用户通过手柄做了动作,该手部动作数据会记录在大空间客户端的动作服务器上,再通过中转服务器转发至应用服务器,具体而言,是以每秒60帧左右的频率将1/60时间内获得物理数据利用7-zip压缩相关算法发送到应用服务器。应用服务器以每秒30帧的方式下发到连接的所有大空间客户端、独立客户端,各客户端根据该数据直接驱动虚拟空间中的虚拟人物模型的骨骼运动。
手部动作数据包括左右手手柄的位置信息和朝向。
根据手部动作数据通过IK(反向动力学,Inverse Kinematics)算法得到肘部关节点的动作数据,再根据肘部关节点的动作数据通过IK算法得到肩部关节点的动作数据。
应用服务器将肘部关节点的动作数据、肩部关节点的动作数据转发至其他客户端,根据肘部关节点的动作数据、肩部关节点的动作数据映射到对应的虚拟人物模型的肘部关节点、肩部关节点。
在接收大空间客户端的手部动作数据时,首先获取左右手手柄的物理坐标,转换为虚拟空间坐标,该坐标再与虚拟人物模型所在虚拟空间的坐标相减,得到大空间客户端的手部动作数据。
通过IK计算,实现了在有效动作数据非常少的情况下,上半身动作的逼真模拟,在虚拟环境中可以看到对方正常的动作,使得各地相关人员在同一个虚拟的环境中互相语音和手势交流,不再需要现实中聚在一起讨论。
步骤六,获取各客户端硬件用户的语音数据并转发至其他客户端。应用服务器接收各客户端发送的语音信息转发至其他的客户端,实现了各客户端之间的语音交流。
应用上述虚拟现实多人交互方法的虚拟现实多人交互的***,包括应用服务器、与应用服务器网络连接的客户端,其中,客户端分为大空间客户端、独立客户端。大空间客户端通过中转服务器与应用服务器网络连接,独立客户端与应用服务器网络连接。
大空间客户端通过空间定位定位数据转发器、动作数据数据转发器与中转服务器连接,通过空间定位定位数据转发器、动作数据数据转发器采集位置、朝向、手部动作数据。
大空间客户端包括动作服务器、多套虚拟现实动作设备,多套虚拟现实动作设备与动作服务器连接,手部动作数据会记录在大空间客户端的动作服务器上,再通过中转服务器转发至应用服务器。
本发明所述的一种虚拟现实多人交互的方法及***,能够集成不同VR硬件和不同的空间定位设备,让不同地域的人在虚拟环境中实现面对面交流等一些活动,从而使不同地理位置的人有身临其境交流互动的感觉,提高了参与感,提高效率。通过IK计算,实现了在有效动作数据非常少的情况下,上半身动作的逼真模拟,在虚拟环境中可以看到对方正常的动作,使得各地相关人员在同一个虚拟的环境中互相语音和手势交流,不再需要现实中聚在一起讨论。
如上所述,结合附图所给出的方案内容,可以衍生出类似的技术方案。但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (10)

1.一种虚拟现实多人交互的方法,其特征在于,包括如下步骤:
步骤一、创建虚拟空间,定义统一坐标系;
步骤二、将不同硬件标定的硬件坐标原点,在虚拟空间统一坐标系中定义相应的虚拟坐标原点;
步骤三、获取硬件中坐标位置、朝向相对于硬件坐标原点的变化数据,将变化数据转换虚拟空间统一坐标系中,组成坐标矩阵;
步骤四、根据坐标矩阵,以虚拟坐标原点为原点转换为相应的位置、朝向变化。
2.根据权利要求1所述的一种虚拟现实多人交互的方法,其特征在于:在所述步骤一中,用户通过客户端登录,每个客户端连接应用服务器后,由应用服务器生成唯一的ID,应用服务器通知每个客户端生成ID对应的虚拟人物模型,所述客户端包括大空间客户端、独立客户端,所述大空间客户端为三维运动捕捉客户端,所述独立客户端为VR设备客户端。
3.根据权利要求2所述的一种虚拟现实多人交互的方法,其特征在于:在所述步骤四后增加一个步骤,该步骤为:获取硬件中手部动作数据并转发至其他硬件,根据手部动作数据映射到对应的虚拟人物模型的手部关节点。
4.根据权利要求3所述的一种虚拟现实多人交互的方法,其特征在于:根据手部动作数据通过IK算法得到肘部关节点的动作数据,再根据肘部关节点的动作数据通过IK算法得到肩部关节点的动作数据,将肘部关节点的动作数据、肩部关节点的动作数据转发至其他硬件,根据肘部关节点的动作数据、肩部关节点的动作数据映射到对应的虚拟人物模型的肘部关节点、肩部关节点。
5.根据权利要求3所述的一种虚拟现实多人交互的方法,其特征在于:在接收大空间客户端的手部动作数据时,首先获取左右手手柄的物理坐标,转换为虚拟空间坐标,该坐标再与虚拟人物模型所在虚拟空间的坐标相减,得到大空间客户端的手部动作数据。
6.根据权利要求3所述的一种虚拟现实多人交互的方法,其特征在于:所述手部动作数据包括左右手手柄的位置信息和朝向。
7.根据权利要求1所述的一种虚拟现实多人交互的方法,其特征在于:所述步骤四之后增加一个步骤,该步骤为:获取硬件的语音数据并转发至其他硬件。
8.一种应用权利要求1至7任一项所述的方法的虚拟现实多人交互的***,其特征在于:包括应用服务器、与应用服务器网络连接的客户端,所述客户端包括大空间客户端、独立客户端,所述大空间客户端通过中转服务器与应用服务器网络连接,所述独立客户端与应用服务器网络连接。
9.根据权利要求8所述的一种虚拟现实多人交互的***,其特征在于:所述大空间客户端通过空间定位定位数据转发器、动作数据数据转发器与中转服务器连接。
10.根据权利要求8所述的一种虚拟现实多人交互的***,其特征在于:所述大空间客户端包括动作服务器、多套虚拟现实动作设备,所述多套虚拟现实动作设备与动作服务器连接。
CN201811505584.2A 2018-12-10 2018-12-10 一种虚拟现实多人交互的方法及*** Pending CN109683706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811505584.2A CN109683706A (zh) 2018-12-10 2018-12-10 一种虚拟现实多人交互的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811505584.2A CN109683706A (zh) 2018-12-10 2018-12-10 一种虚拟现实多人交互的方法及***

Publications (1)

Publication Number Publication Date
CN109683706A true CN109683706A (zh) 2019-04-26

Family

ID=66187295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811505584.2A Pending CN109683706A (zh) 2018-12-10 2018-12-10 一种虚拟现实多人交互的方法及***

Country Status (1)

Country Link
CN (1) CN109683706A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111530089A (zh) * 2020-04-23 2020-08-14 深圳市朗形数字科技有限公司 一种多媒体vr互动方法及***
CN111984114A (zh) * 2020-07-20 2020-11-24 深圳盈天下视觉科技有限公司 基于虚拟空间的多人交互***及其多人交互方法
CN113763482A (zh) * 2021-08-20 2021-12-07 广州幻境科技有限公司 一种涉及多人员的虚拟场景的构建方法和***
CN114327058A (zh) * 2021-12-24 2022-04-12 海信集团控股股份有限公司 显示设备
CN116168686A (zh) * 2023-04-23 2023-05-26 碳丝路文化传播(成都)有限公司 数字人动态拟真方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100287485A1 (en) * 2009-05-06 2010-11-11 Joseph Bertolami Systems and Methods for Unifying Coordinate Systems in Augmented Reality Applications
CN101893935A (zh) * 2010-07-14 2010-11-24 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球***构建方法
CN105373224A (zh) * 2015-10-22 2016-03-02 山东大学 一种基于普适计算的混合现实游戏***及方法
CN108230429A (zh) * 2016-12-14 2018-06-29 上海交通大学 基于头部和双手位置及姿态的实时全身姿态重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100287485A1 (en) * 2009-05-06 2010-11-11 Joseph Bertolami Systems and Methods for Unifying Coordinate Systems in Augmented Reality Applications
CN101893935A (zh) * 2010-07-14 2010-11-24 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球***构建方法
CN105373224A (zh) * 2015-10-22 2016-03-02 山东大学 一种基于普适计算的混合现实游戏***及方法
CN108230429A (zh) * 2016-12-14 2018-06-29 上海交通大学 基于头部和双手位置及姿态的实时全身姿态重建方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111530089A (zh) * 2020-04-23 2020-08-14 深圳市朗形数字科技有限公司 一种多媒体vr互动方法及***
CN111530089B (zh) * 2020-04-23 2023-08-22 深圳市朗形数字科技有限公司 一种多媒体vr互动方法及***
CN111984114A (zh) * 2020-07-20 2020-11-24 深圳盈天下视觉科技有限公司 基于虚拟空间的多人交互***及其多人交互方法
CN113763482A (zh) * 2021-08-20 2021-12-07 广州幻境科技有限公司 一种涉及多人员的虚拟场景的构建方法和***
CN114327058A (zh) * 2021-12-24 2022-04-12 海信集团控股股份有限公司 显示设备
CN114327058B (zh) * 2021-12-24 2023-11-10 海信集团控股股份有限公司 显示设备
CN116168686A (zh) * 2023-04-23 2023-05-26 碳丝路文化传播(成都)有限公司 数字人动态拟真方法、装置及存储介质
CN116168686B (zh) * 2023-04-23 2023-07-11 碳丝路文化传播(成都)有限公司 数字人动态拟真方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN109683706A (zh) 一种虚拟现实多人交互的方法及***
JP5101737B2 (ja) 仮想現実サービス間の相互連動のための装置及び方法
Kasahara et al. Second surface: multi-user spatial collaboration system based on augmented reality
CN104011788B (zh) 用于增强和虚拟现实的***和方法
Jo et al. SpaceTime: adaptive control of the teleported avatar for improved AR tele‐conference experience
CN105975077A (zh) 一种vr看房***
Kurillo et al. 3D teleimmersion for collaboration and interaction of geographically distributed users
CN105468142A (zh) 基于增强现实技术的互动方法、***和终端
CN109325450A (zh) 图像处理方法、装置、存储介质及电子设备
CN109696961A (zh) 基于vr技术的文物虚拟拆装导赏实现***及方法、介质
Vafadar Virtual reality: opportunities and challenges
CN110178158A (zh) 信息处理装置、信息处理方法和程序
CN107961531B (zh) 一种基于动作捕捉服饰的虚拟社交***及其工作方法
CN109529350A (zh) 一种应用于游戏中的动作数据处理方法及其装置
CN106951095A (zh) 基于三维扫描技术的虚拟现实互动方法以及***
Ekong et al. Teacher-student vr telepresence with networked depth camera mesh and heterogeneous displays
CN113703583A (zh) 一种多模态交叉融合的虚拟影像融合***、方法、装置
Lang The impact of video systems on architecture
Kurillo et al. Teleimmersive 3D collaborative environment for cyberarchaeology
CN116485953A (zh) 数据处理方法、装置、设备和可读存储介质
Xu et al. Digital inheritance of the traditional dulong culture in Yunnan based on gesture interaction
Sparacino et al. Browsing 3-D spaces with 3-D vision: body-driven navigation through the Internet city
Poulkov et al. The HOLOTWIN project: Holographic telepresence combining 3D imaging, haptics and AI
CN112486315A (zh) 一种基于计算机视觉的多人协同方法
CN113761947A (zh) 一种虚拟仿真多人交互***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426