CN108989327B - 一种虚拟现实服务器*** - Google Patents

一种虚拟现实服务器*** Download PDF

Info

Publication number
CN108989327B
CN108989327B CN201810885309.1A CN201810885309A CN108989327B CN 108989327 B CN108989327 B CN 108989327B CN 201810885309 A CN201810885309 A CN 201810885309A CN 108989327 B CN108989327 B CN 108989327B
Authority
CN
China
Prior art keywords
server
information
virtual reality
cloud
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810885309.1A
Other languages
English (en)
Other versions
CN108989327A (zh
Inventor
孟宪民
李小波
赵德贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengxin Shambala Culture Co ltd
Original Assignee
Hengxin Shambala Culture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengxin Shambala Culture Co ltd filed Critical Hengxin Shambala Culture Co ltd
Priority to CN201810885309.1A priority Critical patent/CN108989327B/zh
Publication of CN108989327A publication Critical patent/CN108989327A/zh
Application granted granted Critical
Publication of CN108989327B publication Critical patent/CN108989327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实服务器***，采用分布式的收发模式，在网络传输方面每台服务器的网络流量负载会相对较小；当所有服务器同时运行时可以有效降低每台服务器的负载，在进行各种计算时算法上的延迟也会减少；在支持各种VR设备视频流上来说，也因为多服务器模式，在不同的服务器中可以处理不同的VR客户端的数据请求。正是由于网络负载较小、延迟较小、并且可以支持不同的数据请求，因此在不影响VR显示的基础上才可以达到同时对不同的角色有效的分割呈现，进而在虚拟现实技术中实现多人在线的虚拟现实体验。

Description

一种虚拟现实服务器***
技术领域
本申请涉及虚拟现实技术领域，尤其涉及一种虚拟现实服务器***。
背景技术
虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真***，它利用计算机生成一种模拟环境，具体是一种多源信息融合的交互式的三维动态视景和实体行为的***仿真。
目前，虚拟现实技术利用计算产生逼真的三维视觉、听觉、触觉甚至味觉等，使得用户利用适当的设备，如鼠标、键盘、屏幕、头盔、眼镜、立体声耳机、传感手套等，与虚拟世界的客体进行交互，使用户沉浸到该模拟环境中。但是，目前现有技术中虚拟现实技术的架构并不支持多平台、多人在线，因此现有技术的虚拟现实技术无法实现多人在线的虚拟现实体验。
因此，在虚拟现实技术中，如何实现多人在线的虚拟现实体验，是本领域技术人员目前迫切需要解决的技术问题。
发明内容
本申请提供了一种虚拟现实服务器***，以在虚拟现实技术中实现多人在线的虚拟现实体验。
为解决上述技术问题，本申请提供如下技术方案：
一种虚拟现实服务器***，包括：设置于VR演播厅的低空云服务器，所述低空云服务器包括：数据采集输入服务器、相机姿态服务器、角色分割服务器、动作捕捉服务器；所述数据采集输入服务器收集VR演播厅的数据信息；所述相机姿态服务器根据所述数据信息获得VR演播厅的摄像头姿态信息，并将其发送至VR客户端或云端服务器；所述角色分割服务器对所述数据信息中的视频信息进行抠像分割得到单独的角色信息，并将其发送至VR客户端或云端服务器；所述动作捕捉服务器根据所述数据信息获得VR演播厅角色的动作信息，并将其发送至VR客户端或云端服务器。
如上所述的虚拟现实服务器***，其中，优选的是，所述相机姿态服务器通过所述数据信息中的视频信息识别定位VR演播厅的摄像头位置，获得摄像头姿态信息。
如上所述的虚拟现实服务器***，其中，优选的是，所述低空云服务器还包括：表情捕捉服务器，所述表情捕捉服务器根据所述数据信息获得角色表情信息，并将其发送至VR客户端或云端服务器。
如上所述的虚拟现实服务器***，其中，优选的是，所述低空云服务器还包括：运动分析服务器，所述运动分析服务器根据所述数据信息中的深度视频信息获得角色的骨骼信息，并将其发送至VR客户端或云端服务器。
如上所述的虚拟现实服务器***，其中，优选的是，所述运动分析服务器获得角色的骨骼信息后与动作数据库中的动作信息进行匹配，将在动作数据库中匹配到的动作信息编号发送至VR客户端或云端服务器。
如上所述的虚拟现实服务器***，其中，优选的是，所述低空云服务器还包括：声光同步服务器，所述声光同步服务器根据所述数据信息获得VR演播厅的声光信息，并将其发送至VR客户端或云端服务器。
如上所述的虚拟现实服务器***，其中，优选的是，还包括：播控云数据分发服务器，所述播控云数据分发服务器将所述云端服务器存储的数据通过所述低空云服务器发送至VR客户端。
如上所述的虚拟现实服务器***，其中，优选的是，所述云端服务器包括：专用格式封包转发服务器和信息存储服务器，所述专用格式封包服务器对所述信息存储服务器存储的非视频数据转化格式，并发送给播控云数据分发服务器。
如上所述的虚拟现实服务器***，其中，优选的是，所述云端服务器还包括：视频流转换服务器，所述视频流转换服务器对所述信息存储服务器存储的视频数据编码、转化格式，并发送给播控云数据分发服务器。
如上所述的虚拟现实服务器***，其中，优选的是，所述云端服务器还包括：用于运营云端网站的网站运营服务器。
相对上述背景技术，由于本申请实施例中提供的虚拟现实服务器***采用分布式的收发模式，在网络传输方面每台服务器的网络流量负载会相对较小；当所有服务器同时运行时可以有效降低每台服务器的负载，在进行各种计算时算法上的延迟也会减少；在支持各种VR设备视频流上来说，也因为多服务器模式，在不同的服务器中可以处理不同的VR客户端的数据请求。正是由于网络负载较小、延迟较小、并且可以支持不同的数据请求，因此在不影响VR显示的基础上才可以达到同时对不同的角色有效的分割呈现，进而在虚拟现实技术中实现多人在线的虚拟现实体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种虚拟现实服务器***的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
VR演播厅是将计算机制作的虚拟三维场景与摄像机现场拍摄的人物活动图像进行数字化的实时合成，是人物与虚拟背景能够同步变化，从而实现两者天衣无缝的融合，以获得完美合成画面。
在VR演播厅需要设置摄像头、动作捕捉设备、表情捕捉设备、光线捕捉设备、激光定位设备等一种或多种。其中，摄像头可以分为普通摄像头或者深度摄像头；普通摄像头可以采集普通的视频信息，也就是视频图像信息；深度摄像头可以获得深度信息，例如角色(演员)的骨骼信息。
另外，本申请实施例提供的虚拟现实服务器***，需要在VR演播厅放置一些低空云服务器，如图1所示，低空云服务器包括：数据采集输入服务器1、相机姿态服务器2、角色分割服务3、动作捕捉服务器4、表情捕捉服务器5、运动分析服务器6和声光同步服务器7等一种服务器或多种服务。
数据采集输入服务器1收集VR演播厅的数据信息，例如：可以是收集VR演播厅的摄像头拍摄的视频信息、或者深度摄像头拍摄的深度信息、还可以是激光定位设备对摄像头采集的摄像头姿态信息、动作捕捉设备捕捉的角色的动作信息、表情捕捉设备捕捉的角色表情信息、光线捕捉设备捕捉的声光信息等。
待数据采集输入服务器1收集VR演播厅的数据信息后将数据信息相应的服务器。作为举例，若采集到的直接是摄像头姿态信息，就将采集到的摄像头姿态信息发送至相机姿态服务器2；若未直接采集到摄像头姿态信息，而是摄像头采集到的视频信息，则将采集到的视频信息发送至相机姿态服务器2，相机姿态服务器2通过视频信息或者摄像头图片信息识别定位VR演播厅的摄像头位置，获得摄像头姿态信息；然后相机姿态服务器2就可以每时每刻捕捉到的真实摄像头姿态信息传输给VR客户端，VR客户端的引擎内的虚拟相机姿态与真实摄像头姿态信息一一对应，这样可以使真实环境和虚拟环境中的摄像头观察角度一致；或者相机姿态服务器2也可以将摄像头姿态信息传输给云端服务器，以在云端服务器保存数据。这里传输的摄像头姿态信息是摄像头姿态数据流。
另外，角色分割服务器3接收数据采集输入服务器1发送的数据信息后，从数据信息中的视频信息获得单独角色信息，例如：在VR演播厅视频采集是在大的绿幕环境下拍摄的，所以每个角色分割出来之后可以单独的进行抠像，在角色分割服务器3中就是将这些角色单独抠像分割成的单独角色信息，然后发送给VR客户端或者云端服务器。
此外，动作捕捉服务器4接收数据采集输入服务器1发送的数据信息，该数据信息中可以具有动作捕捉设备捕捉的角色的动作信息，动作捕捉服务器4可以直接将该角色的动作信息发给VR客户端，VR客户端使用相应的插件对某个3D角色的动作进行实时播放，或者也可以发送至云端服务器进行保存。
在上述基础上，为了更加形象或全面的向VR客户端展示3D角色，还可以设置表情捕捉服务器5，表情捕捉服务器5根据数据信息获得角色表情信息。作为举例，可以在VR演播厅设置专门的多台红外线摄像头，通过专门的面部表情采集设备捕捉角色表情信息，然后将角色表情信息作为数据信息传输至数据采集输入服务器1，然后数据采集输入服务器1将接收到的角色表情信息通过表情捕捉服务器发送给VR客户端，VR客户端使用相应的插件对客户端内某个3D角色的表情进行控制，或者也可以发送至云端服务器进行保存。作为又一实施例，还可以是表情捕捉服务器5通过捕捉数据采集输入服务器1采集的视频信息中的表情获得角色表情信息，然后通过表情捕捉服务器发送给VR客户端，或者也可以发送至云端服务器进行保存。
在VR演播厅还可以设置深度摄像头，通过深度摄像头捕捉角色的骨骼信息，将捕捉到的骨骼信息作为数据信息发送至数据采集输入服务器1，然后数据采集输入服务器1将角色的骨骼信息通过运动分析服务器6发送至VR客户端或云端服务器。作为举例，可以是在VR演播厅通过深度摄像头捕捉到角色的骨骼信息，再通过深度学习和人工智能算法，对角色的骨骼信息(也就是角色的运动轨迹)进行分析，与动作数据库中的动作信息进行匹配，选择一个最接近的动作编号发送给VR客户端，VR客户端根据收到的动作编号将美术设计好的匹配度最高的动作播放显示给用户，或者将选择的动作编号发送给云端服务器进行保存。
因为真实环境和虚拟环境中的灯光、声音差距很大，为了在VR客户端可以更加真实的表现灯光和声音，将真实环境中的光线、声音捕捉并映射到虚拟环境中，达到虚拟环境和真实环境一一对应，还可以在VR演播厅设置专门的捕捉设备，能够捕捉光线和声音位置，光线发散方向等信息。然后将捕捉到的光线和声音信息作为数据信息发送至数据采集输入服务器1，数据采集输入服务器1通过声光同步服务器7将声光需不需发送至VR客户端或云端服务器，VR客户端使用相应的插件将接收到的声光信息进行显示，此时在真实环境中的人与虚拟环境中的角色进行互动的时候光线和阴影都是一致的，使虚拟环境中的3D模型人与真人在VR客户端3D环境中融合的更加真实。
由于本申请实施例中提供的虚拟现实服务器***采用分布式的收发模式，在网络传输方面每台服务器的网络流量负载会相对较小；当所有服务器同时运行时可以有效降低每台服务器的负载，在进行各种计算时算法上的延迟也会减少；在支持各种VR设备视频流上来说，也因为多服务器模式，在不同的服务器中可以处理不同的VR客户端的数据请求。正是由于网络负载较小、延迟较小、并且可以支持不同的数据请求，因此在不影响VR显示的基础上才可以达到同时对不同的角色有效的分割呈现，进而在虚拟现实技术中实现多人在线的虚拟现实体验。
在对云端服务器中存储的数据进行分发播放，具体可以设置播控云数据分发服务器8，播控云数据分发服务器将云端服务器存储的数据通过上述低空云服务器发送至VR客户端。例如：可以是相机姿态服务器2、角色分割服务3、动作捕捉服务器4、表情捕捉服务器5、运动分析服务器6和声光同步服务器7。
比如当大量用户请求视频数据的时候可以有效的利用起播控云数据分发服务器8，而每个低空云服务器负责发送给其对应的可控连接中的VR客户端、VR一体机用户，从而通过多个低空云服务器可以同时支持数百万甚至数千万用户同时在线观看VR演播厅实时发送的视频流。
在上述实施例的基础上，云端服务器具体可以包括：网站运营服务器9、视频流转换服务器10、信息存储服务器11和专用格式封包转发服务器12。其中，网站运营服务器9用于运营云端网站；视频流转换服务器10用于对存储于信息存储服务器11的视频数据编码、转化格式，并发送给播控云数据分发服务器8；专用格式封包服务器12用于对存储于信息存储服务器11的非视频数据转化格式，例如转换成Mp4文件或者转换成rmvb文件等发送给播控云数据分发服务器8。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种虚拟现实服务器***，其特征在于，包括：设置于VR演播厅的低空云服务器，所述低空云服务器包括：数据采集输入服务器、相机姿态服务器、角色分割服务器、动作捕捉服务器；
所述数据采集输入服务器收集VR演播厅的数据信息，并且将数据信息发送至相应的服务器；
所述相机姿态服务器根据所述数据信息获得VR演播厅的摄像头姿态信息，并将其发送至VR客户端或云端服务器；
所述角色分割服务器对所述数据信息中的视频信息进行抠像分割得到单独的角色信息，并将其发送至VR客户端或云端服务器；
所述动作捕捉服务器根据所述数据信息获得VR演播厅角色的动作信息，并将其发送至VR客户端或云端服务器；
还包括：播控云数据分发服务器，所述播控云数据分发服务器将所述云端服务器存储的数据通过所述低空云服务器发送至VR客户端。
2.根据权利要求1所述的虚拟现实服务器***，其特征在于，所述相机姿态服务器通过所述数据信息中的视频信息识别定位VR演播厅的摄像头位置，获得摄像头姿态信息。
3.根据权利要求1所述的虚拟现实服务器***，其特征在于，所述低空云服务器还包括：表情捕捉服务器，所述表情捕捉服务器根据所述数据信息获得角色表情信息，并将其发送至VR客户端或云端服务器。
4.根据权利要求1所述的虚拟现实服务器***，其特征在于，所述低空云服务器还包括：运动分析服务器，所述运动分析服务器根据所述数据信息中的深度视频信息获得角色的骨骼信息，并将其发送至VR客户端或云端服务器。
5.根据权利要求4所述的虚拟现实服务器***，其特征在于，所述运动分析服务器获得角色的骨骼信息后与动作数据库中的动作信息进行匹配，将在动作数据库中匹配到的动作信息编号发送至VR客户端或云端服务器。
6.根据权利要求1所述的虚拟现实服务器***，其特征在于，所述低空云服务器还包括：声光同步服务器，所述声光同步服务器根据所述数据信息获得VR演播厅的声光信息，并将其发送至VR客户端或云端服务器。
7.根据权利要求1-6任一项所述的虚拟现实服务器***，其特征在于，所述云端服务器包括：专用格式封包转发服务器和信息存储服务器，所述专用格式封包服务器对所述信息存储服务器存储的非视频数据转化格式，并发送给播控云数据分发服务器。
8.根据权利要求7所述的虚拟现实服务器***，其特征在于，所述云端服务器还包括：视频流转换服务器，所述视频流转换服务器对所述信息存储服务器存储的视频数据编码、转化格式，并发送给播控云数据分发服务器。
9.根据权利要求8所述的虚拟现实服务器***，其特征在于，所述云端服务器还包括：用于运营云端网站的网站运营服务器。
CN201810885309.1A 2018-08-06 2018-08-06 一种虚拟现实服务器*** Active CN108989327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810885309.1A CN108989327B (zh) 2018-08-06 2018-08-06 一种虚拟现实服务器***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810885309.1A CN108989327B (zh) 2018-08-06 2018-08-06 一种虚拟现实服务器***

Publications (2)

Publication Number Publication Date
CN108989327A CN108989327A (zh) 2018-12-11
CN108989327B true CN108989327B (zh) 2021-04-02

Family

ID=64555711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810885309.1A Active CN108989327B (zh) 2018-08-06 2018-08-06 一种虚拟现实服务器***

Country Status (1)

Country Link
CN (1) CN108989327B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290290A (zh) * 2019-06-21 2019-09-27 深圳迪乐普数码科技有限公司 云vr演播室的实现方法、装置、计算机设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5841980A (en) * 1996-05-15 1998-11-24 Rtime, Inc. Distributed system for communication networks in multi-user applications
CN101192308A (zh) * 2007-03-28 2008-06-04 腾讯科技（深圳）有限公司 一种角色动画实现方法及***
KR20100009947A (ko) * 2008-07-21 2010-01-29 삼성전자주식회사 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법
KR101312268B1 (ko) * 2010-12-24 2013-09-25 주식회사 케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템
US9721427B2 (en) * 2014-09-23 2017-08-01 Bally Gaming, Inc. System and method for positionally accurate gaming content
CN104618336B (zh) * 2014-12-30 2018-05-18 广州酷狗计算机科技有限公司 一种账号管理方法、设备及***
CN105208458B (zh) * 2015-09-24 2018-10-02 广州酷狗计算机科技有限公司 虚拟画面展示方法和装置
CN205581785U (zh) * 2016-04-15 2016-09-14 向京晶 一种多人室内虚拟现实互动***
CN106504120A (zh) * 2016-11-08 2017-03-15 国网上海市电力公司 虚拟现实电网生产管理***
CN107438077A (zh) * 2017-08-15 2017-12-05 合肥爱吾宠科技有限公司 移动通信终端的网络游戏方法

Also Published As

Publication number Publication date
CN108989327A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
RU2621644C2 (ru) Мир массового одновременного удаленного цифрового присутствия
US10650590B1 (en) Method and system for fully immersive virtual reality
US9947139B2 (en) Method and apparatus for providing hybrid reality environment
KR101713772B1 (ko) 사전 시각화 영상 생성 장치 및 방법
Lelyveld Virtual reality primer with an emphasis on camera-captured VR
TWI752502B (zh) 一種分鏡效果的實現方法、電子設備及電腦可讀儲存介質
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
CN110602517B (zh) 基于虚拟环境的直播方法、装置和***
CN114401414B (zh) 沉浸式直播的信息显示方法及***、信息推送方法
CN102340690A (zh) 一种互动电视节目***及实现方法
Normand et al. Full body acting rehearsal in a networked virtual environment—A case study
WO2018222500A1 (en) Methods and systems for customizing virtual reality data
CN108961368A (zh) 三维动画环境中实时直播综艺节目的方法和***
KR20210084248A (ko) Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
US20220139050A1 (en) Augmented Reality Platform Systems, Methods, and Apparatus
CN108989327B (zh) 一种虚拟现实服务器***
CN117692704A (zh) 一种虚拟场景展示方法及***
KR20160136160A (ko) 가상현실 공연시스템 및 공연방법
CN116744027A (zh) 一种元宇宙直播***
CN103198519A (zh) 虚拟人物照相******和方法
US20180075634A1 (en) System and Method of Generating an Interactive Data Layer on Video Content
CN111063034B (zh) 一种时域交互方法
Fadzli et al. Compression in dynamic scene tracking and moving human detection for life-size telepresence
JP7522605B2 (ja) 送信装置、受信装置、ネットワークノード、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100007 101, 1st floor, building 3, No.2, zangjingguan Hutong, Dongcheng District, Beijing

Applicant after: HENGXIN SHAMBALA CULTURE Co.,Ltd.

Address before: 100097 North District, 11 / F, Newton office area, 25 lantianchang South Road, Haidian District, Beijing

Applicant before: HENGXIN SHAMBALA CULTURE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant