CN112188302A - 应用于vr***的数据通讯***、方法及介质 - Google Patents

应用于vr***的数据通讯***、方法及介质 Download PDF

Info

Publication number
CN112188302A
CN112188302A CN202011060080.1A CN202011060080A CN112188302A CN 112188302 A CN112188302 A CN 112188302A CN 202011060080 A CN202011060080 A CN 202011060080A CN 112188302 A CN112188302 A CN 112188302A
Authority
CN
China
Prior art keywords
data
control flow
host
video
top box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011060080.1A
Other languages
English (en)
Inventor
周宸晏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingzan Communication Technology Co ltd
Original Assignee
Shanghai Yingzan Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingzan Communication Technology Co ltd filed Critical Shanghai Yingzan Communication Technology Co ltd
Priority to CN202011060080.1A priority Critical patent/CN112188302A/zh
Publication of CN112188302A publication Critical patent/CN112188302A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种应用于VR***的数据通讯***、方法及介质，在影视播放情况下，多设备获取的视频内容为同一编码内容，此时下行数据码流大且重复，将下行数据采用多播形式进行流分发，降低主机或机顶盒负担；VR设备和视频主机间的控制流，仍采用单播形式进行数据传递，且增加数据包优先级设定，保证控制流能正常收到并处理。本发明通过采用数据流多播形式进行下行数据传输，从而达成降低数据复制，降低主机/机顶盒负担，使普通机顶盒能提供多路VR视频的同步传送，同时服务多个VR终端设备。

Description

应用于VR***的数据通讯***、方法及介质
技术领域
本发明涉及，具体地，涉及应用于VR***的数据通讯***、方法及介质。尤其地，涉及应用于VR***的数据通讯架构的实现。
背景技术
随着网络速度的大幅提升，基于高带宽低延时的应用逐步走入用户的视野。VR(Virtual Reality虚拟现实)技术做为大带宽场景的典型应用，也逐步取代电视等传统设备成为家庭娱乐新的视频输出设备。而由于VR设备的沉浸式体验，每个用户都需要有独立的VR设备，当同一场景下接入设备过多，由于VR的高带宽特性，家用视频主机/视频机顶盒负担将成倍增长，导致用户侧丢帧、卡顿等现象发生，影响用户体验。
由于VR***目前还在前期普及阶段，通常普通家庭只有一台设备。现有的VR娱乐***中，家用视频主机/视频机顶盒通常只提供一路VR的数据输出。根据测算，目前的普通主机可提供2至3路的高码流VR音视频的解码、处理和传送；而普通的机顶盒由于是采用嵌入式芯片，处理能力较主机更弱，通常只能提供1至2路高码流VR音视频解码、处理和传送。而随着VR技术的快速发展，更高码率的音视频格式出现，以及未来家庭同时拥有3、4台VR主机共同娱乐和互动，现有的主机/机顶盒使用原有单播技术将无法承担多路VR音视频的数据输出，无疑会推高用户的使用成本，需要更强的主机/机顶盒来支持这些新的应用场景，对VR技术本身的推广产生不利影响；
现有技术下，数据流/控制流数据包使用同一数据通道，会造成下行数据流/控制流重叠，增加丢包机率，并增加数据包的延时。在现有***下，据实验反复测算，在高码率VR视频播放同时进行操作，会导致控制流增加6％左右的丢包或重传的可能，并且数据包发生平均150ms的延时。而由于该现象，会导致主机/机顶盒处理延时加长，会给用户造成操作失败的错觉，容易引发用户再次操作导致的误操作，使得用户体验变差。
专利文献CN108271042B(申请号：CN201810133524.6)公开了一种基于有线电视网络的视频数据传输方法、云VR***实现方法以及云VR***，其包括：获取在VR应用运行环境下的VR应用画面数据；将所述视频码流数据转换成射频信号数据流；解码所述射频信号数据流以获得当前的VR画面数据并显示；采集并发送用户头部运动信息以及用户控制信息；通过双向有线电视网络向云端服务器发送用户头部运动信息以及用户控制信息所对应的数据流；解调所述数据流并发送至云端服务器中；解析出操作指令并生成新的VR应用画面数据。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种应用于VR***的数据通讯***、方法及介质。
如图1所示，根据本发明提供的一种应用于VR***的数据通讯***，在影视播放情况下，多设备获取的视频内容为同一编码内容，此时下行数据码流大且重复，将下行数据采用多播形式进行流分发，降低主机或机顶盒负担；
VR设备和视频主机间的控制流，仍采用单播形式进行数据传递，且增加数据包优先级设定，保证控制流能正常收到并处理。
优选地，包括：
数据处理模块和控制流输入输出模块；
所述数据处理模块包括：分成视频主机或机顶盒侧和VR设备侧；
所述控制流输入输出模块：分别在主机端记录请求地址和个数，并对数据包进行优先级标识；建立内核层数据优先级队列，优先发送控制流报文，控制流为单播数据包。
优选地，所述特殊地址为ipv4格式，第一段固定为239(EFH),而后三段由通过由数据请求的URL地址进行hash编码生成24bit数据位，并进行填充
优选地，所述数据处理模块：
当VR设备侧通过控制流向主机发起数据请求，视频主机或机顶盒侧的控制流模块判断目前视频请求接入数，如果同一视频请求接入数大于1，则将原有的下行数据流在网络层以特殊地址的组播形式将数据封包进行重新封装，并通过网络发送出去；
在VR设备侧，数据处理模块则根据地址判断是否有对该数据流进行过请求，如有，则接收该数据流，如没有发起过请求，则丢弃该数据包。
根据本发明提供地一种应用于VR***的数据通讯***，在影视播放情况下，多设备获取的视频内容为同一编码内容，此时下行数据码流大且重复，将下行数据采用多播形式进行流分发，降低主机或机顶盒负担；
VR设备和视频主机间的控制流，仍采用单播形式进行数据传递，且增加数据包优先级设定，保证控制流能正常收到并处理。
优选地，包括：
数据处理步骤和控制流输入输出步骤；
所述数据处理步骤：当VR设备侧通过控制流向主机发起数据请求，视频主机或机顶盒侧的控制流模块判断目前视频请求接入数，如果同一视频请求接入数大于1，则将原有的下行数据流在网络层以特殊地址的组播形式将数据封包进行重新封装，并通过网络发送出去；在VR设备侧，数据处理模块则根据地址判断是否有对该数据流进行过请求，如有，则接收该数据流，如没有发起过请求，则丢弃该数据包。
所述控制流输入输出步骤：分别在主机端记录请求地址和个数，并对数据包进行优先级标识；建立内核层数据优先级队列，优先发送控制流报文，控制流为单播数据包。
优选地，所述特殊地址为ipv4格式，第一段固定为239(EFH),而后三段由通过由数据请求的URL地址进行hash编码生成24bit数据位，并进行填充。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现上述中述的应用于VR***的数据通讯方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
(1)通过采用数据流多播形式进行下行数据传输，从而达成降低数据复制，降低主机/机顶盒负担，使普通机顶盒能提供多路VR视频的同步传送，同时服务多个VR终端设备。
(2)通过采用数据流/控制流分离，并在数据包网络层提升控制流优先级，使控制流数据包优先发送/接收，以缩短用户对设备控制的延时，降低数据包丢包的概率(据实验室测试，丢包/重传概率接近于0)，优化用户使用体验。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的***框图示意图。
图2为本发明提供的流程图示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
下面通过实施例，对本发明进行更为具体地说明。
实施例：
在此种多用户场景下，本专利设计了一种单/多播混合的网络传输架构。由于影视播放情况下，多设备获取的视频内容(环幕/球幕等电影、3D环绕场景)为同一编码内容，此时，下行数据码流大且重复，故因此，将下行数据采用多播形式进行流分发(多播是利用现有以太网组播的形式进行一种群发的模式，就是目的地址是一个组播地址，就是把流同时发给多个设备)，能大大降低主机/机顶盒负担；而同时，VR设备和视频主机间的控制流，仍采用单播形式进行数据传递，且增加数据包优先级设定，保证控制流能正常收到并处理。如图2所示，为流程图示意图。
该技术方案具体包括：数据处理模块和控制流输入输出模块。
数据处理模块分成视频主机侧和VR设备侧。当VR设备侧通过控制流向主机发起数据请求，视频主机/机顶盒侧的控制流模块判断目前视频请求接入数，如果同一视频请求接入数大于1，则将原有的下行数据流在网络层以特殊地址的组播形式将数据封包进行重新封装，并通过网络发送出去；在VR设备侧，数据处理模块则根据地址判断是否有对该数据流进行过请求，如有，则接收该数据流，如没有发起过请求，则丢弃该数据包。特殊地址(ipv4格式)第一段固定为239(EFH),而后三段由通过由数据请求的URL地址进行hash编码生成24bit数据位，并进行填充。
控制流输入输出模块的作用，则分别在主机端记录请求地址和个数，并对数据包进行优先级标识；模块启动时，建立内核层数据优先级队列，优先发送控制流报文。控制流为单播数据包。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种应用于VR***的数据通讯***，其特征在于，在影视播放情况下，多设备获取的视频内容为同一编码内容，此时下行数据码流大且重复，将下行数据采用多播形式进行流分发，降低主机或机顶盒负担；
VR设备和视频主机间的控制流，仍采用单播形式进行数据传递，且增加数据包优先级设定，保证控制流能正常收到并处理。
2.根据权利要求1所述的应用于VR***的数据通讯***，其特征在于，包括：
数据处理模块和控制流输入输出模块；
所述数据处理模块包括：分成视频主机或机顶盒侧和VR设备侧；
所述控制流输入输出模块：分别在主机端记录请求地址和个数，并对数据包进行优先级标识；建立内核层数据优先级队列，优先发送控制流报文，控制流为单播数据包。
3.根据权利要求2所述的应用于VR***的数据通讯***，其特征在于，所述特殊地址为ipv4格式，第一段固定为239(EFH),而后三段由通过由数据请求的URL地址进行hash编码生成24bit数据位，并进行填充。
4.根据权利要求2所述的应用于VR***的数据通讯***，其特征在于，所述数据处理模块：
当VR设备侧通过控制流向主机发起数据请求，视频主机或机顶盒侧的控制流模块判断目前视频请求接入数，如果同一视频请求接入数大于1，则将原有的下行数据流在网络层以特殊地址的组播形式将数据封包进行重新封装，并通过网络发送出去；
在VR设备侧，数据处理模块则根据地址判断是否有对该数据流进行过请求，如有，则接收该数据流，如没有发起过请求，则丢弃该数据包。
5.一种应用于VR***的数据通讯方法，其特征在于，在影视播放情况下，多设备获取的视频内容为同一编码内容，此时下行数据码流大且重复，将下行数据采用多播形式进行流分发，降低主机或机顶盒负担；
VR设备和视频主机间的控制流，仍采用单播形式进行数据传递，且增加数据包优先级设定，保证控制流能正常收到并处理。
6.根据权利要求5所述的应用于VR***的数据通讯方法，其特征在于，包括：
数据处理步骤和控制流输入输出步骤；
所述数据处理步骤：当VR设备侧通过控制流向主机发起数据请求，视频主机或机顶盒侧的控制流模块判断目前视频请求接入数，如果同一视频请求接入数大于1，则将原有的下行数据流在网络层以特殊地址的组播形式将数据封包进行重新封装，并通过网络发送出去；在VR设备侧，数据处理模块则根据地址判断是否有对该数据流进行过请求，如有，则接收该数据流，如没有发起过请求，则丢弃该数据包。
所述控制流输入输出步骤：分别在主机端记录请求地址和个数，并对数据包进行优先级标识；建立内核层数据优先级队列，优先发送控制流报文，控制流为单播数据包。
7.根据权利要求6所述的应用于VR***的数据通讯方法，其特征在于，所述特殊地址为ipv4格式，第一段固定为239(EFH),而后三段由通过由数据请求的URL地址进行hash编码生成24bit数据位，并进行填充。
8.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求5至7中任一项所述的应用于VR***的数据通讯方法的步骤。
CN202011060080.1A 2020-09-30 2020-09-30 应用于vr***的数据通讯***、方法及介质 Pending CN112188302A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011060080.1A CN112188302A (zh) 2020-09-30 2020-09-30 应用于vr***的数据通讯***、方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011060080.1A CN112188302A (zh) 2020-09-30 2020-09-30 应用于vr***的数据通讯***、方法及介质

Publications (1)

Publication Number Publication Date
CN112188302A true CN112188302A (zh) 2021-01-05

Family

ID=73947131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011060080.1A Pending CN112188302A (zh) 2020-09-30 2020-09-30 应用于vr***的数据通讯***、方法及介质

Country Status (1)

Country Link
CN (1) CN112188302A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100014519A1 (en) * 2007-10-15 2010-01-21 Media Patents, S.L. Methods for managing multicast traffic between sources sending data and hosts requesting data and network equipment used to implement the methods
US20180069760A1 (en) * 2016-09-06 2018-03-08 Smartiply, Inc. Fog Local Processing and Relaying for Mitigating Latency and Bandwidth Bottlenecks in AR/VR Streaming
CN207135230U (zh) * 2017-07-19 2018-03-23 ***通信集团福建有限公司 一种可支持vr头盔的高端机顶盒
CN108307226A (zh) * 2016-09-21 2018-07-20 中兴通讯股份有限公司 基于网络电视的vr视频或游戏播放***、机顶盒
US20180350136A1 (en) * 2017-05-31 2018-12-06 TeMAVR, LLC Systems and associated methods for creating a viewing experience
WO2020166859A1 (en) * 2019-02-11 2020-08-20 Lg Electronics Inc. Method and apparatus for transmitting buffer status report by iab node in wireless communication system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100014519A1 (en) * 2007-10-15 2010-01-21 Media Patents, S.L. Methods for managing multicast traffic between sources sending data and hosts requesting data and network equipment used to implement the methods
US20180069760A1 (en) * 2016-09-06 2018-03-08 Smartiply, Inc. Fog Local Processing and Relaying for Mitigating Latency and Bandwidth Bottlenecks in AR/VR Streaming
CN108307226A (zh) * 2016-09-21 2018-07-20 中兴通讯股份有限公司 基于网络电视的vr视频或游戏播放***、机顶盒
US20180350136A1 (en) * 2017-05-31 2018-12-06 TeMAVR, LLC Systems and associated methods for creating a viewing experience
CN207135230U (zh) * 2017-07-19 2018-03-23 ***通信集团福建有限公司 一种可支持vr头盔的高端机顶盒
WO2020166859A1 (en) * 2019-02-11 2020-08-20 Lg Electronics Inc. Method and apparatus for transmitting buffer status report by iab node in wireless communication system

Similar Documents

Publication Publication Date Title
JP2020519094A (ja) ビデオ再生方法、デバイス、およびシステム
CN109640029B (zh) 一种视频流上墙展示的方法和装置
CN108881815B (zh) 一种视频数据的传输方法和装置
CN103248939A (zh) 一种实现多屏同步显示的方法及***
US20200145736A1 (en) Media data processing method and apparatus
CN109819214B (zh) 一种视频分屏的方法和装置
CN112637661B (zh) 视频流的切换方法及装置、计算机存储介质、电子设备
JP2013509768A (ja) デジタルオーディオ／ビデオチャンネル変更方法及び対応する装置
US20170171579A1 (en) Method and Device for Transcoding Live Video
CN108574816B (zh) 一种视联网终端以及基于视联网终端的通信方法、装置
CN107547517B (zh) 音视频节目录制方法和网络设备及计算机装置
CN113132194A (zh) 一种信息流转方法、装置、设备、服务器及存储介质
WO2018121584A1 (zh) 一种数据流传输方法、装置、相关设备及存储介质
CN111866526B (zh) 一种直播业务处理方法和装置
WO2018000743A1 (zh) 一种用于跨设备群聊的方法及电子设备
CN103685303A (zh) 连接内容传送网络的处理方法与***
CN110022286B (zh) 点播多媒体节目的方法和装置
CN110392275B (zh) 一种文稿演示的共享方法、装置及视联网软终端
CN111654659B (zh) 一种会议控制方法和装置
CN110519331B (zh) 一种视联网资源处理方法及装置
CN110659080B (zh) 页面显示方法、装置、电子设备及存储介质
CN110502155B (zh) 一种共享数据的展示方法及装置
CN114630101B (zh) 显示设备、vr设备及虚拟现实应用内容的显示控制方法
WO2022116822A1 (zh) 沉浸式媒体的数据处理方法、装置和计算机可读存储介质
CN112188302A (zh) 应用于vr***的数据通讯***、方法及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210105