CN114073097A - 通过边缘计算促进视频流式传输和处理 - Google Patents
通过边缘计算促进视频流式传输和处理 Download PDFInfo
- Publication number
- CN114073097A CN114073097A CN202080051254.XA CN202080051254A CN114073097A CN 114073097 A CN114073097 A CN 114073097A CN 202080051254 A CN202080051254 A CN 202080051254A CN 114073097 A CN114073097 A CN 114073097A
- Authority
- CN
- China
- Prior art keywords
- video
- tile
- video stream
- edge node
- telecommunications network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 125
- 238000000034 method Methods 0.000 claims abstract description 114
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 21
- 230000006835 compression Effects 0.000 description 18
- 238000007906 compression Methods 0.000 description 18
- 230000015654 memory Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000011664 signaling Effects 0.000 description 13
- 230000003139 buffering effect Effects 0.000 description 11
- 238000009877 rendering Methods 0.000 description 10
- 102100030834 AT-rich interactive domain-containing protein 5A Human genes 0.000 description 9
- 101000795350 Homo sapiens Tripartite motif-containing protein 59 Proteins 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 102100030835 AT-rich interactive domain-containing protein 5B Human genes 0.000 description 7
- 101000792947 Homo sapiens AT-rich interactive domain-containing protein 5B Proteins 0.000 description 7
- 230000001934 delay Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000001052 transient effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 101000582994 Homo sapiens Myelin regulatory factor Proteins 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012421 spiking Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 101100386623 Mus musculus Amd2 gene Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013021 overheating Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009023 proprioceptive sensation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64784—Data processing by the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64746—Control signals issued by the network directed to the server or the client
- H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
提供了一种用于促进视频流式传输的***和计算机实施的方法，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备。该***可以包括边缘节点，该边缘节点可以从发射器设备接收作为低延迟视频流的未压缩形式或压缩形式的视频，处理该视频并且将该经处理的视频编码为基于瓦片的视频流。然后，组合器可以在压缩域中组合任何接收到的基于瓦片的视频流以获得组合的基于瓦片的视频流，该组合的基于瓦片的视频流包含至少两个发射器设备的这些视频的瓦片并且可以由单个解码器实例解码。
Description
技术领域
本发明涉及一种用于促进视频流式传输的***和计算机实施的方法，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备。本发明进一步涉及一种用于执行该方法的计算机程序。
本发明进一步涉及一种发射器设备、一种电信网络的边缘节点和一种组合器实体。本发明进一步涉及表示用于促进视频流式传输的指令的数据结构。
背景技术
如视频内容和音频内容等媒体内容通常以数字形式传递给用户。如果媒体内容具有时间性，并且具体地与指示媒体内容如何随时间播放的时间线相关联，则这种数字形式通常被称为媒体流。
在许多应用中，可以存在多个客户端设备，每个客户端设备经由电信网络将视频传输到另一个客户端设备，该另一个客户端设备进而可以经由电信网络接收相应视频。例如，在基于视频的多用户通信中，客户端设备既可以通过将用户的实况视频记录作为视频流传输到其他客户端设备来充当发射器设备，也可以通过接收其他客户端设备的视频流来充当接收器设备。接收到的视频流然后可以由客户端设备例如同时在视频马赛克中或者作为所谓的视频化身在基于计算机图形的环境中解码和显示。另一个示例是安全应用，其中多个安全相机各自经由电信网络将相应视频传输到接收器设备，该接收器设备例如同时在视频马赛克中接收视频、对视频进行解码并且在显示器上显示视频。
接收器设备接收多个发射器设备的视频流的视频流式传输的问题在于，接收器设备同时接收和解码多个视频流可能具有挑战性。例如，如低端智能电话等低端接收器设备可能仅具有仅允许对一个视频流进行硬件解码的一个硬件解码器。其他流可能是软件解码的，这通常在计算上（远远）更复杂。在存在多于两个视频流（例如，在电话会议中，对于其他参与者中的每一个都存在一个视频流）的情况下，此问题可能会加剧。
另外，视频流可以包含可能需要进行处理以用于特定应用的视频数据。对于一些应用，视频数据的这种处理在计算上可能是复杂的。例如，在基于虚拟现实[VR]或增强现实[AR]的多用户通信中，可以在基于计算机图形的环境中示出用户的实况相机记录，该实况相机记录在AR中可以被显示为用户的真实物理环境上的叠加。虚拟现实的这种应用的示例由[1]描述。
例如，为了使用户的实况相机记录适合于在虚拟环境中示出，可能需要对视频进行处理，例如执行所谓的背景去除，也称为前景/背景分割，通过该处理，实况相机记录中的用户周围环境被去除或变得透明。另一个示例是用用户面部的3D模型（可能包括适当的眼睛位置和经调整的面部表情）替换用户在实况相机记录中佩戴的头戴式显示器（HMD），参见例如[2]。又一个示例是旋转或以其他方式调整视频，以补偿物理相机相对于捕获的用户的取向与虚拟环境中实况相机记录的表示相对于观察者的取向不同。后一种处理技术也称为自由视点或多视点渲染或计算。这种多视点渲染或计算也可以基于多相机输入，潜在地使用3D图像重建领域中的技术。
对于安全相机视频，可能期望使用面部识别来检测视频中的对象，如普通人或特定人，并且例如使用线条或箭头在视频中***指示检测到的对象的叠加物。
视频处理的这些和各种其他示例对于终端用户设备来说在计算上可能过于复杂而无法执行。例如，视频处理的上述示例可能过于复杂而无法由传输实况相机记录的设备或接收实况相机记录的设备来执行。过于复杂可能意味着整个设备的性能可能会受到影响，例如，处理可能给设备带来极大负担，并且可能导致过载或过热，这可能使得移动设备的大量电池消耗，或者可能导致如卡顿、暂停等视频回放伪像。
已知例如使用一个或多个网络节点的资源将视频处理卸载到云。例如，[3]讨论了所谓的基于网络的媒体处理（NBMP），该基于网络的媒体处理可以用于在网络或云环境中执行如视频处理等媒体处理。
然而，用于使用NBMP将视频处理卸载到云的当前方法通常引入附加的解码和编码操作，因为在这种当前方法中，视频处理通常需要在未压缩域中执行但是视频以压缩格式被发送到云，并且经处理的视频通常需要被再次编码以高效传输到接收器设备。因此，执行NBMP的网络实体通常必须对接收到的视频流进行解码，处理经解码的视频数据以获得经处理的视频，并且然后在最终将视频流传输到接收器设备之前再次将经处理的视频数据编码为视频流。
用于使用NBMP将视频处理卸载到云的当前方法的缺点是，解码和编码操作在向接收器设备传输视频流时引入了附加的且通常相当大的延迟。这种附加的延迟可能是不期望的，特别是当视频流用于实时通信时。即，为了最佳通信，例如从发射器设备到接收器设备的单向端到端延迟优选地保持在大约150 ms以下，这在必须执行上述附加的解码和编码操作时可能无法达到，或者可能需要在其他地方（例如在编码质量方面）做出让步。同样，在实时通信之外，这种延迟可以优选地保持为最小，例如，以在启动视频流、在视频流之间切换等时维持响应性。
因此，在多个发射器设备将相应视频作为视频流传输到接收器设备并且视频必须进行处理的场景中，视频流的解码可能显著增加接收器设备的计算负载，同时视频流的处理可能显著增加发射器设备和/或接收器设备的计算负载，或者当使用用于使用NBMP将视频处理卸载到云的已知方法时，大大增加端到端传输延迟。
参考文献
[1] M. J. Prins、S. Gunkel和O. Niamut,“TogetherVR:A Framework for Photo-Realistic Shared Media Experiences in 360-Degree VR [一起VR：实现360度VR中照片逼真的共享媒体体验框架]”International Broadcasting Conference [国际广播会议], 2017。
[2] Burgos-Artizzu, X. P.、Fleureau, J.、Dumas, O.、Tapie, T.、LeClerc,F. 和Mollet, N.,“Real-time expression-sensitive HMD face reconstruction [实时表情敏感的HMD人脸重建]”, SIGGRAPH Asia 2015 Technical Briefs [SIGGRAPH亚洲2015技术简报] (第9页), ACM。
[3] MPEG, ISO/IEC JTC1/SC29/WG11 MPEG2018/N17502, Use cases andrequirements for NBMP [NBMP的用例和要求] (v4), 2018年4月。
发明内容
在上述场景中，与用于使用NBMP将视频处理卸载到云的当前方法相比，减少发射器设备和/或接收器设备的计算负载同时减少端到端传输延迟将是有利的。
以下措施本质上可以涉及将电信网络的边缘节点配置成处理由发射器设备传输的视频，并且使用低延迟或超低延迟流式传输技术将视频从发射器设备传输到边缘节点。在处理之后，可以使用瓦片式视频流式传输编解码器对经处理的视频进行编码，以使得所产生的瓦片式视频流能够在压缩域中与其他瓦片式视频流组合，从而向接收器设备提供可以由接收器设备的单个硬件或软件解码器解码的组合的基于瓦片的视频流。
根据本发明的第一方面，可以提供一种用于促进视频流式传输的***，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中，所述设备经由相应接入网连接到该电信网络。该***可以包括：
该电信网络的边缘节点，其中，该边缘节点可以被配置成：
-从该多个发射器设备中的至少一个接收视频作为视频流，该视频流可以包含作为低延迟视频流的未压缩形式或压缩形式的视频；
-使用一种或多种处理技术来处理该视频以获得经处理的视频；
-使用瓦片式视频流式传输编解码器将该经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流；
组合器，该组合器可以被配置成：
-从该边缘节点接收该基于瓦片的视频流；
-接收包含由另一个发射器设备传输的视频的至少一个其他基于瓦片的视频流；
-在压缩域中，组合该基于瓦片的视频流和该至少一个其他基于瓦片的视频流以获得组合的基于瓦片的视频流，该组合的基于瓦片的视频流包含至少两个发射器设备的这些视频的瓦片。
根据本发明的进一步方面，可以提供一种用于促进视频流式传输的计算机实施的方法，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中，所述设备经由相应接入网连接到该电信网络。该方法可以包括：
在该电信网络的边缘节点处：
-从该多个发射器设备中的至少一个接收视频作为视频流，该视频流可以包含作为低延迟视频流的未压缩形式或压缩形式的视频；
-使用一种或多种处理技术来处理该视频以获得经处理的视频；
-使用瓦片式视频流式传输编解码器将该经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流；
在另一个网络实体或边缘节点或接收器设备处：
-从该边缘节点接收该基于瓦片的视频流；
-接收包含由另一个发射器设备传输的视频的至少一个其他基于瓦片的视频流；
-在压缩域中，组合该基于瓦片的视频流和该至少一个其他基于瓦片的视频流以获得组合的基于瓦片的视频流，该组合的基于瓦片的视频流包含至少两个发射器设备的这些视频的瓦片。
根据本发明的进一步方面，可以提供一种发射器设备，该发射器设备被配置成经由电信网络传输视频，其中，该发射器设备经由接入网连接到该电信网络。
该发射器设备可以被配置成向该电信网络的边缘节点传输该视频，其中，该边缘节点被配置成使用一种或多种处理技术来处理该视频以获得经处理的视频，并且使用瓦片式视频流式传输编解码器将该经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流。
该发射器设备可以进一步被配置成向该边缘节点传输该视频作为视频流，该视频流可以包含作为低延迟视频流的未压缩形式或压缩形式的视频。
根据本发明的进一步方面，可以提供一种电信网络的边缘节点，其中，该边缘节点可以被配置用于促进视频流式传输，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中，所述设备经由相应接入网连接到该电信网络。该边缘节点可以被配置成：
-从发射器设备接收视频作为视频流，该视频流可以包含作为低延迟视频流的未压缩形式或压缩形式的视频；
-使用一种或多种处理技术来处理该视频以获得经处理的视频；并且
-使用瓦片式视频流式传输编解码器将该经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流。
根据本发明的进一步方面，可以提供一种用于促进视频流式传输的组合器，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中，所述设备经由相应接入网连接到该电信网络。该组合器可以被配置成：
-从边缘节点接收基于瓦片的视频流，其中，该基于瓦片的视频流可以包含发射器设备的视频，该视频由该边缘节点处理并且由该边缘节点使用瓦片式视频流式传输编解码器编码为一个或多个瓦片以获得该基于瓦片的视频流；
-接收包含由另一个发射器设备传输的视频的至少一个其他基于瓦片的视频流；并且
-在压缩域中，组合该基于瓦片的视频流和该至少一个其他基于瓦片的视频流以获得组合的基于瓦片的视频流，该组合的基于瓦片的视频流包含至少两个发射器设备的这些视频的瓦片。
根据本发明的进一步方面，可以提供一种数据结构，该数据结构表示发射器设备将作为低延迟视频流的未压缩形式或压缩形式的视频作为视频流传输到电信网络的边缘节点的指令。
上述措施可以在两个或更多个发射器设备传输相应视频并且接收器设备经由如5G或更新一代电信网络或互联网等电信网络接收这些相应视频的上下文中使用。每个设备可以经由接入网连接到该电信网络，如在5G的情况下采用无线电接入网，或者在互联网的情况下采用DSL或基于光纤的接入网。该电信网络在一些情况下也可以被认为是“核心网络”，客户端设备经由相应接入网连接到该“核心网络”。
代替将这些相应视频直接流式传输到该接收器设备，这些发射器设备中的至少一个可以被配置成将其视频流式传输到该电信网络的边缘节点。例如，这种边缘节点可以是5G或更新一代电信网络的边缘节点，或者例如位于该电信网络与该接入网之间的边缘处的任何其他类型的边缘计算***，该发射器设备经由该边缘连接到该电信网络。具体地，该边缘节点可以通过其相对于该发射器设备的位置来表征，因为该边缘节点可以具有到该发射器设备的低延迟并且通常具有高带宽连接。这种边缘节点本身是已知的，对于经由特定接入网连接到电信网络的特定客户端设备的合适的边缘节点的标识也是如此。
该发射器设备可以例如使用内置或连接的相机通过视频捕获来获得视频。例如，该发射器设备可以是安全相机，或具有内置相机的智能电话，或具有连接的网络摄像头的PC。该发射器设备可以被配置成在该视频的捕获之后或期间，将作为低延迟视频流的未压缩形式或压缩形式的视频发送到该边缘节点。低延迟视频流的生成本身是已知的，并且可以例如涉及使用视频编码技术，该视频编码技术不使用后向预测并且因此在编码中不使用后向时间帧间依赖性，关于时间帧间依赖性，其对于当前帧的编码（以及由此解码）依赖于未来帧，例如，位于沿着该视频的内容时间线的更远的位置。这种视频编码技术的示例包括但不限于仅使用空间依赖性的无损压缩或有损压缩，或者仅使用前向时间帧间依赖性的时空压缩。这种视频编码技术本身是已知的。在一些实施例中，具体地，可以使用低延迟或超低延迟视频编码技术，该低延迟或超低延迟视频编码技术通常也不使用后向预测来实现低延迟或超低延迟。用于获得低延迟视频流的其他技术也是已知的，并且在本说明书的概述和描述的其他地方进行了阐述。
该边缘节点可以在从该发射器设备接收到该视频流时使用一种或多种处理技术来处理该视频。这种处理技术可以涉及计算上复杂的处理，对于该处理，可能期望从该发射器设备卸载处理，如基于计算机视觉或机器学习的处理技术。在具体示例中，这些处理技术可以在佩戴HMD的用户获取的相机图像中执行所谓的头戴式设备（HMD）去除。通常，由该边缘节点进行的处理可以涉及一系列（“一连串”）单独的处理技术，如图像分割、对象跟踪、对象识别、校准等。
在处理了该视频的一部分之后，该边缘节点然后可以使用瓦片式视频流式传输编解码器将该部分编码为一个或多个所谓的“瓦片”。这种瓦片可以将视频帧细分为逻辑上分离的矩形部分，当对给定帧进行解码时，可以独立地对这些矩形部分进行解码。例如，如K.Misra等人在“An Overview of Tiles in HEVC [HEVC中的瓦片概述]”, IEEE Journal ofSelected Topics in Signal Processing [IEEE信号处理精选主题期刊], 第7卷, 第6期, 第969-977页, 2013中所描述的HEVC瓦片，以及类似的空间分段编码可能不允许跨帧中的瓦片边界进行空间预测，或者可能不允许跨文件边界的熵编码依赖性。如此，这些瓦片可以相对于编码和解码过程是独立的，因为预测和滤波可以不跨瓦片边界。
这种编码可以在连续的基础上执行，从而生成基于瓦片的视频流，该视频流可以由该边缘节点流式传输到另一个实体，即组合器。该组合器可以接收该边缘节点的基于瓦片的视频流和包含由另一个发射器设备传输的视频的至少一个其他基于瓦片的视频流，并且然后可以在该压缩域中组合该至少两个视频流的瓦片，即，不对这些瓦片进行解码以获得未压缩视频，从而获得现在包含至少两个发射器设备的这些视频的组合的基于瓦片的视频流。该压缩域中的这种组合本身是已知的，例如从“Low complexity cloud-video- mixing using HEVC [使用HEVC进行低复杂度云视频混合]”, Sanchez，Y. 等人, IEEE11th Consumer Communications and Networking Conference [IEEE第11届消费者通信和网络会议], 2014中已知，并且可以包括生成新的比特流，该比特流包括所有瓦片的比特流数据和对应的报头信息，同时重写适当的部分，例如，重写视频参数集、序列参数集、图像参数集、条带片段报头等。例如，还如Sanchez等人的第III.B节所描述的，可以禁用环路滤波，参数集值可以在输入视频上一致，优选地不存在一致性裁剪窗口，用于预测单元的子样本向量选择应当优选地被限制为接近该输入的边缘，等等。
上述措施可以具有这样的效果，即由于视频的处理可以被卸载到边缘节点，因此发射器设备的计算负载可以减少。同时，与用于使用NBMP将视频处理卸载到云的当前方法和类似技术相比，可以减少从发射器设备到接收器设备的传输延迟，因为该视频有目的地不由该发射器设备进行编码，或者使用低延迟编码技术进行编码，这反过来可以意味着该边缘节点可以不必对该视频流进行解码，或者可以能够使用低延迟或最小延迟解码技术对该视频流进行解码。因此，该视频可以以很小的延迟从该发射器设备传输到该边缘节点，因为由该发射器设备进行的编码（如果有的话）是低延迟的，到该边缘节点的连接是低延迟的，并且由该边缘节点进行的解码（如果有的话）是低延迟的。同时，由于到边缘节点的带宽通常很高，所以将未压缩视频或压缩视频流式传输到该边缘节点同时通过不具有后向时间帧间依赖性而仅实现次优压缩比是可能的。换句话说，该压缩比可能很低或者没有，因为该视频以这种形式仅被流式传输到该边缘节点，而没有进一步流式传输到该电信网络中。另外，在该边缘节点处，由于高带宽和靠近该发射器设备，缓冲可以保持最小，这进一步减少了从发射器设备经由该边缘节点到接收器设备的总传输延迟，并且因为该边缘不执行回放，所以不需要缓冲来确保帧平滑回放的可用性。
相比之下，用于使用NBMP将视频处理卸载到云NBMP的当前方法和类似技术可能需要更高的压缩比，因为例如，就到该发射器设备的接入网的距离而言，执行该NBMP的网络实体可能位于该电信网络中更远的位置，这可能施加更多的带宽限制，因为该视频可能必须经由一个或多个带宽受限的网络链路来传输。这种更高的压缩比可能需要使用后向时间帧间依赖性，这可能然后大大增加编码和解码延迟。
然后，经处理视频的基于瓦片的编码使得若干视频的瓦片能够组合成单个视频流，而不必对单个视频流进行解码，也不必对来自未压缩的组合视频的单个视频流进行编码。基于瓦片的编码可以使用后向时间帧间依赖性，并且从而实现比由该边缘节点接收到的视频流更高的压缩比，这使得该视频流适合经由该电信网络传输到该组合器和该接收器设备。然后，该接收器设备可以使用单个解码器实例（例如，在硬件或软件中）对组合的视频流进行解码，与必须对若干单独的视频流进行解码相比，这可以降低解码的计算复杂度。
实际上，从发射器设备到接收器设备的传输链可能只有一个使用后向时间帧间依赖性的编码和解码实例，即在该边缘节点与该接收器设备之间。由于该边缘节点与该接收器设备之间的网络路径可能比该发射器设备与该边缘节点之间的网络路径受到（远远）更多的带宽限制，因此这种更高的压缩比在这里是合适的。为了仍然保持较低的总延迟，从发射器设备到边缘节点的传输省略了这种更高的压缩，并且从而以更高的带宽为代价实现了更低的延迟，但是这通常在发射器设备与其边缘节点之间可用。
因此，上述措施可以提供视频流式传输，与用于使用NBMP将视频处理卸载到云的当前方法相比，该视频流式传输可以减少发射器设备和/或接收器设备的计算负载，同时减少传输延迟。
在这方面，应注意可以以各种方式生成低延迟视频流。通常，该低延迟可以在编码器侧实现，但也可以在解码器侧实现，或者在两侧共同实现。提供低延迟视频流的技术包括但不限于使用逐渐解码器刷新/渐进帧内刷新，使用（远）高于平均流带宽的网络带宽（例如，在边缘节点与组合器之间或者在组合器与接收器设备之间），使用比该视频的原始帧速率更高的帧速率，并行化编码和/或解码步骤，和/或使用更快的编码设置和/或使用硬件加速（例如，使用硬件编码器或使用GPU处理）。可以组合实现低延迟视频流式传输的这些技术中的若干种，例如两种或更多种。通常，术语“低延迟视频流”可以指例如在视频流式传输领域中以传统上理解为获得低延迟视频流的方式编码的视频流，并且可以指延迟低于该边缘节点与该组合器之间和/或该组合器与该接收器设备之间的延迟。应当理解，术语“低延迟”也包括“超低延迟”。
在实施例中，该组合器可以是具有以下各项的组中的一项或者可以是其一部分：
-分配给该接收器设备的边缘节点；
-该电信网络的非边缘部分中介于该发射器设备与该接收器设备之间的网络节点；以及
-该接收器设备的子***。
该组合器可以采取各种形式，如该接收器设备的边缘节点，其是位于该接收器设备的接入网的边缘处的电信网络中的边缘节点。另一个示例是该组合器可以由该电信网络的非边缘部分（例如该电信网络的中心部分）中的网络节点体现。又一个示例是该组合器可以是该接收器设备的子***。如此，该接收器设备本身可以首先将接收到的基于瓦片的视频流组合成组合的基于瓦片的视频流，并且然后使用单个解码器实例例如通过硬件和/或软件对该组合的基于瓦片的视频流进行解码。
在实施例中，该***可以包括多个组合器，该多个组合器可以以分层结构相互排列，使得至少一个组合器接收至少一个其他组合器的组合的基于瓦片的视频流，并且生成进一步组合的基于瓦片的视频流，该进一步组合的基于瓦片的视频流包括该接收到的组合的基于瓦片的视频流的瓦片。基于瓦片的视频流的组合可以以分层方式执行，因为一个组合器的输出可以作为另一个组合器的输入提供。这种分层结构可以允许组合功能分布在不同的网络节点上，这进而可以允许组合功能按照网络位置分布。该实施例的优点可以是，虽然基于瓦片的视频流可以源自不同的边缘节点和/或接入网，但是在可能的情况下，例如当源自附近的边缘节点时，这些基于瓦片的视频流的不同子集可以已经在本地组合，这可以减少用于跨该电信网络流式传输这些基于瓦片的视频流的端口和连接的数量，和/或减少用于管理这些视频流的管理需要。
在实施例中，该多个组合器可以是具有以下各项的组中的至少两个不同项或者是其一部分：
-分配给该接收器设备的边缘节点；
-该电信网络的非边缘部分中介于该发射器设备与该接收器设备之间的网络节点；以及
-该接收器设备的子***。
为了使得组合功能能够按照网络位置分布，可以使用多个不同类型的组合器，包括但不限于上述实施方式类型。例如，中心网络节点可以将基于瓦片的视频流的第一子集组合成第一组合的基于瓦片的视频流，而该接收器设备的边缘节点可以将该第一组合的基于瓦片的视频流与两个其他基于瓦片的视频流组合以获得用于流式传输到该接收器设备的第二组合的基于瓦片的视频流。
在实施例中，该***可以进一步包括编排节点，该编排节点被配置成通过向该发射器设备和/或该边缘节点传输指令来编排该边缘节点对该视频的处理。这种编排节点可以通过向该发射器设备和/或该边缘节点传输指令来集中控制该视频流式传输的至少一部分。例如，该编排节点可以由应用服务器体现，该应用服务器集中控制在应用的上下文中发生的视频流式传输。
在实施例中，该编排节点可以被配置成通过向该发射器设备通知该边缘节点的网络标识符来将该边缘节点分配给该发射器设备。在一些示例中，该编排节点可以有效地指示该发射器设备将作为低延迟视频流的未压缩形式或压缩形式的视频传输到该边缘节点。提供这些指令可以包括向该发射器设备通知该边缘节点的网络标识符的编排节点或由其构成。
在实施例中，该编排节点可以被配置成生成用于该边缘节点的指令，这些指令包含以下各项中的至少一项：
-该一种或多种处理技术的选择或配置；
-用于该一个或多个瓦片的编码的配置；以及
-该组合器的网络标识符。
在实施例中，该发射器设备可以被配置成在a) 将作为低延迟视频流的未压缩形式或压缩形式的视频流传输到该边缘节点以进行处理与b) 处理该视频并且利用后向预测传输压缩形式的该视频流之间切换，其中，所述切换基于具有以下各项的组中的至少一项：
-从另一个实体接收到的指令；
-该发射器设备中的计算资源的可用性；
-可用于流式传输的网络资源的可用性；以及
-该发射器设备的电池电量。
因此，该发射器设备可以在“正常”流式传输模式与延迟减少的流式传输模式之间切换，在该“正常”流式传输模式中，发射器设备处理该视频，例如，如果有足够的本地计算资源可用和/或该电池电量处于足够的水平，并且随后利用后向时间帧间依赖性对该视频流进行编码，在该延迟减少的流式传输模式中，该视频流不被压缩或者被压缩为低延迟视频流，并且被传输到该边缘节点以将处理“卸载”到该边缘节点。
在实施例中，该发射器设备可以被配置成生成用于该边缘节点的指令，这些指令包含以下各项中的至少一项：
-该一种或多种处理技术的选择或配置；
-用于该一个或多个瓦片的编码的配置；以及
-组合器的网络标识符，该基于瓦片的视频流要传输到该组合器以在该压缩域中与一个或多个其他基于瓦片的视频流组合。
在实施例中，可以提供一种数据结构，其表示电信网络的边缘节点的指令，其中，这些指令包含以下中的至少一个：
-要应用于从发射器设备接收到的视频的一种或多种处理技术的选择或配置；
-用于使用瓦片式视频流式传输编解码器将所述经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流的配置；以及
-组合器的网络标识符，该基于瓦片的视频流要传输到该组合器以在压缩域中与一个或多个其他基于瓦片的视频流组合。
在本发明的进一步方面，可以提供一种包括计算机程序的暂态或非暂态计算机可读介质，该程序可以包括用于使处理器***执行该方法的指令。
本领域技术人员应当理解，可以以任何认为有用的方式组合上文提及的本发明的实施例、实施方式和/或方面中的两个或更多个。
本领域技术人员可以基于本说明书执行任何计算机实施的方法、***、设备、网络节点和/或计算机可读介质的修改和变化，这些修改和变化与针对所述实体中的另一个实体描述的修改和变化相对应。
附图说明
参考下文所描述的实施例，本发明的这些方面和其他方面是显而易见的并且将被阐明。在附图中：
图1示出了各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中所述设备经由相应接入网连接到该电信网络；
图2A至图2C展示了以所谓的头戴式显示器（HMD）去除的形式对视频进行的处理，其中HMD可以在捕获的视频帧中被检测到，并且被用户的3D模型的对应渲染部分替换；
图3示出了各自捕获、处理视频并以瓦片式方式对其进行编码以获得相应的基于瓦片的视频流的多个发射器设备、在压缩域中组合基于瓦片的视频流以获得组合的基于瓦片的视频流的电信网络中的组合器、以及接收组合的基于瓦片的视频流并对其进行解码的接收器设备；
图4类似于图3，但是示出了处理由电信网络中的组合器而不是由发射器设备执行；
图5示出了实施例，其中多个发射器设备各自将捕获的视频传输到电信网络的相应边缘节点，该相应边缘节点使用瓦片式视频流式传输编解码器对视频进行处理和编码以获得基于瓦片的视频流，并且组合器组合基于瓦片的视频流以获得传输到接收器设备的组合的基于瓦片的视频流；
图6通过示出视频的内容、作为瓦片的编码、若干瓦片的组合、解码和渲染直观地展示了图5的实施例；
图7提供了图5的实施例的不同示意图；
图8展示了组合器的不同实施例，该组合器是中心云的一部分，或者由边缘节点体现，或者被集成到接收器设备中；
图9示出了用于分层组合瓦片式视频流的各种选项；
图10示出了用于编排视频流式传输的编排节点；
图11示出了向发射器设备、边缘节点、体现组合器的边缘节点和接收器设备发送指令的编排节点；
图12示出了使用媒体资源功能的实施例；
图13A示出了用于图12的实施例的消息交换；
图13B示出了消息交换的另一个示例；
图14A至图14K示出了各种场景中的端到端延迟；
图15示出了体现如边缘节点、组合器、编排节点或发射器设备等实体的处理器***；
图16示出了体现接收器设备的处理器***；
图17示出了用于促进视频流式传输的方法；
图18示出了包括非暂态数据的计算机可读介质；
图19示出了示例性数据处理***。
应当注意，在不同的附图中具有相同附图标记的项具有相同的结构特征和相同的功能，或是相同的信号。在已经解释了这种项的功能和/或结构的情况下，在具体实施方式中不再重复解释。
附图标记和缩写词清单
以下附图标记和缩写词清单被提供用于简化附图解释，并且不应该被解释为对权利要求的限制。
AS 应用服务器
ENX 边缘节点X
HMD 头戴式显示器
MRF 媒体资源功能
NNN 非边缘网络节点
ON 编排节点
UEX 用户设备X
10-13 接入网
20 电信网络
30-32 视频流
40 （超）低延迟视频流
50-53 瓦片式视频流
60 组合的瓦片式视频流
70 压缩域中的组合器
80 未压缩域中的组合器
90-93 编排指令
100 捕获
110 编码
120 解码
130 处理
140 瓦片式/编码
150 组合（在压缩域中）
152 组合（在未压缩域中）
160 编码
170 解码
180 分割/渲染
200 捕获的视频帧
210 头戴式显示器
220 用户的3D模型的渲染部分
250 头戴式显示器去除之后的视频帧
300 会话控制
310 场景配置
312、314 会话信号传输
316 场景配置
318 媒体控制
320 媒体处理
322、324 元数据
326、328 媒体
400 处理器***
420 网络接口
422 网络通信数据
440 处理器子***
460 数据存储
500 配置为接收器设备的处理器***
520 网络接口
522 网络通信数据
540 处理器子***
560 显示输出
562 显示数据
580 显示器
600 用于促进视频流式传输的方法
610 接收视频
620 处理视频
630 对视频进行编码以获得基于瓦片的视频
640 接收基于瓦片的视频
650 接收进一步的基于瓦片的视频
660 组合基于瓦片的视频
700 计算机可读介质
710 非暂态数据
1000 示例性数据处理***
1002 处理器
1004 存储器元件
1006 ***总线
1008 本地存储器
1010 大容量存储设备
1012 输入设备
1014 输出设备
1016 网络适配器
1018 应用。
具体实施方式
在‘社交VR’的上下文中描述了以下实施例中的一些实施例，其中多个用户使用HMD和相机参与电话会议，并且其中可能期望例如通过背景去除或者用用户面部的3D模型替换HMD来处理包含用户的实况相机记录的视频，以使视频适合于在虚拟环境中显示。然而，在以下实施例中描述的技术也可以在多个发射器设备各自经由电信网络传输相应视频并且接收器设备经由该电信网络接收这些相应视频的任何其他上下文中使用，例如在任何非VR类型的视频会议应用中、在涉及部署多个安全相机的安全应用中或者在使用多个相机来捕获事件的不同视点的实况事件登记中。在任何这种情况或其他情况下，可能需要以低延迟执行视频的端到端流式传输，即使在处理视频图像时也是如此。
进一步注意，在下文中，对“视频流”的任何提及可以是指适合于例如使用已知流式传输技术来流式传输的视频的数据表示。此外，对“视频”的提及可以包括视频流，但还可以包括不适合于（尚未适合于）流式传输或者至少常规上不旨在用于流式传输的视频的数据表示。在这些图中，视频（流）可以由单个视频帧示意性地表示。
图1示出了多个发射器设备UE1-UE3，每个发射器设备经由电信网络20以流式传输方式（在其他地方也简称为“流式传输”）传输相应视频。这种流式传输在图1中由箭头30-32指示。图1进一步示出了经由电信网络20接收相应视频30-32的接收器设备UE4。设备UE1-UE4中的每一个被示为经由相应接入网10-13连接到电信网络20。在图1的示例中，电信网络20可以是5G或更新一代电信网络，设备（此处为“用户设备”（UE））经由相应无线电接入网10-13连接到该电信网络。在其他示例中，电信网络20可以是互联网，并且接入网10-13可以是DSL或基于光纤的接入网。还存在电信网络和接入网的各种其他示例。
尽管在图1中未示出，但是在一些实施例中，每个发射器设备也可以是接收器设备，并且反之亦然，因为每个设备可以接收其他设备的视频，并且将其自身视频传输给其他设备。例如，在视频会议中可能就是这种情况。在其他实施例中，一些发射器设备也可以是接收器设备和/或反之亦然。在其他实施例中，发射器设备可以只传输视频而不接收视频，而接收器设备可以只接收视频而不传输视频。
可能需要处理发射器设备的视频。
图2A至图2C示出了以所谓的头戴式显示器（HMD）去除的形式处理视频的特定类型，该所谓的头戴式显示器可以用于检测在社交VR会话期间捕获的用户视频中的HMD，并且用用户的3D模型的对应渲染部分来替换HMD。这种HMD去除本身是已知的，并且可以假设用户面部的3D模型是可用的或可生成的，例如，作为UV投影。可以从用户的3D模型中选择用户面部的相关部分，适当地调整大小，针对模型与视频帧之间的颜色和光照差异进行调整，并且然后覆盖在检测到的HMD上。
图2A至图2C中示出了面向前方用户的简化程序。首先，可以在视频帧200（图2A）中例如以HMD的位置和取向的形式检测HMD 210。这种检测的目的可以是检测用户面部的部分，包括其取向，该部分被HMD 210遮挡并且可以由从3D模型生成的图像部分替换。基于HMD的位置和取向，可以选择3D模型的相关部分，该相关部分可以从期望的角度被渲染为图像部分220（图2B），该图像部分示出了要覆盖在视频帧上的面部的部分。可以覆盖图像部分220以获得“HMD去除的”视频帧250（图2C）。替代性地或另外地，其他类型的处理是可能的，包括前景/背景分割、对象检测、对象注释、对象***、对象变换、对象替换、3D重建等。
图3示出了如何将视频的这种处理合并到从发射器设备到接收器设备的视频流式传输中，因为该视频流式传输示出了多个发射器设备UE1-UE3，每个发射器设备捕获100、处理130视频并以瓦片式方式对其进行编码140以获得相应的基于瓦片的视频流。此处，术语“以瓦片式方式进行编码”可以指以适合于在更大的瓦片配置中用作瓦片的方式对视频进行编码。这种基于瓦片的视频编码本身是已知的，例如，通过HEVC瓦片式流式传输已知，并且可以允许电信网络中的组合器70在压缩域中组合150基于瓦片的视频流以获得组合的基于瓦片的视频流。组合的基于瓦片的视频流然后可以由组合器70传输到接收器设备UE4，该接收器设备可以接收组合的基于瓦片的视频流并对其进行解码170，之后可以渲染180视频。
这种渲染在此处和其他地方也被称为“分割/渲染”，指的是视频可以被再次分割成单独部分，例如，以允许在渲染输出中进行各种合成，如将视频作为化身放置在基于图形的环境中的事实。在图3示例中，组合器70被示出为基于云的服务器，该基于云的服务器在图3中由云符号象征性地指示，并且通常可以是为此目的一起使用的任何适当配置的网络节点或物理节点的组合，通常被称为“云”。这种网络节点的示例包括但不限于多点控制单元（MCU）和视频会议桥，并且在基于VR的电话会议的情况下，包括VR桥，其中服务器的类型取决于技术和应用特定的上下文。
通过在压缩域中执行组合150，图3示例中的端到端延迟可以通过在从每个发射器设备UE1-UE3到接收器设备UE4的传输链中仅具有一个编码140和一个解码170操作而保持最小。另外，通过仅对一个组合的基于瓦片的视频流而不是若干（非瓦片式）视频流进行解码，可以减少接收器设备UE4上的计算负载。
然而，在图3示例中仍存在一些问题。首先，处理130可以表示对于相应发射器设备UE1-UE3来说过于严重的计算负载。例如，在HMD去除的情况下，基于计算机视觉的处理技术在计算上可能是昂贵的，这可能使得发射器设备的计算资源消耗显著，和/或在发射器设备是移动设备的情况下使得电池消耗过度。此外，基于瓦片的编码在计算上也可能是复杂的，例如，需要对视频数据进行实时时空分析以检测时空数据相关性。
图4类似于图3，但是示出了处理由电信网络中的组合器而不是由发射器设备UE1-UE3执行。即，组合器80被示出为处理130每个视频，并且然后在未压缩域中组合152经处理的视频。然而，由于组合器150通常位于距离设备UE1-UE4一定距离处，例如，当由基于云的服务器实施时，往返设备UE1-UE4的带宽可能是有限的，这可能需要应用例如具有前向和后向时间依赖性的时空压缩。结果，每个发射器设备UE1-UE3可能必须在传输到组合器80之前对视频进行编码110，组合器80可能必须对每个接收到的视频进行解码120，并且在处理和组合经处理的视频之后，对组合的视频进行编码160，而最终接收器设备UE4可能必须对视频进行解码170并分割/渲染180经解码的视频。注意，在这种示例中可以不需要瓦片式。然而，图4所示的整体视频流式传输可能导致端到端延迟，该端到端延迟在许多应用领域中可能过大。例如，出于通信目的，视频流式传输中的延迟可能需要保持最小，优选地低于500或甚至150 ms。
以下实施例在端到端视频分配链中的特定位置处实施视频的处理和组合，以实现低端到端延迟，并且就计算上昂贵的处理（如HMD去除）而言，从发射器设备卸载视频处理。
图5示出了实施例，其中多个发射器设备UE1-UE3各自将捕获的视频传输到电信网络20的相应边缘节点EN1-EN3，该相应边缘节点使用瓦片式视频流式传输编解码器对视频进行处理和编码以获得相应的基于瓦片的视频流50-52，并且其中组合器70组合基于瓦片的视频流以获得传输到接收器设备UE4的组合的基于瓦片的视频流60。在该实施例中，所谓的边缘节点用于处理视频。这种边缘节点存在于各种网络类型和架构中，并且通常可以位于电信网络20到相应接入节点10-12的边缘，发射器设备UE1-UE3经由这些相应接入节点连接到电信网络20。
例如，这种边缘节点在边缘计算领域是已知的，在该领域中，云计算资源可以靠近电信网络的边缘放置。这种放置可以具有不同的好处。例如，这种放置可以允许相应设备与云计算资源之间的低延迟连接。另一个示例是，这种放置可以从电信网络的核心卸载流量。使用边缘计算进行视频处理本身是已知的，例如通过实况TV制作场景已知，在该场景中，视频处理从停车场中的TV卡车移动到边缘计算平台。在这种示例中，原始视频镜头可以被发送到边缘计算平台，在该边缘计算平台处，原始视频在作为TV就绪视频流被流式传输之前被处理。
图5和以下实施例可以将视频的处理卸载到电信网络，并且具体地卸载到电信网络的边缘节点。为了将视频从发射器设备发送到边缘节点，可以使用低延迟视频传输技术，因为到边缘节点的连接通常具有低延迟和高带宽，并且因此具有低抖动（指的是分组之间的延迟变化）。这也可以避免在边缘节点处需要大的缓冲，否则，如果抖动很高，则可能需要大的缓冲，并且这可能会引入附加延迟。由边缘节点执行的视频处理也可以不需要这种缓冲，因为这种视频处理通常可能涉及当视频帧到达边缘节点时处理视频帧，例如，可能不需要在边缘播放必须是连续/平滑的视频帧。
因此，从发射器设备到边缘节点的视频传输可以以更高的带宽为代价来实现更低的延迟，例如通过发送未压缩形式视频，或者使用仅使用空间依赖性的无损压缩或有损压缩或仅使用前向时间帧间依赖性的时空压缩。这种压缩技术本身是已知的。通常，视频编码技术和相关联的视频流式传输编解码器可以是低延迟或超低延迟视频编码技术或编解码器。相比之下，例如由于使用前向和后向时间帧间依赖性，由基于瓦片的视频流式传输编解码器引入的延迟可能（远远）更高。由相应视频编码技术引入的延迟差异可以例如为至少1 :2、1 : 5或1 : 10（分别为由发射器设备和边缘节点的编码和解码引起的延迟对由边缘节点和接收器设备的编码和解码引起的延迟）。通常，“常规”实时视频传输将具有200到300ms至多500 ms数量级的延迟，其中该延迟可能由取决于帧速率的捕获延迟、由于编码中的时间依赖性引起的编码延迟、网络中的传输和排队延迟、接收器设备中的缓冲以及解码和显示延迟等构成。对于低延迟流式传输，通常与“常规”视频流式传输的主要区别在于编码和接收端缓冲的最小化，在该编码中，以更高的带宽（即，更少的压缩）为代价避免了编码期间的未来依赖性。在接收端播放的情况下，不能完全避免缓冲，因为缓冲器运行不足可能中断平滑播放。因此，低延迟或超低延迟视频流可以具有约100 ms或甚至更低的端到端延迟。
图6直观地展示了社交VR用例的图5的实施例，其中可以捕获100若干参与者的视频。如在图6中可以看到的，捕获的视频帧可以包括佩戴HMD的参与者，该HMD然后可以通过相应边缘节点中的视频处理130连同参与者的背景一起去除。经处理的视频然后可以由边缘节点瓦片式和编码140，并且作为单独的基于瓦片的视频流50-53被发送到组合器，该组合器在压缩域中组合150瓦片以获得组合的基于瓦片的视频流60，该组合的基于瓦片的视频流然后可以由组合器传输到接收器设备，在该接收器设备中，该组合的基于瓦片的视频流可以被解码170并分割以获得参与者的单独的视频，这些单独的视频最终可以被渲染180，例如，作为基于计算机的环境中的视频化身。应当理解，尽管在图6中没有明确示出，处理130可以发生在图5的边缘节点EN1-EN3上，而组合150可以发生在组合器中，该组合器可以是单独的实体，甚至可能发生在接收器设备上。
应当理解，图6所示的视频化身可以用作其他参与者的表示，但也可以用于自我表示，例如，作为自视图。自视图通常需要非常低的延迟，以确保身体的本体感觉与用户对他/她自身的身体的视觉相匹配。通过在边缘上***自视图作为瓦片，并且将所产生的瓦片式视频流流式传输到组合器而且还返回到发射器设备，可以将生成自视图所涉及的延迟保持最小。在一些实施例中，经处理的视频可以作为瓦片式视频流被发送到组合器，以及使用非瓦片式（超）低延迟视频编码技术发送到发射器设备。该非瓦片式（超）低延迟视频编码技术可以包括已知技术，而且还包括新开发的技术，如被描述为H.265/HEVC的后继技术的H.266/VVC（通用视频编码）的一部分的那些技术。在本文中，瓦片式概念正在被改进，并且在单个视频流中也允许具有不同配置的瓦片。与其他瓦片相比，这也可能允许某些瓦片具有更高的帧速率或更低的延迟。这可以允许由边缘节点创建并直接传输回用户设备的自视图作为低延迟瓦片与其他更规则的瓦片（例如，包含会议中的其他参与者的视频图像）一起传输。
图7提供了指示从捕获到渲染的各种功能的位置的图5的实施例的不同示意图。即，每个发射器设备UE1-UE3被示出为执行捕获100，之后捕获的视频被直接发送到相应边缘节点EN1-EN3。注意，例如由于发射器设备之间的位置差异，这种边缘节点可以是不同的边缘节点，但是也可以包括若干发射器设备之间相同的（例如，“共享的”）边缘节点。“直接传输”可以涉及上述缺乏压缩，或使用低延迟或超低延迟视频编码技术。由于这引起相对较小的延迟，因此未示出相应发射器设备UE1-UE3与相应边缘节点EN1-EN3之间的编码和解码。然后，每个边缘节点EN1-EN3可以处理130相应视频，并且使用基于瓦片的视频流式传输编解码器对经处理的视频进行编码140，之后，基于瓦片的视频流可以被发送到组合器70，该组合器在压缩域中将基于瓦片的视频流的瓦片组合成组合的基于瓦片的视频流，该组合的基于瓦片的视频流最终可以被传输到接收器设备UE4，该接收器设备然后可以对视频进行解码170和渲染180。
图8展示了在从发射器设备UE1经由边缘节点EN1和组合器到接收器设备UE4的传输链的上下文中的组合器功能150的不同实施例。在所有实施例中，发射器设备UE1可以捕获100视频，然后可以将该视频作为低延迟或超低延迟视频流40流式传输到边缘节点EN1，该边缘节点可以处理130该视频并使用基于瓦片的视频流式传输编解码器对经处理的视频进行编码140，之后，瓦片式视频流50可以被发送到组合器，该组合器将基于瓦片的视频流50与其他基于瓦片的视频流（未示出）组合150以获得组合的基于瓦片的视频流60，该组合的基于瓦片的视频流可以由接收器设备UE4解码170，并且然后例如在如HMD（图8中也未示出）等显示器上渲染180。
在此，实施例A)-C) 涉及组合器的不同实施例。即，在实施例A) 中，边缘节点EN4被示出为实施组合功能150。边缘节点EN4可以例如是分配给接收器设备UE4的边缘节点和/或可以位于接收器设备UE4的附近。在实施例B) 中，位于网络的非边缘部分的非边缘网络节点NNN被示出为实施组合功能150，而在实施例C) 中，接收器设备UE4本身被示出为实施组合功能150。
注意，虽然边缘节点EN1可能没有或仅具有用于处理视频的有限抖动缓冲器，但如其他地方也解释的，组合功能150可以具有抖动缓冲器，因为基于瓦片的视频流可能必须以同步方式组合，这意味着为了创建组合不同UE的输入的组合帧，可能需要这些UE中的每一个的视频帧。作为更多缓冲的替代方案，如果一个UE的输入滞后，则可能会遗漏或复制帧，并且如果滞后减少，则可能会再次跳过帧。如此，在图8的传输链中，一个相当大的抖动缓冲器可能就足够了，即在组合器中。在这方面，将组合器定位在边缘节点（实施例A）或接收器设备（实施例C）中可能是特别有利的，因为在这些情况下几乎不需要或不需要进一步的接收器缓冲。
图9示出了分层组合瓦片式视频流的各种选项。即，虽然图8仅示出了单个组合功能150，但是也可以以分层方式执行组合，因为可以有多个组合器，该多个组合器可以以分层结构相互排列，使得至少一个组合器接收至少一个其他组合器的组合的基于瓦片的视频流，并且生成进一步组合的基于瓦片的视频流，该进一步组合的基于瓦片的视频流包括接收到的组合的基于瓦片的视频流的瓦片。在图9中，这种不同的基于瓦片的视频流可以被称为输入（或用户）A、B、C、D，而组合的基于瓦片的视频流可以被称为字母组合输出，例如AB。
选项 (1) 示出了所有输入（A、B、C和D）被发送到一个组合器，该组合器将输入组合成单个输出ABCD。该单个输出可以被认为是单个中心会议桥的经典MCU模型。当接收器设备用作组合器时，也可以使用该模型。在这种情况下，所有输入可以直接从边缘节点和/或发射器设备接收，并且可以在本地组合成单个基于瓦片的视频流。例如在硬件支持用于解码时，即使这样的本地组合也可能是有利的，因为这种硬件支持通常限于单个视频流的解码。
选项 (2) 示出了用户输入被分组，如果2个用户A、B彼此靠近并且2个其他用户C、D也彼此靠近，则可能是这种情况。彼此靠近可以意味着这些用户例如是在同一栋楼工作的同事，或者以其他方式物理上彼此靠近。如服务器、云服务器、边缘云服务器、媒体感知网络元件等附近的网络节点可以将两个输入组合成单个输出流，而稍后另一个网络实体或接收器设备可以将两个组合流（A，B）和（C，D）组合成单个流。这对于流式传输可能是有利的，因为单个视频流可能需要比多个视频流更低的复杂性来进行流式传输，例如，流式传输可能需要更少的端口和连接，管理流式传输和流式传输会话、采取如带宽预留等潜在的QoS措施需要更少的管理。
选项 (3) 示出了首先组合多个输入，而稍后添加另一个输入。添加另一个输入的示例可以是***自视图。可以首先将各种其他用户A、B、C的输入组合成单个基于瓦片的视频流，而稍后可以添加自视图D。这可能是当网络节点（例如，边缘节点）从捕获的自视图视频生成基于自视图瓦片的视频流时的情况，该自视图视频由发射器设备传输到边缘节点，并且然后从边缘节点传输回发射器设备。
选项 (4) 示出了一个接一个添加各种输入。当基于瓦片的视频流在网络中相遇时被组合时，可以使用这种方法。
在一些实施例中，从发射器设备经由边缘节点和组合器到接收器设备的视频流式传输可以由网络实体集中编排，该网络实体在此处和其他地方被称为编排节点。图10中示出了这种编排节点的功能架构的示例，其中编排节点ON被示出为基于会话控制功能300与发射器设备UE1和接收器设备UE4交换会话信号传输信息312、314。在图10的示例中，编排节点可以是用于编排社交VR通信会话的社交VR服务器[1]，并且因此进一步被示出为基于场景配置310向接收器设备UE4提供场景配置信息316。图10中进一步示出了发送媒体326和元数据322（例如，捕获的视频和相关联的元数据）的发射器设备UE1，该媒体和元数据可以由媒体处理320处理，从而产生媒体328和元数据324。在一些实施例中，媒体处理320可以表示边缘节点处理和视频流的组合。如此，媒体328可以表示组合的基于瓦片的视频流。为了编排媒体处理320，编排节点ON可以提供媒体控制数据318，该媒体控制数据在其他地方也被称为指令。
图11示出了向发射器设备UE1、边缘节点EN1、体现组合器的边缘节点EN4和接收器设备UE4发送指令的编排节点ON。即，指令90可以被发送到发射器设备UE1，该指令包含边缘节点EN1的网络地址（例如，IP地址、端口号），发射器设备UE1在捕获100之后将其视频发送到该边缘节点。这种指令可以是编排节点ON与发射器设备UE1之间的信号传输的一部分，经由该信号传输可以确定发射器设备UE1的能力，例如，在计算资源、电池电量等方面的能力。编排节点ON可以基于该信息决定是让发射器设备UE1处理视频并对其进行编码，还是让边缘节点EN1使用基于瓦片的视频流式传输编解码器处理视频并对其进行编码。
另外地或替代性地，编排节点ON可以被配置成向边缘节点EN1发送指令91，该边缘节点可以例如标识以下中的一个或多个：发射器设备UE1、期望哪个视频流、如何处理该视频流、如何瓦片式经处理的视频并对经处理的视频进行编码，以及后来以网络地址（例如，IP地址、边缘节点EN4的端口号）和流式传输设置的形式将基于瓦片的视频流发送到何处。注意，例如当组合器由每个接收器设备的相应边缘节点实施时，基于瓦片的视频流可以被发送到不同的实体。
另外地或替代性地，编排节点ON可以被配置成向边缘节点EN4发送指令92，该边缘节点可以例如标识以下中的一个或多个：期望哪个（哪些）视频流以及如何组合这些（多个）视频流，以及在哪里流式传输所产生的组合的基于瓦片的视频流。注意，组合可以涉及特定空间布置，例如，如先前在图6中所示。如此，编排节点ON可以指示边缘节点EN4组合接收到的视频流的瓦片以建立特定空间布置。
另外地或替代性地，编排节点ON可以被配置成向接收器设备UE4发送指令93，该接收器设备可以例如标识以下中的一个或多个：将传输组合的基于瓦片的视频流的边缘节点EN4的网络地址，以及关于如何处理该组合的基于瓦片的视频流的指令，例如，标识组合的视频应该如何被分割成单独的视频以及将如何例如在屏幕上渲染单独的视频。
注意，由编排节点向实体发送的任何指令可以经由所谓的“捎带”发送，例如通过将所有指令发送到发射器设备UE1，然后该发射器设备可以将指令中不属于其自身的部分转发到随后的实体，例如，（多个）边缘节点、组合器等。
关于边缘节点，注意以下内容。这种边缘节点在边缘计算领域是已知的，其本质上涉及使用靠近客户端设备（在其他地方也称为‘UE’）附近的网络边缘的服务器或云实例。如此，边缘节点可以表示边缘计算资源或边缘计算机。为了能够使用边缘节点，UE可能需要知道边缘节点的网络地址，例如，边缘节点的IP地址或其他类型的标识符形式的网络地址。有各种方式来确保UE使用“正确”的边缘节点，例如，在网络位置方面。术语“边缘节点”在此处可以用于定义最接近的处理资源，例如可以一起建立云计算环境的单个服务器或服务器的组合。
当将边缘计算与媒体流式传输组合使用时，可以使用IP多媒体子***（IMS）架构框架。当使用该框架时，对于每个终端（例如，发射器设备或接收器设备），其到电信网络的连接或附接点可以是已知的。由于网络知道UE的附接点，因此网络也可以知道最近的边缘节点。IMS可以使用SIP信号传输来路由来自终端的多媒体流。由终端建立的多媒体连接可以传递给应用服务器，该应用服务器可以将多媒体流导向正确的网络实体，在这种情况下该网络实体是边缘节点。在这种情况下，边缘节点可以是SIP感知元件，例如，B2BUA（Back-2-Back用户代理），其能够终止多媒体流并且建立到另一个节点的（经处理的）多媒体流。
替代性地，代替使用IMS框架，中央服务器可以以任何其他方式发送最近边缘节点的地址，例如使用XML方案以及通过HTTP传递XML。例如，一旦UE希望开始VR会议会话，中央服务器可以向UE标识边缘节点。
UE到达最近的边缘节点的另一种方式是使用任播机制。任播，也称为IP任播，可以是一种机制，通过这种机制，相同的目的IP地址可以在若干节点之间共享，在这种情况下在边缘节点之间共享。当UE向该任播地址发送分组时，网络中最近的路由器，例如，边缘路由器，可以将分组路由到具有该任播IP地址的最近节点。为了能够使用这种机制将分组路由到最近边缘节点，可以单独地或通过使每个路由器知道到该任播IP地址的各种路由，但同时将这些路由视为到同一节点的替代性路由，来适当地配置网络中的路由器。如果路由器然后执行最短路径路由机制，则路由器可以由此将分组路由到最近边缘节点。
关于是让发射器设备处理视频并对其进行编码，还是让边缘节点使用基于瓦片的视频流式传输编解码器处理视频并对其进行编码之间的决定，注意以下内容：这种决定可以由编排节点做出，也可以由发射器设备本身做出。即，UE形式的发射器设备可以动态地决定是否使用边缘计算。这可以取决于UE上可用的资源、处理能力、媒体处理的可用硬件（例如，硬件编码器、GPU或者甚至FPGA）、可用电池容量等。关于如何选择是否使用边缘计算，有多种选项。如以上所指示的，可以是会议/应用服务器的编排节点可以指示UE使用边缘节点。另一种选项是编排节点可以让UE选择是否使用边缘节点。又另一种选项是UE自己决定是否使用边缘节点，也如上文所描述的。
注意，即使一个UE决定不使用边缘节点进行处理，如果同一（通信）会话中的其他UE使用边缘节点，则所有视频可能需要被编码为基于瓦片的视频流，以在压缩域中组合视频流进行工作。因此，执行处理和编码的UE可能必须使用相同的基于瓦片的编码技术，以适应其适合于与其他流组合的输出。
进一步参考从编排节点到其他实体的指令发送，或者通常参考编排节点与其他实体之间的信号传输，注意以下内容。这种信号传输有若干选项。例如，当使用基于MPEG NBMP的技术将处理从发射器设备卸载到边缘节点时，可以使用通过HTTP进行的JSON或XML信号传输。另一个示例是使用基于3GPP IMS的信号传输和媒体资源功能（MRF）及其信号传输，例如，SIP/XML信号传输。
图12示出了基于媒体资源功能和基于3GPP IMS的信号传输的实施例，而图13示出了图12的实施例的消息交换。两者都涉及以下内容。在SIP/IMS术语中，能够执行媒体处理的网络节点被称为媒体资源功能或MRF。这种MRF可以由MRFC（C = 控制）和MRFP（P = 处理）构成，它们可以是组合的或分散的。应用服务器（AS）可以控制MRF和到各种UE的连接。在图12和图13的示例中，充当编排节点的AS可以首先使用SIP INVITE建立到MRF1和MRF2的控制信道，之后其能够关于如何处理传入媒体流指示和/或配置MRF。在该示例中，UE1和UE2直接连接到MRF1，而UE3连接到MRF2。在该示例中，每个MRF可以由边缘节点体现，而在另一个示例中，MRF1可以是边缘节点，而MRF2可以是作为非边缘网络部分的网络节点。
用于创建具有两个用户的视频会议的简化XML的示例可以是以下内容，如可以由AS发送到每个MRF。该示例可以基于MSML（IETF RFC 5707）：
另外，AS可以使用SIP REFER指示UE来建立到该MRF的媒体连接。SIP REFER可以使用例如消息[Refer-To: <sip:[email protected]]来指示MRF。该SIP REFER消息还可以指示UE使用瓦片（例如，在压缩域中）执行用户输入的桥接。UE可以建立到MRF的连接以交换媒体。MRF可以将XML添加到其响应中，从而描述哪个参与者在哪个区域中。AS还可以例如使用HEVC瓦片式指示MRF使参与者加入会议而无需解码/编码。加入指令可以获取来自用户的ID和会议的ID，并且指示MRF加入这些ID。此处添加了新的‘method=”tiled”’，以相应地指示MRF。
使用如由SIP（会话发起协议，IETF RFC 3261）提供的用于流式传输的会话控制机制，存在通过网络来建立各种流的各种方式。图13A示出了用于使用服务器发起的流式传输来建立示例的各种流的信号传输的示例。
在该示例中，应用服务器可以知道三个用户设备UE1、UE2和U3想要例如通过网站等进程进行VR会议会话。如上文所讨论的，应用服务器可以知道各种UE的连接点，并且因此可以为每个UE分配适当的边缘服务器。首先，应用服务器开始与MRF1和MRF2的会话，在这种情况下使用第3方呼叫控制（3pcc）。该应用服务器向第一MRF发送SIP INVITE，并且等待响应（SIP 200 OK，出于简洁的原因，此处未示出）。接下来，应用服务器可以向MRF2发送SIPINVITE，包含提供MRF1，从而在MRF1与MRF2之间建立会话，关于这样做的替代方案，另请参见IETF RFC 3725。通过参与MRF1与MRF2之间的信号传输，应用服务器可以例如通过为此添加属性来指示希望使用瓦片式。在与SIP交换的SDP中，属性应该指示要使用瓦片式流式传输的请求，该请求可以与指示的分辨率（使用RFC 6236）组合。例如，可以定义新的媒体类型，例如“H265_tile”，该新的媒体类型然后可以在“编码名称”下的rtpmap属性中使用：
替代性地或另外地，指令可以包括在XML格式或MSCML格式中。
接下来，使用SIP REFER邀请作为VR会议会话的一部分的UE建立到其相应MRF的会话。可以在邀请中（例如在XML中）添加请求UE建立到其边缘节点的低延迟/高带宽流式传输连接的指令。替代性地，由于MRF知道针对流式传输连接的要求是低延迟/高带宽，因此在其对来自UE的SIP INVITE的响应中，MRF可以指示该请求。
在所有会话建立之后，可以交换不同实体之间的RTP流。每个UE可以以低延迟方式向其边缘节点提供其相应视频捕获，并且每个UE可以接收通过使用下划线指示的其他两个UE的视频捕获的瓦片式组合。因此，这可以表示使用接收器附近的边缘节点在压缩域中组合瓦片式视频输入的示例。注意，MRF1已经向MRF2发送了UE1和UE2（UE1_UE2）的瓦片的组合。还要注意，在MRF之间因此存在会话，如最初由AS使用3pcc建立的那样。
图13B示出了用于建立适当的流式传输会话的另一种方法。在该示例中，UE正在“拨入”会议，例如使用预先共享的拨入地址。当每个UE建立到该地址的会话时，应用服务器AS（作为SIP代理）将会话路由到适当的MRF。因此，AS可以知道哪些UE是同一会话的一部分，并且从而知道哪些边缘节点是会话的一部分。在UE3已经开始与MRF2的会话之后，AS知道其必须开始MRF1与MRF2之间的会话。这是以与图13A中相同的方式完成的，其中此处也示出了OK响应。
为了标识流式传输到参与者的组合结果中的瓦片，可以使用简单编号，例如，按照从左到右和从上到下的光栅扫描顺序对瓦片进行编号。替代性地，可以使用空间关系描述符（SRD），该空间关系描述符被定义为用于发布为ISO/IEC 23009-1: 2014/Amd 2: 2015的MPEG-DASH的MPD。SRD通过给出左上角的坐标以及提供瓦片的宽度和高度和组合的总宽度和高度来描述瓦片。以这种方式，可以单独标识每个瓦片。
图14A至图14K示出了各种场景中端到端延迟的近似值，其中图14A和图14B可以表示参考延迟场景，并且可以展示并用于定义“低延迟视频流”的技术概念。
图14A示出了常规流的端到端延迟。在这种情况下，图像组（GOP）由一个I帧、2个B帧、一个P帧等构成。在图14A（以及图14B至图14K）中，在水平轴上示出了毫秒。在帧速率为25 fps（每秒帧数）的情况下，这意味着每40 ms有一个新的帧。注意，这可能不是准确的数字，因为快门时间、相机帧吞吐量、潜在的后期处理（例如改变色彩空间）等可能影响准确的时间。尽管如此，大约每40 ms可以有1帧。接下来，对帧进行编码。I帧按原样编码，但是只有当P帧可用时才能对B帧进行编码，因此首先可能会有缓冲，并且一旦P帧被编码，就可以对B帧进行编码。此处假设所有的帧编码和解码时间都是20 ms；实际上，这可以取决于所使用的编码器/解码器，并且不同类型的帧在编码/解码时间上可以有所不同。
I帧一旦被编码，就可以被传输。不同编码帧的大小差别很大。例如，使用H.264，粗略的指示可以是I帧的压缩因子为7，P帧的压缩因子为20，并且B帧的压缩因子为50。对于1080p流，这可以意味着实现了5,9 MB/s的带宽：对于原始视频，24位颜色（3 × 8，RGB）×1920 × 1080 × 25 = 156 MB/s，使用12的GOP（即1个I帧、3个P帧和8个B帧）使得略低于6MB/s。然后，I帧的大小可以为大约0,9 MB，并且可能需要150 ms才能使用6 MB/s带宽进行传输。P帧为大约0,3 MB并且可能需要50 ms才能进行传输，并且B帧为大约0,1 MB并且可能需要约20 ms才能进行传输。接收到帧之后，可以按照其被接收的顺序对其进行解码。注意，P帧在B帧之前发送，因为可能需要其对B帧进行解码。但是，B1需要首先显示，所以接收器处可能需要一些缓冲。这种场景中的瓶颈在于I帧的传输，以及在B帧中使用的后向预测。实现的端到端延迟为260 ms。该端到端延迟可以表示关于“低延迟视频流式传输”的参考，因为“低延迟视频流式传输”可以实现比260 ms更低并且在一些情况下明显更低的端到端延迟。
在图14B中，改变了GOP，并且仅使用了单个B帧。这并没有改变分配链中的瓶颈，因此延迟仍然是260 ms。
在图14C中，不再使用B帧。这将流的带宽增加到约9 MB/s，并且影响端到端延迟。即，在接收器侧，B1帧不再是瓶颈。端到端延迟由此减少20 ms，从而与单个帧的解码时间相对应。
要采取的另一种措施是增加或尖峰化带宽，这在图中也用“尖峰”指示。以比内容带宽更高的带宽传输帧将减少其传输时间。这在很大程度上是I帧需要的，并且在一些程度上是P帧需要的。这不会增加平均传输带宽，但是可能意味着在一些时刻使用更高的带宽，而在其他时刻不使用带宽。
在图14D中，针对常规GOP和5倍内容带宽的传输带宽尖峰示出了这种效果。I帧的传输不再是瓶颈，并且这显著地将端到端延迟减少到150 ms。现在的主要瓶颈是B帧中使用的后向预测。
在图14E中，将该带宽的尖峰化（再次增加了五倍），也称为可变比特率（VBR），与仅使用前向预测组合。现在，I帧可能再次成为瓶颈，但是延迟减少到110 ms。通过将这两种措施组合，延迟显著减少，从260 ms减少到110 ms。
要采取的另一个措施是不使用I帧，而是在多个帧上扩展非预测（即帧内）编码。这在图14F中示意性地示出，并且被称为逐渐解码器刷新或渐进帧内刷新。首先，左上角是帧内编码的（例如，不依赖于其他帧，非预测），其余部分使用前向预测进行编码。接下来是右上角、左下角、右下角等。170 ms处“捕获”行后面的***示出了四个连续帧的示例。对于12的GOP大小，可以想象对1/12的帧进行帧内编码。通过这种编码方式，内容的带宽在帧上相当均匀，因此这可以被视为尖峰化带宽的替代方案。缺点可能是在显示完整图像之前可能需要整个GOP，因为需要帧内编码的图像才能开始解码。这可以组合，例如，从I帧开始并且以更高的速度发送，并且然后切换到GDR/PIR。端到端延迟为120 ms，类似于图14E中的延迟。
尽管如此，传输可能仍是瓶颈，如图14F中可以看出的。还通过尖峰化带宽（与内容带宽相比，此处为4倍），也如图14G所示，这可以进一步改进，从而达到90 ms的延迟。如先前所指示的，通过组合多个步骤（无后向预测，使用更快的传输/尖峰化，使用GDR/PIR编码），与参考场景相比，端到端延迟可以（显著）减少。
减少延迟的另一种方法是使用更高的帧速率，这可以以双倍带宽为代价改进捕获延迟，如图14H所示。该场景示出了常规GOP，也如场景1所示，但是随后使用50 fps而不是25fps，其中后者是原始内容帧速率。由于这可能使用双倍带宽，因此与图14A的场景相比，I帧的传输也将花费一半的时间。以这种方式，延迟减少到160 ms。将该延迟与不使用后向预测和进一步尖峰化所用带宽组合，延迟可以减少到80 ms，如图14I所示。在该示例中，尖峰化是内容带宽的2,5倍。替代性地，也可以应用GDR/PIR，并且组合所有措施将延迟减少到70ms，如图14J所示。在该示例中，尖峰化是内容带宽的2,0倍。
最后，通过不同步骤的并行化，可以进一步减少端到端延迟。在捕获帧时，正被捕获的帧的第一部分可能已经被发送到编码器，从而并行化捕获和编码。在对帧的第一部分进行编码之后，在对帧的另外的部分进行编码的同时，这些部分可能已经被传输。并且，一旦这些第一部分到达接收器，解码也可以在接收到整个帧之前开始。组合所有措施可能导致35 ms的端到端延迟，如图14K所示，其中假设快门时间为20 ms，假设滚动快门导致捕获期间的编码开始，使用因子为2,0的带宽尖峰化，其中在编码期间开始传输，并且在传输期间开始对帧进行解码。
进一步的减少可以通过缩短编码和解码时间来实现，例如，通过配置更快的编码（以较低质量为代价），或者通过使用硬件编码器或其他硬件加速，例如GPU加速。
通常，本说明书中描述的技术不限于基于视频的VR，也不限于基于视频的通信用例，而是可以应用于任何用例，其中若干发射器设备传输需要处理的视频，并且其中接收器设备接收经处理的视频。
作为基于瓦片的流式传输编解码器，可以使用任何已知和未来的基于瓦片的视频流式传输编解码器，包括但不限于基于正在H.266/VVC中开发的瓦片式机制的编解码器，该瓦片式机制期望包含先进的多配置瓦片，因为某些瓦片可以以比其他瓦片更高的帧速率或者以其他解码器设置进行流式传输，从而允许将低延迟和高质量瓦片组合在单个VVC帧中。如果自视图被编码为要与其他瓦片组合的瓦片，则这种技术可以用于进一步减少自视图的延迟。
本说明书中描述的技术可以用于使用不同的组合器或相同的组合器来生成多个不同的组合的基于瓦片的流，例如，两个组合流，每个组合流包含四个发射器设备的视频。例如，如果接收器设备的解码限制不需要单个视频流，而是对每个单独视频流的空间分辨率或比特率施加限制，并且在其他方面单个组合的基于瓦片的视频流可能超过该限制，则这些多个不同的组合的基于瓦片的流可以被发送到不同的接收器设备，而且还可以被发送到相同的接收器设备。
多个发射器设备可以连接到同一边缘节点。在这种情况下，边缘节点可以立即将相应视频组合在基于瓦片的视频流中，该基于瓦片的视频流随后可以与其他基于瓦片的视频流组合，例如，由另外的组合器或边缘节点沿着传输链进一步组合。
图15示出了体现如本说明书中其他地方描述的实体的处理器***400，如边缘节点、组合器和编排节点、发射器设备、接收器设备或通常的UE。处理器***400被示出为包括用于经由网络数据通信422发送和接收数据的网络接口420。网络接口420可以是任何合适类型的网络接口，例如基于Wi-Fi、蓝牙、ZigBee、4G或5G移动通信的这种无线网络接口，或者例如基于以太网或光纤的有线网络接口。例如，网络接口420可以是局域网（LAN）网络接口，或到如互联网等广域网（WAN）的接口。具体地，如果处理器***400体现UE，则网络接口420可以是接入网的网络接口并且可以是与特定类型的接入网相对应的网络接口类型。
处理器***400进一步被示出为包括处理器子***440，该处理器子***可以例如通过硬件设计或软件被配置成执行本说明书中其他地方描述的操作，只要涉及相应实体（边缘节点、组合器、编排节点、发射器设备、接收器设备、UE）的所描述的功能。例如，处理器子***440不但可以由单个中央处理单元（CPU）来体现，而且还可以由这种CPU和/或其他类型的处理单元（例如图形处理单元（GPU））的组合或***来体现。处理器***400进一步被示出为包括如内部存储器、硬盘、固态驱动器或其阵列等数据存储装置460，该数据存储装置可以用于存储或缓冲如视频流的接收到的部分和/或经解码的或经处理的视频数据部分等数据。
处理器***400可以由（单个）设备或装置来体现。例如，处理器***400在表示发射器设备或接收器设备或另一种类型的UE时，可以是智能电话、个人计算机、膝上型计算机、平板设备、游戏控制台、机顶盒、电视、监视器、投影仪、智能手表、智能眼镜、媒体播放器、媒体记录器、头戴式显示设备等。处理器***400还可以由这种设备或装置的分布式***来体现。在其他示例中，例如在处理器***400表示边缘节点或组合器或编排节点的示例中，处理器***400可以由服务器或由分布式服务器***来体现，或者通常由一个或多个网络元件来体现。
通常，图15的处理器***400可以体现为设备或装置，或者在设备或装置中体现。设备或装置可以包括一个或多个（微）处理器，该一个或多个（微）处理器可以表示处理器***400的处理器子***440，并且可以执行适当的软件。实施处理器子***440的功能的软件可能已经被下载和/或存储在对应的一个或多个存储器中，例如，如RAM等易失性存储器或如闪存等非易失性存储器。替代性地，处理器子***440可以以可编程逻辑的形式在设备或装置中实施，例如，作为现场可编程门阵列（FPGA）。通常，处理器***400的每个单元可以以硬件电路的形式实施。如果处理器***400是分布式***，则处理器子***440也可以是分布式子***，如分布式（微）处理器子***。
图16示出了体现接收器设备的处理器***500，该接收器设备也可以是组合的接收器-发射器设备。与图15的处理器***400的情况一样，图16的处理器***500被示出为包括用于网络数据通信522的网络接口520，该网络接口可以是与参考图15描述的网络接口420相同类型的网络接口。此外，与图15的处理器***400的情况一样，图16的处理器***500被示出为包括处理器子***540，该处理器子***可以是与参考图15描述的处理器子***440相同类型的处理器子***。然而，在图16的示例中，处理器***500进一步被示出为包括用于将显示数据562输出到显示器580的显示输出560，如HMD。尽管图16示出显示器580是外部显示器，但是在一些实施例中，处理器***500可以包括显示器580或者可以集成到该显示器中。使用显示输出560，处理器***500可以显示如任何接收到的组合的基于瓦片的视频流等视频。为了生成显示数据562，处理器子***540可以包括一个或多个CPU和一个或多个GPU。例如，（多个）GPU可以执行实际的渲染，而（多个）CPU可以执行渲染的更高级别的编排。
图17示出了用于促进视频流式传输的计算机实施的方法600，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中，所述设备经由相应接入网连接到电信网络。方法600可以包括：在电信网络的边缘节点处，在标题为“接收视频”的步骤中，从多个发射器设备中的至少一个接收610视频作为视频流，该视频流包含作为低延迟视频流的未压缩形式或压缩形式的视频；在标题为“处理视频”的步骤中，使用一种或多种处理技术来处理620视频以获得经处理的视频；以及在标题为“对视频进行编码以获得基于瓦片的视频”的步骤中，使用瓦片式视频流式传输编解码器将经处理的视频编码630为一个或多个瓦片以获得基于瓦片的视频流。方法600可以进一步包括：在另一个网络实体或边缘节点或接收器设备处，在标题为“接收基于瓦片的视频”的步骤中，从边缘节点接收640基于瓦片的视频流；在标题为“接收进一步的基于瓦片的视频”的步骤中，接收650包含由另一个发送器设备传输的视频的至少一个其他基于瓦片的视频流；以及在标题为“组合基于瓦片的视频”的步骤中，在压缩域中，组合660基于瓦片的视频流和至少一个其他基于瓦片的视频流以获得组合的基于瓦片的视频流，该组合的基于瓦片的视频流包含至少两个发射器设备的视频的瓦片。
应当理解，通常，图17的计算机实施的方法600的步骤可以以任何合适的顺序来执行，例如，连续地、同时地或其组合，在适用的情况下取决于例如输入/输出关系需要的特定顺序。例如，可以同时或时间重叠地执行步骤640和650。进一步注意，与边缘节点有关的计算机实施的方法600的步骤，例如，步骤610、620和630，可以由第一计算机实施的方法来体现，而与其他网络实体或边缘节点或接收器设备有关的计算机实施的方法600的步骤，例如，步骤640、650和660，可以由第二并且由此单独的计算机实施的方法来体现。
注意，在本说明书中描述的任何方法，例如，在任何权利要求中描述的任何方法，可以在计算机上实施为计算机实施的方法、专用硬件、或两者的组合。用于计算机的指令（例如，可执行代码）可以例如以一系列机器可读物理标记710的形式和/或作为一系列具有不同电（例如，磁或光）性质或值的元件的形式存储在例如图18所示的计算机可读介质700上。可执行代码可以以暂态或非暂态的方式存储。计算机可读介质的示例包括存储器设备、光存储设备、集成电路、服务器、在线软件等。图18通过示例的方式示出了光学存储设备700。
在图18的计算机可读介质700的替代性实施例中，计算机可读介质700可以包括表示本说明书中描述的指令或信号传输消息的暂态或非暂态数据510。
图19是展示可以在本说明书中描述的实施例中使用的示例性数据处理***1000的框图。这种数据处理***包括本说明书中描述的数据处理实体，包括但不限于任何发射器设备、边缘节点、组合器、编排节点、应用服务器、接收器设备、客户端设备、UE、MRF等。
数据处理***1000可以包括通过***总线1006耦合到存储器元件1004的至少一个处理器1002。如此，数据处理***可以在存储器元件1004内存储程序代码。此外，处理器1002可以执行经由***总线1006从存储器元件1004访问的程序代码。在一方面，数据处理***可以被实施为适合于存储和/或执行程序代码的计算机。然而，应当理解，数据处理***1000可以以包括能够执行本说明书中描述的功能的处理器和存储器的任何***的形式实施。
存储器元件1004可以包括一个或多个物理存储器设备，比如例如本地存储器1008和一个或多个大容量存储设备1010。本地存储器可以指在程序代码的实际执行期间通常使用的随机存取存储器或其他（多个）非持久性存储器设备。大容量存储设备可以被实施为硬盘驱动器、固态硬盘或其他持久性数据存储设备。数据处理***1000还可以包括一个或多个高速缓存存储器（未示出），这些高速缓存存储器提供至少一些程序代码的临时存储，以便减少在执行期间以其他方式从大容量存储设备1010检索程序代码的次数。
被描绘为输入设备1012和输出设备1014的输入/输出（I/O）设备可以可选地耦合至数据处理***。输入设备的示例可以包括但不限于，例如，麦克风、键盘、比如鼠标等定点设备、游戏控制器、蓝牙控制器、VR控制器和基于手势的输入设备等。输出设备的示例可以包括但不限于，例如，监视器或显示器、扬声器等。输入设备和/或输出设备可以直接或通过中间I/O控制器耦合至数据处理***。网络适配器1016还可以耦合至数据处理***，以使其能够通过中间私有或公共网络耦合至其他***、计算机***、远程网络设备和/或远程存储设备。网络适配器可以包括用于接收由所述***、设备和/或网络向所述数据传输的数据的数据接收器和用于向所述***、设备和/或网络传输数据的数据发射器。调制解调器、电缆调制解调器和以太网卡是可以与数据处理***1000一起使用的不同类型的网络适配器的示例。
如图19所示，存储器元件1004可以存储应用1018。应当理解，数据处理***1000可以进一步执行能够促进应用执行的操作***（未示出）。以可执行程序代码的形式实施的应用可以由数据处理***1000（例如，由处理器1002）执行。响应于执行应用，数据处理***可以被配置成执行将在本文进一步详细描述的一个或多个操作。
例如，数据处理***1000可以表示发射器设备或接收器设备。在这种情况下，应用1018可以表示当被执行时配置数据处理***1000来执行参考所述设备中的任一个所描述的功能的应用。在另一个示例中，数据处理***1000可以表示边缘节点。在这种情况下，应用1018可以表示当被执行时配置数据处理***1000来执行参考边缘节点所描述的功能的应用。在另一个示例中，数据处理***1000可以表示组合器。在这种情况下，应用1018可以表示当被执行时配置数据处理***1000来执行参考组合器所描述的功能的应用。
根据本说明书的摘要，提供了一种用于促进视频流式传输的***和计算机实施的方法，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备。该***可以包括边缘节点，该边缘节点可以从发射器设备接收作为低延迟视频流的未压缩形式或压缩形式的视频，处理该视频并且将该经处理的视频编码为基于瓦片的视频流。然后，组合器可以在压缩域中组合任何接收到的基于瓦片的视频流以获得组合的基于瓦片的视频流，该组合的基于瓦片的视频流包含至少两个发射器设备的这些视频的瓦片并且可以由单个解码器实例解码。
在权利要求中，置于括号间的任何附图标记不应被解释为限制权利要求。动词“包括（comprise）”及其词形变化的使用不排除权利要求中所述的元件或步骤之外的元件或步骤的存在。在元件列表或元件组之前的比如“至少一个”等表达表示从列表或组中选择所有元件或任何元件子集。例如，表达“A、B和C中的至少一个”应理解为仅包括A、仅包括B、仅包括C、包括A和B两者、包括A和C两者、包括B和C两者或包括全部A、B和C。元件前面的冠词“一个（a）”或“一种（an）”不排除存在多个这种元件。本发明可以通过包括若干不同元件的硬件以及通过适当编程的计算机来实施。在列举了若干装置的设备权利要求中，这些装置中的若干装置可以由同一个硬件项具体化。在相互不同的从属权利要求中陈述某些措施这一事实，并不表示不能有利地使用这些措施的组合。
Claims (16)
1.一种用于促进视频流式传输的***，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中，所述设备经由相应接入网连接到该电信网络，该***包括：
-该电信网络的边缘节点，其中，该边缘节点被配置成：
- 从该多个发射器设备中的至少一个接收视频作为视频流，该视频流包含作为低延迟视频流的未压缩形式或压缩形式的视频；
- 使用一种或多种处理技术来处理该视频以获得经处理的视频；
- 使用瓦片式视频流式传输编解码器将该经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流；
-组合器，该组合器被配置成：
- 从该边缘节点接收该基于瓦片的视频流；
- 接收包含由另一个发射器设备传输的视频的至少一个其他基于瓦片的视频流；
- 在压缩域中，组合该基于瓦片的视频流和该至少一个其他基于瓦片的视频流以获得组合的基于瓦片的视频流，该组合的基于瓦片的视频流包含至少两个发射器设备的这些视频的瓦片。
2.根据权利要求1所述的***，其中，该组合器是具有以下各项的组中的一项或者是其一部分：
-分配给该接收器设备的边缘节点；
-该电信网络的非边缘部分中介于该发射器设备与该接收器设备之间的网络节点；以及
-该接收器设备的子***。
3.根据权利要求1或2所述的***，其中，该***包括多个组合器，该多个组合器以分层结构相互排列，使得至少一个组合器接收至少一个其他组合器的组合的基于瓦片的视频流，并且生成进一步组合的基于瓦片的视频流，该进一步组合的基于瓦片的视频流包括该接收到的组合的基于瓦片的视频流的瓦片。
4.根据权利要求3所述的***，其中，该多个组合器是具有以下各项的组中的至少两个不同项或者是其一部分：
-分配给该接收器设备的边缘节点；
-该电信网络的非边缘部分中介于该发射器设备与该接收器设备之间的网络节点；以及
-该接收器设备的子***。
5.根据权利要求1至4中任一项所述的***，进一步包括编排节点，该编排节点被配置成通过向该发射器设备和/或该边缘节点传输指令来编排该边缘节点对该视频的处理。
6.根据权利要求5所述的***，其中，该编排节点被配置成通过向该发射器设备通知该边缘节点的网络标识符来将该边缘节点分配给该发射器设备。
7.根据权利要求5或6所述的***，其中，该编排节点被配置成生成用于该边缘节点的指令，这些指令包含以下各项中的至少一项：
-该一种或多种处理技术的选择或配置；
-用于该一个或多个瓦片的编码的配置；以及
-该组合器的网络标识符。
8. 一种被配置成经由电信网络传输视频的发射器设备，其中，该发射器设备经由接入网连接到该电信网络，
其中，该发射器设备被配置成向该电信网络的边缘节点传输该视频，其中，该边缘节点被配置成使用一种或多种处理技术来处理该视频以获得经处理的视频，并且使用瓦片式视频流式传输编解码器将该经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流，并且
其中，该发射器设备被配置成向该边缘节点传输该视频作为视频流，该视频流包含作为低延迟视频流的未压缩形式或压缩形式的视频。
9. 根据权利要求8所述的发射器设备，其中，该发射器设备被配置成在a) 将作为低延迟视频流的未压缩形式或压缩形式的视频流传输到该边缘节点以进行处理与b) 处理该视频并且利用后向预测传输压缩形式的该视频流之间切换，其中，所述切换基于具有以下各项的组中的至少一项：
-从另一个实体接收到的指令；
-该发射器设备中的计算资源的可用性；
-可用于流式传输的网络资源的可用性；以及
-该发射器设备的电池电量。
10.根据权利要求8或9所述的发射器设备，其中，该发射器设备被配置成生成用于该边缘节点的指令，这些指令包含以下各项中的至少一项：
-该一种或多种处理技术的选择或配置；
-用于该一个或多个瓦片的编码的配置；以及
-组合器的网络标识符，该基于瓦片的视频流要传输到该组合器以在该压缩域中与一个或多个其他基于瓦片的视频流组合。
11.一种电信网络的边缘节点，其中，该边缘节点被配置用于促进视频流式传输，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中，所述设备经由相应接入网连接到该电信网络，其中，该边缘节点被配置成：
-从发射器设备接收视频作为视频流，该视频流包含作为低延迟视频流的未压缩形式或压缩形式的视频；
-使用一种或多种处理技术来处理该视频以获得经处理的视频；并且
-使用瓦片式视频流式传输编解码器将该经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流。
12.一种用于促进视频流式传输的组合器，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中，所述设备经由相应接入网连接到该电信网络，
其中，该组合器被配置成：
-从边缘节点接收基于瓦片的视频流，其中，该基于瓦片的视频流包含发射器设备的视频，该视频由该边缘节点处理并且由该边缘节点使用瓦片式视频流式传输编解码器编码为一个或多个瓦片以获得该基于瓦片的视频流；
-接收包含由另一个发射器设备传输的视频的至少一个其他基于瓦片的视频流；并且
-在压缩域中，组合该基于瓦片的视频流和该至少一个其他基于瓦片的视频流以获得组合的基于瓦片的视频流，该组合的基于瓦片的视频流包含至少两个发射器设备的这些视频的瓦片。
13.一种数据结构，该数据结构表示用于发射器设备将作为低延迟视频流的未压缩形式或压缩形式的视频作为视频流传输到电信网络的边缘节点的指令。
14.一种数据结构，该数据结构表示用于电信网络的边缘节点的指令，其中，这些指令包含以下各项中的至少一项：
-要应用于从发射器设备接收到的视频的一种或多种处理技术的选择或配置；
-用于使用瓦片式视频流式传输编解码器将所述经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流的配置；以及
-组合器的网络标识符，该基于瓦片的视频流要传输到该组合器以在压缩域中与一个或多个其他基于瓦片的视频流组合。
15.一种用于促进视频流式传输的计算机实施的方法，该视频流式传输包括各自经由电信网络传输相应视频的多个发射器设备和经由该电信网络接收这些相应视频的接收器设备，其中，所述设备经由相应接入网连接到该电信网络，该方法包括：
-在该电信网络的边缘节点处：
- 从该多个发射器设备中的至少一个接收视频作为视频流，该视频流包含作为低延迟视频流的未压缩形式或压缩形式的视频；
- 使用一种或多种处理技术来处理该视频以获得经处理的视频；
- 使用瓦片式视频流式传输编解码器将该经处理的视频编码为一个或多个瓦片以获得基于瓦片的视频流；
-在另一个网络实体或边缘节点或接收器设备处：
- 从该边缘节点接收该基于瓦片的视频流；
- 接收包含由另一个发射器设备传输的视频的至少一个其他基于瓦片的视频流；
- 在压缩域中，组合该基于瓦片的视频流和该至少一个其他基于瓦片的视频流以获得组合的基于瓦片的视频流，该组合的基于瓦片的视频流包含至少两个发射器设备的这些视频的瓦片。
16.一种包括计算机程序的暂态或非暂态计算机可读介质，该计算机程序包括用于使处理器***执行根据权利要求15所述的方法的指令。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP19186699.5 | 2019-07-17 | ||
| EP19186699 | 2019-07-17 | ||
| PCT/EP2020/069847 WO2021009155A1 (en) | 2019-07-17 | 2020-07-14 | Facilitating video streaming and processing by edge computing |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114073097A true CN114073097A (zh) | 2022-02-18 |
Family
ID=67437819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080051254.XA Pending CN114073097A (zh) | 2019-07-17 | 2020-07-14 | 通过边缘计算促进视频流式传输和处理 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220279254A1 (zh) |
| EP (1) | EP4000271A1 (zh) |
| CN (1) | CN114073097A (zh) |
| WO (1) | WO2021009155A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116781857A (zh) * | 2023-08-25 | 2023-09-19 | 石家庄长川电气科技有限公司 | 一种视频会议背景处理***及方法 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10970555B2 (en) * | 2019-08-27 | 2021-04-06 | At&T Intellectual Property I, L.P. | Data-driven event detection for compressed video |
| US20210320810A1 (en) * | 2020-04-10 | 2021-10-14 | Samsung Electronics Co., Ltd. | Volumetric conversational services using network edge |
| CN117178547A (zh) * | 2021-04-28 | 2023-12-05 | 三菱电机株式会社 | 影像传送***、影像传送方法以及影像接收装置 |
| CN116264622A (zh) * | 2021-12-15 | 2023-06-16 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、电子设备和存储介质 |
| US20230254446A1 (en) * | 2022-02-08 | 2023-08-10 | Meta Platforms, Inc. | Methods, apparatuses and computer program products for enabling immersive video communications and live video streaming |
| CN114708643B (zh) * | 2022-06-02 | 2022-09-13 | 杭州智诺科技股份有限公司 | 边缘视频分析装置的算力提升方法及边缘视频分析装置 |
| CN114785792B (zh) * | 2022-06-17 | 2022-09-16 | 东云睿连(武汉)计算技术有限公司 | 一种云边协同的视频双路分析装置与方法 |
| CN116132415B (zh) * | 2023-02-15 | 2024-07-05 | 江苏方天电力技术有限公司 | 一种面向边缘环境的视频流转码方法、***、装置及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050008240A1 (en) * | 2003-05-02 | 2005-01-13 | Ashish Banerji | Stitching of video for continuous presence multipoint video conferencing |
| JP2005020463A (ja) * | 2003-06-26 | 2005-01-20 | Toshiba Corp | 機器制御装置及び機器制御方法 |
| US20090179904A1 (en) * | 2008-01-15 | 2009-07-16 | Marc Racicot | Video tiling using multiple digital signal processors |
| US20100312905A1 (en) * | 2009-06-08 | 2010-12-09 | Dov Sandmann | Sustaining Live Interactive Streaming |
| CN104641651A (zh) * | 2012-06-12 | 2015-05-20 | 相干逻辑公司 | 用于编码和交付视频内容的分布式体系结构 |
| CN106796794A (zh) * | 2014-10-07 | 2017-05-31 | 高通股份有限公司 | 环境高阶立体混响音频数据的归一化 |
| US20180242028A1 (en) * | 2015-08-20 | 2018-08-23 | Koninklijke Kpn N.V. | Forming A Tiled Video On The Basis Of Media Streams |
| CN109691113A (zh) * | 2016-07-15 | 2019-04-26 | 皇家Kpn公司 | 流式传输虚拟现实视频 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120075469A1 (en) * | 2007-07-25 | 2012-03-29 | Neo It Solutions Ltd. | Internet visual surveillance and management technology for telecommunications, internet, cellular and other communications companies |
| US8458733B2 (en) * | 2008-03-12 | 2013-06-04 | Microsoft Corporation | Global API deployment and routing |
| TWI586175B (zh) * | 2014-09-16 | 2017-06-01 | 鴻海精密工業股份有限公司 | 視訊會議頻寬管理方法及系統 |
| US9621853B1 (en) * | 2016-06-28 | 2017-04-11 | At&T Intellectual Property I, L.P. | Service orchestration to support a cloud-based, multi-party video conferencing service in a virtual overlay network environment |
| US10943123B2 (en) * | 2017-01-09 | 2021-03-09 | Mutualink, Inc. | Display-based video analytics |
| US10511696B2 (en) * | 2017-05-17 | 2019-12-17 | CodeShop, B.V. | System and method for aggregation, archiving and compression of internet of things wireless sensor data |
-
2020
- 2020-07-14 US US17/626,974 patent/US20220279254A1/en active Pending
- 2020-07-14 WO PCT/EP2020/069847 patent/WO2021009155A1/en unknown
- 2020-07-14 EP EP20737218.6A patent/EP4000271A1/en active Pending
- 2020-07-14 CN CN202080051254.XA patent/CN114073097A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050008240A1 (en) * | 2003-05-02 | 2005-01-13 | Ashish Banerji | Stitching of video for continuous presence multipoint video conferencing |
| JP2005020463A (ja) * | 2003-06-26 | 2005-01-20 | Toshiba Corp | 機器制御装置及び機器制御方法 |
| US20090179904A1 (en) * | 2008-01-15 | 2009-07-16 | Marc Racicot | Video tiling using multiple digital signal processors |
| US20100312905A1 (en) * | 2009-06-08 | 2010-12-09 | Dov Sandmann | Sustaining Live Interactive Streaming |
| CN104641651A (zh) * | 2012-06-12 | 2015-05-20 | 相干逻辑公司 | 用于编码和交付视频内容的分布式体系结构 |
| CN106796794A (zh) * | 2014-10-07 | 2017-05-31 | 高通股份有限公司 | 环境高阶立体混响音频数据的归一化 |
| US20180242028A1 (en) * | 2015-08-20 | 2018-08-23 | Koninklijke Kpn N.V. | Forming A Tiled Video On The Basis Of Media Streams |
| CN109691113A (zh) * | 2016-07-15 | 2019-04-26 | 皇家Kpn公司 | 流式传输虚拟现实视频 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116781857A (zh) * | 2023-08-25 | 2023-09-19 | 石家庄长川电气科技有限公司 | 一种视频会议背景处理***及方法 |
| CN116781857B (zh) * | 2023-08-25 | 2023-10-20 | 石家庄长川电气科技有限公司 | 一种视频会议背景处理***及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4000271A1 (en) | 2022-05-25 |
| US20220279254A1 (en) | 2022-09-01 |
| WO2021009155A1 (en) | 2021-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220279254A1 (en) | Facilitating Video Streaming and Processing By Edge Computing | |
| US20220239719A1 (en) | Immersive viewport dependent multiparty video communication | |
| AU2011258272B2 (en) | Systems and methods for scalable video communication using multiple cameras and multiple monitors | |
| US8988486B2 (en) | Adaptive video communication channel | |
| CN114600468B (zh) | 将复合视频流中的视频流与元数据组合的组合器***、接收器设备、计算机实现的方法和计算机可读介质 | |
| US7830409B2 (en) | Split screen video in a multimedia communication system | |
| EP2863632B1 (en) | System and method for real-time adaptation of a conferencing system to current conditions of a conference session | |
| US9124757B2 (en) | Systems and methods for error resilient scheme for low latency H.264 video coding | |
| US8649426B2 (en) | Low latency high resolution video encoding | |
| US9596433B2 (en) | System and method for a hybrid topology media conferencing system | |
| CN111147801A (zh) | 一种视联网终端的视频数据处理方法和装置 | |
| US9232192B2 (en) | Method and system for video conference snapshot presence | |
| US11985181B2 (en) | Orchestrating a multidevice video session | |
| Zeng et al. | A new architecture of 8k vr fov video end-to-end technology | |
| US20240155072A1 (en) | Three-dimensional visual communication sessions | |
| US20230146498A1 (en) | A Method, An Apparatus and a Computer Program Product for Video Encoding and Video Decoding | |
| CN118317051A (zh) | 虚拟场景中的视频播放方法、装置、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |