CN111742530B - 流传输数据的方法、提供网络辅助的方法以及用户设备 - Google Patents
流传输数据的方法、提供网络辅助的方法以及用户设备 Download PDFInfo
- Publication number
- CN111742530B CN111742530B CN201980014123.1A CN201980014123A CN111742530B CN 111742530 B CN111742530 B CN 111742530B CN 201980014123 A CN201980014123 A CN 201980014123A CN 111742530 B CN111742530 B CN 111742530B
- Authority
- CN
- China
- Prior art keywords
- data
- network
- rate
- priority
- streaming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/752—Media network packet handling adapting media to network capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
流传输数据的方法、提供网络辅助的方法以及用户设备。针对网络中多片段数据从数据源(12)到流传输客户端(54)的流传输提供网络辅助。针对多片段数据流传输的网络辅助可以由相应设备以自动化的方式执行。该***和方法包括允许更有效地处理组成数据流的数据片段的新功能。针对多片段流传输的网络辅助可以改善例如虚拟现实(VR)流传输的性能。
Description
相关申请数据
本申请要求2018年2月22日提交的瑞典专利申请No.1830058-2的优先权,其公开内容通过引用整体并入本文中。
技术领域
本公开的技术总体上涉及网络环境中的电子设备之间的无线通信,并且更具体地,涉及在包含多个片段的数据的动态流传输期间提供并采用网络辅助的方法及相关设备。
背景技术
在诸如蜂窝网络或移动网络的网络中,客户端可以接收包括多个数据片段的流传输数据内容。每个数据片段可以对应于表示用于流传输数据的时间段的数据。此外,在流传输数据源处可用的多个片段可以表示同一时间段,但是可以表示内容在给定时间段内的不同版本。向视频源请求片段的客户端可以请求经由网络发送多个片段。因此,从所述源到客户端的数据流可能包含多个片段,所述多个片段被同时地发送或至少彼此紧密连接地发送。尽管根据客户端的需求某些片段可能比其他片段重要,在网络中发送各个数据片段都需要一部分可用的***容量。
在虚拟现实(VR)数据流的实现中可以看到这种多片段数据流所引起的示例性问题。一个问题是VR流可以包含表示同一时间段的多个片段,但是取决于用户的视场,所述多个片段具有不同的重要性。在这种情况下,低优先级的VR流片段可能会使用宝贵的带宽,而较高优先级的VR片段会更有效地利用所述带宽。这可能会导致用户视野中的媒体回放的停顿以及观看者体验不满意。应当理解,所公开的技术可以解决其他问题和技术实施挑战。需要改善通过蜂窝网络或移动网络的多片段数据流传输。
发明内容
公开了在数据包括多个数据片段的情况下可以增强数据流传输服务的体验质量(QoE)的特征。所公开的特征尤其是当在传输能力随时间变化和/或在频谱资源在多个用户之间共享的网络上(例如,在根据任何适当的标准集(诸如,3GPP颁布的那些标准集)的无线移动或蜂窝网络中)工作时可以改善QoE。
根据本公开的一个方面,利用流传输客户端对数据进行流传输的方法包括:与网元建立网络辅助(NA)会话,以便从数据源对数据进行流传输;从数据源接收数据,该数据包括多个数据片段;将表明至少两个不同的传输优先级的相对优先级指派给多个数据片段中的至少两个不同的数据片段;以及将相对优先级通知给网元。
根据该方法的一个实施方式,该方法还包括:接收网络辅助响应,该网络辅助响应包括表明针对相对优先级中的一个或更多个的推荐速率的信息。
根据该方法的一个实施方式,该方法还包括向数据源请求与相应推荐速率对应的至少两个不同的数据片段。
根据该方法的一个实施方式,该方法还包括指派表明对即将到来的数据片段接收的最高优先级请求的最高优先级。
根据该方法的一个实施方式,该方法还包括接收针对即将到来的数据片段的推荐速率。
根据该方法的一个实施方式,该方法还包括接收确认消息,该确认消息表明网元是否响应于最高优先级请求而将针对即将到来的数据片段的推荐速率指定为最高可用速率。
根据该方法的一个实施方式,该方法还包括接收指定专用于与网元通信和下载数据中的至少一者的网络资源的分配的信息。
根据该方法的一个实施方式,指定网络资源的分配的信息包括接入点名称、服务质量表明符、IP地址、移动小区ID和无线电接入技术中的至少一者。
根据该方法的一个实施方式,网元被配置为提供NA服务,该NA服务支持通过超文本传输协议(HTTP)的动态自适应流传输(DASH)下的网络辅助,该网元是DASH感知网元(DANE)。
根据该方法的一个实施方式,NA服务使用标准服务器和网络辅助DASH(SAND)消息信封。
根据该方法的一个实施方式,数据表示虚拟现实(VR)环境(78),并且多个片段中的各个片段表示VR环境的一图块(80)。
根据该方法的一个实施方式,相对优先级是基于用户相对于VR环境的视场(FOV)指派的。
根据该方法的一个实施方式,向所述至少两个不同的片段指派相对优先级包括:将第一优先级指派给FOV内图块,和/或将第二优先级指派给***FOV图块,和/或将第三优先级指派给FOV外图块。
根据该方法的一个实施方式,第一优先级对应于第一推荐速率,第二优先级对应于第二推荐速率,并且第三优先级对应于第三推荐速率,其中,第一推荐速率对应于比第二推荐速率质量高的视频,并且第二推荐速率对应于比第三推荐速率质量高的视频。
根据本公开的另一方面,在将数据从数据源流传输到流客户端期间由网元提供网络辅助(NA)的方法包括:与流传输客户端建立网络辅助(NA)会话;从流传输客户端接收网络辅助请求,该网络辅助请求包括与至少两个不同的数据片段有关的相对优先级;以及用网络辅助响应对流传输客户端进行响应,该网络辅助响应为至少一个相对优先级提供推荐速率。
根据该方法的一个实施方式,该方法还包括接收对即将到来的数据片段的最高优先级请求。
根据该方法的一个实施方式,该方法还包括用针对即将到来的数据片段的推荐速率对最高优先级请求进行响应。
根据该方法的一个实施方式,对高优先级请求进行响应包括发送确认消息,该确认消息表明是否响应于最高优先级请求而将针对即将到来的数据片段的推荐速率指定为最高可用速率。
根据该方法的一个实施方式,该方法还包括向流传输客户端提供指定专用于与网元通信和下载数据中的至少一者的网络资源的分配的信息。
根据该方法的一个实施方式,指定网络资源的分配的信息包括接入点名称、服务质量表明符、IP地址、移动小区ID和无线电接入技术中的至少一者。
根据该方法的一个实施方式,网元被配置为提供NA服务,该NA服务支持通过超文本传输协议(HTTP)的动态自适应流传输(DASH)下的网络辅助,该网元是DASH感知网元(DANE)。
根据该方法的一个实施方式,NA服务使用标准服务器和网络辅助DASH(SAND)消息信封。
根据该方法的一个实施方式,数据表示虚拟现实(VR)环境,并且一个或更多个片段中的各个分段表示VR环境的一图块。
根据该方法的一个实施方式,相对优先级与用户相对于VR环境的视场(FOV)对应。
根据该方法的一个实施方式,推荐速率将第一推荐速率与视场(FOV)内图块相关联,和/或将第二推荐速率与***FOV图块相关联,和/或将第三推荐速率与FOV外图块相关联,其中,第一推荐速率对应于比第二推荐速率质量高的视频,并且第二推荐速率对应于比第三推荐速率质量高的视频。
附图说明
图1是针对多片段数据流传输进行网络辅助的代表性网络***的示意性框图。
图2是多片段数据流传输辅助的代表性高级架构图。
图3是使用网络辅助接收数据流的代表性方法的流程图。
图4是为数据流提供网络辅助的代表性方法的流程图。
图5是代表性虚拟现实环境的整体视图。
具体实施方式
A.介绍
下面将参照附图描述实施方式,其中,在整个说明书使用相同的附图标记指代相同的元件。应当理解,附图不一定按比例绘制。相对于一个实施方式描述和/或例示的特征可以按照相同方式或者类似方式在一个或者更多个其他实施方式中使用和/或结合或者代替其他实施方式的特征使用。应当理解,在其他实施方式中,附图中的不同设备或单元中描述的功能可以在其他设备或单元中实现。
下面结合附图描述用于进行包括针对多片段数据流传输的网络辅助的无线无线电通信的***和方法的各种实施方式。针对多片段数据流传输的网络辅助可以由相应设备以自动化的方式执行。针对多片段流传输的网络辅助可以改善例如虚拟现实(VR)流传输的性能。
B.***架构
图1是用于实现所公开的技术的示例性网络***10的示意图。应当理解,所示***是代表性的,并且可以使用其他***来实现所公开的技术。示例性网络***10包括用于托管数据流并将数据流提供给用户设备(UE)14的数据源12。数据源12通常将是位于网络上和/或由内容提供商管理的服务器或其他设备。可以借助于诸如有线通信或无线通信(包括但不限于蜂窝数据网络)通过诸如互联网的网络访问数据源12。
UE 14经由根据蜂窝或移动设备网络协议(诸如,但不限于第三代合作伙伴项目(3GPP)颁布的协议)工作的基站30或其他接入点来发送并接收数据和控制信令。示例性基站30可以是长期演进(LTE)基站,通常称为增强型节点B(eNodeB或eNB)。基站30服务于包括UE 14在内的一个或更多个电子设备。基站12可以支持电子设备与网络媒介16之间的通信,电子设备可以通过该网络媒介与其他电子设备、服务器进行通信,所述其他电子设备、服务器可以连接在运营商的核心网络内或者经由互联网等进行连接。可以经由网络媒介16与UE14进行通信的一个设备是数据源。应当理解,网络架构中用于数据源12的其他位置是可能的。作为数据源12的另一位置的示例,数据源12可以是互连网上用于由无线网络运营商管理的流传输服务的服务器。
UE 14可以是经由无线接口18(例如,3GPP无线调制解调器)接收数据流的任何种类的电子设备。示例性UE 14包括智能电话、平板计算机、台式或膝上型计算机、虚拟现实头戴视图器、增强现实设备、可穿戴计算机等,但不限于此。
数据源12可以包括用于执行无线通信和数据源12的其他功能的操作组件。例如,数据源12可以包括控制电路20,该控制电路负责数据源12的整体操作,这些操作包括控制数据源12以执行适用于数据源12的操作以及将在下面更详细地描述的操作。控制电路20包括执行代码24(诸如,操作***和/或其他应用程序)的处理器22。在本公开文档中描述的并且适用于数据源12的功能可以被体现为代码24的一部分或作为数据源12的其他专用逻辑操作的一部分。取决于数据源12的性质和配置,可以以其他方式来实现数据源12的逻辑功能和/或硬件。因此,所例示和描述的方法仅仅是示例,并且可以使用其他方法,包括但不限于将控制电路20实现为或包括硬件(例如,微处理器、微控制器、中央处理单元(CPU)等)或硬件与软件的组合(例如,片上***(SoC)、专用集成电路(ASIC)等)。
代码24和任何存储的数据(例如,与数据源12的操作相关联的数据)可以存储在存储器26中。代码24可以以可执行逻辑例程(例如,软件程序)的形式体现,所述可执行逻辑例程作为计算机程序产品被存储在数据源12的非暂时性计算机可读介质(例如,存储器26)上,并且由处理器22执行。存储器26还可以存储构成数据流的数据。被描述为由数据源12执行的功能可以被认为是由数据源12执行的方法。
存储器26可以是例如缓冲器、闪存存储器、硬盘驱动器、可移除介质、易失性存储器、非易失性存储器、随机存取存储器(RAM)、或者其他适合的存储器中的一种或者更多种。在通常布置中,存储器26包括用于长期数据存储的非易失性存储器和用作控制电路20的***存储器的易失性存储器。存储器26被认为是非暂时性计算机可读介质。
数据源12包括使数据源12能够建立各种通信连接的通信电路。例如,数据源12可以具有网络通信接口28以与网络媒介16进行通信。
UE 14可以包括用于执行UE 14的各种功能的操作组件,所述功能包括与基站30和UE 14可以与之进行通信的任何其他设备进行无线通信。UE 14的一个功能是网络辅助数据流传输,如将更详细描述的。在其他组件中,UE 14可以包括控制电路32,该控制电路32负责UE 14的整体操作,包括控制UE 14或相关联的客户端执行下面更详细描述的操作。控制电路32包括执行代码36(诸如,操作***和/或其他应用程序)的处理器34。在本公开文档中描述的功能可以被体现为代码36的一部分或作为UE 14的其他专用逻辑操作的一部分。取决于UE 14的性质和配置,可以以其他方式来实现UE 14的逻辑功能和/或硬件。因此,所例示和描述的方法仅仅是示例,并且可以使用其他方法,包括但不限于将控制电路32实现为或包括硬件(例如,微处理器、微控制器、中央处理单元(CPU)等)或硬件和软件的组合(例如,片上***(SoC)、专用集成电路(ASIC)等)。
代码36和任何存储的数据(例如,与UE 14的操作相关联的数据)可以被存储在存储器38中。代码36可以以可执行逻辑例程(例如,软件程序)的形式体现,所述可执行逻辑例程作为计算机程序产品被存储在UE 14的非暂时性计算机可读介质(例如,存储器38)上,并且由处理器34执行。被描述为由UE 14执行的功能可以被认为是由UE 14执行的方法。
存储器38可以是例如缓冲器、闪存存储器、硬盘驱动器、可移除介质、易失性存储器、非易失性存储器、随机存取存储器(RAM)、或者其它适当存储器中的一种或者更多种。在一般布置中,存储器38包括用于长期数据存储的非易失性存储器和用作控制电路32的***存储器的易失性存储器。存储器38被认为是非暂时性计算机可读介质。
UE 14包括使UE 14能够建立各种通信连接的通信电路。例如,UE 14包括无线接口18,通过该无线接口18与基站30进行无线通信。可以与UE 14建立其他通信(诸如,Wi-Fi通信、有线连接等)。无线接口18可以包括:无线电电路,该无线电电路具有一个或更多个射频收发器(也称为调制解调器)、至少一个天线组件和任何合适的调谐器;阻抗匹配电路;以及各种支持的频带和无线电接入技术所需的任何其他组件。
UE 14的其他组件可以包括但不限于用户输入(例如,按钮、小键盘、触摸表面等)、显示器40、麦克风、扬声器、传感器、插孔或电连接器、可充电电池和电源单元、SIM卡、运动传感器(例如,加速度计或陀螺仪)、GPS接收器以及任何其他适当的组件。具体地,UE 14可以包括具有所有适当的显示组件的显示器40以及诸如视频处理器、视频和音频解码器等的组件。显示器40可以是例如头戴式耳机、智能手机上的显示屏、平板电脑、计算机或膝上型计算机、增强现实屏幕或可穿戴设备(诸如,光学头戴式显示器)等。
网络***10可以包括在数据流传输期间向UE 14和/或数据源12提供网络辅助服务的设备。如本文所使用的,术语网元被定义为网络上可以提供网络辅助服务的任何设备。为了便于描述,网络辅助设备将被称为DASH感知网元(DANE)42。尽管DASH是指超文本传输协议(HTTP)上的动态自适应流传输,但是DANE 42可以向数据流传输提供网络辅助服务,该数据流传输根据诸如HTTP实时流传输(HLS)、实时传输协议(RTP)、实时消息传递协议(RTMP)等来执行。
DANE 42可以包括用于执行DANE 42的各种功能的操作组件,所述功能包括向UE14和/或数据源12提供网络辅助服务。除了其他组件之外,DANE 42可以包括控制电路44,该控制电路44负责DANE 42的整体操作,所述操作包括控制DANE 42以执行下面更详细描述的操作。控制电路44包括执行代码48(诸如,操作***和/或其他应用程序)的处理器46。在本公开文档中描述的功能可以被体现为代码48的一部分或作为DANE 42的其他专用逻辑操作的一部分。取决于DANE 42的性质和配置,可以以其他方式来实现DANE 42的逻辑功能和/或硬件。因此,所例示和描述的方法仅仅是示例,并且可以使用其他方法,包括但不限于将控制电路44实现为或包括硬件(例如,微处理器、微控制器、中央处理单元(CPU)等)或硬件和软件的组合(例如,片上***(SoC)、专用集成电路(ASIC)等)。
代码48和任何存储的数据(例如,与DANE 42的操作相关联的数据)可以存储在存储器50中。代码48可以以可执行逻辑例程(例如,软件程序)的形式体现,所述可执行逻辑例程作为计算机程序产品被存储在DANE 42的非暂时性计算机可读介质(例如,存储器50)上,并且由处理器46执行。被描述为由DANE 42执行的功能可以被认为是由DANE 42执行的方法。
存储器50可以是例如缓冲器、闪存存储器、硬盘驱动器、可移除介质、易失性存储器、非易失性存储器、随机存取存储器(RAM)、或者其它适当存储器中的一种或者更多种。在一般布置中,存储器50包括用于长期数据存储的非易失性存储器和用作控制电路44的***存储器的易失性存储器。存储器50被认为是非暂时性计算机可读介质。
DANE 42包括使DANE 42能够建立各种通信连接的通信电路。例如,DANE 42包括网络接口52,可以通过该网络接口52经由网络媒介16与数据源12、UE 14和任何其他设备进行通信。
在所示的实施方式中,网络辅助DANE 42被实现为服务器,该服务器在通过数据流从数据源12传输到UE 14的内容的媒体传递路径的带外(out-of-band)。利用带外架构,UE14与DANE 42之间的通信可以独立于UE 14与数据源12之间的通信。因此,UE 14与DANE 42之间的通信可以在与用于数据的流传输的通信路径和/或数据链路分开的通信路径和/或数据链路中发生。这样,可以在网络***10中的各个位置处设置DANE 42。例如,DANE 42可以通过所示的基站30、通过不同的基站与UE 14进行通信或者直接与UE 14进行通信。在另一个实施方式中,可以使DANE 42的功能成为运营商控制的网络中或运营商网络外的另一个网络节点的一部分(例如,连接到数据源12或为数据源12的一部分)。
C.针对多片段数据动态流传输的网络辅助
信令
由于本领域普通技术人员将理解如何实现其余细节,因此在本公开中仅描述了所描述的信令路径的最密切相关的方面。
第一信令路径涉及UE 14中的无线接口18(例如,蜂窝调制解调器)与蜂窝网络之间的调制解调器通信。这可以包括UE 14与基站30之间的无线电通信以及UE 14与核心网络节点之间的一般控制信令。
第二信令路径涉及UE 14(例如,通过流传输客户端)与数据源12之间的应用通信。这可以被认为是应用数据,并且包括通常以片段或作为连续流传输的数据(例如,数据流中包含的视听内容和/或其他媒体内容)以及相关的控制信令(例如,HTTP DASH或其他片段流控制)。可以根据DASH/HTTP协议、HLS协议、RTP协议、RTMP协议或用于在数据源与流传输客户端之间进行媒体传递的其他协议来建立该信令路径。
如将要描述的,关于片段从数据源12到客户端54的数据传输,本公开提出在客户端54处向流传输的数据的各个片段指派优先级,发送表明至少两个不同的片段之间的优先级差异的这种优先级信息,其中,该传输可以经由客户端与DANE之间的第三信令路径来完成。此外,本公开建议从DANE表明针对所指派的多个优先级中的至少一个优先级的推荐速率。
如本文所使用的术语“推荐速率”可以表示任何合适的速率水平,在不同的实现/实施方式中,其可以具有不同的含义。例如,术语“推荐速率”可以用于描述推荐的媒体速率、推荐的链路数据速率或推荐的传输数据速率等。
图2是网络辅助的高级架构图,该高级架构图示出了这些信号流中的一些,并且可以结合以下描述作为网络辅助(NA)的代表性方法来进行参照。
在一个实施方式中,为了帮助针对数据流传输提供改善的体验质量,建立了信令路径作为与网络的网络辅助服务的网络辅助(NA)会话的一部分。因此,为了实现NA功能,可以建立UE 14与DANE 42之间信令路径(signaling approach)。在一个实施方式中,在流传输客户端54与DANE 42之间建立该NA信令路径。应当理解,尽管就与NA服务和数据源12的通信而言,UE 14和客户端54可互换地使用,但是客户端54可以驻留在UE 14上或单独的计算设备上。
在一实施方式中,所公开的NA功能可以使用现有标准和说明所采用的消息信封,但具有适当的修改以支持多片段流传输。例如,运动图像专家组(MPEG)服务器和网络辅助DASH(SAND)公布了一种一般的网络辅助方法,以支持通过下行链路将流传输的内容从网络传输到客户端54。例如,由DANE提供的网络辅助可以应用于3GPP DASH格式的媒体内容。在一个实施方式中,本技术向NA协议添加了新颖的功能和消息类型,该新颖的功能和消息类型向网络提供相关信息以增强从数据源12到客户端54的多片段数据流传输。
一般操作
上述***架构和信令路径可以用作网络辅助服务的一部分,以改善由多个数据片段组成的流传输数据流的服务质量。在某些情况下,作为整体数据一部分的一个或更多个数据片段比其他数据片段更重要。在这些情况下,可以通过优先处理更重要的数据片段来提高对数据进行流传输的服务质量。与优先级较低的数据片段相比,优先级较高的数据片段可以分配有更高的推荐速率。以这种方式,可以以更高的质量和/或更低的时延下载更高优先级的片段。
包括了各种功能以作为网络辅助概念的一部分,以增强多片段数据流传输。新的内容警报功能允许客户端54向网络辅助服务(例如,在DANE 42处)通知流传输客户端54正在立即向数据源12请求一个或更多个新数据片段。当客户端54没有针对相关数据片段缓冲任何内容时,可以使用此功能,从而启动获取数据片段和/或客户端的通信的最高可能优先级的请求。
客户端54可以使用片段优先级通知功能来向网络辅助服务通知即将到来的数据片段下载的相对优先级。当同时请求多个片段时,客户端54可以向网络辅助服务通知在要向数据源12请求的数据当中数据片段具有什么类型的优先级。对于向网络辅助服务通知需要以更高的服务质量(例如,更高的传输数据速率和/或低时延)提供给客户端54的更高优先级的数据片段而言,这是有用的。
可以将多片段速率推荐功能用于网络辅助服务,以为客户端54提供多个同时下载的片段的推荐速率(例如,媒体速率推荐)。数据源12能够将与不同媒体速率对应的多个替代数据片段传递给客户端,例如,其中,不同的片段包括针对内容的同一时间段的数据,但是所述片段是以不同的数据分辨率进行编码的。这样的时间段或片段持续时间可以为一秒或几秒的量级。
因此,由于高分辨率视频流可能比低分辨率视频流消耗更多数据,因此与同一时间段的对应于较低视频分辨率的片段相比,对应于较高视频分辨率的片段在数据大小方面(例如,以数据字节计数)可能更大。针对流传输内容的其他变化(诸如,音频质量的变化、观看窗口大小的变化等),可以注意到类似的差异。
由于以字节为单位测量的片段数据大小对应于以秒为单位的某个媒体时间段,因此每个片段可以对应于某个媒体速率(例如,以每秒内容观看时间的字节为单位)。与片段从数据源12到客户端54的传输数据速率相比,该媒体速率在定义上有所不同。
可以注意,如果在视频流传输期间在客户端54中播放媒体,而来自数据源的请求片段的媒体速率大于传输数据速率,则客户端缓冲区中可用的数据量可能会随着时间而减少。另一方面,如果对于同一场景,媒体速率低于传输数据速率,则客户端54中可用的数据量可能会随着时间而增加。
因此,为用户优化其观看体验的客户端54可以尝试从可用的片段变体中确定优先级并选择片段,并且使总媒体速率接近但低于聚合的传输数据速率,以便在仍然保持客户端内容缓冲区中可用的数据的同时以尽可能高的质量水平接收尽可能多的内容。
在多片段媒体速率推荐功能内,网络辅助功能可以向客户端提供表明例如一个或更多个建议的媒体速率的速率推荐。此外,当选择片段表示以向数据源12请求时,客户端54可以使用一个或更多个推荐的媒体速率。
可以将速率推荐提供给客户端54,作为对片段优先级通知的响应消息。例如,使用该功能,网络辅助服务可以向高优先级片段提供第一推荐速率,向中优先级片段提供第二推荐速率,并且向低优先级片段提供第三推荐速率。
另一个特征涉及网络辅助服务,该网络辅助服务可以通知客户端54通信的不同服务质量水平的可用性(诸如,超可靠的低时延通信(URLLC)的可用性)。网络辅助服务可以提供特定的接入点名称、服务质量表明符、IP地址、移动小区ID或类似类型的网络资源,所述网络资源被分配给与数据流会话有关的即将进行的无线电通信的全部或部分。这可以由网络控制以使客户端54上的应用适应使用低时延通信。具体而言,网络辅助服务可以表明允许某些消息以更高的服务质量(QoS)水平发送。例如,可以允许网络辅助服务和/或客户端54以更高的QoS水平发送新的内容警报功能消息。这样,客户端54可以以最低的可用时延将该信息通知给网络。另选或另外地,网络辅助服务可以允许针对在一个或两个方向上的客户端到数据源通信的低时延高优先级通信。这样的通信可以包括例如请求或传递新的数据片段。作为另一示例,在新的内容警报之后下载新的片段时,可以允许URLLC通信。
现在转到图3,展现了流传输客户端从网络辅助服务接收网络辅助(NA)的方法。在框60,流传输客户端54与网络的网络辅助服务建立网络辅助会话。在一个实施方式中,网络辅助服务由DANE 42提供。在框62,客户端54从数据源12接收数据。客户端54接收的数据可以包括多个数据片段。在某些实施方式中,每个数据片段可以以不同的版本从数据源获得。每个片段的不同版本可以与不同的数据速率和/或视频质量水平对应。例如,数据片段的第一版本可以具有480p的视频质量水平,数据片段的第二版本可以具有720p的视频质量水平,并且数据片段的第三版本可以具有1080p的视频质量水平。
在框64,流传输客户端54将表明至少两个不同的传输优先级的相对优先级指派给多个数据片段中的至少两个不同的数据片段。例如,可以基于第一数据片段相对于整个数据的重要性或客户以高服务质量和/或通过低时延通信接收该第一数据片段的需求来为第一数据片段指派高优先级。另一方面,由于第二数据片段相对于整个数据具有较低的重要性,因此可以为第二数据片段指派低优先级。在框66,流传输客户端54将相对优先级发送到NA服务。在从客户端54接收到相对优先级之后,NA服务为相对优先级中的至少一个指派推荐的速率。在某些实施方式中,NA服务为多个相对优先级指派推荐的速率。在这些实施方式中,NA服务为较高相对优先级指派较高推荐速率。例如,NA服务可以将高媒体速率指派给高相对优先级,而将低媒体速率指派给低相对优先级。
在框68,流传输客户端54接收NA响应,该NA响应包括表明针对一个或更多个相对优先级的推荐速率的信息。在框70,流传输客户端54向数据源请求与由NA服务在NA响应中提供的各个推荐速率对应的至少两个不同的数据片段。
在某些实施方式中,客户端54可以确定需要立即下载即将到来的数据片段,以及针对该即将到来的数据片段应当将高优先级请求发送到数据源12。在这种情况下,客户端54可以将最高优先级指派给即将到来的数据片段。在从客户端54接收到最高优先级表明之后,NA服务可以以针对即将到来的数据片段的推荐速率作出响应。连同针对即将到来的数据片段的推荐速率,响应于最高优先级指派,NA服务可以利用表明针对即将到来的数据片段的推荐速率是否是最高推荐速率或对应于最高传输优先级的响应来对客户端54作出响应。
现在转到图4,展现了NA服务向流传输客户端54提供网络辅助的方法。在框72,NA服务与流传输客户端54建立网络辅助会话。在框74,当客户端正在流传输一个或更多个数据片段的数据时,NA服务从流传输客户端接收网络辅助请求,该网络辅助请求包括与至少两个不同的片段有关的相对优先级。在框76,NA服务以NA响应对流传输客户端54进行响应,该NA响应为至少一个相对优先级提供推荐速率。
应用于流传输虚拟现实数据
在某些实施方式中,来自数据源12的数据表示虚拟现实环境78,该虚拟现实环境78可以包括多个图块80,如图5所示。数据可以包括多个数据片段,其中,每个数据片段代表一图块80。观看虚拟现实环境78的用户将无法同时消费或观看完整的球形360度内容,因为该用户具有用户可观看的视场(FOV)的限制。在一些实施方式中,用户可以以高细节观察当前FOV的某一部分,并且还可以以较低细节水平观察该FOV的其他部分。为了限制需要在网络上分发的数据,可以限制到客户端54的数据流,使其仅包括表示构成用户的当前FOV的图块80的数据片段。因此,客户端缓冲区中所需的必要图块取决于用户的当前FOV。
在一个示例中,相对于VR环境78,基于用户的视场(FOV)将相对优先级指派给数据片段。例如,客户端54可以将第一优先级指派给代表FOV内图块(in-FOV tile)的数据片段,所述FOV内图块在用户的直接视野内。由于FOV内图块在用户的FOV中的焦点中心,因此该FOV内图块可以具有更高的细节。此外,客户端54可以将第二优先级指派给代表***FOV图块的数据片段,所述***FOV图块是可见的,但是不在用户的直接视野内。在某些实施方式中,客户端54可以将第三优先级指派给表示视场外图块的数据片段。客户端54向NA服务发送包括这些优先级的网络辅助请求。NA服务接收网络辅助请求,并以网络辅助响应来对客户端54做出响应,该网络辅助响应为至少一个优先级提供推荐媒体速率。在某些实施方式中,推荐媒体速率包括与第一优先级对应的第一推荐媒体速率、与第二优先级对应的第二推荐媒体速率和与第三优先级对应的第三推荐媒体速率。与第二推荐媒体速率相比,第一推荐媒体速率对应于更高质量的视频和/或更快的数据速率,并且与第三推荐媒体速率相比,第二推荐媒体速率对应于更高质量的视频和/或更快的数据速率。
在用户正在查看虚拟现实环境的情况下,用户可以通过例如转动用户的头部来改变FOV。当改变用户的FOV后,将需要新的图块来完成新的FOV。当这些新的图块当前在客户端的缓冲区中不可用时,需要从数据源12下载这些新的图块。因此,客户端54可以使用新的内容警报功能来为新的图块指派最高可能的优先级,并将该最高可能的优先级发送给NA服务以请求相应的推荐速率。响应于从客户端接收到最高可能的优先级,NA服务可以提供与最高可能的优先级对应的推荐速率。连同推荐速率一起,NA服务还可以发送确认消息,以通知客户端是否已经响应于新的内容警报请求而指派最高可用速率。
D.结论
尽管示出和描述了特定实施方式,但是应理解当阅读和理解了本说明书后落入所附的权利要求的范围内的等同物和修改例将被本领域技术人员想到。
Claims (14)
1.一种利用流传输客户端(54)对数据进行流传输的方法,所述方法包括:
与网元(42)建立网络辅助NA会话,以对来自数据源(12)的数据进行流传输;
从所述数据源(12)接收数据,所述数据包括多个数据片段;
将表明至少两个不同的传输优先级的相对优先级指派给所述多个数据片段中的至少两个不同的数据片段;以及
将所述相对优先级通知给所述网元(42),
所述方法还包括:接收网络辅助响应,所述网络辅助响应包括表明针对一个或更多个相对优先级的推荐速率的信息;以及
向所述数据源(12)请求与相应的推荐速率对应的至少两个不同的数据片段。
2.根据权利要求1所述的方法,所述方法还包括:指派表明对即将到来的数据片段接收的最高优先级请求的最高优先级;以及
接收针对所述即将到来的数据片段的推荐速率。
3.根据权利要求1所述的方法,所述方法还包括:接收指定专用于与所述网元(42)的通信和下载所述数据中的至少一者的网络资源的分配的信息,其中,指定网络资源的分配的信息包括接入点名称、服务质量表明符、IP地址、移动小区ID和无线电接入技术中的至少一者。
4.根据权利要求1所述的方法,其中,所述网元(42)被配置为提供NA服务,所述NA服务支持通过超文本传输协议HTTP的动态自适应流传输DASH下的网络辅助,所述网元(42)是DASH感知网元DANE。
5.根据权利要求1所述的方法,其中,所述数据表示虚拟现实VR环境(78),并且所述多个片段中的各个片段表示所述VR环境的图块(80)。
6.根据权利要求5所述的方法,其中,所述相对优先级是基于用户相对于所述VR环境(78)的视场FOV指派的。
7.根据权利要求6所述的方法,其中,向所述至少两个不同的数据片段指派相对优先级包括:将第一优先级指派给FOV内图块,和/或将第二优先级指派给***FOV图块,和/或将第三优先级指派给FOV外图块,并且所述第一优先级对应于第一推荐速率,所述第二优先级对应于第二推荐速率,并且所述第三优先级对应于第三推荐速率,其中,所述第一推荐速率对应于质量比所述第二推荐速率高的视频,并且所述第二推荐速率对应于质量比所述第三推荐速率高的视频。
8.一种用户设备(14),所述用户设备(14)包括无线接口(18)和被配置为执行根据权利要求1所述的方法的控制电路(32)。
9.一种在将数据从数据源(12)流传输到流传输客户端(54)期间由网元(42)提供网络辅助NA的方法,所述方法包括:
与所述流传输客户端建立网络辅助会话;
从所述流传输客户端(54)接收网络辅助请求,所述网络辅助请求包括与至少两个不同的数据片段有关的相对优先级;以及
以网络辅助响应对所述流传输客户端(54)进行响应,所述网络辅助响应为所述相对优先级中的至少一个提供推荐速率。
10.根据权利要求9所述的方法,所述方法还包括:接收对即将到来的数据片段的最高优先级请求;以及
以针对所述即将到来的数据片段的推荐速率对所述最高优先级请求进行响应。
11.根据权利要求9或10所述的方法,所述方法还包括:向所述流传输客户端(54)提供指定专用于与所述网元(42)的通信和下载所述数据中的至少一者的网络资源的分配的信息,其中,指定网络资源的分配的信息包括接入点名称、服务质量表明符、IP地址、移动小区ID和无线电接入技术中的至少一者。
12.根据权利要求9所述的方法,其中,所述网元(42)被配置为提供NA服务,所述NA服务支持通过超文本传输协议HTTP的动态自适应流传输DASH下的网络辅助,所述网元(42)是DASH感知网元DANE。
13.根据权利要求9所述的方法,其中,所述数据表示虚拟现实VR环境(78),并且一个或更多个片段中的各个片段表示所述VR环境的图块(80)。
14.根据权利要求13所述的方法,其中,所述相对优先级与用户相对于所述VR环境(78)的视场FOV相对应,并且所述推荐速率将第一推荐速率与FOV内图块相关联,和/或将第二推荐速率与***FOV图块相关联,和/或将第三推荐速率与FOV外图块相关联,其中,所述第一推荐速率对应于质量比所述第二推荐速率高的视频,并且所述第二推荐速率对应于质量比所述第三推荐速率高的视频。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE1830058 | 2018-02-22 | ||
SE1830058-2 | 2018-02-22 | ||
PCT/US2019/018678 WO2019164873A1 (en) | 2018-02-22 | 2019-02-20 | Network assistance functions for virtual reality dynamic streaming |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111742530A CN111742530A (zh) | 2020-10-02 |
CN111742530B true CN111742530B (zh) | 2022-07-19 |
Family
ID=65724513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980014123.1A Active CN111742530B (zh) | 2018-02-22 | 2019-02-20 | 流传输数据的方法、提供网络辅助的方法以及用户设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11265356B2 (zh) |
EP (1) | EP3756329A1 (zh) |
CN (1) | CN111742530B (zh) |
WO (1) | WO2019164873A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4169285A1 (en) * | 2021-06-25 | 2023-04-26 | Apple Inc. | Communication coordination and power saving techniques for extended reality applications |
US11895216B2 (en) | 2022-03-25 | 2024-02-06 | Qualcomm Incorporated | Application data units |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015106022A1 (en) * | 2014-01-08 | 2015-07-16 | Futurewei Technologies, Inc. | Method and system of quality of service (qos) negotiation for network assisted adaptive streaming |
EP2894870A1 (en) * | 2014-01-10 | 2015-07-15 | Thomson Licensing | Method for downloading, at a client terminal, an upcoming sequence of segments of a multimedia content, and corresponding terminal |
KR102299004B1 (ko) * | 2014-03-10 | 2021-09-09 | 삼성전자주식회사 | 메시지들을 대쉬 클라이언트로 송신하는 방법 및 장치 |
US9918136B2 (en) | 2014-05-29 | 2018-03-13 | Nextvr Inc. | Methods and apparatus for delivering content and/or playing back content |
JP6501904B2 (ja) | 2015-05-27 | 2019-04-17 | グーグル エルエルシー | 球面ビデオのストリーミング |
WO2016204815A1 (en) * | 2015-06-16 | 2016-12-22 | Intel IP Corporation | Adaptive video streaming using dynamic radio access network information |
US11153359B2 (en) | 2015-09-29 | 2021-10-19 | Sony Group Corporation | User equipment and media streaming network assistance node |
WO2018021950A1 (en) | 2016-07-26 | 2018-02-01 | Telefonaktiebolaget Lm Ericsson (Publ) | Device and method for controlling media streaming from a server to a client |
-
2019
- 2019-02-20 US US16/967,053 patent/US11265356B2/en active Active
- 2019-02-20 WO PCT/US2019/018678 patent/WO2019164873A1/en unknown
- 2019-02-20 EP EP19710193.4A patent/EP3756329A1/en active Pending
- 2019-02-20 CN CN201980014123.1A patent/CN111742530B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111742530A (zh) | 2020-10-02 |
US11265356B2 (en) | 2022-03-01 |
EP3756329A1 (en) | 2020-12-30 |
WO2019164873A1 (en) | 2019-08-29 |
US20210051189A1 (en) | 2021-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9609370B2 (en) | Video delivery modification based on network availability | |
CN111512609B (zh) | 将数据从ue流传输到网络中的摄取点的方法和用户设备 | |
CN112437122A (zh) | 通信方法、装置、计算机可读介质及电子设备 | |
US11206298B2 (en) | Method and system utilizing event specific priority in a network controlled uplink media transmission for a collaborative media production | |
KR102020363B1 (ko) | 적응형 스트리밍을 이용한 미디어 세그먼트 송수신 방법 및 장치 | |
US10834161B2 (en) | Dash representations adaptations in network | |
KR20140143907A (ko) | 이동통신 시스템에서 비디오 비트레이트 할당 방법 및 장치 | |
TW201521394A (zh) | 在網路裝置所執行之進行流量對話中分配該網路可用頻寬之方法及其裝置 | |
CN111742530B (zh) | 流传输数据的方法、提供网络辅助的方法以及用户设备 | |
US11431779B2 (en) | Network controlled uplink media transmission for a collaborative media production in network capacity constrained scenarios | |
EP3841722B1 (en) | Method and system for utilizing network conditions feedback for improving quality of a collaborative media production | |
CN112585979B (zh) | 用于所存储内容的网络***体上传的方法和*** | |
CN114503569A (zh) | 用于实时视频通信的av1编解码器 | |
CN113543222B (zh) | 媒体报文的传输方法、装置及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |