CN104509119A - 用于mpeg/3gpp-dash中平滑流切换的方法和装置 - Google Patents

用于mpeg/3gpp-dash中平滑流切换的方法和装置 Download PDF

Info

Publication number
CN104509119A
CN104509119A CN201380021964.8A CN201380021964A CN104509119A CN 104509119 A CN104509119 A CN 104509119A CN 201380021964 A CN201380021964 A CN 201380021964A CN 104509119 A CN104509119 A CN 104509119A
Authority
CN
China
Prior art keywords
frame
snr
feature
data stream
transition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380021964.8A
Other languages
English (en)
Inventor
Y·雷兹尼克
E·阿斯蓬
陈志峰
R·瓦纳莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vid Scale Inc
Original Assignee
Vid Scale Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vid Scale Inc filed Critical Vid Scale Inc
Publication of CN104509119A publication Critical patent/CN104509119A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于在视频和/或音频编码和解码中提供平滑流切换的方法和装置可以被提供。平滑流切换可包括可在以不同速率编码的媒体内容的流之间使用的一个或多个过渡帧的生成和/或显示。所述过渡帧可经由交叉衰减和重叠、交叉衰减和转码、使用滤波的后处理技术、使用重量化的后处理技术等来被生成。平滑流切换可包括接收以第一信噪比(SNR)为特征的媒体内容的第一数据流和以第二SNR为特征的媒体内容的第二数据流。过渡帧可使用第一数据流的帧和第二数据流的帧中的至少一者来被生成。过渡帧可以第一SNR与第二SNR之间的一个或多个SNR值为特征。

Description

用于MPEG/3GPP-DASH中平滑流切换的方法和装置
相关申请的交叉引用
本申请要求2012年4月24日提交的美国临时专利申请No.61/637,777的权益，该申请的内容以引用的方式结合于此。
背景技术
无线和有线网络中的流传输(streaming)可由于网络中变化的带宽而利用自适应。内容供应商可以发布(publish)以多种速率和/或分辨率编码的内容，这可使得客户端能够自适应变化的信道带宽。例如，运动图像专家组(MPEG)和第三代合作伙伴计划(3GPP)超文本传输协议(HTTP)上的动态自适应流传输(DASH)标准可定义端到端服务的设计框架，所述端到端服务可在无线和有线网络上使能流传输服务的有效和高质量的传递。
DASH标准可定义流间连接的类型，这可被称为流接入点(SAP)。沿着SAP的流链接(catenation)可产生可正确解码的MPEG流。然而，DASH标准未提供用于确保流间转换的不可见性的手段或指导方针。如果不应用特殊的测量，DASH回放中的流切换可能是明显的，并且可导致用户的体验质量(QoE)降低。当速率间的差异相当大时，视觉质量的改变可能特别明显，并且例如当从较高质量流改变到较低质量流时，视觉质量的改变可能特别地明显。
发明内容
可提供一种用于在视频和/或音频编码和解码中提供平滑流切换的方法和装置。平滑流切换可包括生成和/或显示可在以不同速率编码的媒体内容流之间使用的一个或多个过渡(transition)帧。过渡帧可通过交叉衰减(crossfading)和重叠、交叉衰减和转码、使用滤波的后处理技术、使用重量化(requantization)的后处理技术等来被生成。
平滑流切换可包括接收媒体内容的第一数据流和媒体内容的第二数据流。该媒体内容可包括视频。该第一数据流可以第一信噪比(SNR)为特征。该第二数据流可以第二SNR为特征。第一SNR可大于第二SNR，或者第一SNR可小于第二SNR。
过渡帧可使用以第一SNR为特征的第一数据流的帧和以第二SNR为特征的第二数据流的帧中的至少一者来被生成。过渡帧可以在第一SNR与第二SNR之间的一个或多个SNR值为特征。过渡帧可以过渡时间间隔为特征。过渡帧可以是媒体内容的一个分段的一部分。第一数据流的一个或多个帧可以被显示，过渡帧可以被显示，以及第二数据流的一个或多个帧可以被显示，例如，按照这样的顺序。
生成过渡帧可包括使用以第二SNR为特征的帧交叉衰减以第一SNR为特征的帧，以生成过渡帧。交叉衰减可包括计算以第一SNR为特征的帧和以第二SNR为特征的帧的加权平均，以生成过渡帧。加权平均可随时间改变。交叉衰减可包括通过对以第一SNR为特征的帧施加第一权重以及对以第二SNR为特征的帧施加第二权重来计算以第一SNR为特征的帧和以第二SNR为特征的帧的加权平均。第一权重和第二权重中的至少一者可随过渡时间间隔改变。交叉衰减可使用第一数据流与第二数据流之间的线性过渡或非线性过渡来被执行。
第一数据流和第二数据流可包括媒体内容的重叠帧。使用以第二SNR为特征的帧交叉衰减以第一SNR为特征的帧以生成过渡帧可包括交叉衰减第一数据流和第二数据流的重叠帧以生成过渡帧。重叠帧可以第一数据流的对应帧和第二数据流的对应帧为特征。重叠帧可以重叠时间间隔为特征。第一数据流的一个或多个帧可在重叠时间间隔之前被显示，过渡帧可在重叠时间间隔期间被显示，以及第二数据流的一个或多个帧可在重叠时间间隔之后被显示。第一数据流的一个或多个帧可以在重叠时间间隔之前的时间为特征，以及第二数据流的一个或多个帧可以在重叠时间间隔之后的时间为特征。
第一数据流的帧的子集可被转码以生成以第二SNR为特征的对应帧。使用以第二SNR为特征的帧交叉衰减以第一SNR为特征的帧以生成过渡帧可包括使用以第二SNR为特征的对应帧交叉衰减所述第一数据流的帧的子集，以生成过渡帧。
生成过渡帧可包括使用以随过渡时间间隔改变的截止频率为特征的低通滤波器来对以第一SNR为特征的帧进行滤波，以生成过渡帧。生成过渡帧可包括使用一个或多个步长来转换和量化以第一SNR为特征的帧，以生成过渡帧。
附图说明
图1A是可以在其中实施一个或多个公开的实施方式的示例通信***的***图。
图1B是可以在图1A所示的通信***中使用的示例无线发射/接收单元(WTRU)的***图。
图1C是可以在图1A所示的通信***中使用的示例无线电接入网和示例核心网的***图。
图1D是可以在图1A所示的通信***中使用的另一个示例无线电接入网和另一个示例核心网的***图。
图1E是可以在图1A所示的通信***中使用的另一个示例无线电接入网和另一个示例核心网的***图。
图2是示出了以不同比特率编码的内容的示例的图示。
图3是示出了带宽自适应流传输的示例的图示。
图4是示出了以不同比特率编码并被划分为分段的内容的示例的图示。
图5是示出了HTTP流传输会话的示例的图示。
图6是示出了DASH高级***架构的示例的图示。
图7是示出了DASH客户端模式的示例的图示。
图8是示出了DASH媒体展现高级数据模型的示例的图示。
图9是示出了流接入点的示例参数的图示。
图10是示出了类型1SAP的示例的图示。
图11是示出了类型2SAP的示例的图示。
图12是示出了类型3SAP的示例的图示。
图13是示出了逐步解码刷新(GDR)的示例的图示。
图14是示出了在流传输会话期间速率间过渡的示例的图示。
图15是示出了在具有平滑过渡的流传输会话期间速率间过渡的示例的图示。
图16A是示出了无平滑流切换的过渡的示例的图示。
图16B是示出了具有平滑流切换的过渡的示例的图示。
图17是示出了使用重叠和交叉衰减的平滑流传输切换的示例的图。
图18是示出了用于对流进行重叠和交叉衰减的***的示例的图示。
图19是示出了用于对流进行重叠和交叉衰减的另一个示例***的图示。
图20是示出了使用转码和交叉衰减的平滑流切换的示例的图。
图21是示出了用于转码和交叉衰减的示例***的图示。
图22是示出了用于转码和交叉衰减的另一个示例***的图示。
图23是示出了在速率H和L间使用线性过渡的交叉衰减的示例的图示。
图24是示出了非线***叉衰减函数的示例的图。
图25是示出了用于对可扩展视频比特流进行交叉衰减的示例***的图示。
图26是示出了用于对可扩展视频比特流进行交叉衰减的另一个示例***的图示。
图27是示出了用于使用QP交叉衰减的渐进转码的***的示例的图示。
图28是示出了使用后处理的平滑流切换的示例的图。
图29是示出了具有不同截止频率的低通滤波器的频率响应的示例的图。
图30是示出了对具有不同帧分辨率的流进行平滑切换的示例的图示。
图31是示出了针对具有不同帧分辨率的流生成一个或多个过渡帧的示例的图示。
图32是示出了用于在H-L过渡上对具有不同帧分辨率的流进行交叉衰减的***的示例的图示。
图33是示出了用于在L-H过渡上对具有不同帧分辨率的流进行交叉衰减的***的示例的图示。
图34是示出了用于对具有不同帧速率的流进行平滑切换的***的示例的图示。
图35是示出了为具有不同帧速率的流生成一个或多个过渡帧的示例的图示。
图36是示出了用于在H-L过渡上对具有不同帧速率的流进行交叉衰减的示例***的图示。
图37是示出了用于在L-H过渡上对具有不同帧速率的流进行交叉衰减的示例***的图示。
图38是示出了在基于MDCT的语音和音频编解码器中使用的重叠加窗的示例的图。
图39是示出了具有可丢弃块的音频接入点的示例的图示。
图40是示出了具有3个可丢弃块的HE-ACC音频接入点的示例的图示。
图41是示出了用于在H-L过渡中对音频流进行交叉衰减的***的示例的图示。
图42是示出了用于在L到H过渡中对音频流进行交叉衰减的***的示例的图示。
具体实施方式
现在将参考各个附图来描述图示的实施方式的详细说明。尽管该说明提供了可能实现的详细示例，但应注意这些细节旨在示例，并且不以任何方式限制本申请的范围。
图1A是可以在其中实施一个或多个公开的实施方式的示例通信***100的图示。通信***100可以是向多个无线用户提供诸如语音、数据、视频、消息、广播等这样的内容的多接入***。通信***100可使多个无线用户能够通过共享包括无线带宽的***资源来访问这样的内容。例如，通信***100可采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等。
如图1A所示，通信***100可包括无线发射/接收单元(WTRU)102a、102b、102c和/或102d(其可一般地或统一地被称为WTRU102)、无线电接入网(RAN)103/104/105、核心网106/107/109、公共交换电话网(PSTN)108、因特网110和其他网络112，但是应当理解的是，所公开的实施方式设想了任意数目的WTRU、基站、网络和/或网络元件。WTRU102a、102b、102c、102d的每一个可以是被配置为在无线环境中运行和/或通信的任意类型的设备。例如，WTRU102a、102b、102c、102d可被配置为传送和/或接收无线信号，并且可包括用户设备(UE)、移动站、固定或移动用户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、消费电子产品等。
通信***100还可包括基站114a和基站114b。基站114a、114b的每一个可以是被配置为与WTRU102a、102b、102c、102d中的至少一者无线对接以便于接入诸如核心网106/107/109、因特网110和/或网络112这样的一个或多个通信网络的任意类型的设备。例如，基站114a、114b可以是基础收发信机站(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b每一个被描述为单个元件，但应理解的是，基站114a、114b可包括任意数目的互连基站和/或网络元件。
基站114a可以是RAN103/104/105的一部分，该RAN103/104/105还可包括其他基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站114a和/或基站114b可被配置为在可被称为小区(未示出)的特定地理区域内传送和/或接收无线信号。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在一个实施方式中，基站114a可包括三个收发信机，例如小区的每个扇区都有一个收发信机。在另一个实施方式中，基站114a可采用多输入多输出(MIMO)技术，因此可为小区的每个扇区使用多个收发信机。
基站114a、114b可通过空中接口115/116/117与WTRU102a、102b、102c、102d中的一者或多者通信，该空中接口115/116/117可以是任意适当的无线通信链路(例如射频(RF)、微波、红外(IR)、紫外(UV)、可见光等)。空中接口115/116/117可使用任意适当的无线电接入技术(RAT)来建立。
更具体地，如上所述，通信***100可以是多接入***，并且可采用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN103/104/105中的基站114a和WTRU102a、102b、102c可实施诸如通用移动电信***(UMTS)陆地无线电接入(UTRA)这样的无线电技术，其可使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)这样的通信协议。HSPA可包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
在另一个实施方式中，基站114a和WTRU102a、102b、102c可实施诸如演进型UMTS陆地无线电接入(E-UTRA)这样的无线电技术，其可使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口115/116/117。
在其他实施方式中，基站114a和WTRU102a、102b、102c可实施诸如IEEE802.16(例如，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信***(GSM)、用于GSM演进的增强型数据速率(EDGE)、GSM EDGE(GERAN)等这样的无线电技术。
图1A中的基站114b可以例如是无线路由器、家用节点B、家用e节点B或接入点，并且可使用任意适当的RAT以便于局部区域中的无线连接性，例如营业场所、住宅、车辆、校园等。在一个实施方式中，基站114b和WTRU102c、102d可实施诸如IEEE802.11这样的无线电技术，以建立无线局域网(WLAN)。在另一个实施方式中，基站114b和WTRU102c、102d可实施诸如IEEE802.15这样的无线电技术，以建立无线个域网(WPAN)。仍然在另一个实施方式中，基站114b和WTRU102c、102d可使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等)来建立微微小区(picocell)或毫微微小区(femtocell)。如图1A所示，基站114b可与因特网110直接连接。因此，基站114b不需要经由核心网106/107/109接入因特网110。
RAN103/104/105可与核心网106/107/109通信，该核心网106/107/109可以是被配置为向WTRU102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或因特网协议上的语音(VoIP)服务的任意类型的网络。例如，核心网106/107/109可提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行诸如用户认证这样的高级安全功能。虽然未在图1A中示出，但应理解的是，RAN103/104/105和/或核心网106/107/109可与采用与RAN103/104/105相同的RAT或不同的RAT的其他RAN进行直接或间接通信。例如，除了与可采用E-UTRA无线电技术的RAN103/104/105连接之外，核心网106/107/109还可与采用GSM无线电技术的另一个RAN(未示出)通信。
核心网106/107/109还可作为供WTRU102a、102b、102c、102d接入PSTN108、因特网110和/或其他网络112的网关。PSTN108可包括提供简易老式电话服务(POTS)的电路交换电话网。因特网110可包括使用公共通信协议的全球互连计算机网络和设备***，所述公共通信协议例如TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和网际协议(IP)。网络112可包括由其他服务供应商所有和/或运营的有线或无线通信网络。例如，网络112可包括与可采用与RAN103/104/105相同的RAT或不同的RAT的一个或多个RAN相连接的另一个核心网。
通信***100中的WTRU102a、102b、102c、102d中的一些或全部可包括多模能力，例如WTRU102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发信机。例如，图1A中示出的WTRU102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，以及与可采用IEEE802无线电技术的基站114b通信。
图1B是示例WTRU102的***图示。如图1B所示，WTRU102可包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位***(GPS)芯片组136和其他***设备138。应理解的是，在与实施方式保持一致的同时，WTRU102可包括前述元件的任意子组合。此外，实施方式考虑到了基站114a和114b和/或基站114a和114b可表示的节点，例如但不限于基础收发信机站(BTS)、节点B、站点控制器、接入点(AP)、家用节点B、演进型家用节点B(e节点B)、家用演进型节点B(HeNB)、家用演进型节点B网关和代理节点等，可包括在图1B中描述和在此描述的元件中的一些或全部。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任意其他类型的集成电路(IC)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或使WTRU102能够在无线环境中运行的任意其他功能。处理器118可与收发信机120相耦合，收发信机120可与发射/接收元件122相耦合。虽然图1B将处理器118和收发信机120描述为分离的部件，但应当理解的是，处理器118和收发信机120可一起被集成在电子封装或芯片中。
发射/接收元件122可被配置为通过空中接口115/116/117向基站(例如基站114a)传送信号，或从基站接收信号。例如，在一个实施方式中，发射/接收元件122可以是被配置为传送和/或接收RF信号的天线。在另一个实施方式中，发射/接收元件122可以是被配置为例如传送和/或接收IR、UV或可见光信号的发射器/检测器。在另一个实施方式中，发射/接收元件122可以被配置为传送和接收RF和光信号两者。应当理解的是，发射/接收元件122可被配置为传送和/或接收无线信号的任意组合。
此外，虽然发射/接收元件122在图1B中被描述为是单个元件，WTRU102可包括任意数目的发射/接收元件122。更具体地，WTRU102可采用MIMO技术。因此，在一个实施方式中，WTRU102可包括两个或更多个用于通过空中接口115/116/117传送和接收无线信号的发射/接收元件122(例如多个天线)。
收发信机120可被配置为对将由发射/接收元件122传送的信号进行调制，并对由发射/接收元件122接收的信号进行解调。如上所述，WTRU102可具有多模能力。因此，收发信机120可包括例如用于使WTRU102能够经由诸如UTRA和IEEE802.11这样的多个RAT通信的多个收发信机。
WTRU102的处理器118可与扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)相耦合，并可从它们接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可从诸如不可移除存储器130和/或可移除存储器132这样的任意类型的适当存储器中访问信息，并将数据存储在其中。不可移除存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任意其他类型的存储器存储设备。可移除存储器132可包括用户身份模块(SIM)卡、存储棒、安全数字(SD)存储卡等。在其他实施方式中，处理器118可从物理上不位于WTRU102上(例如在服务器或家用计算机(未示出)上)的存储器中访问信息，并将数据存储在其中。
处理器118可从电源134接收电力，并可被配置为分发和/或控制到WTRU102中其他组件的电力。电源134可以是用于向WTRU102供电的任意适当的设备。例如，电源134可包括一个或多个干电池(镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118还可以与可被配置为提供关于WTRU102的当前位置的位置信息(例如经度和纬度)的GPS芯片组136相耦合。作为来自GPS芯片组136的信息的补充和替代，WTRU102可通过空中接口115/116/117从基站(例如基站114a、114b)接收位置信息，和/或基于从两个或更多个附近基站接收的信号的定时来确定其位置。应当理解的是，在与实施方式保持一致的同时，WTRU102可借助任何适当的位置确定方法来获取位置信息。
处理器118还可与其他***设备138相耦合，其他***设备138可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，***设备138可包括加速计、电子罗盘、卫星收发信机、数字照相机(用于相片或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等。
图1C是根据一个实施方式的RAN103和核心网106的***图示。如上所述，RAN103可采用UTRA无线电技术通过空中接口115与WTRU102a、102b、102c通信。RAN103还可以与核心网106通信。如图1C所示，RAN103可包括节点B140a、140b、140c，所述节点B140a、140b、140c中的每一个可包括用于通过空中接口115与WTRU102a、102b、102c通信的一个或多个收发信机。节点B140a、140b、140c的每一个可与RAN103中的特定小区(未示出)相关联。RAN103还可包括RNC142a、142b。应当理解的是，在保持与实施方式一致的同时，RAN103可包括任意数目的节点B和RNC。
如图1C所示，节点B140a、140b可与RNC142a通信。此外，节点B140c可与RNC142b通信。节点B140a、140b、140c可经由Iub接口与各个RNC142a、142b通信。RNC142a、142b可经由Iur接口互相通信。RNC142a、142b的每一个可被配置为控制与其连接的各个节点B140a、140b、140c。此外，RNC142a、142b的每一个可被配置为执行或支持其他功能，例如外环功率控制、负载控制、准许控制、分组调度、切换控制、宏分集、安全功能、数据加密等。
图1C所示的核心网106可包括媒体网关(MGW)144、移动交换中心(MSC)146、服务GPRS支持节点(SGSN)148和/或网关GPRS支持节点(GGSN)150。虽然上述元件的每一个都被描述为是核心网106的一部分，但应当理解的是，这些元件的任意一个可由除核心网运营商之外的实体所有和/或运营。
RAN103中的RNC142a可经由IuCS接口与核心网106中的MSC146相连接。MSC146可与MGW144相连接。MSC146和MGW144可向WTRU102a、102b、102c提供到诸如PSTN108这样的电路交换网的接入，以便于WTRU102a、102b、102c与传统陆线通信设备之间的通信。
RAN103中的RNC142a还可以经由IuPS接口与核心网106中的SGSN148相连接。SGSN148可与GGSN150相连接。SGSN148和GGSN150可向WTRU102a、102b、102c提供到诸如因特网110这样的分组交换网络的接入，以便于在WTRU102a、102b、102c与IP使能设备之间的通信。
如上所述，核心网106还可与网络112相连接，网络112可包括由其他服务供应商所有和/或运营的其他有线或无线网络。
图1D是根据实施方式的RAN104和核心网107的***图示。如上所述，RAN104可采用E-UTRA无线电技术以通过空中接口116与WTRU102a、102b、102c通信。RAN104还可与核心网107通信。
RAN104可包括e节点B160a、160b、160c，但是应当理解的是，在与实施方式保持一致的同时，RAN104可包括任意数目的e节点B。e节点B160a、160b、160c中的每一个可包括用于通过空中接口116与WTRU102a、102b、102c通信的一个或多个收发信机。在一个实施方式中，e节点B160a、160b、160c可实施MIMO技术。因此e节点B160a例如可使用多个天线以向WTRU102a传送无线信号并从它接收无线信号。
e节点B160a、160b、160c的每一个可与特定的小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、上行链路和/或下行链路中的用户调度等。如图1D所示，e节点B160a、160b、160c可通过X2接口互相通信。
图1D中示出的核心网107可包括移动管理网关(MME)162、服务网关164和分组数据网络(PDN)网关166。虽然上述元件每个被描述为是核心网107的一部分，但应当理解的是，这些元件的任意一个可由除核心网运营商以外的实体所有和/或运营。
MME162可经由S1接口与RAN104中的e节点B160a、160b、160c的每一个相连接，并且可作为控制节点。例如，MME162可负责认证WTRU102a、102b、102c的用户、承载激活/去激活、在WTRU102a、102b、102c的初始附着期间选取特定的服务网关等。MME162还可提供用于在RAN104与采用诸如GSM或WCDMA这样的其他无线电技术的其他RAN(未示出)之间切换的控制面功能。
服务网关164可经由S1接口与RAN104中的e节点B160a、160b、160c的每一个相连接。服务网关164通常可路由和转发去往/来自WTRU102a、102b、102c的用户数据分组。服务网关164还可以执行其他功能，例如在e节点B间切换期间锚定用户面、当下行链路数据对WTRU102a、102b、102c可用时触发寻呼、管理和存储WTRU102a、102b、102c的上下文等。
服务网关164还可与PDN网关166相连接，该PDN网关166可向WTRU102a、102b、102c提供到诸如因特网110这样的分组交换网络的接入，以便于WTRU102a、102b、102c与IP使能设备之间的通信。
核心网107可便于与其他网络的通信。例如，核心网107可向WTRU102a、102b、102c提供到诸如PSTN108这样的电路交换网络的接入，以便于WTRU102a、102b、102c与传统陆线通信设备之间的通信。例如，核心网107可包括作为核心网107与PSTN108之间的接口的IP网关(例如IP多媒体子***(IMS)服务器)或与之通信。此外，核心网107可向WTRU102a、102b、102c提供到网络112的接入，该网络112可包括由其他服务提供商所有和/或运营的其他有线或无线网络。
图1E是根据实施方式的RAN105和核心网109的***图示。RAN105可以是采用IEEE802.16无线电技术以通过空中接口117与WTRU102a、102b、102c通信的接入服务网络(ASN)。如下文将进一步讨论那样，在WTRU102a、102b、102c、RAN105和核心网109的不同功能实体间的通信链路可被定义为参考点。
如图1E所示，RAN105可包括基站180a、180b、180c和ASN网关182，但是应当理解的是，在与实施方式保持一致的同时，RAN105可包括任意数目的基站和ASN网关。基站180a、180b、180c的每一个可与RAN105中的特定小区(未示出)相关联，并且每一个可包括用于通过空中接口117与WTRU102a、102b、102c通信的一个或多个收发信机。在一个实施方式中，基站180a、180b、180c可实施MIMO技术。因此，基站180a例如可使用多个天线来向WTRU102a传送无线信号，并从其接收无线信号。基站180a、180b、180c还可提供移动管理功能，例如切换触发、隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略执行等。ASN网关182可作为业务聚集点，并且可负责寻呼、缓存用户简档、到核心网109的路由等。
WTRU102a、102b、102c与RAN105之间的空中接口117可被定义为实施IEEE802.16规范的R1参考点。此外，WTRU102a、102b、102c的每一个可与核心网109建立逻辑接口(未示出)。WTRU102a、102b、102c与核心网109之间的逻辑接口可被定义为可用于认证、鉴权、IP主机配置管理和/或移动管理的R2参考点。
基站180a、180b、180c的每一个之间的通信链路可被定义为包括用于便于WTRU切换和基站间的数据传输的协议的R8参考点。基站180a、180b、180c与ASN网关182之间的通信链路可被定义为R6参考点。R6参考点可包括用于便于基于与WTRU102a、102b、102c的每一个相关联的移动事件的移动管理的协议。
如图1E所示，RAN105可与核心网109相连接。RAN105与核心网109之间的通信链路可被定义为包括用于便于例如数据传输和移动管理能力的协议的R3参考点。核心网109可包括移动IP本地代理(MIP-HA)184、认证、授权、计费(AAA)服务器186和网关188。虽然上述元件的每一个被描述为是核心网109的一部分，但应当理解的是，这些元件的任意一个可由除核心网运营商以外的实体所有和/或运营。
MIP-HA可负责IP地址管理，并且可使WTRU102a、102b、102c能在不同的ASN和/或不同的核心网之间漫游。MIP-HA184可向WTRU102a、102b、102c提供到诸如因特网110这样的分组交换网络的接入，以便于WTRU102a、102b、102c与IP使能设备之间的通信。AAA服务器186可负责用户认证和支持用户服务。网关188可便于与其他网络的交互。例如，网关188可向WTRU102a、102b、102c提供到诸如PSTN108这样的电路交换网络的接入，以便于WTRU102a、102b、102c与传统陆线通信设备之间的通信。此外，网关188可向WTRU102a、102b、102c提供到网络112的接入，该网络112可包括由其他服务提供商所有和/或运营的其他有线或无线网络。
虽然在图1E中未示出，但应当理解的是，RAN105可与其他ASN相连接，且核心网109可与其他核心网相连接。RAN105与其他ASN之间的通信链路可被定义为R4参考点，R4参考点可包括用于协调RAN105与其他ASN之间的WTRU102a、102b、102c的移动性的协议。核心网109与其他核心网之间的通信链路可被定义为R5参考，其可以包括用于便于本地核心网与访问核心网之间的交互的协议。
有线和无线网络(例如3G、WiFi、因特网、在图1A-1E中示出的网络等)中的流传输可涉及由于网络中变化的带宽引起的自适应。例如，可使用带宽自适应流传输，其中媒体被流传输至客户端的速率可自适应于变化的网络条件。带宽自适应流传输可使客户端(例如WTRU)能够更好地将它们自身变化的可用带宽与接收媒体的速率相匹配。
在带宽自适应流传输***中，内容供应商可以一个或多个不同的比特率来提供相同的内容，例如如图2所示。图2是示出了以不同比特率编码的内容的示例的图示。内容201可例如由编码器202以若干目标比特率(例如r1、r2、…、rM)来编码。为了获得这些目标比特率，诸如视觉质量或SNR(例如视频)、帧分辨率(例如视频)、帧速率(例如视频)、采样率(例如音频)、信道数目(例如音频)或编解码(例如视频和音频)这样的参数可以被改变。描述文件(例如，其可被称为清单(manifest)文件)可提供与内容及其多个表示相关联的技术信息和元数据，这可使能一个或多个不同的可用速率的选择。
公布多个速率的内容可能引起挑战，例如产量、质量确保管理、存储成本的增加等。可使若干个速率/分辨率(例如3个、4个、5个等)变得可用。
图3是示出了带宽自适应流传输的示例的图示。多媒体流传输***可支持带宽自适应。流传输媒体播放器(例如流传输客户端)可从媒体内容描述中得知关于可用比特率。流传输客户端可测量和/或估计网络301的可用带宽，并通过请求以不同比特率编码的媒体内容302的分段来控制流传输会话。这可允许流传输客户端在多媒体内容的回放期间自适应于带宽波动，例如如图3所示。客户端可基于缓存等级、误码率、延迟抖动等中的一者或多者来测量和/或估计可拥带宽。除了带宽以外，客户端可在对使用哪些速率和/或分段作出决定时考虑诸如观看条件这样的其它因素。
流切换行为可由服务器例如基于客户端或网络反馈来控制。该模型例如可与基于RTP/RTSP协议的流传输技术一起被使用。
接入网的带宽可例如由于使用的基础技术(例如，如表1所示)和/或由于用户的数目、位置、信号强度等变化。表1示出了接入网的峰值带宽的示例。
表1
内容可在具有不同大小的屏幕上被观看，例如在智能电话、平板电脑、膝上型电脑和诸如HDTV这样的更大的屏幕上。表2示出了可包括多媒体流传输能力的各种设备的样本屏幕分辨率的示例。提供少量的速率可能不足以向广大客户端提供良好的用户体验。
表2
在表3中列出了可由在此描述的实施使用的屏幕分辨率的示例。
表3
诸如 等这样的内容供应商例如可使用HTTP渐进下载来发布多媒体内容。HTTP渐进下载可包括内容在其能被回放前被(例如部分地或全部)下载。使用HTTP的发布可以是不被防火墙阻挡的因特网传输协议。诸如RTP/RTSP或多播这样的其它协议可能被防火墙阻挡，或被因特网服务供应商禁用。渐进下载可能不支持带宽自适应。用于HTTP上的带宽自适应多媒体流传输的技术可以被开发，以用于通过分组网络发布直播和点播内容。
媒体展现可例如在HTTP上的带宽自适应流传输中以一个或多个比特率被编码。媒体展现的编码可被划分为更短持续时间的一个或多个分段，例如如图4所示。图4是示出了由编码器402以不同比特率编码并被划分为分段的内容401的示例的图示。客户端可使用HTTP以请求在与它们当前条件最佳匹配的比特率的分段，例如这可提供速率自适应。
图5是示出了HTTP流传输会话500的示例的图示。例如，图5可示出在流传输会话期间客户端与HTTP服务器之间的交互的示例序列。描述/清单文件和一个或多个流传输分段可借助HTTP GET(获得)请求来被获取。描述/清单文件可例如通过URL来指定分段的位置。
带宽自适应HTTP流传输技术例如可包括HTTP直播流传输(HLS)、平滑流传输、HTTP动态流传输、HTTP自适应流传输(HAS)和自适应HTTP流传输(AHS)。
动态自适应HTTP流传输(DASH)可合并若干个用于HTTP流传输的方法。DASH可被用来应对无线和有线网络中变化的带宽。DASH可由大量的内容供应商和设备来支持。
图6是示出了DASH高级***架构600的示例的图示。DASH可被部署为发布已以适当格式准备好的直播或点播内容605的HTTP服务器602的集合。客户端601可直接从DASH HTTP服务器602和/或经由例如因特网604从内容分发网络(CDN)603中访问内容，如图6所示。CDN603可被用于其中预期由大量客户端的部署，因为CDN可缓存内容并且可位于网络边缘处的客户端附近。客户端601可以是WTRU和/或可以驻留在WTRU上，例如如图1B所示的WTRU。CDN603可包括在图1A-1E中示出的元件中的一者或多者。
在DASH中，流传输会话可由客户端601通过使用HTTP请求分段并在从内容供应商和/或CDN603接收到它们时将这些分段拼接在一起来得以控制。客户端601可例如基于网络条件(例如分组误码率、延迟抖动等)和/或客户端601的状态(例如缓存充满度、用户行为和偏好等)来监视(例如持续地监视)和调整媒体速率，例如以有效地将情报(intelligence)从网络移动到客户端601。
图7是示出了DASH客户端模式的示例的图示。DASH客户端模式可基于信息客户端模型。DASH接入引擎701可接收媒体展现描述(MPD)文件702，构建和发出请求，和/或接收一个或多个分段和/或部分分段703。DASH接入引擎701的输出可包括按照具有将媒体的内部定时映射到展现的时间轴的定时信息的MPEG容器格式的媒体(例如，MP4文件格式或MPEG-2传输流)。媒体的编码块与定时信息的合并可足以正确呈现内容。
图8是示出了DASH媒体展现高级数据模型800的示例的图示。在DASH中，多媒体展现的组织可基于分层数据模型，例如如图8所示。MPD文件可描述可组成DASH媒体展现(例如多媒体内容)的周期序列。周期可指媒体内容周期，其中在该媒体内容周期期间，媒体内容的编码版本的一致性集合(consistent set)是可获得的。例如，可用比特率、语言、字幕等的集合在一个周期期间可不改变。
自适应集合可指一个或多个媒体内容组件(component)的可替换的编码版本的集合。例如，可存在针对视频、针对主音频、针对辅音频、针对字幕等的自适应集合。自适应集合可被复用。复用的可替换版本可被描述为单一自适应集合。例如，一个自适应集合可包括针对一个周期的视频和主音频两者。
表示可指一个或多个媒体内容组件的可传输的编码版本。表示可包括一个或多个媒体流(例如，针对复用中的每一个媒体内容组件有一个媒体流)。一个自适应集合中的一个表示可足以呈现媒体内容组件。客户端可在一个自适应集合中从表示到表示地切换，以便自适应网络条件和/或其它因素。客户端可忽略使用该客户端不支持的编解码器、简档和/或参数的表示。
在一个表示中的内容可按时间被划分为固定或可变长度的一个或多个分段。可为分段(例如为每个分段)提供URL。分段可以是能够使用单个HTTP请求获取的最大数据单元。
媒体展现描述(MPD)文件可以是包括可被DASH客户端用来构建合适的HTTP-URL以访问一个或多个分段和/或以向用户提供流传输服务的元数据的XML文档。MPD文件中的基础URL可被客户端用来生成对媒体展现中的一个或多个分段和/或其它资源的HTTP GET请求。HTTP部分GET请求可通过使用字节范围(例如，经由‘Range(范围)’HTTP报头)而被用来访问分段的受限部分。可指定可替换的基础URL以在位置不可获得的情况下允许访问该展现。可替换的基础URL可为多媒体流的传输提供冗余，这例如可允许客户端侧的负载平衡和/或并行下载。
MPD文件可以具有静态或动态类型。静态MPD文件类型在媒体展现期间不可改变。静态MPD文件可被用于点播展现。动态MPD文件类型在媒体展现期间可被更新。动态MPD文件类型可被用于直播展现。MPD文件可被更新例如以扩展用于表示的分段列表、以引入新的周期、以终止媒体展现和/或以处理或调整时间轴。
在DASH中，不同媒体内容组件的编码版本(例如视频、音频)可共享公共时间轴。媒体内容中的接入单元的展现时间可被映射到全局公共展现时间轴(其可被称为媒体展现时间轴)。媒体展现时间轴可允许不同媒体组件的同步。媒体展现时间轴可使能相同媒体组件的不同编码版本(例如，表示)的无缝切换。
分段可包括真实分段的媒体流。分段可包括与如何将媒体流映射到媒体展现时间轴相关的附加信息，例如以用于切换和与其它表示的同步展现。
分段可用性时间轴可被用来用信号通知客户端在指定HTTP URL处的一个或多个分段的可用性时间。可用性时间可以挂钟(wall-clock)时间来被提供。客户端可以例如在访问在指定HTTP URL处的分段前比较挂钟时间和分段可用性时间。
对于点播内容，例如，一个或多个分段的可用性时间可以是完全相同的。一旦媒体展现的分段的其中之一是可获得的，则所述媒体展现的分段(例如所有分段)在服务器上是可获得的。MPD文件可以是静态文档。
对于直播内容，例如，一个或多个分段的可用性时间可取决于该分段在媒体展现时间轴中的位置。当内容被产生时，分段可随时间变得可获得。MPD文件可被更新(例如周期性地)以反映展现随时间的改变。例如，针对一个或多个新分段的一个或多个分段URL可被添加到MPD文件。不再可获得的分段可从MPD文件中移除。例如，如果分段URL使用模板来被描述，更新MPD文件可以不是必须的。
分段的持续时间可表示例如当以正常速度展现时包括在该分段中的媒体的持续时间。在一个表示中的分段可具有相同或大致相同的持续时间。分段持续时间可随表示不同。DASH展现可使用一个或多个短分段(例如2-8秒)和/或一个或多个较长分段来构建。DASH展现可包括用于整个表示的单个分段。
短分段可适用于直播内容(例如通过减少端到端延迟)并且可允许在分段级的高切换粒度。长分段可通过减少展现中文件的数目来改善缓存性能。长分段可使客户端能够通过例如使用字节范围请求来制定灵活的请求大小。长分段的使用可迫使分段索引的使用。
分段可不随时间扩展。分段可以是作为一个整体可获得的完整且离散的单元。分段可被称为电影片段(movie fragment)。分段可被再划分为子分段。子分段可包括一系列完整的接入单元。接入单元可以是具有指派的媒体展现时间的媒体流单元。如果分段被划分为一个或多个子分段，则该分段可由分段索引来描述。分段索引可提供表示中的展现时间范围和/或在由每个子分段占用的分段中的对应字节范围。客户端可提前下载分段索引。客户端可使用HTTP部分GET请求发出对各个子分段的请求。分段索引可例如被包括在文件开始的媒体分段中。分段索引信息可在一个或多个索引分段(例如，分开的索引分段)中被提供。
DASH可使用多种(例如4种)类型的分段。分段的类型可包括初始化分段、媒体分段、索引分段和/或比特流切换分段。初始化分段可包括用于访问表示的初始化信息。初始化分段可不包括具有指派的展现时间的媒体数据。初始化分段可由客户端处理来初始化媒体引擎，以使能所包括的表示的媒体分段的播出。
媒体分段可包括和/或封装一个或多个媒体流，所述一个或多个媒体流可在该媒体分段中被描述和/或由表示的初始化分段来描述。媒体分段可包括一个或多个完整的接入单元。媒体分段可包括例如用于每个包括的媒体流的至少一个流接入点(SAP)。
索引分段可包括与一个或多个媒体分段相关的信息。索引分段可包括一个或多个媒体分段的索引信息。索引分段可提供一个或多个媒体分段的信息。索引分段可以是媒体格式特定的。可为支持索引分段的媒体格式定义更多的细节。
比特流切换分段可包括用于切换到它指派的表示的数据。比特流切换分段可以是媒体格式特定的。可为支持比特流切换分段的每个媒体格式定义更多的细节。可为每个表示定义一个比特流切换分段。
例如，在媒体中的任意点处，客户端可在自适应集合中从表示到表示地切换。例如由于表示中的编码相关性，在任意位置处的切换可能是复杂的。可执行重叠数据(例如来自多个表示的针对相同时间周期的媒体)的下载。可在新的流中的随机接入点处执行切换。
DASH可定义流接入点(SAP)的编解码独立概念和/或可以标识SAP的一个或多个类型。假设在自适应集合中的所有分段具有相同的SAP类型，流接入点类型例如可作为自适应集合的属性的其中之一来被传送。SAP可使能到一个或多个媒体流的文件容器的随机访问。SAP可以是容器中的一个位置，该位置例如使用被包括在该容器中从该位置向前开始的信息使得所标识的媒体流的回放开始。可使用来自该容器的其它部分和/或可从外部获得的初始化数据。SAP可以是例如在DASH中的流间的连接。例如，SAP可以在表示中的位置为特征，其中客户端例如可从另一个表示切换到该表示。SAP可确保沿SAP的流连锁可产生可正确解码的数据流(例如MPEG流)。
TSAP例如可以是媒体流的任意接入单元的最早展现时间，使得具有大于或等于TSAP的展现时间的媒体流的接入单元可使用在ISAP处开始的比特流中的数据而不使用ISAP前的数据来被正确解码。ISAP例如可以是在该比特流中的最大位置，使得具有大于或等于TSAP的展现时间的媒体流的接入单元可使用在ISAP处开始的比特流数据而不使用ISAP前的数据来被正确解码。ISAU例如可以是在媒体流中按解码顺序最近的接入单元的比特流中的开始位置，使得具有大于或等于TSAP的展现时间的媒体流的接入单元可使用该最近的接入单元和按解码顺序之后的接入单元而不使用按解码顺序更早的接入单元来被正确解码。
TDEC可以是可使用在ISAU处开始的比特流中的数据而不使用在ISAU前的任意数据被正确解码的媒体流的接入单元的最早展现时间。TEPT可以是在该比特流中在ISAU处开始的媒体流的接入单元的最早展现时间。TPTF可以是在ISAU处开始的比特流中按解码顺序的媒体流的第一接入单元的展现时间。
图9是示出了流接入点(SAP)的示例参数的图示。图9的示例示出了具有3种不同类型的帧的编码视频流的示例：I帧、P帧和B帧。P帧可使用先前的I或P帧来解码。B帧可使用先前和之后的I或P帧。在I帧、P帧和/或B帧的传输、解码和/或展现顺序方面可以存在不同。
可定义多个(例如6个)SAP类型。不同SAP类型的使用可基于简档来被限制。例如，对于一些简档，可允许类型1、2和3的SAP。SAP的类型可取决于哪些接入单元可以是可正确解码的和/或接入单元的展现顺序的安排。
图10是示出了类型1SAP1000的示例的图示。类型1SAP可如下描述：TEPT＝TDEC＝TSAP＝TPFT。类型1SAP可对应于和/或被称为“封闭GoP随机接入点”。从ISAP开始(例如按解码顺序)的接入单元可在类型1SAP中被正确解码。结果可以是无任意间隙的正确解码的接入单元的连续时间序列。按解码顺序的第一接入单元可以是按展现顺序的第一接入单元。
图11是示出了类型2SAP1100的示例的图示。类型2SAP可以如下描述：TEPT＝TDEC＝TSAP<TPFT。类型2SAP例如可对应于和/或被称为“封闭GoP随机接入点”，其中在从ISAU开始的媒体流中按解码顺序的第一接入单元可以不是按展现顺序的第一接入单元。第一帧(例如，前两个帧)可以是向后预测的P帧(例如，其可以依照句法被编码为只向前的(forward-only)B帧)，并且可使用待解码的后续帧(例如，第三帧)。
图12是示出了类型3SAP1200的示例的图示。类型3SAP可如下描述：TEPT<TDEC＝TSAP<＝TPTF。类型3SAP例如可对应于和/或被称为“开放GoP随机接入点”，其中按解码顺序在ISAU后可能有可不被正确解码和/或可具有小于TSAP的展现时间的接入单元。
图13是示出了具有3个帧的持续时间和6个帧的间隔的逐步解码刷新(GDR)1300的示例的图出。类型4SAP可如下描述：TEPT<＝TPFT<TDEC＝TSAP。类型4SAP例如可对应于和/或被称为“逐步解码刷新(GDR)随机接入点”(例如，“脏”接入点)，其中按解码顺序从ISAU开始及在ISAU之后可能有可不被正确解码和/或可具有小于TSAP的展现时间的接入单元。
GDR的一个示例可以是帧内刷新过程，其可在N个帧上被扩展，并且其中帧的一部分可使用帧内宏块(MB)来被编码。非重叠部分可在N个帧之间被帧内编码。可重复该过程，直到整个帧被刷新。
类型5SAP可如下描述：TEPT＝TDEC<TSAP。类型5SAP可对应于在其中按解码顺序从ISAP开始可能有不能被正确解码和/或可具有大于TDEC的展现时间的至少一个接入单元的情况，和/或其中TDEC可以是从ISAU开始的接入单元的最早展现时间。
类型6SAP可如下描述：TEPT<TDEC<TSAP。类型6SAP可对应于在其中按解码顺序从ISAP开始可能有可不被正确解码和/或可具有大于TDEC的展现时间的至少一个接入单元的情况，并且其中TDEC可以不是从ISAU开始的接入单元的最早展现时间。类型4、5和/或6SAP可在处理音频编码中的过渡的情况下被使用。
可提供视频和/或音频编码和解码中的平滑流切换。平滑流切换可包括可在以不同速率编码的媒体内容的流(例如，部分流)间使用的一个或多个过渡帧的生成和/或显示。过渡帧可经由交叉衰减和重叠、交叉衰减和转码、使用滤波的后处理技术、使用重量化的后处理技术等来被生成。
平滑流切换可包括接收媒体内容的第一数据流和媒体内容的第二数据流。该媒体内容可包括视频和/或音频。该媒体内容可以按照MPEG容器格式。第一数据流和/或第二数据流可在MPD文件中被标识。第一数据流可以是编码数据流。第二数据流可以是编码数据流。第一数据流和第二数据流可以是相同数据流的部分。例如，第一数据流可在时间上处于第二数据流之前(例如，紧在其前)。例如，第一数据流和/或第二数据流可在媒体内容的SAP处开始和/或结束。
第一数据流可以第一信噪比(SNR)为特征。第二数据流可以第二SNR为特征。例如，第一SNR和第二SNR可分别与第一数据流和第二数据流的编码相关。第一SNR可大于第二SNR，或者第一SNR可小于第二SNR。
过渡帧可使用第一数据流的帧和第二数据流的帧中的至少一者来被生成。过渡帧可以在第一SNR与第二SNR之间的一个或多个SNR值为特征。过渡帧可以过渡时间间隔为特征。过渡帧可以是媒体内容的一个分段的部分。第一数据流的一个或多个帧可以被显示，过渡帧可以被显示，以及第二数据流的一个或多个帧可以被显示，例如，按照这样的顺序。从第一数据流到过渡帧和/或从过渡帧到第二数据流的切换可在媒体内容的SAP处进行。
生成过渡帧可包括用以第二SNR为特征的帧交叉衰减以第一SNR为特征的帧，以生成过渡帧。交叉衰减可包括计算以第一SNR为特征的帧和以第二SNR为特征的帧的加权平均，以生成过渡帧。加权平均可随时间改变。交叉衰减可包括通过将第一权重施加给以第一SNR为特征的帧和将第二权重施加给以第二SNR为特征的帧来计算以第一SNR为特征的帧和以第二SNR为特征的帧的加权平均。第一权重和第二权重中的至少一者可随过渡时间间隔改变。交叉衰减可使用第一数据流与第二数据流之间的线性过渡或非线性过渡来执行。
第一数据流和第二数据流可包括媒体内容的重叠帧。用以第二SNR为特征的帧交叉衰减以第一SNR为特征的帧以生成过渡帧可包括对第一数据流和第二数据流的重叠帧进行交叉衰减，以生成过渡帧。重叠帧可以第一数据流的对应帧和第二数据流的对应帧为特征。重叠帧可以重叠时间间隔为特征。第一数据流的一个或多个帧可在重叠时间间隔之前被显示，过渡帧可在重叠时间间隔期间被显示，以及第二数据流的一个或多个帧可在重叠时间间隔之后被显示。第一数据流的一个或多个帧可以在重叠时间间隔之前的时间为特征，并且第二数据流的一个或多个帧可以在重叠时间间隔之后的时间为特征。
第一数据流的帧的子集可被转码以生成以第二SNR为特征的对应帧。用以第二SNR为特征的帧交叉衰减以第一SNR为特征的帧以生成过渡帧可包括使用以第二SNR为特征的对应帧交叉衰减第一数据流的帧的子集，以生成过渡帧。
生成过渡帧可包括使用以随过渡时间间隔改变的截止频率为特征的低通滤波器来对以第一SNR为特征的帧进行滤波，以生成过渡帧。生成过渡帧可包括使用一个或多个步长来转换和量化以第一SNR为特征的帧，以生成过渡帧。
媒体内容(例如，视频序列)的一个或多个参数可在编码期间被控制，以引起编码媒体内容的比特率的变化。例如，参数可包括但不限于信噪比(SNR)、帧分辨率、帧速率等。媒体内容的SNR可在编码期间被控制，以生成具有变化的比特率的媒体内容的编码版本。例如，SNR可在编码期间经由用在转换系数上的量化参数(QP)来被控制。例如，改变QP可影响编码视频序列的SNR(例如，和比特率)。例如，QP的改变可导致具有不同视觉质量和/或SNR的视频序列。SNR和比特率可以是相关的。例如，在编码期间改变QP可以是控制比特率的一种方式。例如，如果QP较低，则编码视频序列可具有较高的SNR、较高的比特率和/或较高的视觉质量。
媒体内容(例如，编码视频流)的SNR可涉及媒体内容的编码。例如，媒体内容的SNR可由在媒体内容的编码期间使用的QP来控制。例如，媒体内容可以不同的速率来被编码，以生成可以不同SNR值为特征的媒体内容的对应版本，例如如参考图2、图4和图6所描述的。例如，以高速率编码的媒体内容可以高SNR值为特征，而以低速率编码的媒体内容可以低SNR值为特征。例如，媒体内容的SNR可涉及媒体内容的编码，并且可与在其上媒体内容可由客户端接收的传输信道无关。
媒体内容的一个或多个帧的帧分辨率(例如，以像素为单位的视频帧的水平和垂直尺寸)可在编码期间被控制(例如，在240p、360p、720p、1080p等间)，以生成具有变化的比特率的媒体内容的编码版本。例如，在编码期间改变帧分辨率可改变媒体内容的编码版本(例如，编码视频序列)的比特率。帧分辨率和比特率可以是相关的。例如，如果帧分辨率较低，则较低的比特率可被用来编码在类似的视觉质量的视频序列。
媒体内容的帧速率(例如，每秒的帧数(fps))可在编码期间被控制(例如在15fps、20fps、30fps、60fps等间)，以生成具有变化的比特率的媒体内容的编码版本。例如，在编码期间改变帧速率可改变媒体内容的编码版本(例如，编码视频序列)的比特率。帧速率和比特率可以是相关的。例如，如果帧速率较低，则较低的比特率可被用来编码在类似的主观视觉质量的视频序列。
媒体内容(例如，视频序列)的参数中的一者或多者可在编码期间被控制(例如改变)，以实现用于带宽自适应流传输的媒体内容的目标比特率。媒体内容的SNR(例如，经由QP)可在编码期间被控制，以生成以不同比特率编码的媒体内容。例如，对于一个或多个不同的比特率，视频序列可以相同的帧速率(例如30帧每秒)和相同的分辨率(例如720p)来编码，而编码视频序列的SNR可以被改变。改变编码视频序列的SNR在例如目标比特率的范围相对小(例如，在1和2Mbps间)时是有用的，因为改变经排序的视频的QP可以期望的目标比特率产生良好的视觉质量的视频序列。
媒体内容的帧分辨率可以被控制，以生成以不同比特率编码的媒体内容。媒体内容(例如，视频序列)可以相同的帧速率(例如30帧每秒)和SNR被编码，而媒体内容的帧的帧分辨率可以被改变。例如，视频序列可以一个或多个不同的分辨率(例如240p、360p、720p、1080p等)来被编码，同时维持相同的帧速率(例如30fps)和相同的SNR。改变媒体内容的帧分辨率在目标比特率的范围大(例如在500kbps和10Mbps之间)时是有用的。
媒体内容的帧速率可在编码期间被控制，以生成以不同比特率编码的媒体内容。媒体内容(例如视频序列)可以相同的帧分辨率(例如720p)和相同的SNR来编码，而媒体内容的帧速率(例如15fps、20fps、30fps、60fps等)可以被改变。例如，视频序列可使用较低的帧速率来被编码以生成较低比特率的编码视频序列。例如，在较高比特率的视频序列可以全30fps来被编码，而在较低比特率的视频序列可以5-20fps来被编码，同时维持相同的分辨率(例如720p)和相同的SNR。
媒体内容的SNR(例如经由QP)和帧分辨率可在编码期间被控制，以生成以不同速率编码的媒体内容。例如，视频序列可使用较低SNR和帧分辨率来被编码以生成较低比特率的编码视频序列，而相同的帧速率可被用于编码视频序列。例如，在较高速率的视频序列可以720p、30fps和以若干个SNR点来被编码，而在较低速率的序列可以360p、30fps和以相同的SNR来被编码。
媒体内容的SNR(例如经由QP)和帧速率可在编码期间被控制，以生成以不同速率编码的媒体内容。例如，视频序列可使用较低SNR和帧速率来被编码以生成较低比特率的编码视频序列，同时可为编码视频序列维持相同的帧分辨率。例如，在较高速率的视频序列可以720p、30fps和以若干个SNR点来被编码，而在较低速率的视频序列可以720p、10fps和以相同的SNR来被编码。
媒体内容的帧分辨率和帧速率可在编码期间被控制，以生成以不同速率编码的媒体内容。例如，视频序列可使用较低的帧分辨率和帧速率来被编码以生成较低比特率的编码视频序列，同时为编码视频序列维持相同的视觉质量(例如SNR)。例如，在较高比特率的视频序列可以702p、以20至30fps的帧速率并使用相同的SNR来被编码，而在较低比特率的序列可以360p、以10至20fps的帧速率并使用相同的SNR来被编码。
媒体内容的SNR(例如经由QP)、帧分辨率和帧速率可在编码期间被控制以生成以不同速率编码的媒体内容。例如，视频序列可使用较低SNR、帧分辨率和帧速率来被编码，以生成较低比特率的编码视频序列。例如，在较高比特率的视频序列可以720p、30fps和以较高的SNR点来被编码，而在较低比特率的视频序列可以360p、10fps和以较低的SNR点来被编码。
在此描述的实施可被用来平滑以不同比特率、SNR、帧分辨率和/或帧速率为特征的媒体内容(例如视频、音频等)的媒体流(例如视频流、音频流等)间的过渡。虽然在此被描述为以两个不同的比特率(例如高(H)和低(L))、SNR、帧分辨率和/或帧速率编码的媒体流之间的过渡，但在此描述的实施可被应用于以任意数目的不同比特率、SNR、帧分辨率和/或帧速率编码的媒体流之间的过渡。
图14是示出了在不包括平滑过渡的流传输会话期间速率间的过渡的示例的图1400。例如，媒体内容(例如视频)可以多个(例如两个)不同的视频速率(例如高速率(例如，速率H)和低速率(例如，速率L))来被编码，如图14所示。过渡可从高速率(H)到低速率(L)1401和/或从低速率到高速率1402发生，例如如图14所示。在不包括平滑过渡的流传输会话中的过渡(例如图14所示的1401和1402)例如可被称为突然(abrupt)过渡，因为媒体内容可在没有媒体内容的中介(intervening)部分(例如分段、帧等)的情况下从一个速率过渡到另一个(例如高到低，或低到高)。媒体内容的速率可涉及媒体内容的一个或多个参数/特性，例如比特率、SNR、分辨率和/或帧速率。
图15是示出了在包括平滑过渡的流传输会话期间速率间的过渡的示例的图1500。平滑流切换可使用可被用来实现媒体内容的视觉质量的适度(graceful)的逐步上升/下降的速率间(例如在速率H与速率L间)的平滑过渡1501、1502。例如，平滑过渡1501可被用于从速率H到速率L的切换，而平滑过渡1502可被用于从速率L到速率H的切换。平滑过渡1501、1502可提供在体验质量(QoE)方面的改善。例如，平滑过渡可通过使用以一个或多个参数为特征的过渡帧来实现，所述一个或多个参数处于以不同速率(例如速率H和速率L)编码的时间上对应的帧的参数之间。
图16A是示出了无平滑流切换的过渡的示例的图示。图16B是示出了具有平滑流切换的过渡的示例的图示。平滑过渡可包括在以不同速率编码的媒体内容间的媒体内容的一个或多个中介部分(例如分段、过渡帧等)。例如，由于使用平滑流切换，在速率H(例如如图16B所示)或速率L的帧中的一些可由在降低(例如H到L过渡)或增加(例如L到H过渡)的视觉质量的帧来代替。在平滑过渡期间使用的帧可被称为过渡帧。
如果未使用平滑流切换，例如如图16A所示，则速率H与速率L之间的过渡可能是突然的，例如在没有任意过渡帧的情况下从一个速率的帧移动到另一个速率的帧。如果使用了平滑流切换，例如如图16B所示，则可在速率间使用一个或多个过渡帧1601、1602。尽管在图16B所示的示例中，在每个过渡中使用了4个过渡帧，但在过渡中可使用任意数目的过渡帧。尽管在图16B所示的示例中，在每个过渡中使用了两个不同值的过渡帧1601、1602，但在过渡中可使用任意数目的过渡帧的值。在一个过渡(例如H到L过渡)中的过渡帧的值可与在另一个过渡(例如L到H过渡)中的过渡帧相同或不同。在过渡中可使用任意数目的过渡帧的值。过渡帧的值可与具有过渡帧特性的参数(例如SNR、帧分辨率、帧速率等)中的一者或多者相关。例如，过渡帧1601可由更接近速率H的帧的特性的特性来定义，而过渡帧1602可由更接近速率L的帧的特性的特性来定义。过渡帧1601、1602的使用可为用户提供改善的QoE。
平滑流切换可提供对用户来说不那么明显的流切换，并且这可改善用户体验。平滑流切换可通过例如基本上消除假象(artifact)中的差异来允许媒体内容的不同分段使用不同的编解码器。平滑流切换可减少由内容供应商为媒体内容产生的编码/速率的数目。
流传输客户端可接收由兼容DASH的编码器准备的媒体内容(例如视频、音频等)的一个或多个流。例如，媒体内容的一个或多个流可包括任意类型的流接入点，例如类型1-6。
客户端可包括针对串接和反馈编码媒体分段到回放引擎的处理。客户端可包括针对解码媒体分段，和/或应用交叉衰减和/或后处理操作的处理。客户端可载入媒体分段的重叠部分，和/或经由例如在此描述的处理将重叠分段用于平滑切换。
具有不同SNR(例如SNR点)的流间的平滑流切换可使用在此描述的实施中的一者或多者来执行，例如使用重叠和交叉衰减，使用转码和交叉衰减，使用与可扩展的编解码器的交叉衰减，使用逐步转码，和/或使用后处理。这些实施可例如被用于H到L和/或L到H过渡。
尽管参考以两个不同速率(例如H和L)编码的流进行描述，但在此描述的平滑流切换实施可在以任意数目的不同速率编码的媒体内容的流上使用。媒体内容的编码流的帧速率和/或分辨率(例如H和L)可以是相同的，而媒体内容的编码流的SNR可以是不同的。
图17是示出了使用重叠和交叉衰减的平滑流切换过渡的示例的图。客户端可请求和/或接收媒体内容的重叠分段或子分段，并使用例如该重叠分段或子分段来执行媒体内容的编码流之间的交叉衰减。重叠请求可以是以一个或多个不同的速率编码的媒体内容的一个或多个分段的请求。重叠分段可以以两个或更多个不同的速率(例如，和不同的SNR)编码的媒体内容的时间上对应的分段为特征。例如，在至少过渡时间的持续时间内，可接收以两个或更多个不同速率编码的分段。例如，如图17所示，以速率H和以速率L编码的重叠分段可在ta到tb的时间间隔内被接收。与重叠请求相关联的时间间隔可被称为重叠时间间隔(例如，图17中的ta到tb)。图1701示出了从速率H到速率L的过渡，而图1702图示了从速率L到速率H的过渡。
客户端可请求和/或接收媒体内容的重叠分段或子分段，并使用例如该重叠分段或子分段来执行媒体内容的编码流之间的交叉衰减。特定分段的子分段可被用于平滑流切换。例如，如果一个分段具有较长的持续时间(例如多于30秒)，则客户端可请求和/或接收该分段的重叠子分段(例如2-5秒的子分段)，例如以执行平滑流切换。分段可指整个分段和/或可指分段的一个或多个子分段。
在接收到重叠分段后，可在重叠分段的帧之间执行交叉衰减以生成一个或多个过渡帧。例如，交叉衰减可在以速率H编码的帧与以速率L编码的时间上对应的(例如，重叠)帧之间被执行，如图17所示。例如，交叉衰减可在ta到tb的一部分或整个重叠时间间隔上被执行。过渡帧可经由对重叠分段进行交叉衰减而在重叠时间间隔(例如，图17的时间ta到tb)中被生成。过渡帧可以过渡时间间隔为特征。过渡时间间隔可与时间周期相关，在该时间周期中，客户端可从以一个速率编码的媒体内容过渡到以另一个速率编码的媒体内容。过渡帧的数目可与重叠帧的数目相等或不等。因此，过渡时间间隔可与重叠时间间隔相等或不等。
交叉衰减可包括计算以一个速率编码的重叠帧与以另一个速率编码的重叠帧的加权平均，使得产生的过渡帧具有在过渡时间间隔上逐步从一个速率过渡到另一个的参数。例如，被施加给以每个速率编码的重叠帧的权重可随时间(例如过渡时间间隔)改变，使得生成的过渡帧可被用于以各个速率编码的媒体内容间更平缓(gradual)的过渡。例如，交叉衰减可包括通过例如将第一权重施加给以第一速率为特征的帧并将第二权重施加给以第二速率为特征的帧来计算以一个速率(例如第一SNR)为特征的一个或多个帧和以另一个速率(例如第二SNR)为特征的一个或多个帧的加权平均。第一权重和第二权重中的至少一者可随时间(例如过渡时间间隔)改变。例如，交叉衰减可涉及平滑淡入(fade-in)或阿尔法混合(alpha-blending)。
在经由交叉衰减生成过渡帧后，过渡帧可由客户端显示，例如替代在速率中的一者或多者(例如速率H和/或速率L)的时间上对应的帧。例如，客户端可在过渡和/或重叠时间间隔之前显示以第一速率(例如速率H)编码的媒体内容的一个或多个帧，在过渡和/或重叠时间间隔期间显示一个或多个过渡帧，并在过渡和/或重叠时间间隔之后显示以另一个速率(例如速率L)编码的媒体内容的一个或多个帧，例如，按照这样的顺序。这可提供以不同速率编码的媒体内容间的平滑过渡。
图18是示出了用于对流进行重叠和交叉衰减的***1800的示例的图示。图18所示的***1800可被用于H到L过渡。图18所示的***1800可根据下式执行媒体内容的重叠分段的交叉衰减：
z＝α(t)L+[1–α(t)]H，其中对于ta<t<tb，α(t)＝(t-ta)/(tb-ta)。
图19是示出了用于对流进行重叠和交叉衰减的***1900的示例的图示。图19所示的***1900可被用于L到H过渡。图19所示的***1900可根据下式执行媒体内容的重叠分段的交叉衰减：
z＝α(t)H+[1–α(t)]L，其中对于ta<t<tb，α(t)＝(t-ta)/(tb-ta)。
参考图18和19的***描述的等式可被用来使用以不同速率编码的媒体内容的帧(例如H帧和L帧)之间的线性过渡来执行交叉衰减。线性过渡可以α(t)为特征，该α(t)随过渡时间例如在0和1之间改变(例如线性或非线性地)。
例如，当在DASH中使用重叠和交叉衰减过渡时，在一个速率(例如速率L)的重叠流可被划分为子分段。例如，如果在速率L的重叠流被划分为子分段，则时间ta(例如对于H到L过渡)或时间tb(例如对于L到H过渡)可被选择，使得它们分别匹配子分段的开始或结束，例如如图17所示。如果在速率L的重叠流未被划分为子分段，则完整的分段可在重叠请求中被获取，然后被解码。时间ta(例如对于H到L过渡)或时间tb(例如对于L到H过渡)可被选择，使得足够的帧可用于执行平滑过渡。
图20是示出了使用转码和交叉衰减的平滑流切换的示例的图。在高(H)SNR的媒体内容可被转码为低(L)SNR的速率或等级，例如以生成在高SNR和低SNR的时间上对应的媒体内容(例如，针对如图20所示的ta与tb之间的时间)。例如，可执行转码以使用以速率H为特征的一个或多个分段生成以速率L为特征的媒体内容的一个或多个时间对应的分段。
在转码后，在速率H(例如高SNR)和速率L(例如低SNR)的时间上对应的媒体内容可被类似地用作在此描述的重叠分段。例如，在速率H(例如高SNR)和在速率L(例如低SNR)的时间上对应的媒体内容可被交叉衰减以生成一个或多个过渡分段。过渡帧可以例如在过渡时间(例如图20中的ta与tb之间的时间)期间替代在速率H(例如SNR H)的时间上对应的帧而被显示。图2001示出了从速率H到速率L的过渡，而图2002示出了从速率L到速率H的过渡。从H到L SNR等级和/或从L到H SNR等级的平滑过渡可通过使用转码和交叉衰减来实现，例如如图20所示。
图21是示出了用于转码和交叉衰减的***2100的示例的图示。图21所示的***2100可被用于H到L过渡。图21所示的***2100可根据下式执行在高SNR的媒体和在低SNR的被转码的媒体的交叉衰减：
z＝α(t)L+[1–α(t)]H，其中对于ta<t<tb，α(t)＝(t-ta)/(tb-ta)。
图22是示出了用于转码和交叉衰减的***2200的示例的图示。图22所示的***2200可被用于L到H过渡。图22所示的***2200可根据下式执行在高SNR的媒体和在低SNR的被转码的媒体的交叉衰减：
z＝α(t)H+[1–α(t)]L，其中对于ta<t<tb，α(t)＝(t-ta)/(tb-ta)。
图23是示出了使用速率H与L之间的线性过渡的交叉衰减的示例的图。图2301示出了从速率H到速率L的线性过渡，而图2302示出了从速率L到速率H的线性过渡。图23示出了根据下式穿过两点的直线的示例：
y-y1＝m(x-x1)，其中m＝(y2-y1)/(x2-x1)。
除了线性过渡以外的其他类型的交叉衰减(例如非线性过渡)可以被使用。例如，α(t)可非线性地改变。图24是示出了非线***叉衰减函数的示例的图2400。例如，图24示出了与从H到L的线***叉衰减函数相比较从H到L的较慢2401和较快2402的非线***叉衰减函数的示例。
例如，对于非线性过渡，α(t)可以是非线性函数、对数函数和/或指数函数。例如，非线性函数可以是二次或更高次的多项式(例如α(t)可以是二次多项式，其中α(t)＝a*t2+b*t+c)。例如，对数函数可被定义为：α(t)＝log(α(t))，其中log可以是以“b”为底的对数，且α(t)可以是t的函数。例如，指数函数可被定义为：α(t)＝exp(α(t))，其中exp可以是底数(例如“2”、“e”、“10”等)，且α(t)可以是t的函数。α(t)可以是t的线性函数、非线性函数、对数函数或指数函数。
图25是示出了用于对可扩展视频比特流进行交叉衰减的***2500的示例的图示。图26是示出了用于对可扩展视频比特流进行交叉衰减的***2600的示例的图示。当使用可扩展视频编解码器时，则不同层之间的平滑切换可使用基础层与增强层之间的交叉衰减来被执行，例如如在此参考重叠分段描述的那样。图25和26分别示出了用于对H到L和L到H过渡的可扩展视频编解码器进行平滑流切换的示例***2500、2600。对于可扩展视频比特流，可有一个基础层和一个或多个增强层。增强层可改善之前的层(例如基础层或较低的增强层)。例如，增强层可改善之前的层的SNR、帧速率和/或分辨率。例如，L表示可通过解码基础层来获得，而H表示可通过解码基础层和一个或多个增强层来获得。
图27是示出了用于使用QP交叉衰减的逐步转码的***2700的示例的图示。平滑切换可通过对具有在速率H的SNR的媒体内容(例如视频流)进行转码并在QPH和QPL之间使用交叉衰减控制QP来被执行，例如如图27所示。尽管未在图27中示出，可在编码器之后提供解码器，从而该解码器的输出可以是可被用于平滑流切换的一个或多个过渡帧。可获得H表示和L表示的QP。例如，QP可在比特流中被用信号发送、在MPD中被用信号发送和/或可由解码器来估计。交叉衰减可在H表示和L表示的QP之间来被执行。产生的QP值可被用来对序列进行重编码以生成一个或多个过渡帧。例如，该一个或多个过渡帧可以类似于参考图21和图22描述的方式来被生成，例如，不对解码的帧执行交叉衰减(如图21-22)，交叉衰减可在QP域中被执行以生成具有变化的SNR的比特流的示例。
图28是示出了使用后处理的平滑流切换的示例的图示。使用后处理的平滑流切换可涉及后处理技术的使用(例如滤波和重量化)，例如以生成将被用于在具有不同参数(例如SNR、分辨率、比特率等)的流之间进行切换的一个或多个过渡帧。可对以一个或多个较高参数(例如，如在图28中所示的较高SNR)为特征的媒体内容执行后处理。例如，在速率H的流可被后处理以引起到或从在速率L的流的过渡。后处理可被用来生成过渡帧，该过渡帧可另外经由重叠和交叉衰减和/或转码和交叉衰减来被生成或获取。经由后处理生成的过渡帧可在过渡时间(例如ta与tb之间的时间)期间替代在速率H的时间上对应的帧来被显示，例如如图28所示。图2801示出了从速率H到速率L的过渡，而图2802示出了从速率L到速率H的过渡。后处理可减少客户端处的计算负担。后处理可不增加网络流量，因为可不使用重叠请求。
后处理的输入可以是以较高速率编码的和/或以较高参数为特征的媒体内容(例如使用较高SNR编码的帧)。后处理的输出可以是可在过渡时间期间被使用的过渡帧，以更渐进地从以一个速率编码的流过渡到以另一个速率编码的流。例如，诸如滤波和重量化的各种后处理技术可被用来降低媒体内容的视觉质量，以生成过渡帧。
滤波可被用作后处理技术以生成用于平滑流切换的过渡帧。图29是示出了具有不同截止频率的低通滤波器的频率响应的示例的图2900。不同强度的低通滤波器(例如，或不变强度的一个或多个低通滤波器)可被应用于以较高速率编码的和/或以较高参数为特征的媒体内容(例如，使用较高SNR编码的帧)，例如以生成一个或多个过渡帧。低通滤波可仿真可被用来生成在比H低的速率的过渡帧的较高压缩的效果。
低通滤波器的强度(例如截止频率)可根据在速率H的帧的期望的降级度来改变，例如如图29所示。例如，如果h(m,n)是在速率H的帧，并且lp(k,l)是有限脉冲响应(FIR)低通滤波器，则经后处理的帧p(m,n)(例如过渡帧)可根据下式来被生成：
p(m,n)＝h(m,n)*lp(k,l)，其中“*”可表示卷积。
重量化可被用作后处理技术以生成用于平滑流切换的一个或多个过渡帧。例如，在速率H的帧的像素值可以不同的等级来被转换和量化，以生成在比H低的速率的过渡帧。一个或多个量化器(例如，均匀量化器)可被用来生成过渡帧。例如，一个或多个量化器可以根据在速率H的帧的期望的降级度改变的步长为特征。较大的步长可导致较大/较高的降级，和/或可被用来生成更类似于在速率L的帧的过渡帧。量化等级的数目可足以避免勾画轮廓(contouring)(例如，具有恒定等级的像素的连续区域，其边缘可被称为轮廓)。如果h(m,n)是在速率H的帧，并且Q(·,s)是步长s的均匀量化器，则经后处理的帧p(m,n)(例如过渡帧)可使用像素量化根据下式来被生成：
p(m,n)＝Q(h(m,n),s)。
平滑切换可被用于具有不同空间分辨率的流。客户端设备(例如智能电话、平板电脑等)可在流传输回放期间将视频伸展到全屏。将视频伸展到全屏可在流传输会话期间使能以不同空间分辨率编码的流之间的切换。从低分辨率上采样流可导致视觉假象，这例如可导致视频变得模糊，因为高频信息在下采样期间可能丢失。
图30是示出了对具有不同帧分辨率的流进行平滑切换的示例的图示。图3000是不使用平滑流切换且包括突然过渡3001的示例。图3010是使用平滑流切换且包括平滑过渡3011的示例。为了在具有不同帧分辨率的流之间执行平滑过渡，由于低分辨率帧的上采样产生的视觉假象可以被最小化，例如如图30所示。流H和L中的帧速率和/或帧曝光时间可以相同。
图31是示出了为具有不同帧分辨率的流生成一个或多个过渡帧的示例的图示。一个或多个过渡帧3101可使用来自以不同速率编码的媒体内容(例如，在帧速率H和/或在帧速率L的视频流)的信息来被生成，例如如图31所示。在过渡时间(例如从ta和tb)上在一个帧分辨率(例如帧分辨率L)的媒体内容3102的重叠分段可由客户端请求和/或接收。在过渡时间上(例如，在ta与tb之间)，来自以较低速率编码的媒体内容的、在相同的时间位置处的一个或多个帧3102可被上采样为与以较高分辨率编码的媒体内容相同的分辨率，以生成一个或多个经上采样的帧3103。例如，流L的一个或多个帧3102可被上采样为与来自流H的帧相同的分辨率。上采样可使用客户端的内置功能来被执行。在与来自流H3104和L3102的帧相同的时间位置处的经上采样的帧3103可被用来通过例如使用交叉衰减来生成时间上对应的过渡帧3101。过渡帧3101然后可在从一个分辨率到另一个分辨率(例如H到L或L到H)的平滑切换期间的回放期间被使用。
图32是示出了用于在H-L过渡上对具有不同帧分辨率的流进行交叉衰减的***3200的示例的图示。图32的***3200可根据下式在H到L过渡上执行交叉衰减：
z＝α(t)L+[1–α(t)]H，其中对于ta<t<tb，α(t)＝(t-ta)/(tb-ta)。
图33是示出了用于在L-H过渡上对具有不同帧分辨率的流进行交叉衰减的***3300的示例的图示。图33的***3300可根据下式在L到H过渡上执行交叉衰减：
z＝α(t)H+[1–α(t)]L，其中对于ta<t<tb，α(t)＝(t-ta)/(tb-ta)。
平滑流切换可被用于具有不同帧速率的流。具有低帧速率的媒体内容(例如视频流)可遭受差的帧间时间相关，因为与具有较高帧速率的媒体内容相比，这些帧在时间上互相分离得更远。帧速率上采样(FRU)技术可被用来将具有低帧速率的媒体内容的流转换为高帧速率。
图34是示出了用于对具有不同帧速率的流进行平滑切换的***3400的示例的图示。具有不同帧速率的流之间的平滑切换可被用来最小化由于低帧速率引起的视觉假象，例如如图34所示。H帧速率流和L帧速率流的帧分辨率可以相同。
图35是示出了为具有不同帧速率的流生成一个或多个过渡帧的示例的图示。一个或多个过渡帧3501可使用来自以高帧速率(例如帧速率H)编码的媒体内容的流和以低帧速率(例如帧速率L)编码的媒体内容的流的信息来被生成，例如如图35所示。客户端可在过渡时间上(例如在ta与tb之间)请求和/或接收在较低帧速率(例如帧速率L)的媒体内容的重叠分段。除以高速率编码的对应时间帧外，还可请求和/或接收重叠帧。在过渡时间上(例如在ta与tb之间)，可生成一个或多个过渡帧3501。例如，过渡帧3501可使用以帧速率H编码的帧3502和以帧速率L编码的时间上在前的帧3503、例如通过交叉这些帧来被生成。生成的过渡帧3501可在与以帧速率H编码的帧3502相同、但与以帧速率L编码的帧3503不同的时间位置中被使用。在与生成的过渡帧3501相同的时间位置上可以没有以帧速率L编码的帧，例如如图35所示。
图36是示出了用于在H-L过渡上对具有不同帧速率的流进行交叉衰减的***3600的示例的图示。图36的***3600可根据下式在H到L过渡上执行交叉衰减：
z＝α(t)L+[1–α(t)]H，其中对于ta<t<tb，α(t)＝(t-ta)/(tb-ta)。
图37是示出了用于在L-H过渡上对具有不同帧速率的流进行交叉衰减的***3700的示例的图示。图37的***3700可根据下式在L到H过渡上执行交叉衰减：
z＝α(t)H+[1–α(t)]L，其中对于ta<t<tb，α(t)＝(t-ta)/(tb-ta)。
可使用使H到L和/或L到H过渡平滑的不对称的持续时间。从低质量表示到高质量表示的过渡可以与从高质量表示到低质量表示的过渡相比较少的降级效果为特征。使从H到L和从L到H的平滑过渡的时间延迟可不同。例如，较长过渡(例如包括更多过渡帧的过渡)对于H到L过渡而言较长，且对于L到H过渡而言较短。例如，几秒(例如2秒)的过渡可被用于H到L质量过渡，和/或稍微较短的过渡(例如1秒)可被用于L到H过渡。
例如，平滑流切换可在DASH中被用于音频过渡。DASH标准可定义流间的一种或多种类型的连接，其可被称为SAP。SAP可被用来确保沿着这些点的流的连锁可产生可正确解码的MPEG流。
图38是示出了在基于MDCT的语音和音频编解码器中使用的叠加窗口的示例的图3800。音频流可不包括I帧(例如，或I帧的等同物)。例如，诸如MP3、MPEG-4AAC、HE-AAC等的音频编解码器可以被称为块(例如1024和960样本块)的单位来对音频样本进行编码。块可以是互相依赖的。该互相依赖的性质可依赖于重叠窗口，该重叠窗口可在计算转换(例如MDCT)之前被应用于这些块中的样本，例如图38所示。
音频编解码器可解码和丢弃开始时的一个块。这在数学上可足以正确解码之后的所有块，例如由于可采用重叠窗口的MDCT转换的完美重构属性。在正被解码的块之前的块可被获取、解码，并且然后在解码请求的数据之前被丢弃，例如以便实现随机接入。对于音频编解码器(例如HE-AAC、AAC-ELD、MPEG环绕声等)，开始时丢弃的块的数目可多于或少于一个(例如3个块)，例如由于SBR工具的使用。
音频分段可以是无标记的(例如不包括StartWithSAP属性)，或者如果没有流切换、和/或如果在使用相同的编解码器、使用以相同的采样率和相同的截止频率捕获的音频运行、使用相同数目的信道和/或在编解码器中使用相同的工具和模式(例如，无SBR工具的附加/移除，使用相同的立体声编码模式等)的流间存在切换，使用SAP类型＝1来标记。
例如，在128Kbps的立体声AAC流可被用于高质量重现。该流可被减少至用于较低质量的大约64-80Kbps。为了达到32-48Kbps的速率，可使用SBR工具(例如使用HE-ACC)、到参量立体声的切换等。
图39是示出了具有可丢弃的块的音频接入点的示例3900的图示。开始时的一个块3901可被丢弃(例如使用AAC和MP3音频编解码器)，例如如图39所示。对于音频接入点，以下可保持为真：TEPT＝TPTF<TSAP＝TDEC。这可映射到DASH中的SAP类型4，例如如下所示：TEPT<＝TPFT<TDEC＝TSAP。
图40是示出了具有3个可丢弃的块的HE-ACC音频接入点的示例4000的图示。解码器可解码和丢弃多于一个(例如3个)的头(leading)块4001。这可被执行以用于到HE-AAC编解码器的切换，其中AAC编码器可以采样速率的一半运行，和/或可使用额外数据来启用(kick-in)SBR工具。例如，如果3个块4001被解码和丢弃，则从核心AAC编解码器的观点来看，第二和第三个块可被认为是被正确解码的，但是对于全频谱重构，TSAP可被设置成类型6DASH SAP。例如，DASH中的类型6SAP可以以下为特征：TEPT<TDEC<TSAP，其可不与使用它的数据类型或装置相关联。
SAP点声明(declaration)可被用于可切换的音频流。例如，对于MDCT核心AAC、Dolby AC3和/或MP3编解码器，SAP可被定义为SAP类型4点。例如，对于HE-AAC、AAC-ELD、MPEG环绕声、MPEG SAOC和/或MPEG USAC编解码器，SAP可被定义为SAP类型6点。例如，对于新的SAP类型(例如SAP类型“0”)可被定义以用于音频编解码器。新的SAP类型可以以下为特征：TEPT<＝TPFT<TDEC<＝TSAP。例如，如果TDEC<TSAP，则附加的参数可被用来定义点之间的距离。例如，新SAP类型(例如类型0)的使用可不涉及简档的改变，例如因为DASH中的大多数简档支持类型<＝3的SAP。
可实施音频流之间的无缝流切换。如果SAP类型被正确定义，分段的连锁在回放期间可能不产生最佳的用户体验。编解码器或采样率的改变在回放期间可体现在点击(click)上。为了避免这样的点击，客户端(例如DASH客户端)可实施解码和/或交叉衰减操作，例如类似于以上参考视频切换描述的那些。
图41是示出了用于在H-L过渡中对音频流进行交叉衰减的***4100的示例的图示。图41的***4100可根据下式在H到L过渡上执行音频的交叉衰减：
z＝α(t)L+[1–α(t)]H。
图42是示出了用于在L到H过渡中对音频流进行交叉衰减的***4200的示例的图示。图42的***4200可根据下式在H到L过渡上执行音频的交叉衰减：
z＝α(t)H+[1–α(t)]L。
虽然以上参考编码或解码的其中之一描述了一些实施，但本领域的普通技术人员将理解，这些实施可被用于对媒体内容的流进行编码和解码两者。尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独地使用，或与其它特征和元素进行任意组合。此外，在此描述的方法可在包括在由计算机或处理器执行的计算机可读介质中的计算机程序、软件或固件中实现。计算机可读介质的示例包括电信号(通过有线或无线连接传送)和计算机可读存储介质。计算机可读存储介质的示例包括但不限制为只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储器设备、诸如内部硬盘和可移除磁盘之类的磁介质、磁光介质和诸如CD-ROM盘和数字通用盘(DVD)之类的光介质。与软件相关联的处理器可用来实施在WTRU、UE、终端、基站、RNC或任何主计算机中使用的射频收发信机。

Claims (32)

1.一种执行媒体内容的平滑流切换的方法，该方法包括：
接收所述媒体内容的第一编码数据流，该第一编码数据流以第一信噪比(SNR)为特征；
接收所述媒体内容的第二编码数据流，该第二编码数据流以第二SNR为特征；
使用以所述第一SNR为特征的所述第一编码数据流的帧和以所述第二SNR为特征的所述第二编码数据流的帧中的至少一者来生成过渡帧，所述过渡帧以在所述第一SNR与所述第二SNR之间的一个或多个SNR值为特征。
2.根据权利要求1所述的方法，该方法还包括：
显示所述第一编码数据流的一个或多个帧；
显示所述过渡帧；以及
显示所述第二编码数据流的一个或多个帧。
3.根据权利要求1所述的方法，其中生成所述过渡帧包括：
使用以所述第二SNR为特征的帧交叉衰减以所述第一SNR为特征的帧，以生成所述过渡帧。
4.根据权利要求3所述的方法，其中交叉衰减包括：
计算以所述第一SNR为特征的帧和以所述第二SNR为特征的帧的加权平均，以生成所述过渡帧，其中所述加权平均随时间改变。
5.根据权利要求3所述的方法，其中所述过渡帧以过渡时间间隔为特征，并且其中交叉衰减包括：
通过将第一权重施加给以所述第一SNR为特征的帧和将第二权重施加给以所述第二SNR为特征的帧来计算以所述第一SNR为特征的帧和以所述第二SNR为特征的帧的加权平均；以及
其中所述第一权重和所述第二权重中的至少一者随所述过渡时间间隔改变。
6.根据权利要求3所述的方法，其中所述交叉衰减使用所述第一数据流与所述第二编码数据流之间的线性过渡来被执行。
7.根据权利要求3所述的方法，其中所述交叉衰减使用所述第一数据流与所述第二编码数据流之间的非线性过渡来被执行。
8.根据权利要求3所述的方法，其中所述第一编码数据流和第二编码数据流包括所述媒体内容的重叠帧；以及
其中使用以所述第二SNR为特征的帧交叉衰减以所述第一SNR为特征的帧以生成所述过渡帧包括对所述第一编码数据流和所述第二编码数据流的所述重叠帧进行交叉衰减，以生成所述过渡帧。
9.根据权利要求8所述的方法，其中所述重叠帧以所述第一编码数据流的对应帧和所述第二编码数据流的对应帧为特征，并且其中所述重叠帧以重叠时间间隔为特征。
10.根据权利要求9所述的方法，该方法还包括：
在所述重叠时间间隔之前显示所述第一编码数据流的一个或多个帧；
在所述重叠时间间隔期间显示所述过渡帧；以及
在所述重叠时间间隔之后显示所述第二编码数据流的一个或多个帧；
其中所述第一编码数据流的所述一个或多个帧以在所述重叠时间间隔之前的时间为特征，以及所述第二编码数据流的所述一个或多个帧以在所述重叠时间间隔之后的时间为特征。
11.根据权利要求3所述的方法，该方法还包括：
对所述第一编码数据流的帧的子集进行转码以生成以所述第二SNR为特征的对应帧；以及
其中使用以所述第二SNR为特征的帧交叉衰减以所述第一SNR为特征的帧以生成所述过渡帧包括使用以所述第二SNR为特征的所述对应帧交叉衰减所述第一编码数据流的帧的所述子集，以生成所述过渡帧。
12.根据权利要求1所述的方法，其中所述过渡帧以过渡时间间隔为特征，并且其中生成所述过渡帧包括：
使用以随所述过渡时间间隔改变的截止频率为特征的低通滤波器对以所述第一SNR为特征的帧进行滤波，以生成所述过渡帧。
13.根据权利要求1所述的方法，其中生成所述过渡帧包括：
使用一个或多个步长来转换和量化以所述第一SNR为特征的帧，以生成所述过渡帧。
14.根据权利要求1所述的方法，其中所述第一SNR大于所述第二SNR。
15.根据权利要求1所述的方法，其中所述第一SNR小于所述第二SNR。
16.根据权利要求1所述的方法，其中所述媒体内容包括视频。
17.一种无线发射/接收单元(WTRU)，该WTRU包括：
处理器，被配置为：
接收所述媒体内容的第一编码数据流，该第一编码数据流以第一信噪比(SNR)为特征；
接收所述媒体内容的第二编码数据流，该第二编码数据流以第二SNR为特征；
使用以所述第一SNR为特征的所述第一编码数据流的帧和以所述第二SNR为特征的所述第二编码数据流的帧中的至少一者来生成过渡帧，所述过渡帧以在所述第一SNR与所述第二SNR之间的一个或多个SNR值为特征。
18.根据权利要求17所述的WTRU，其中所述处理器还被配置为：
显示所述第一编码数据流的一个或多个帧；
显示所述过渡帧；以及
显示所述第二编码数据流的一个或多个帧。
19.根据权利要求17所述的WTRU，其中所述处理器被配置为生成所述过渡帧包括：所述处理器被配置为使用以所述第二SNR为特征的帧交叉衰减以所述第一SNR为特征的帧以生成所述过渡帧。
20.根据权利要求19所述的WTRU，其中所述处理器被配置为使用以所述第二SNR为特征的帧交叉衰减以所述第一SNR为特征的帧以生成所述过渡帧包括：所述处理器被配置为计算以所述第一SNR为特征的帧和以所述第二SNR为特征的帧的加权平均以生成所述过渡帧，其中所述加权平均随时间改变。
21.根据权利要求19所述的WTRU，其中所述过渡帧以过渡时间间隔为特征，并且其中所述处理器被配置为使用以所述第二SNR为特征的帧交叉衰减以所述第一SNR为特征的帧以生成所述过渡帧包括：
所述处理器被配置为通过将第一权重施加给以所述第一SNR为特征的帧和将第二权重施加给以所述第二SNR为特征的帧来计算以所述第一SNR为特征的帧和以所述第二SNR为特征的帧的加权平均；以及
其中所述第一权重和所述第二权重中的至少一者随所述过渡时间间隔改变。
22.根据权利要求19所述的WTRU，其中所述交叉衰减使用所述第一数据流与所述第二编码数据流之间的线性过渡来被执行。
23.根据权利要求19所述的WTRU，其中所述交叉衰减使用所述第一数据流与所述第二编码数据流之间的非线性过渡来被执行。
24.根据权利要求19所述的WTRU，其中所述第一编码数据流和第二编码数据流包括所述媒体内容的重叠帧；以及
其中所述处理器被配置为使用以所述第二SNR为特征的帧交叉衰减以所述第一SNR为特征的帧以生成所述过渡帧包括：所述处理器被配置为对所述第一编码数据流和所述第二编码数据流的所述重叠帧进行交叉衰减以生成所述过渡帧。
25.根据权利要求24所述的WTRU，其中所述重叠帧以所述第一编码数据流的对应帧和所述第二编码数据流的对应帧为特征，并且其中所述重叠帧以重叠时间间隔为特征。
26.根据权利要求25所述的WTRU，其中所述处理器还被配置为：
在所述重叠时间间隔之前显示所述第一编码数据流的一个或多个帧；
在所述重叠时间间隔期间显示所述过渡帧；以及
在所述重叠时间间隔之后显示所述第二编码数据流的一个或多个帧；
其中所述第一编码数据流的所述一个或多个帧以在所述重叠时间间隔之前的时间为特征，以及所述第二编码数据流的所述一个或多个帧以在所述重叠时间间隔之后的时间为特征。
27.根据权利要求19所述的WTRU，其中所述处理器还被配置为：
对所述第一编码数据流的帧的子集进行转码以生成以所述第二SNR为特征的对应帧；以及
其中所述处理器被配置为使用以所述第二SNR为特征的帧交叉衰减以所述第一SNR为特征的帧以生成所述过渡帧包括：所述处理器被配置为使用以所述第二SNR为特征的所述对应帧交叉衰减所述第一编码数据流的帧的所述子集以生成所述过渡帧。
28.根据权利要求17所述的WTRU，其中所述过渡帧以过渡时间间隔为特征，并且其中所述处理器被配置为生成所述过渡帧包括：所述处理器被配置为使用以随所述过渡时间间隔改变的截止频率为特征的低通滤波器对以所述第一SNR为特征的帧进行滤波以生成所述过渡帧。
29.根据权利要求17所述的WTRU，其中所述处理器被配置为生成所述过渡帧包括：所述处理器被配置为使用一个或多个步长来转换和量化以所述第一SNR为特征的帧以生成所述过渡帧。
30.根据权利要求17所述的WTRU，其中所述第一SNR大于所述第二SNR。
31.根据权利要求17所述的WTRU，其中所述第一SNR小于所述第二SNR。
32.根据权利要求17所述的WTRU，其中所述媒体内容包括视频。
CN201380021964.8A 2012-04-24 2013-04-23 用于mpeg/3gpp-dash中平滑流切换的方法和装置 Pending CN104509119A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261637777P 2012-04-24 2012-04-24
US61/637,777 2012-04-24
PCT/US2013/037855 WO2013163224A1 (en) 2012-04-24 2013-04-23 Method and apparatus for smooth stream switching in mpeg/3gpp-dash

Publications (1)

Publication Number Publication Date
CN104509119A true CN104509119A (zh) 2015-04-08

Family

ID=48325920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380021964.8A Pending CN104509119A (zh) 2012-04-24 2013-04-23 用于mpeg/3gpp-dash中平滑流切换的方法和装置

Country Status (7)

Country Link
US (1) US20130282917A1 (zh)
EP (1) EP2842338A1 (zh)
JP (2) JP2015518350A (zh)
KR (2) KR101622785B1 (zh)
CN (1) CN104509119A (zh)
TW (1) TWI605699B (zh)
WO (1) WO2013163224A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106657680A (zh) * 2017-03-10 2017-05-10 广东欧珀移动通信有限公司 一种移动终端帧率的控制方法、装置及移动终端
WO2018058993A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种视频数据的处理方法及装置
CN109076252A (zh) * 2016-02-16 2018-12-21 弗劳恩霍夫应用研究促进协会 高效自适应流传输
CN110071765A (zh) * 2019-04-29 2019-07-30 上海师范大学 自由光通信、射频和可见光通信三跳中继通信方法及装置
CN113630572A (zh) * 2021-07-09 2021-11-09 荣耀终端有限公司 帧率切换方法和相关装置
CN114946192A (zh) * 2020-01-15 2022-08-26 杜比国际公司 利用比特率切换自适应流式传输媒体内容
WO2022222713A1 (zh) * 2021-04-20 2022-10-27 华为技术有限公司 一种编解码器协商与切换方法

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US10165286B2 (en) * 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US9607655B2 (en) 2010-02-17 2017-03-28 JBF Interlude 2009 LTD System and method for seamless multimedia assembly
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
CA2813859C (en) * 2010-10-06 2016-07-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an audio signal and for providing a higher temporal granularity for a combined unified speech and audio codec (usac)
US8930559B2 (en) * 2012-06-01 2015-01-06 Verizon Patent And Licensing Inc. Adaptive hypertext transfer protocol (“HTTP”) media streaming systems and methods
US9125073B2 (en) 2012-08-03 2015-09-01 Intel Corporation Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9386062B2 (en) 2012-12-28 2016-07-05 Qualcomm Incorporated Elastic response time to hypertext transfer protocol (HTTP) requests
CN105191409B (zh) * 2013-03-14 2018-10-16 交互数字专利控股公司 用于选择用于接收内容的分布式网关的wtru及方法
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
US9419737B2 (en) 2013-03-15 2016-08-16 Concio Holdings LLC High speed embedded protocol for distributed control systems
US8953452B2 (en) * 2013-05-16 2015-02-10 Cisco Technology, Inc. Enhancing performance of rapid channel changes and other playback positioning changes in adaptive streaming
US9973559B2 (en) 2013-05-29 2018-05-15 Avago Technologies General Ip (Singapore) Pte. Ltd. Systems and methods for presenting content streams to a client device
US9071798B2 (en) 2013-06-17 2015-06-30 Spotify Ab System and method for switching between media streams for non-adjacent channels while providing a seamless user experience
US9832516B2 (en) 2013-06-19 2017-11-28 JBF Interlude 2009 LTD Systems and methods for multiple device interaction with selectably presentable media streams
US10097604B2 (en) 2013-08-01 2018-10-09 Spotify Ab System and method for selecting a transition point for transitioning between media streams
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
WO2015040559A1 (en) 2013-09-17 2015-03-26 Telefonaktiebolaget L M Ericsson (Publ) Dash representations adaptations in network
US9529888B2 (en) 2013-09-23 2016-12-27 Spotify Ab System and method for efficiently providing media and associated metadata
US9917869B2 (en) 2013-09-23 2018-03-13 Spotify Ab System and method for identifying a segment of a file that includes target content
US9530454B2 (en) 2013-10-10 2016-12-27 JBF Interlude 2009 LTD Systems and methods for real-time pixel switching
US9063640B2 (en) 2013-10-17 2015-06-23 Spotify Ab System and method for switching between media items in a plurality of sequences of media items
GB2520292A (en) 2013-11-14 2015-05-20 Snell Ltd Method and apparatus for processing a switched audio signal
MX2016006798A (es) * 2013-11-27 2016-11-28 Interdigital Patent Holdings Inc Descripcion de medios de presentacion.
CN103702137A (zh) * 2013-12-23 2014-04-02 乐视网信息技术（北京）股份有限公司 在转码任务处理过程中生成统计数据的方法和***
US9641898B2 (en) 2013-12-24 2017-05-02 JBF Interlude 2009 LTD Methods and systems for in-video library
US9520155B2 (en) 2013-12-24 2016-12-13 JBF Interlude 2009 LTD Methods and systems for seeking to non-key frames
US9792026B2 (en) 2014-04-10 2017-10-17 JBF Interlude 2009 LTD Dynamic timeline for branched video
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
WO2016014852A1 (en) 2014-07-23 2016-01-28 Sonic Ip, Inc. Systems and methods for streaming video games using gpu command streams
JP6258168B2 (ja) * 2014-09-12 2018-01-10 株式会社東芝 配信装置、再生装置および配信システム
KR101605773B1 (ko) * 2014-09-25 2016-04-01 현대자동차주식회사 단말 장치, 그를 가지는 차량 및 단말 장치의 제어 방법
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) * 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US20160248829A1 (en) * 2015-02-23 2016-08-25 Qualcomm Incorporated Availability Start Time Adjustment By Device For DASH Over Broadcast
US10715574B2 (en) 2015-02-27 2020-07-14 Divx, Llc Systems and methods for frame duplication and frame extension in live video encoding and streaming
US9973562B2 (en) * 2015-04-17 2018-05-15 Microsoft Technology Licensing, Llc Split processing of encoded video in streaming segments
US9672868B2 (en) 2015-04-30 2017-06-06 JBF Interlude 2009 LTD Systems and methods for seamless media creation
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
CN106686036A (zh) * 2015-11-10 2017-05-17 中兴通讯股份有限公司 多媒体数据下载方法、客户端、服务器及***
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US20170178590A1 (en) * 2015-12-22 2017-06-22 Vallabhajosyula S. Somayazulu Wireless Display Sink Device
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
JP2017157903A (ja) 2016-02-29 2017-09-07 富士ゼロックス株式会社 情報処理装置
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
US10346126B2 (en) 2016-09-19 2019-07-09 Qualcomm Incorporated User preference selection for audio encoding
WO2018079293A1 (ja) * 2016-10-27 2018-05-03 ソニー株式会社 情報処理装置および方法
US10355798B2 (en) 2016-11-28 2019-07-16 Microsoft Technology Licensing, Llc Temporally correlating multiple device streams
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US20190387271A1 (en) * 2017-01-30 2019-12-19 Sony Corporation Image processing apparatus, image processing method, and program
WO2018139285A1 (ja) * 2017-01-30 2018-08-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2018139284A1 (ja) * 2017-01-30 2018-08-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN110214448A (zh) * 2017-01-31 2019-09-06 索尼公司 信息处理装置和方法
JP6247782B1 (ja) * 2017-02-15 2017-12-13 パナソニック株式会社 端末装置、映像配信システムおよび映像配信方法
CN115766679A (zh) * 2017-03-23 2023-03-07 Vid拓展公司 改进用于360度自适应流传输的体验的度量和消息
WO2018189901A1 (ja) 2017-04-14 2018-10-18 Ykk株式会社 めっき材及びその製造方法
JP6277318B1 (ja) * 2017-10-10 2018-02-07 パナソニック株式会社 端末装置、映像配信システムおよび映像配信方法
JP6271072B1 (ja) * 2017-10-10 2018-01-31 パナソニック株式会社 端末装置、映像配信システムおよび映像配信方法
JP6993869B2 (ja) * 2017-12-25 2022-01-14 古野電気株式会社 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
BR112021003104A2 (pt) 2018-08-21 2021-05-11 Dolby International Ab métodos, aparelho e sistemas para geração, transporte e processamento de quadros de reprodução imediata (ipfs)
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10965945B2 (en) * 2019-03-29 2021-03-30 Bitmovin, Inc. Optimized multipass encoding
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US20220394076A1 (en) * 2019-11-08 2022-12-08 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for transmitting real-time media stream
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
WO2021201307A1 (ko) * 2020-03-30 2021-10-07 엘지전자 주식회사 차량에 의해 기록되는 비디오를 전송하는 방법 및 장치
US12047637B2 (en) 2020-07-07 2024-07-23 JBF Interlude 2009 LTD Systems and methods for seamless audio and video endpoint transitions
CN111935436B (zh) * 2020-09-15 2021-02-19 杭州盖视科技有限公司 多视频流在播放端的无缝切换方法与***
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
US11632413B1 (en) * 2022-07-18 2023-04-18 Rovi Guides, Inc. Methods and systems for streaming media content

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005099271A1 (en) * 2004-04-06 2005-10-20 Koninklijke Philips Electronics N.V. Device and method for receiving video data
CN1691781A (zh) * 2002-10-24 2005-11-02 佳能株式会社 分层编码、解码时的分辨率变换
CN1707669A (zh) * 2004-02-24 2005-12-14 索尼株式会社 再现装置和再现方法
CN1722838A (zh) * 2004-07-15 2006-01-18 三星电子株式会社 使用基础层的可伸缩性视频编码方法和设备
CN101133649A (zh) * 2005-12-07 2008-02-27 索尼株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
CN101138248A (zh) * 2005-12-07 2008-03-05 索尼株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
CN101237303A (zh) * 2007-01-30 2008-08-06 华为技术有限公司 数据传送的方法、***以及发送机、接收机
US20080232459A1 (en) * 2007-03-19 2008-09-25 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
WO2009149100A1 (en) * 2008-06-06 2009-12-10 Amazon Technologies, Inc. Client side stream switching
US20100026722A1 (en) * 2006-12-18 2010-02-04 Tetsujiro Kondo Display control apparatus display control method, and program
WO2010100089A1 (en) * 2009-03-02 2010-09-10 Thomson Licensing Method and device for displaying a sequence of pictures
US20110137660A1 (en) * 2009-12-08 2011-06-09 Skype Limited Encoding and decoding speech signals
US20110176496A1 (en) * 2010-01-15 2011-07-21 Roy Rabinda K On-the-fly video quality switching for video distribution networks and methods therefor

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07288444A (ja) * 1994-04-18 1995-10-31 Sony Corp 信号処理装置
JP2001204029A (ja) * 1999-08-25 2001-07-27 Matsushita Electric Ind Co Ltd ノイズ検出方法、ノイズ検出装置及び画像復号化装置
US6748113B1 (en) * 1999-08-25 2004-06-08 Matsushita Electric Insdustrial Co., Ltd. Noise detecting method, noise detector and image decoding apparatus
JP3596770B2 (ja) * 2001-12-28 2004-12-02 ソニー株式会社 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
JP2006237656A (ja) * 2003-02-28 2006-09-07 Secom Co Ltd 符号化信号分離・合成装置、差分符号化信号生成装置、差分符号化信号抽出装置、符号化信号分離・合成方法、符号化信号分離・合成プログラム
KR101050858B1 (ko) * 2003-06-16 2011-07-20 톰슨 라이센싱 압축된 비디오의 고속 채널 변경을 가능하게 하기 위한디코딩 방법 및 장치
CN101536524B (zh) * 2006-11-15 2012-06-13 高通股份有限公司 用于使用信道切换帧的应用的***和方法
JP4795208B2 (ja) * 2006-11-28 2011-10-19 キヤノン株式会社 画像処理装置及び方法
JP2009206694A (ja) * 2008-02-27 2009-09-10 Pioneer Electronic Corp 受信装置、受信方法、受信プログラムおよび受信プログラムを格納した記録媒体
US20110013766A1 (en) * 2009-07-15 2011-01-20 Dyba Roman A Method and apparatus having echo cancellation and tone detection for a voice/tone composite signal
CA2782775A1 (en) * 2009-12-22 2011-07-21 Delta Vidyo, Inc. System and method for interactive synchronized video watching
US8918533B2 (en) * 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
CN103141115B (zh) * 2010-10-05 2016-07-06 瑞典爱立信有限公司 用于媒体流传送的客户端、内容创建器实体及其方法
WO2012046487A1 (ja) * 2010-10-05 2012-04-12 シャープ株式会社 コンテンツ再生装置、コンテンツ配信システム、コンテンツ再生装置の同期方法、制御プログラム、および、記録媒体
US10078695B2 (en) * 2011-04-11 2018-09-18 Evertz Microsystems Ltd. Methods and systems for network based video clip generation and management

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1691781A (zh) * 2002-10-24 2005-11-02 佳能株式会社 分层编码、解码时的分辨率变换
CN1707669A (zh) * 2004-02-24 2005-12-14 索尼株式会社 再现装置和再现方法
WO2005099271A1 (en) * 2004-04-06 2005-10-20 Koninklijke Philips Electronics N.V. Device and method for receiving video data
CN1722838A (zh) * 2004-07-15 2006-01-18 三星电子株式会社 使用基础层的可伸缩性视频编码方法和设备
CN101133649A (zh) * 2005-12-07 2008-02-27 索尼株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
CN101138248A (zh) * 2005-12-07 2008-03-05 索尼株式会社 编码装置、编码方法、编码程序、解码装置、解码方法和解码程序
US20100026722A1 (en) * 2006-12-18 2010-02-04 Tetsujiro Kondo Display control apparatus display control method, and program
CN101237303A (zh) * 2007-01-30 2008-08-06 华为技术有限公司 数据传送的方法、***以及发送机、接收机
US20080232459A1 (en) * 2007-03-19 2008-09-25 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
WO2009149100A1 (en) * 2008-06-06 2009-12-10 Amazon Technologies, Inc. Client side stream switching
WO2010100089A1 (en) * 2009-03-02 2010-09-10 Thomson Licensing Method and device for displaying a sequence of pictures
US20110137660A1 (en) * 2009-12-08 2011-06-09 Skype Limited Encoding and decoding speech signals
US20110176496A1 (en) * 2010-01-15 2011-07-21 Roy Rabinda K On-the-fly video quality switching for video distribution networks and methods therefor

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076252A (zh) * 2016-02-16 2018-12-21 弗劳恩霍夫应用研究促进协会 高效自适应流传输
CN109076252B (zh) * 2016-02-16 2022-07-01 弗劳恩霍夫应用研究促进协会 使用自适应流传输协议取回视频的设备及其方法
WO2018058993A1 (zh) * 2016-09-30 2018-04-05 华为技术有限公司 一种视频数据的处理方法及装置
CN106657680A (zh) * 2017-03-10 2017-05-10 广东欧珀移动通信有限公司 一种移动终端帧率的控制方法、装置及移动终端
WO2018161572A1 (zh) * 2017-03-10 2018-09-13 广东欧珀移动通信有限公司 移动终端帧率的控制方法、装置、存储介质及电子设备
CN110071765A (zh) * 2019-04-29 2019-07-30 上海师范大学 自由光通信、射频和可见光通信三跳中继通信方法及装置
CN114946192A (zh) * 2020-01-15 2022-08-26 杜比国际公司 利用比特率切换自适应流式传输媒体内容
US11997339B2 (en) 2020-01-15 2024-05-28 Dolby International Ab Adaptive streaming of media content with bitrate switching
WO2022222713A1 (zh) * 2021-04-20 2022-10-27 华为技术有限公司 一种编解码器协商与切换方法
CN113630572A (zh) * 2021-07-09 2021-11-09 荣耀终端有限公司 帧率切换方法和相关装置

Also Published As

Publication number Publication date
EP2842338A1 (en) 2015-03-04
JP6378260B2 (ja) 2018-08-22
US20130282917A1 (en) 2013-10-24
TW201414254A (zh) 2014-04-01
TWI605699B (zh) 2017-11-11
JP2017005725A (ja) 2017-01-05
KR101622785B1 (ko) 2016-05-20
KR20150004394A (ko) 2015-01-12
KR20160063405A (ko) 2016-06-03
JP2015518350A (ja) 2015-06-25
WO2013163224A1 (en) 2013-10-31

Similar Documents

Publication Publication Date Title
CN104509119A (zh) 用于mpeg/3gpp-dash中平滑流切换的方法和装置
US11516485B2 (en) Power aware video decoding and streaming
US10880349B2 (en) Quality-driven streaming
KR102266325B1 (ko) 비디오 품질 향상
US8903955B2 (en) Systems and methods for intelligent video delivery and cache management
US10038927B2 (en) Out-of-band signaling and device-based content control
US9042449B2 (en) Systems and methods for dynamic transcoding of indexed media file formats

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150408

WD01 Invention patent application deemed withdrawn after publication