CN102160375B - 使用可扩展视频编码的数字线性tv节目的递送方法 - Google Patents

使用可扩展视频编码的数字线性tv节目的递送方法 Download PDF

Info

Publication number
CN102160375B
CN102160375B CN200980136406.XA CN200980136406A CN102160375B CN 102160375 B CN102160375 B CN 102160375B CN 200980136406 A CN200980136406 A CN 200980136406A CN 102160375 B CN102160375 B CN 102160375B
Authority
CN
China
Prior art keywords
layer
data cell
ground floor
data
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980136406.XA
Other languages
English (en)
Other versions
CN102160375A (zh
Inventor
陆秀屏
夏米蒙·曼娜里路迪·安德路
大卫·安东尼·卡姆帕娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42039783&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102160375(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102160375A publication Critical patent/CN102160375A/zh
Application granted granted Critical
Publication of CN102160375B publication Critical patent/CN102160375B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4623—Processing of entitlement messages, e.g. ECM [Entitlement Control Message] or EMM [Entitlement Management Message]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/122—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种线性TV节目的递送装置使用了SVC，其中经编码的增强层视频数据被预先下载到STB，并且在观看时，经编码的基本层视频数据被现场广播到STB。增强层数据的预先下载是在非高峰观看时段期间进行的，这利用了网络带宽的冗余，同时通过仅广播基本层数据而降低了高峰观看时段的带宽需求。增强层数据被下载在被修改的MP4文件中并被存储在STB中，以便稍后与基本层同步与组合，其中基本层以实时协议(RTP)流的形式被发送到STB。所组合的基本和增强层数据被进行SVC解码以便呈现给最终用户。预先下载的增强视频文件可被设置数字权限管理(DRM)保护，从而提供对增强型视频的有条件访问。

Description

使用可扩展视频编码的数字线性TV节目的递送方法
相关申请
本申请依据35 U.S.C.§119(e)要求2008年9月16日递交的美国临时申请No.61/097,531的优先权，该临时申请的全部内容针对所有目的通过引用由此被结合到本申请中。
技术领域
本发明一般涉及数据通信***，更具体地，涉及视频数据的递送。
背景技术
在现有线性数字电视(TV)递送***中，存在限制最终用户终端(end-user terminal)可获得的TV节目总数的带宽约束。随着高清TV节目越来越普遍，该带宽约束越来越引人注目。随着越来越多的诸如高清(HD)节目之类的带宽密集型内容对黄金时段观众的竞争，高峰时的可用带宽可能成为瓶颈。
在一天中，典型的TV广播服务将经历变化巨大的带宽需求。例如，带宽需求通常在工作日的下午6点至11点和周末的上午10点到下午11点达到高峰。高峰时，大部分(如果不是所有)可用带宽被利用，在某些情况下甚至会不足。然而在其他非高峰时候，可用带宽通常会有剩余。
因此，在非高峰时的带宽可能未被充分利用的同时，高峰时期可能没有足够的带宽可用，来满足最终用户对于标清(SD)和高清(HD)TV节目的需求。
发明内容
在根据本发明原理的示例性实施例中，使用可扩展视频编码(SVC)的递送方法将高峰时带宽密集型视频的递送移至非高峰时间窗口。先前未被充分利用的非高峰时带宽被有利地使用，以便以很少的网络升级成本或无网络升级成本地改进总体递送效率。
具体地，由SVC编码器产生的视频比特流包含一个基本层和一个或多个增强层。在根据本发明原理的示例性实施例中，通常以较低比特率、较低帧率和较低的视频质量来编码的基本层视频流被现场广播到或流到最终用户终端，而一个或多个增强层视频流在播放前非高峰时间被渐进地下载到最终用户终端。
根据本发明的递送方法可以用于线性TV服务以减少高峰时期的带宽消耗。另外，基本层视频可作为基础服务被处理，而增强层视频可因其更高的视频质量而作为优质服务被处理。数字权限管理(DRM)等可被采用，以控制对增强层视频的访问。
鉴于上文，并且通过阅读详细说明书可以明了，其他实施例和特征也是可以的，并且落入本发明的原理内。
附图说明
现在仅以示例方式并参考附图来描述根据本发明的实施例的设备和/或方法的一些实施例，附图中：
图1是典型的视频递送环境的框图；
图2是根据本发明原理的示例性视频递送***的框图；
图3A、3B和3C示出包含SVC增强层视频信息的媒体容器文件的示例性格式；
图4示出用于携带SVC基本层视频信息的分组流的示例性格式；
图5示出在本发明的示例性实施例中的接收设备的操作的示例性方法的流程图；并且
图6例示了被流传输的基本层数据与预先下载的增强层数据的同步。
具体实施方式
不同于发明概念，图中所示要素是公知的，将不被详细描述。例如，不同于发明概念，对电视广播、接收器和视频编码的熟悉被假定，并且在此不被详细描述。例如，不同于发明概念，对于诸如NTSC(国家电视***委员会)、PAL(逐行倒相)、SECAM(顺序传送与存储)和ATSC(高级电视***委员会)(ATSC)、中国数字电视***(GB)20600-2006和DVB-H之类的针对TV标准的目前的和建议的推荐标准的熟悉被假定。同样地，不同于发明概念，对于诸如八阶残留边带(8-VSB)、正交幅度调制(QAM)之类的其他传输概念和诸如射频(RF)前端(如低噪声块、调谐器、下变频器等)、解调器、相关器、泄漏积分器(leakintegrator)和平方器之类的接收器组件的熟悉被假定。此外，不同于发明概念，对于诸如因特网协议(IP)、实时传输协议(RTP)、RTP控制协议(RTCP)、用户数据报协议(UDP)之类的协议的熟悉被假定并且在此不被描述。类似地，不同于发明概念，对于诸如运动图片专家组(MPEG)-2***标准(ISO/IEC 13818-1)、H.264高级视频编码(AVC)和可扩展视频编码(SVC)之类的格式化和编码方法的熟悉被假定并且在此不被描述。还应注意，发明概念可使用在这里同样不被描述的传统编程技术来实现。最后，图中的相同号码表示相似的要素。
大多数TV节目目前在如图1所描绘的***中被递送。在所描绘的***100中，高级视频编码(AVC)/MPEG-2编码器110接收例如表示TV节目的视频信号101，并生成现场(live)广播信号125以分发给一个或多个由STB 150表示的机顶盒(STB)。后者随后对接收到的现场广播信号125进行解码并将诸如高清(HD)或标清(SD)视频之类的视频信号165提供给诸如TV之类的显示设备170以便显示给用户。STB 150生成视频信号165所需的全部信息经由信号125被现场广播。信号125可通过包括有线或无线通信信道在内的任何适当的手段来传送。
图2描绘了根据本发明原理的示例性***200，其中经编码的视频使用诸如可扩展视频编码(SVC)之类的高级编码技术从视频服务器210被递送到诸如STB 250之类的最终用户终端。基于视频信号201，服务器210的SVC编码器212生成至少两个空间上可扩展的视频层流：较低比特率的具有SD分辨率的一个基本层流(base layer stream)和较高比特率的具有HD分辨率的一个增强层流(enhancement layer stream)。视频信号201例如表示HD TV节目。SVC基本和增强层分别经由流224和226被传送到STB 250。虽然这里在空间可扩展性(例如，SD vs.HD)方面示出，但是本发明的原理同样可应用于SVC可扩展性的时间和质量模式。
如本发明所考虑的，不同的SVC层在不同时间被递送到最终用户终端。在示例性实施例中，SVC增强层流226在非高峰时段期间被发送到STB 250而相应的基本层流224在观看时，即当视频信号265由STB 250生成以被显示设备270显示给最终用户时，被发送到STB 250。考虑了观看时间可能出现在一天中的任意时间，包括高峰带宽需求时段期间。
增强层流226可在编码时被发送到STB 250，而在时间上较后被发送的基本层流224将被存储在例如存储装置213中，并在观看时被从存储装置读出以发送至STB 250。作为替代，视频信号210可在观看时被重放并再次编码，基本层流224像其被编码器212生成时那样被发送，从而消除存储装置213。虽然未示出，但是增强层流226也可在其生成之后被存储并在其被发送到STB 250时被从存储装置读出。任何适于存储和读出的装置都可用于流224和/或226。
不同层的视频流224、226可使用不同的传输机制(例如，文件下载、流传输(streaming)等)来递送，只要诸如STB 250之类的最终用户终端能够重新同步并组合不同的视频流以供SVC解码即可。另外，虽然被例示为分离的流，但是流224和226可使用相同的或不同的物理信道和相关联的物理层设备来从服务器210传输到STB 250。在示例性实施例中，流224和226还可从不同的服务器被发送。
STB 250重新同步并组合两个流以供解码并且从中生成视频265以被显示设备270呈现。考虑了视频信号265在基本层流224被STB 250接收时被生成。如所讨论的，增强层流226将在比基本层流224早的时间被接收，这种情况下，在是时候在255处组合两个流以供SVC解码器259进行解码之前，增强层流226将被存储在存储器257中。通常，增强层流226在基本层流224的任何数据都已被接收之前被完全地存储。
在示例性实施例中，增强层流226被格式化为诸如MP4文件等之类的媒体容器(container)文件，该文件保存每个视频帧的解码定时信息。服务器210的文件写入器块216将由SVC编码器212生成的增强层流格式化到所述媒体容器文件中。该文件被下载到STB 250并在256处被存储。解码时或解码前不久，STB 250的文件读取器块256提取所下载的媒体容器文件中包含的增强层视频数据和相关联的定时信息。文件写入器216和文件读取器256的操作在下面参考被修改的MP4文件结构来更详细地描述。
当信号201所表示的TV节目被安排上演时，基本层视频流224经由现场广播、网络流传输等被广播到多个诸如STB 250之类的接收设备。在示例性实施例中，基本层视频流224的广播是利用实时协议(RTP)流传输来执行的。RTP在头部中提供可用来将基本层流224与上述媒体容器文件中的增强层数据进行同步的时间信息。在服务器210处，分组器(packetizer)214将SVC基本层格式化到RTP分组中以被流传输至STB250。在STB 250处，拆分组器(de-packetizer)254从接收的基本层RTP分组流224中提取基本层视频数据和定时信息以供块255进行与增强层的同步和组合。分组器214和拆分组器254的操作在下面参考例示性RTP分组结构来更详细地描述。
增强层文件可具有数字权限管理(DRM)保护。使用对增强层视频的有条件访问，可以将被增强的视频提供为基本层视频的优质附加服务(premium add-on service)。例如，HD节目可经由对增强层的有条件访问而被提供，而SD节目可经由对基本层的访问被提供给所有订户。对于那些订阅了HD节目的订户，一个或多个增强层文件将被预先下载到他们的STB，以用于稍后要观看的一个或多个HD节目的部分或全部。每个增强层文件可包含用于一个或多个HD节目或HD节目的部分的数据。基于指示符等，未订阅HD节目的用户可以或不可以接收增强层数据文件或者可以接收文件但不能对其进行存储或解密。指示符例如可基于与用户的接口来设置，例如用户成功地输入了口令或访问代码或者将智能卡***到他们的STB中，还有其他可能性。如果增强层文件具有DRM保护并且已使得STB 250能够对其进行解密，则这种解密发生在258并且解密后的增强层数据随后被提供给文件读取器256。作为替代，解密可由文件读取器256执行。文件读取器256将解密后的增强层数据提供给块255，以便与观看时流到STB 250的基本层数据同步并组合。组合后的数据随后被发送到SVC解码器259以便解码并生成视频信号265。同步并组合MP4文件中的SVC增强层和RTP流中的相应SVC基本层的示例性方法在下面描述。
在示例性实施例中，对增强层特征的有条件访问还可由同步和组合块255来控制。例如，如果增强层媒体容器文件中的数字安全特征指示出STB 250具有使用增强层数据的权利，则块255将执行增强和基本层数据的同步和组合，否则，它将跳过同步和组合而仅将基本层数据转发到SVC解码器259。安全特征还可包括指示出增强层可被解码的次数的指示符。每次增强层被解码，该数目就递减，直到不允许对增强层的再次解码为止。
如上所述，在本发明的示例性实施例中，经编码的SVC流的基本和增强层分别被分离成预先下载的MP4文件和用于现场广播的RTP分组流。虽然ISO标准组织定义了用于包含经编码的AVC内容的MP4文件格式(ISO/IEC 14496-15：2004 Information technology--Coding of audio-visualobjects--Part 15：Advanced Video Coding(AVC)file format)，但是MP4文件格式可容易地针对SVC编码内容来扩展。图3A至图3C示出修改的MP4文件中的经编码的SVC增强层内容的示例性布局。
如图3A和图3C所示，本发明的示例性实施例中使用的修改的MP4文件300包括元数据原子301和媒体数据原子302。元数据原子301包含SVC轨迹原子(track atom)310，SVC轨迹原子310包含编辑列表320。编辑列表320中的每个编辑包含媒体时刻和持续时间。被端到端地放置的这些编辑形成轨迹时间线。SVC轨迹原子310还包含媒体信息原子330，媒体信息原子330包含样本表340。样本表340包含样本描述原子350、时间-样本表360和可扩展性水平描述符原子370。时间-样本表原子360包含媒体的结构数据和定时。原子360的更详细视图被示于图3B。如图3B所示，原子360中的每个条目包含到增强层编码视频样本的指针和该视频样本的相应持续时间dT。样本按解码顺序被存储。样本的解码时间戳可通过将编辑列表中的所有先前样本的持续时间相加来确定。时间-样本表给出这些持续时间，如图3B所示。
图3C所示的媒体数据原子302包含由原子360中的指针引用(referto)的增强层编码视频样本。媒体数据原子302中的每个样本包含访问单元和相应的长度。访问单元是一组连续的网络抽象层(NAL)单元，这些NAL单元的解码产生一个解码后的图片。
注意，图3A-3C所示的示例性文件格式只包含SVC增强层数据。同时包含SVC基本和增强层数据的文件格式将会包括与增强层样本交织(interleave)的基本层样本。
参考图2的示例性***200，当创建诸如图3A-3C所示的文件之类的被修改的MP4文件时，服务器210中的文件写入器216将具有定时信息的增强层NALU从SVC编码器212复制到MP4文件的媒体数据原子结构中。如上面所讨论的，被修改的MP4文件在现场广播该文件所属于的节目之前被预先下载到STB 250。
STB 250中的文件读取器256执行服务器210中的文件写入器216的相反功能(reverse function)。文件读取器256读取257中存储的预先下载的媒体容器文件并提取原子360中的具有定时信息的增强层NALU(图3A、3B)和原子370中的可扩展性水平描述符，可扩展性水平描述符在ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO(ISO/IEC 14496-15 Amendment 2-Information technology--Coding of audio-visual objects--File format support for Scalable Video Coding)中被定义。
通过RTP进行的SVC编码流的分组化和传输已被IETF规定(例如，参见RTP Payload Format for SVC Video，IETF，March 6，2009)。基本和增强层NALU可被分组化成分离的RTP分组。图4示出根据本发明的示例性实施例而仅携带SVC基本层的RTP分组流。每个分组的RTP时间戳被设置为内容的采样时间戳。
参考图2的示例性***200，服务器210的分组器214根据RTP协议来对SVC基本层NALU进行分组，将定时信息复制到RTP头部时间戳字段。拆分组器254从STB的网络缓冲器(未示出)读取由STB 250接收的分组并提取基本层NALU及其相关联定时信息。
基于从中提取的定时信息，STB 250中的同步和组合模块255同步并组合来自拆分组器254和文件读取器256的基本和增强层NALU。同步之后，每个从现场RTP流被拆分组的基本层NALU和相应的从预先下载的MP4文件提取的增强NALU被组合。在示例性实施例中，组合基本和增强层NALU可包括以对于解码器259而言正确的解码顺序来呈现NALU。组合的NALU随后被发送到解码器259以便进行适当的SVC解码。
根据本发明原理的诸如STB 250之类的接收设备的操作的示例性方法的流程图被示于图5。在505，STB例如从服务器210接收并存储针对稍后将观看的节目的增强层视频(ELV)文件507。在510，在上述节目的观看时间之前，STB 250例如根据RFC 2327中描述的会话描述协议(SDP)从服务器210接收与节目有关的会话描述文件。SDP文件还可指定一个或多个相关联的增强层及其加密信息的存在性。在515，STB确定其是否具有用于该节目的相关联ELV文件，并且在该ELV文件受上面讨论的与优质服务订阅相联系的DRM保护的情况下，确定其是否被允许解密并读取它。如果是，则ELV文件读取器处理在520处开始，如上面讨论的文件读取器功能256那样。
在525，STB例如通过RTP流传输来接收(一个或多个)SVC基本层分组的帧。每个基本层帧可由如图4所示的一个或多个分组来表示。在530，基本层帧被拆分组以供进一步处理。如图4所示，每个基本层RTP分组包含RTP头部和SVC基本层NALU。如果在535处确定存在相关联的ELV文件并且STB被允许读取它，则操作前进到540，在540，同步信息被从拆分组后的基本层帧提取。这种同步信息例如可包括帧的(一个或多个)基本层分组的头部中的RTP时间戳。在545，具有与基本层帧的定时信息相匹配的定时信息的增强层访问单元的NALU被从ELV文件507读取。基于定时信息来识别相应的增强层NALU的示例性方法在下面描述。(一个或多个)基本层NALU和(一个或多个)匹配的增强层NALU在550处被组合，即，基于它们的定时信息被适当地排序，并且该组合在555处被解码以供显示。
在535，如果不存在与其基本层正被流传输到STB的节目相关联的ELV文件或者STB不被允许读取它，则操作前进到555，在555，只有基本层帧被解码以供观看。
在560，确定节目是否已到末尾。节目在用于该节目的基本层分组不再被接收时到达末尾。如果没有，则操作回送(loop back)到525以接收下一基本层帧并且上述过程被重复，否则图5的处理终止。如果ELV文件507在节目末尾之前被完全读取，则或者另一ELV文件被读取(如果可得的话)，或者操作可以前进以仅对基本层进行解码(无增强)。
虽然上述示例是使用MP4和RTP给出的，但是同步机制例如可应用到MP4和MPEG2-TS及其他标准格式。
对于具有多个增强层的应用，所有增强层可被预先下载到一个或多个文件中，基本层被流传输。作为替代，一个或多个增强层可被预先下载，并且一个或多个增强层与基本层一起被流传输。
图6例示了在诸如上述被修改的MP4文件之类的预先下载的媒体容器文件中识别与在RTP流中接收的基本层数据相对应的增强层数据的示例性方法。当基本层RTP分组Bn从服务器流出时，STB在流开始后的某个时间605调谐进流中。每个基本层RTP分组Bn具有以流中的第一个分组B1的时间戳(例如，t1＝0)为基准的RTP时间戳tn。
如图6的图示所示，STB在基本层分组B2的流传输期间调谐进入。然而，为了适当地对流解码，STB必须接收访问点(access point)，这在分组B3被接收时发生。分组B3的时间戳被用来在媒体容器文件中寻找相应的增强层数据E3。换言之，从媒体容器文件中的轨迹时间线的起点开始是tn-t1的增强层数据样本将对应于基本层分组Bn。在数据样本像在上述修改的MP4格式中那样被按其相应的持续数据制成表格(tabulate)的情况下，先前的样本的持续时间被求和以确定该数据样本的从轨迹时间线的起点开始的时间偏移——换言之，该数据样本的RTP时间戳的对等物。因此如图6所示，E3被确定为对应于B3，因为E1和E2的持续时间之和dT1+dT2等于B3从基本层RTP流的起点开始的时间偏移t3-t1。这样，STB的同步和组合模块(255)将来自现场流广播的第一个访问点分组(Bn)的RTP时间戳用作其基准点，以确定分组从RTP流的起点开始的时间偏移(即tn-t1)。然后同步和组合模块检查预先下载的增强层媒体容器文件的时间-样本表(360)并搜索具有相同或基本相同的从轨迹时间线的起点开始的时间偏移的增强层样本。在图6的图示中，B3和E3表示要被同步并被一起提供以进行SVC解码的第一个基本和增强层数据。
鉴于以上情况，前文仅例示了发明的原理并且因此可以认识到，本领域技术人员将能够设计出虽然在此未明确描述但体现本发明原理并在其精神和范围内的许多替代布置。例如，虽然在分离的功能元件的语境下示出，但是这些功能元件可被实施在一个或多个集成电路(IC)中。类似地，虽然被示为分离的元件，但是一些或全部元件可在运行例如与一个或多个步骤相对应的相关联软件的例如数字信号处理器或通用处理器之类的受存储程序控制的处理器中被实现，所述软件可被实施在各种适当的存储介质的任一种介质中。例如，本发明的原理适用于各种类型的有线和无线通信***，例如陆地广播、卫星、无线保真(Wi-Fi)、蜂窝等。实际上，本发明概念还适用于静止或移动的接收器。因此将理解，在不脱离本发明的精神和范围的情况下，可对例示性实施例做出许多修改并且可设计出其他布置。

Claims (15)

1.一种视频再现设备中的再现在第一层和第二层中传送的经编码的数字视频信号的方法，其中所述第二层包括用于增强所述第一层的分辨率、帧率和质量中的至少一个的信息，所述方法包括：
接收(505)所述第二层的数据单元；
如果指示符指示所述视频再现设备被允许存储所述第二层的副本，则存储(505)接收到的所述第二层的数据单元；
接收(525)与所述第二层的数据单元相对应的所述第一层的数据单元；
确定(535)所述视频再现设备是否被允许读取所存储的所述第二层的数据单元；
如果所述视频再现设备被允许读取所存储的所述第二层的数据单元，则组合(550)所述第一层的数据单元以及所述第二层的相应所存储数据单元，同时接收所述第一层的更多数据单元，其中所述第二层的数据单元在所述第一层的任何相应数据单元被接收之前被接收和存储，其中所述第一层和所述第二层的数据单元包括数字样本并且所述组合步骤包括：
识别具有匹配的同步信息的所述第一层中的数字样本和所述第二层中的数字样本，所述识别步骤包括：
确定所述第一层的访问点从所述第一层的数据单元流的起点开始的时间偏移；以及
识别所述第二层的数据单元，所述第二层的数据单元从轨迹时间线的起点开始的时间偏移匹配所述第一层的访问点的时间偏移；以及
通过对被组合的数据单元进行解码(555)来生成输出视频帧。
2.根据权利要求1所述的方法，还包括：
接收用户输入以将所述指示符设置为允许存储所述第二层的副本或不允许存储所述第二层的副本中的一个。
3.根据权利要求1所述的方法，还包括以下步骤：
响应于接收所述第一层的数据单元而识别(515)包含所存储的所述第二层的数据单元的文件(507)；以及
访问(520)所述文件以获取所述第二层的数据单元。
4.根据权利要求1所述的方法，其中所述第一层和所述第二层的数据单元包括数字样本并且所述组合步骤包括：
识别(545)具有匹配的同步信息的所述第一层中的数字样本和所述第二层中的数字样本。
5.根据权利要求1所述的方法，其中所述第二层的数据单元被包含在媒体容器文件(507)中。
6.根据权利要求5所述的方法，其中所述媒体容器文件是MP4文件。
7.根据权利要求1所述的方法，其中所述第一层的数据单元根据实时协议(RTP)以分组的流(224)的形式被发送。
8.根据权利要求1所述的方法，其中所述数字视频信号根据可扩展视频编码(SVC)被编码，所述第一层是基本层并且所述第二层是增强层。
9.一种用于再现在第一层和第二层中传送的经编码的数字视频信号的设备，其中所述第二层包括用于增强所述第一层的分辨率、帧率和质量中的至少一个的信息，所述设备包括：
用于接收(250)所述第二层的数据单元的装置；
用于存储(257)接收到的所述第二层的数据单元的装置，其中，如果指示符指示所述视频再现设备被允许存储所述第二层的副本，则所述用于存储的装置存储接收到的所述第二层的数据单元；
用于接收(250)与所述第二层的数据单元相对应的所述第一层的数据单元的装置；
用于确定所述设备是否被允许读取所存储的所述第二层的数据单元；
用于如果所述设备被允许读取所存储的所述第二层的数据单元，则组合(255)所述第一层的数据单元以及所述第二层的相应所存储数据单元同时接收所述第一层的更多数据单元的装置，其中所述第二层的数据单元在所述第一层的任何相应数据单元被接收之前被接收和存储，其中所述第一层和所述第二层的数据单元包括数字样本并且所述组合装置通过识别具有匹配的同步信息的所述第一层中的数字样本和所述第二层中的数字样本组合所述数据单元，所述识别包括：确定所述第一层的访问点从所述第一层的数据单元流的起点开始的时间偏移；以及识别所述第二层的数据单元，所述第二层的数据单元从轨迹时间线的起点开始的时间偏移匹配所述第一层的访问点的时间偏移；以及
用于通过对被组合的数据单元进行解码(259)来生成输出视频帧的装置。
10.根据权利要求9所述的设备，还包括：
用于接收用户输入以将所述指示符设置为允许存储所述第二层的副本或不允许存储所述第二层的副本中的一个的装置。
11.根据权利要求9所述的设备，还包括：
用于响应于接收所述第一层的数据单元而识别包含所存储的所述第二层的数据单元的文件以及访问所述文件以获取所述第二层的数据单元的装置(256)。
12.根据权利要求9所述的设备，其中所述第一层和所述第二层的数据单元包括数字样本并且所述设备包括：
用于识别具有匹配的同步信息的所述第一层中的数字样本和所述第二层中的数字样本的装置(255)。
13.根据权利要求9所述的设备，其中所述第二层的数据单元被包含在媒体容器文件中或者所述第二层的数据单元被包含在MP4文件(300)中。
14.根据权利要求9所述的设备，其中所述第一层的数据单元根据实时协议(RTP)以分组的流(224)的形式被发送。
15.根据权利要求9所述的设备，其中所述数字视频信号根据可扩展视频编码(SVC)被编码(212)，所述第一层是基本层并且所述第二层是增强层。
CN200980136406.XA 2008-09-16 2009-09-10 使用可扩展视频编码的数字线性tv节目的递送方法 Expired - Fee Related CN102160375B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9753108P 2008-09-16 2008-09-16
US61/097,531 2008-09-16
PCT/US2009/005069 WO2010033164A1 (en) 2008-09-16 2009-09-10 Method for delivery of digital linear tv programming using scalable video coding

Publications (2)

Publication Number Publication Date
CN102160375A CN102160375A (zh) 2011-08-17
CN102160375B true CN102160375B (zh) 2015-04-22

Family

ID=42039783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980136406.XA Expired - Fee Related CN102160375B (zh) 2008-09-16 2009-09-10 使用可扩展视频编码的数字线性tv节目的递送方法

Country Status (7)

Country Link
US (1) US20110164686A1 (zh)
EP (1) EP2361479A4 (zh)
JP (2) JP5815408B2 (zh)
KR (1) KR101691050B1 (zh)
CN (1) CN102160375B (zh)
BR (1) BRPI0918671A2 (zh)
WO (1) WO2010033164A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100262708A1 (en) * 2009-04-08 2010-10-14 Nokia Corporation Method and apparatus for delivery of scalable media data
EP2302923A1 (en) * 2009-09-25 2011-03-30 Nagravision S.A. Method for displaying enhanced video content
US9071875B2 (en) * 2009-12-17 2015-06-30 At&T Intellectual Property I, L.P. Processing and distribution of video-on-demand content items
US20110317770A1 (en) * 2010-06-24 2011-12-29 Worldplay (Barbados) Inc. Decoder for multiple independent video stream decoding
CN102123299B (zh) * 2011-01-11 2012-11-28 中国联合网络通信集团有限公司 可伸缩视频的播放方法和播放装置
JP2013030907A (ja) * 2011-07-27 2013-02-07 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
JP2013074534A (ja) * 2011-09-28 2013-04-22 Sharp Corp 記録装置、配信装置、記録方法、プログラム、及び記録媒体
JP2015506134A (ja) * 2011-12-02 2015-02-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ スケーラブル・ビデオ・コーディングを利用したパーソナル・ビデオ・レコーダにおける記憶スペースのリクレーム
US9179169B2 (en) * 2012-03-14 2015-11-03 Imagine Communications Corp. Adaptive media delivery
KR101697385B1 (ko) * 2012-04-05 2017-02-01 한국전자통신연구원 채널 적응형 계층적 방송 장치 및 방법
WO2013190787A1 (ja) * 2012-06-22 2013-12-27 ソニー株式会社 受信装置およびその同期処理方法
US9172737B2 (en) * 2012-07-30 2015-10-27 New York University Streamloading content, such as video content for example, by both downloading enhancement layers of the content and streaming a base layer of the content
CN103780870B (zh) * 2012-10-17 2017-11-21 杭州海康威视数字技术股份有限公司 视频图像质量诊断***及其方法
US9516080B2 (en) 2013-05-31 2016-12-06 Western Digital Technologies, Inc. Methods and apparatuses for streaming content
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
US9980014B2 (en) * 2013-06-28 2018-05-22 Saturn Licensing Llc Methods, information providing system, and reception apparatus for protecting content
US9516356B2 (en) * 2013-12-06 2016-12-06 Cable Television Laboratories, Inc. Parallel scheduling of multilayered media
US10555030B2 (en) 2014-01-08 2020-02-04 Samsung Electronics Co., Ltd. Method and apparatus for reproducing multimedia data
JP5836424B2 (ja) * 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9948618B2 (en) 2015-02-05 2018-04-17 Western Digital Technologies, Inc. Secure stream buffer on network attached storage
US9860535B2 (en) * 2015-05-20 2018-01-02 Integrated Device Technology, Inc. Method for time-dependent visual quality encoding for broadcast services
CN112533029B (zh) * 2020-11-17 2023-02-28 浙江大华技术股份有限公司 一种视频分时传输方法、摄像装置、***和存储介质
CN114745558B (zh) * 2021-01-07 2024-04-09 北京字节跳动网络技术有限公司 直播监控方法、装置、***、设备及介质
CN114422860A (zh) * 2022-01-21 2022-04-29 武汉风行在线技术有限公司 一种降低高峰期视频点播cdn带宽的方法和装置、***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058444A1 (en) * 2005-11-17 2007-05-24 Lg Electronics Inc. Method and apparatus for reproducing audio data, recording medium, and method and apparatus for recording audio data
US20070223582A1 (en) * 2006-01-05 2007-09-27 Borer Timothy J Image encoding-decoding system and related techniques
US20080152003A1 (en) * 2006-12-22 2008-06-26 Qualcomm Incorporated Multimedia data reorganization between base layer and enhancement layer
US20080175325A1 (en) * 2007-01-08 2008-07-24 Nokia Corporation System and method for providing and using predetermined signaling of interoperability points for transcoded media streams

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372611B2 (ja) * 1993-10-18 2003-02-04 キヤノン株式会社 映像伝送システム、映像処理装置及び映像処理方法
US7096481B1 (en) * 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
JP2002124927A (ja) * 2000-10-17 2002-04-26 Hitachi Ltd 総合データ配信サービスにおける受信端末
DE60106301T2 (de) * 2001-07-04 2005-10-20 Okyz Verfahren und system für die ausfuhr von datenverbänden zu zweidimensionalen oder dreidimensionalen geometrischen entitäten
CN1509081A (zh) * 2002-12-20 2004-06-30 �ʼҷ����ֵ��ӹɷ����޹�˾ 通过广播和网络流传送双层hdtv信号的方法和***
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
US8341527B2 (en) * 2005-06-10 2012-12-25 Aniruddha Gupte File format method and apparatus for use in digital distribution system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007058444A1 (en) * 2005-11-17 2007-05-24 Lg Electronics Inc. Method and apparatus for reproducing audio data, recording medium, and method and apparatus for recording audio data
US20070223582A1 (en) * 2006-01-05 2007-09-27 Borer Timothy J Image encoding-decoding system and related techniques
US20080152003A1 (en) * 2006-12-22 2008-06-26 Qualcomm Incorporated Multimedia data reorganization between base layer and enhancement layer
US20080175325A1 (en) * 2007-01-08 2008-07-24 Nokia Corporation System and method for providing and using predetermined signaling of interoperability points for transcoded media streams

Also Published As

Publication number Publication date
KR101691050B1 (ko) 2016-12-29
KR20110069006A (ko) 2011-06-22
JP2016015739A (ja) 2016-01-28
EP2361479A4 (en) 2013-05-22
US20110164686A1 (en) 2011-07-07
CN102160375A (zh) 2011-08-17
JP2012503419A (ja) 2012-02-02
JP6034458B2 (ja) 2016-11-30
WO2010033164A1 (en) 2010-03-25
BRPI0918671A2 (pt) 2020-07-14
EP2361479A1 (en) 2011-08-31
JP5815408B2 (ja) 2015-11-17

Similar Documents

Publication Publication Date Title
CN102160375B (zh) 使用可扩展视频编码的数字线性tv节目的递送方法
US10237589B2 (en) System and method for facilitating fast channel change
CN107113460B (zh) 针对空中广播媒体数据的会话描述信息
RU2718170C2 (ru) Определение местоположений событий доставки мультимедиа для транспортировки мультимедиа
JP6462566B2 (ja) 送信装置、送信方法、受信装置および受信方法
US9197857B2 (en) IP-based stream splicing with content-specific splice points
JP2016015739A5 (zh)
CN102123304B (zh) 用于接收利用现有数据传输广播的视频内容和服务的方法和设备
CN1452840A (zh) 随机存取加密视频流中的单个图像的方法和装置
Park et al. Delivery of ATSC 3.0 services with MPEG media transport standard considering redistribution in MPEG-2 TS format
CN102378043A (zh) 内容推送方法、互联网电视播放方法及对应装置、***
Hartung et al. Drm protected dynamic adaptive http streaming
US20100262492A1 (en) Method and arrangement relating to a media structure
US8850590B2 (en) Systems and methods for using transport stream splicing for programming information security
CN105812961A (zh) 自适应流媒体处理方法及装置
KR101445256B1 (ko) 아이피 티브이 방송서비스에서 방송 컨텐츠의 불법 이용을방지하는 시스템 및 그 방법
KR20070104754A (ko) 미리 보기가 가능한 아이피 네트워크를 이용한 디지털 방송시스템 및 디지털 방송 방법
KR100740882B1 (ko) 엠펙-4 이진 장면 포맷의 서비스 이용 등급 설정을 통한차등적 데이터 서비스 방법
Park et al. Frame Control-Based Terrestrial UHD (ATSC 3.0) Buffer Model for Dynamic Content Insertion

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: France's Nigeria - Billancourt City

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190528

Address after: Paris France

Patentee after: Interactive digital CE patent holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150422

Termination date: 20200910