CN105812961A - 自适应流媒体处理方法及装置 - Google Patents

自适应流媒体处理方法及装置 Download PDF

Info

Publication number
CN105812961A
CN105812961A CN201410856623.9A CN201410856623A CN105812961A CN 105812961 A CN105812961 A CN 105812961A CN 201410856623 A CN201410856623 A CN 201410856623A CN 105812961 A CN105812961 A CN 105812961A
Authority
CN
China
Prior art keywords
media
stream
value
positional information
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410856623.9A
Other languages
English (en)
Other versions
CN105812961B (zh
Inventor
黄成�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410856623.9A priority Critical patent/CN105812961B/zh
Priority to EP15874878.0A priority patent/EP3242490B1/en
Priority to PCT/CN2015/087615 priority patent/WO2016107192A1/zh
Publication of CN105812961A publication Critical patent/CN105812961A/zh
Application granted granted Critical
Publication of CN105812961B publication Critical patent/CN105812961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种自适应流媒体处理方法及装置，其中，该方法包括：获取传输流中携带的自适应流媒体的位置信息和时间信息；根据上述位置信息确定自适应流媒体中需要与传输流进行时间轴对齐的媒体片段；根据上述时间信息确定自适应流媒体中媒体片段的媒体呈现时间相对于传输流时间轴的显示时间戳。本发明解决了相关技术中为广播网络和宽带网络混合媒体传输采用单一参考时钟所导致的问题，使得混合传输模式下的媒体同步处理更加高效。

Description

自适应流媒体处理方法及装置
技术领域
本发明涉及通信领域，具体而言，涉及一种自适应流媒体处理方法及装置。
背景技术
用户通过电视、台式机、平板电脑、手机等固定移动通信终端访问业务提供商和/或内容提供商开发部署的通信服务，该访问是通过借助于定制化的通信客户端能力，在用户终端与业务服务器(内容服务器)之间建立通信链路来实施完成的，上述通信链路通常由诸如各种类型数字用户线路(XDigitalSubscriberLine，简称为xDSL)、光纤接入(Fiber-to-the-x，简称为FTTx)、有线电视电缆Cable等有线通信网络，以及Wi-Fi、2G、3G、长期演进(LongTermEvolution，简称为LTE)等无线通信网络建立。
数字视频广播(DigitalVideoBroadcasting，简称为DVB)是世界主流数字电视标准之一，在MPEG-2音视频数据压缩算法和复用技术的基础上，DVB标准提供了一套完整的、适用于不同媒介的数字电视***的规范，定义了有线(DVB-C)、卫星(DVB-S)和地面(DVB-T)三种供媒体数据流传输用的信道编码和调制方式，同时扩展了MPEG-2标准的***层，丰富了网络接口。
DASH(DynamicAdaptiveStreamingoverHTTP)是一种自适应比特率流媒体技术，利用互联网上传统的HTTPWeb服务器提供高品质的流媒体内容。DASH将一段视频切分成许多小的HTTP服务器上的文件分块，每个文件分块包含一个较短播放时间的视频内容。这些小的视频分块可能是数个小时的电影(点播)或体育赛事的现场直播视频内容的一部分。视频可能被编成多个码率的视频片段，以覆盖不同网络带宽需求。
在上述通信服务发展过程中，终端能力和网络环境不断提升，而用户对业务体验的需求也在提高，以自适应流媒体为代表的OTT技术具备随时随地消费视频的灵活性，而IPTV、数字电视、***等传统广播技术具有大屏幕的高清晰度和质量保证。因此，将OTT技术与数字电视等广播技术相互融合，才能提供适合多种场景的综合方案。典型地，如第二屏(SecondScreen)应用目前广受关注，用户利用智能手机、平板电脑等“TVbuddies”，消费与TV屏广播节目相关联的个性化媒体信息。其间，业务运营商利用广播网络(譬如DVB-C数字电视网络)为广大用户传输传统电视节目，同时借助互联网宽带网络(OTT模式)为特定用户群体额外递送具有长尾效应的互联网点播内容。这种混合递送(HybridDelivery)模式能够节约网络投资成本，综合广播网络和宽带网络技术优势，从而为用户提供内容丰富、个性化的业务体验。
上述混合递送模式具有内容来源独立、传输网络异构，以及差异化的播放终端等显著特征。其中，能否建立广播节目或者主要媒体内容(PrimaryMedia)与宽带节目或者辅助媒体内容(AncillaryMedia)之间时间关联，即，能否保证不同内容来源、不同传输格式、以及不同播放终端的媒体内容之间的同步播放，已成为此类应用能否被用户接受的关键。
音视频特征识别技术及其应用是当前解决上述混合递送模式下媒体内容同步问题的一个研究方向，它利用音视频媒体内容自身的数字特征作为媒体间时间同步参考。其中，包括：1)数字水印技术。采集电视节目中音频信号的数字水印，利用数字水印中节目频道标识符和时间戳信息，可以检测正在播放节目的时间进度，从而获取适当的辅助媒体内容与之同步播放；2)数字指纹技术。从音视频样本中提取数字指纹信息，利用指纹检索数据库，获取媒体同步信息。
然而，数字水印和数字指纹属于计算密集型技术实现，都依赖于第二屏终端捕获音视频样本质量和特征提取算法性能；同时，此类技术受环境噪音和终端能力影响较大，适用场景存在一定的局限性。
针对混合递送模式下媒体同步播放问题的另一个研究方向是为广播网络和宽带网络媒体递送采用单一的参考时钟。其中一个方法是将传输流，例如，MPEG-2TS码流，中携带的PCR/PTS(节目参考时钟/显示时间戳)时钟信息同时也包含在诸如实时传输协议(Real-timeTransportProtocol，简称为RTP)的互网络协议(InternetProtocol，简称为IP)报文中传输。该方案的主要缺陷是传输流中的PCR时钟信息在解复用时可能被改变(但是，宽带运营商无法获知这一点)，从而无法维护时钟的延续性。
针对上述广播网络和宽带网络中混合递送模式下的媒体同步播放问题，需要研究一种改进的信令机制。
发明内容
本发明提供了一种自适应流媒体处理方法及装置，以至少解决现有技术中广播网络和宽带网络混合递送模式下的媒体同步播放问题。
根据本发明的一个方面，提供了一种自适应流媒体处理方法，包括：获取传输流中携带的自适应流媒体的位置信息和时间信息；根据所述位置信息确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段；根据所述时间信息确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳。
进一步地，获取所述传输流中携带的所述自适应流媒体的位置信息包括：解析获取的所述传输流中的节目映射表PMT，从所述PMT中确定流类型值为预定值的时间轴和外部媒体信息分组码流TEMIPES码流的包标识符PID；根据所述PID过滤出所述TEMIPES码流；提取所述TEMIPES码流中携带的所述自适应流媒体的位置描述子作为所述位置信息。
进一步地，获取所述传输流中携带的所述自适应流媒体的时间信息包括：提取所述TEMIPES码流扩展头域中包含的显示时间戳PTS；根据所述PTS值确定所述自适应流媒体的时间信息。
进一步地，获取所述传输流中携带的所述自适应流媒体的位置信息包括：获取所述传输流中扩展描述子标签的值为预定值的特定媒体组件TS码流；提取所述特定媒体组件TS码流适配域中携带的自适应流媒***置描述子作为所述位置信息。
进一步地，获取所述传输流中携带的所述自适应流媒体的时间信息包括：提取所述特定媒体组件TS码流载荷中携带的分组码流PES扩展头域中包含的PTS；根据所述PTS值确定所述自适应流媒体的时间信息。
进一步地，获取所述传输流中携带的所述自适应流媒体的时间信息包括：获取所述传输流中的特定媒体组件TS后续的第一个与所述特定媒体组件TS码流具有相同PID值且TS头域中载荷数据单元起始指示符取值为预定值的TS码流；提取获取的所述TS码流载荷中携带的PES扩展头域中包含的PTS；根据所述PTS值确定所述自适应流媒体的时间信息。
进一步地，提取所述自适应流媒体的位置描述子包括：从所述TEMIPES码流载荷或所述特定媒体组件TS码流的适配域中提取标签字段值为预定值且业务类型字段值为预定值的适配域AF描述子作为所述自适应流媒体的位置描述子。
进一步地，所述位置描述子包括以下至少之一：事件流方案标识字段、事件流值字段、事件标识字段，其中，所述事件流方案标识字段值用于唯一标识事件流方案，所述事件流值字段值用于唯一标识所述事件流方案中的事件流，所述事件标识字段值用于唯一标识所述事件流中的事件。
进一步地，所述位置描述子还包括媒体呈现描述URL字段，其中，所述媒体呈现描述URL字段值用于确定所述自适应流媒体的媒体呈现描述URL。
进一步地，所述方法还包括：从所述位置信息中提取所述强制重载标志；在所述强制重载标志的值为预定值的情况下，重新加载所述自适应流媒体的媒体呈现描述。
进一步地，所述方法还包括：从所述自适应流媒体的位置信息中提取所述预宣告标志；在所述预宣告标志的值为预定值的情况下，从所述位置信息中提取所述激活倒计时字段和所述时标字段。
进一步地，根据所述位置信息确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段包括：确定与所述位置信息对应的自适应流媒体的媒体呈现描述MPD；根据所述位置信息和所述MPD确定与所述传输流进行时间轴对齐的所述媒体片段。
进一步地，确定与所述位置信息对应的自适应流媒体的所述MPD包括：提取所述传输流中的节目映射表PMT中包含的MPD描述子；从所述MPD描述子中获取与所述位置信息对应的所述MPD的统一资源定位符；或者，从所述位置信息中获取所述MPD的统一资源定位符。
进一步地，根据所述位置信息和所述MPD确定与所述传输流进行时间轴对齐的所述媒体片段包括：使用所述位置信息中携带的事件流方案标识字段值和所述事件流值字段值，替换所述MPD中的媒体片段模板元素media属性的$EventStream$标识符；使用所述位置信息中携带的事件标识字段值，替换所述MPD中的媒体片段模板元素media属性的$EventID$标识符，构造用于标识与所述传输流进行时间轴对齐的所述自适应流媒体的媒体片段的统一资源定位符URL。
进一步地，根据所述位置信息和所述MPD确定与所述传输流进行时间轴对齐的所述媒体片段包括：使用所述位置信息中携带的事件流方案标识字段值以及事件流值字段值，检索确定所述MPD中的时段元素；使用所述位置信息中携带的事件标识字段值检索确定所述时段元素中的媒体片段URL子元素；根据所述媒体片段URL元素的media及mediaRange属性值，构造需要与所述传输流进行时间轴对齐的自适应流媒体的媒体片段的URL。
进一步地，根据所述位置信息和所述MPD确定与所述传输流进行时间轴对齐的所述媒体片段包括：使用所述位置信息中携带的事件流方案标识字段值以及事件流值字段值，检索确定所述MPD中的时段元素；使用所述位置信息中携带的事件标识字段值检索确定所述时段元素的事件子元素；根据所述事件元素的media及mediaRange属性值，构造需要与所述传输流进行时间轴对齐的自适应流媒体的媒体片段的URL。
进一步地，根据所述时间信息确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳包括：根据所述时间信息确定所述需要与所述传输流进行时间轴对齐的媒体片段的媒体呈现时间相对于所述传输流时间轴的PTS；根据所述需要与所述传输流进行时间轴对齐的媒体片段的PTS计算所述媒体片段所在时段中后续媒体片段的PTS。
进一步地，根据所述时间信息确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳还包括：将所述自适应流媒体的位置描述子对应的PTS值作为所述媒体片段的媒体呈现时间相对于所述传输流时间轴的PTS。
根据本发明的另一方面，还提供了一种自适应流媒体处理方法，包括：在传输流中添加自适应流媒体的位置信息和/或时间信息，其中，所述位置信息用于确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段，所述时间信息用于确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳；将所述传输流发送给用户终端。
进一步地，在所述传输流中添加携带所述自适应流媒体的位置信息包括：在所述传输流的节目映射表PMT中添加包标识符PID，其中，所述PID用于获取流类型值为预定值的时间轴和外部媒体信息分组码流TEMIPES码流，所述TEMIPES码流中携带有所述位置信息。
进一步地，在所述传输流中添加携带所述自适应流媒体的时间信息包括：在所述TEMIPES码流扩展头域中携带所述时间信息。
进一步地，在所述传输流中添加携带所述自适应流媒体的位置信息包括：在所述传输流中携带扩展描述子标签的值为预定值的特定媒体组件TS码流，其中，所述TS码流适配域中携带所述位置信息。
进一步地，在所述传输流中添加携带所述自适应流媒体的时间信息包括：在所述TS码流载荷的分组码流PES扩展头域中携带PTS，其中所述PTS值用于确定所述自适应流媒体的时间信息。
进一步地，在所述传输流中添加携带所述自适应流媒体的时间信息包括：设置所述传输流中的特定媒体组件TS后续的TS码流与所述特定媒体组件TS码流具有相同PID值且TS头域中载荷数据单元起始指示符取值为预定值；在所述后续的所述TS码流载荷的PES扩展头域中携带PTS，其中，所述PTS值确定所述自适应流媒体的时间信息。
进一步地，在所述传输流中携带标签字段值为预定值且业务类型字段值为预定值的，并且处于所述TEMIPES码流载荷或所述特定媒体组件TS码流适配域中的AF描述子作为所述自适应流媒体的位置描述子，所述位置描述子中包括所述位置信息。
进一步地，所述位置描述子包括以下至少之一：事件流方案标识字段、事件流值字段、事件标识字段，其中，所述事件流方案标识字段值用于唯一标识事件流方案，所述事件流值字段值用于唯一标识所述事件流方案中的事件流，所述事件标识字段值用于唯一标识所述事件流中的事件。
进一步地，所述位置描述子还包括媒体呈现描述URL字段，其中，所述媒体呈现描述URL字段值用于确定所述自适应流媒体的媒体呈现描述URL。
进一步地，在所述传输流中的节目映射表PMT中携带MPD描述子；其中，所述MPD描述子中包括所述媒体呈现描述URL字段；或者在所述位置信息中携带所述媒体呈现描述URL字段。
根据本发明的另一个方面，还提供了一种自适应流媒体处理装置，包括：获取模块，用于获取传输流中携带的自适应流媒体的位置信息和时间信息；第一确定模块，用于根据所述位置信息确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段；第二确定模块，用于根据所述时间信息确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳。
根据本发明的另一个方面，还提供了一种自适应流媒体处理装置，包括：添加模块，用于在传输流中添加自适应流媒体的位置信息和/或时间信息，其中，所述位置信息用于确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段，所述时间信息用于确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳；发送模块，用于将所述传输流发送给用户终端。
通过本发明方案，获取传输流中携带的自适应流媒体的位置信息和时间信息；根据所述位置信息确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段；根据所述时间信息确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳，从而解决了现有技术中采用单一参考时钟所导致的问题，实现了广播网络和宽带网络混合递送模式下媒体同步播放。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的广播/宽带混合递送媒体同步***架构示意图；
图2是本发明提供的自适应流媒体处理方法的流程图；
图3是根据本发明可选实施例的一种获取自适应流媒***置描述子的示意图；
图4是根据本发明可选实施例的另一种获取自适应流媒***置描述子的示意图；
图5是根据本发明实施例的一种确定需要进行时间轴对齐的媒体片段的示例图；
图6是根据本发明实施例的另一种确定需要进行时间轴对齐媒体片段的示例图；
图7是根据本发明实施例的再一种确定需要进行时间轴对齐媒体片段的示例图；
图8是根据本发明实施例的一种传输流处理方法的流程图；
图9是根据本发明实施例的一种自适应流媒体处理装置的结构框图；
图10是根据本发明实施例的另一种自适应流媒体处理装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明实施例提供了一种广播/宽带混合传输媒体同步***，图1是根据本发明实施例的广播/宽带混合传输媒体同步***架构示意图，如图1所示，包括：广播内容源100、MPD服务器200、流媒体服务器300、第一终端410、第二终端420，其中第一终端和第二终端可以是独立的两个终端，这两个终端的功能也可以放在一个物理终端中实现。下面对图1中示出的***进行说明。
广播内容源100可以使用MPEG-2标准，或者也可以使用其他标准，以下以MPEG-2为例进行说明。根据MPEG-2标准编码模型，广播内容源100在发送端，将音频数据和视频数据输入到各自的编码器进行压缩和编码，得到音视频的基本码流(ElementalStream，简称为ES)，ES被送到打包器分割编组形成长度不等的分组码流(PacketElementalStream，简称为PES),PES再与节目内容信息、条件接收信息等一起进入码流复用器，生成节目流(ProgramStream，简称为PS)或者传输流(TransportStream，简称为TS)。
广播内容源100发送的MPEG-2TS码流载荷中携带具有不同的包标识符(PacketIdentification，简称为PID)的PES分组码流。其中，PID值为0x0000的TS码流对应节目关联表(ProgramAssociationTable，简称为PAT)，PAT定义了TS中所有的节目，提供了节目初始化信息，是TS中所有节目的一个完整列表，并指示了不同节目的节目号以及与节目内容相关的节目映射表(ProgramMapTable，简称为PMT)的PID。PMT表明了节目号与其所包含的音视频及其他内容的传输码流之间的对应关系，对一套节目进行了完整的定义，其中包含了节目的节目号(programnumber)，PCRPID，流类型(streamtype，如音频、视频和其他数据等)以及基本流PID(指出携带音视频内容的TS包PID)等信息。此外，MPEG-2TS码流还可以携带称作时间轴和外部媒体信息(TimelineandExternalMediaInformation，简称为TEMIPES)的TEMIPES码流，用于指示MPEG-2TS码流中携带的外部媒体资源的时间信息和位置信息。
在以下实施例中，涉及到的自适应流媒体(或者称为动态自适应流媒体)有多种实现方式，例如，可以采用基于HTTP的动态自适应流媒体(DynamicAdaptiveStreamingoverHTTP，简称为DASH)。下面以DASH为例对MPD服务器和流媒体服务器进行说明。以下实施例对其他自适应流媒体技术也同样适用。
MPD服务器200，提供动态自适应流媒体中MPD文件存储。MPD文件描述了每个媒体片段的持续时间，URL，媒体属性，如视频分辨率、适配比特率等。MPD文件给DASH客户端提供了足够的HTTP-URL信息用于访问流媒体内容资源，当DASH客户端开始播放一个视频的时候，它根据MPD文件中的信息选择下载适应于当前可用网络带宽和终端缓存状况的媒体片段并进行播放。
流媒体服务器300，完成对原始视频的切片和MPD文件的生成。视频文件被切分，并以时段(period)、表示(representation)和媒体片段(segment)的层次存储。根据请求，流媒体服务器300将向终端返回适当的媒体分片。
终端400可以包括：第一终端410，例如数字电视机顶盒，或者广播\宽带双模机顶盒；以及第二终端420，例如平板电脑，智能手机、手持电视设备等。
终端400(第一终端410和/或第二终端420，为了描述下文中均使用终端)在接收到MPEG-2TS码流后，按照不同的包标识符PID将码流分流到不同的解析通道，解析出音频PES、视频PES，并重组成ES流存到音视频各自对应的缓存中。首先，指定解复用模块的一个通道绑定PID值为0x0000的TS流，并从中解析出PAT，获得所需节目的PMT的包标识符PID。通过通道绑定，找到节目映射表PMT，提取码流中的***参考时钟PCR,以及相关节目中音视频PES码流的PTS等时间信息。
在一个可选的实施方式中，终端400在接收到MPEG-2TS码流后，还可以将提取TEMIPES码流中携带的特定类型的适配域描述子(AFDescriptor)以及与之对应的PES码流头域显示时间戳(PresenceTimeStamp，简称为PTS)，用于获取动态自适应流媒体的位置信息和时间信息。
在一个可选的实施方式中，终端可以根据位置信息请求MPD服务器200获取动态自适应流媒体的MPD文件。终端400解析获取到的MPD文件确定动态自适应流媒体中需要与MPEG-2TS码流进行时间轴对齐的媒体片段。
在一个可选的实施方式中，终端400可以根据时间信息确定动态自适应流媒体中媒体片段(包括：时间轴对齐媒体片段以及同一时段中后续媒体片段)的媒体呈现时间(MediaPresentationTime，简称为MPT)相对于MPEG-2TS码流时间轴的显示时间戳PTS。
在一个可选的实施方式中，终端可以通过动态自适应(QualityAdaptation)算法周期性的发出HTTP请求，获得动态自适应流媒体中适当码率或质量版本的媒体片段，并根据MPEG-2TS码流相关节目中的音视频PES码流PTS信息，以及动态自适应流媒体中媒体片段PTS信息，实现音视频同步处理。
下面结合图1中的架构对本实施例提供的动态自适应流媒体处理方法进行说明，图2是根据本发明实施例的动态自适应流媒体处理方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取传输流中携带的自适应流媒体的位置信息和时间信息；
步骤S204，根据上述位置信息确定自适应流媒体中需要与传输流进行时间轴对齐的媒体片段；
步骤S206，根据上述时间信息确定自适应流媒体中媒体片段的媒体呈现时间相对于传输流时间轴的显示时间戳。
通过上述步骤，利用传输流中携带的自适应流媒体的位置信息和时间信息来确定该自适应流媒体中需要与传输流进行时间轴对齐的媒体片段及其对应的显示时间戳，从而解决了相关技术中为广播网络和宽带网络混合媒体传输采用单一参考时钟所导致的问题，使得混合递送模式下媒体同步处理更加高效，同时也提高业务部署的可扩展性。
步骤S202中记载了获取位置信息和时间信息，下面结合可选实施来对位置信息和时间信息的获取来进行说明。
步骤S202中的位置信息可以是位置描述子(LocationDescriptor)，图3是根据本发明可选实施例的一种获取自适应流媒***置描述子的示意图，如图3所示，包括：位置描述子也可以是AF描述子，其可以携带在PES数据载荷中，PTS时间值可以携带在PES扩展头域中。
在一个可选的实施方式中，终端首先解析获得传输流中的节目映射表PMT，从中确定流类型(StreamType)值为预定值(例如，0x26)的TEMIPES码流的包标识符PID，终端将包标识符PID绑定到解复用模块通道，过滤出含有TEMIPES码流的TS包，其中，TEMIPES码流的流标识(streamID)值为private_stream_1。
终端提取TEMIPES码流数据载荷TEMI_AU中携带的标签字段(af_descr_tag)值为预定值(例如，0x05)且业务类型字段(service_type)值为预定值(例如，0x01)的适配域AF描述子，即动态自适应流媒体的位置描述子(LocationDescriptor)，从而获取动态自适应流媒体的位置信息。
参照图3，终端获取传输流中TEMIPES码流，提取TEMIPES码流扩展头域中包含的PTS，作为与动态自适应流媒***置描述子对应的PTS值，从而获取动态自适应流媒体的时间信息。
位置信息还可以通过另外一种方式携带，图4是根据本发明可选实施例的另一种获取自适应流媒***置描述子的示意图，如图4所示，AF描述子可以携带在TS流的适配域中。
根据MPEG-2标准PES语法说明，流标识(streamID)表明了PES载荷中是音频、视频还是数据流。参照本发明中图4，终端获取传输流中扩展描述子标签(Extension_descriptor_tag)值为预定值(例如，0x04)的特定媒体组件(视频或者音频)TS码流。
终端提取特定媒体组件TS码流适配域(AdaptationField)中携带的标签字段(af_descr_tag)值为预定值(0x05)且业务类型字段(service_type)值为预定值(例如，0x01)的AF描述子，即动态自适应流媒体的位置描述子(LocationDescriptor)，从而获取动态自适应流媒体的位置信息。
参照图4，终端获取传输流中特定媒体组件(视频或者音频)TS码流，提取特定媒体组件(视频或者音频)TS码流载荷中携带的PES码流扩展头域中包含的PTS，作为与动态自适应流媒***置描述子对应的PTS值，从而获取动态自适应流媒体的时间信息。
或者，终端获取后续第一个与特定媒体组件(视频或者音频)TS码流具有相同PID值且TS码流头域中载荷数据单元起始指示符(payload_unit_start_indicator)取值为1的TS码流，提取TS码流载荷中携带的PES码流扩展头域中包含的PTS，作为与动态自适应流媒***置描述子对应的PTS值，从而获取动态自适应流媒体的时间信息。
在上述实施例及可选的实施方式中，对现有的位置描述子进行扩展，表1所示的是根据本发明实施例的自适应流媒***置描述子的语法结构图表。
表1
如表1所示，本实施例中自适应流媒体的位置描述子(LocationDescriptor)，扩展定义如下，以业务类型为DASH为例进行说明：
timeline_id:MPEG-2TS码流中位置描述子的唯一标识；
force_reload:1比特标志，指示DASH同步(即进行媒体片段时间轴对齐)前是否重新加载MPD；
is_announcement:1比特标志，指示与位置描述子对应的DASH媒体片段尚未处于播放(激活)状态；
time_before_activation:指示位置描述子所引用资源(DASH媒体片段)进入播放状态的剩余时间；
timescale:时标单位，用于表示time_before_activation字段时间值；
service_type:指示位置描述子所引用外部资源的业务类型。当service_type＝＝1时，业务类型为“MPEG-DASH”。此时，该位置描述子中所携带的位置信息将用于实现DASH媒体片段的媒体呈现时间与MPEG-2TS码流中PTS之间的映射，即完成DASH流媒体与MPEG-2TS码流之间同步。
如表1所示，本发明实施例将上述建立DASH流媒体时间信息与传输流时间信息映射关系的位置信息称为时间轴对齐(TimelineAlignment)事件流(EventStream)，定义如下：
event_stream_schemeIdUri：当service_type＝＝1时，位置描述子包含事件流方案标识event_stream_schemeIdUri字段，遵循统一资源名(URN)或者统一资源定位符(URL)语法规范，用于唯一标识时间轴对齐事件流的方案(Scheme)；
event_stream_value：当service_type＝＝1时，位置描述子包含事件流值event_stream_value字段，其取值空间将由event_schemeIdUri标识的时间轴对齐事件流的消息方案定义，用于标识事件流方案中的事件流；
event_id：当service_type＝＝1时，位置描述子包含事件标识event_id字段，用于标识时间轴对齐事件流中的事件；
其中，事件消息方案标识字段与事件流值字段一起可以唯一标识时间轴对齐事件流。事件标识字段则用于唯一标识时间轴对齐事件流中的某个特定时间轴对齐事件。
可选的，mpd_url：当service_type＝＝1时，mpd_url取值为位置描述子所对应的DASH的MPD的统一资源定位符(URL)。
在一个可选的实施例中，终端获取节目映射表PMT中包含的自适应流媒体的MPD描述子，可以定义如表2所示，以DASH为例进行说明：
表2
其中，mpd_url取值为对应于自适应流媒***置描述子的DASH的MPD的URL。
上述步骤S204中记载了位置信息确定自适应流媒体中需要与传输流进行时间轴对齐的媒体片段；下面结合可选实施来对此来进行说明。
在动态自适应流媒体技术中，MPD是一个文档，该文档中包含了DASH客户端构建媒体片段HTTP-URL所需的元数据，以便客户端访问媒体片段，为用户提供流媒体服务。
MPD中可以包含事件(Event)，用于向DASH客户端或DASH应用通知非周期性的信息。事件是时控的，亦即，事件在某一特定的媒体呈现时间点开始，通常会持续一段时间。事件包括DASH特有的通知事件和应用特有的事件。
与上述位置描述子中所包含的时间轴对齐事件相对应，MPD中时段(Period)元素可以包含时间轴对齐事件流(EventStream)子元素，其中：
EventStreamschemeIdUri属性用于唯一标识时间轴对齐事件流的消息方案(Scheme)。EventStreamvalue属性作为时间轴对齐事件流的值，其取值空间将由event_schemeIdUri标识的时间轴对齐事件流的消息方案定义。EventStream元素中包含一系列相同类型的时间轴对齐事件Event元素，由Event.id属性值唯一标识。
在本实施例中，终端可以按照不同方法根据位置信息获取对应的MPD。
终端提取PMT中包含的动态自适应流媒体的MPD描述子，根据其中包含的mpd_url字段值获取与位置信息对应的动态自适应流媒体的MPD的URL。或者，
终端提取动态自适应流媒***置描述子，根据其中包含的mpd_url字段值获取与位置信息对应的动态自适应流媒体的MPD的URL。
在根据动态自适应流媒体的位置信息以及对应的MPD确定需要与传输流进行时间轴对齐的动态自适应流媒体的媒体片段时，可以有多种方式，下面结合不同的方式进行说明：
图5是根据本发明实施例的一种确定需要进行时间轴对齐的媒体片段的示例图，如图5所示，包括：
终端根据位置描述子中携带的值为"urn:uuid:XYZY"的事件流方案标识字段以及值为"ad"的事件流值字段，检索确定MPD中的Period元素，即图6中id属性值为"1"的Period元素。
终端使用位置描述子中携带的事件流方案标识字段值"urn:uuid:XYZY"和事件流值字段值"ad"替换该Period元素的媒体片段模板(SegmentTemplate)子元素中media属性的$EventStream$标识符，使用位置描述子中携带的事件标识(event_id)字段值"1"替换该Period元素的媒体片段模板(SegmentTemplate)子元素中media属性的$EventID$标识符。同时结合MPD其他层次中定义的资源URL地址基址(BaseURL)元素，譬如："http://www.example.com/"，从而构造需要与传输流进行时间轴对齐的动态自适应流媒体的媒体片段的HTTPURL，即"http://www.example.com/uuid:XYZY/ad_00001.ts"。
对应传输流中携带的下一个相同类型位置描述子中的事件标识(event_id)字段值"2"，则构造的下一个需要与传输流进行时间轴对齐的动态自适应流媒体的媒体片段HTTPURL为"http://www.example.com/uuid:XYZY/ad_00002.ts"，以此类推。
图6是根据本发明实施例的另一种确定需要进行时间轴对齐媒体片段的示例图，如图6所示，包括：
终端根据位置描述子中携带的值为"urn:uuid:XYZY"的事件流方案标识字段以及值为"ad"的事件流值字段，检索确定MPD中的Period元素，即图7中id属性值为"1"的Period元素。
终端根据位置描述子中携带的值"1"的事件标识字段，检索确定MPD中该Period元素下的媒体片段URL(SegmentURL)子元素，即图7中eventID属性值为"1"的媒体片段URL(SegmentURL)元素。
终端根据该媒体片段URL(SegmentURL)元素的media及mediaRange属性值，同时结合MPD其他层次中定义的资源URL地址基址(BaseURL)元素，譬如："http://www.example.com/"，从而构造需要与传输流进行时间轴对齐的动态自适应流媒体的媒体片段的HTTPURL，即"http://www.example.com/seg201.mp4"，以及可选的区间请求头域"Range:bytes＝0-499"。
对应传输流中携带的下一个相同类型位置描述子中的事件标识(event_id)字段值"2"，则构造的下一个需要与传输流进行时间轴对齐的动态自适应流媒体的媒体片段HTTPURL为"http://www.example.com/seg205.mp4"，以及可选的区间请求头域"Range:bytes＝500-999"，以此类推。
图7是根据本发明实施例的再一种确定需要进行时间轴对齐媒体片段的示例图，如图7所示，包括：
终端根据位置描述子中携带的值为"urn:uuid:XYZY"的事件流方案标识字段以及值为"ad"的事件流值字段，检索确定MPD中的Period元素，即图8中id属性值为"1"的Period元素。
终端根据位置描述子中携带的值"1"的事件标识字段，检索确定MPD中该Period元素下的事件(Event)子元素，即图8中id属性值为"1"的事件(Event)元素。
终端根据该事件(Event)元素的media及mediaRange属性值，同时结合MPD其他层次中定义的资源URL地址基址(BaseURL)元素，譬如："http://www.example.com/"，从而构造需要与传输流进行时间轴对齐的动态自适应流媒体的媒体片段的HTTPURL，即"http://www.example.com/seg301.mp4"，以及可选的区间请求头域"Range:bytes＝0-499"。
对应传输流中携带的下一个相同类型位置描述子中的事件标识(event_id)字段值"2"，则构造的下一个需要与传输流进行时间轴对齐的动态自适应流媒体的媒体片段HTTPURL为"http://www.example.com/seg305.mp4"，以及可选的区间请求头域"Range:bytes＝500-999"，以此类推。
在一个可选的实施例中，在确定需要与传输流进行时间轴对齐的媒体片段时，还包括：
在一个可选的实施例中，在确定需要与传输流进行时间轴对齐的媒体片段时，还包括：
终端提取动态自适应流媒***置描述子中的强制重载(force_reload)标志；如果强制重载(force_reload)标志的值为0x01，则重新加载动态自适应流媒体的MPD。
在一个可选的实施例中，在确定需要与传输流进行时间轴对齐的媒体片段时，还包括：
终端提取动态自适应流媒***置描述子中的预宣告(is_announcement)标志，如果预宣告(is_announcement)标志的值为0x01，则提取动态自适应流媒***置描述子中的激活倒计时(time_before_activation)字段以及时标(timescale)字段。
在一个可选的实施例中，在确定需要与传输流进行时间轴对齐的媒体片段时，还包括：从位置信息中提取强制重载标志；在强制重载标志的值为预定值的情况下，重新加载上述DASH的MPD。
在另一个可选的实施例中，在确定需要与传输流进行时间轴对齐的媒体片段时，还包括：从位置信息中提取预宣告标志；在预宣告标志的值为预定值的情况下，从位置信息中提取激活倒计时字段和时标字段。
步骤S206中记载了根据时间信息确定自适应流媒体中媒体片段的媒体呈现时间相对于传输流时间轴的PTS；下面结合可选实施例来对此来进行说明。
DASH的主要特性之一是不同媒体组件的编码版本共享全局统一的时间轴。媒体内容中的接入单元的呈现时间被映射到全局统一呈现时间轴，便于同步不同的媒体组件并实现相同媒体组件的不同的编码版本的相同的无缝切换。
各个时段内的呈现时间都是相对相应时段的PeriodStart时间减去所包含表示的presentationTimeOffset即T0的值。这意味着，对于媒体流中呈现时间为TP的接入单元，其媒体呈现时间相对PeriodStart的值为TM＝TP–TO。
根据MPD定义的动态自适应流媒体的媒体片段时间轴规则，时段中各个媒体片段的媒体呈现时间存在预定的关系，譬如可以是连续的，因此，根据一个媒体片段的媒体呈现时间可以推算出时段中后续媒体片段的媒体呈现时间。
在本发明一个可选的实施例中，终端根据需要与传输流进行时间轴对齐的媒体片段的媒体呈现时间确定该媒体片段所在时段中后续媒体片段的媒体呈现时间。特别地，当需要进行时间轴对齐的媒体片段的媒体呈现时间表示为相对于传输流时间轴的PTS时，存在以下关系，
SegmentsPTS(inseconds)＝[(S-Ssyn)*duration]/SegmentBase.timescale+SegmentsynPTS(inseconds)。
其中，Ssyn为需要进行时间轴对齐的动态自适应流媒体的媒体片段在时段中的编号，S为时段中后续其他媒体片段的编号。
SegmentsynPTS为需要进行时间轴对齐的动态自适应流媒体的媒体片段的媒体呈现时间相对于传输流时间轴的PTS。SegmentPTS为时段中后续其他媒体片段的媒体呈现时间相对于传输流时间轴的PTS。
其中，duration和SegmentBase.timescale分别为媒体片段所在时段元素的duration属性值和timescale属性值；
在本发明一个可选的实施例中，终端根据与动态自适应流媒***置描述子对应的PTS值确定需要进行时间轴对齐的动态自适应流媒体的媒体片段的媒体呈现时间相对于传输流时间轴的PTS，即：
SegmentsynPTS(inseconds)＝PTSi/90000。
其中，PTSi为与动态自适应流媒***置描述子对应的PTS值。
SegmentsynPTS为需要进行时间轴对齐的动态自适应流媒体的媒体片段的媒体呈现时间相对于传输流时间轴的PTS。
图8是根据本发明实施例的一种传输流处理方法的流程图，如图8所示，该流程包括如下步骤：
步骤S802，在传输流中添加自适应流媒体的位置信息和/或时间信息，其中，该位置信息用于确定自适应流媒体中需要与传输流进行时间轴对齐的媒体片段，该时间信息用于确定自适应流媒体中媒体片段的媒体呈现时间相对于传输流时间轴的显示时间戳；
步骤S804，将上述传输流发送给用户终端。
通过上述步骤，通过将添加了预定类型码流的传输流发送给用户终端，可以有效解决相关技术中为广播网络和宽带网络混合媒体传输采用单一参考时钟所导致的问题，使得混合递送模式下媒体同步处理更加高效，同时也提高业务部署的可扩展性。
在一个可选的实施例中，在传输流中添加携带自适应流媒体的位置信息时，可以采用如下方法：在传输流的PMT中添加PID，其中，该PID用于获取流类型值为预定值的TEMIPES码流，该TEMIPES码流中携带有位置信息。
在添加了自适应流媒体的位置信息后，还可以添加该自适应流媒体的时间信息，在一个可选的实施例中，在传输流中添加携带自适应流媒体的时间信息包括：在该TEMIPES码流扩展头域中携带时间信息。
在一个可选的实施例中，在传输流中添加携带自适应流媒体的位置信息时，还可以采用如下方法：在传输流中携带扩展描述子标签的值为预定值的特定媒体组件TS码流，其中，该TS码流适配域中携带位置信息。
在添加了自适应流媒体的位置信息后，还可以添加该自适应流媒体的时间信息，在一个可选的实施例中，在传输流中添加携带自适应流媒体的时间信息包括：在TS码流载荷的PES扩展头域中携带PTS，其中该PTS值用于确定自适应流媒体的时间信息。
在传输流中添加携带自适应流媒体的时间信息还可以采用如下方法：设置传输流中的特定媒体组件TS后续的TS码流与该特定媒体组件TS码流具有相同PID值且TS头域中载荷数据单元起始指示符取值为预定值；在后续的TS码流载荷的PES扩展头域中携带PTS，其中，该PTS值确定自适应流媒体的时间信息。
在一个可选的实施例中，在传输流中携带标签字段值为预定值且业务类型字段值为预定值的AF描述子作为自适应流媒体的位置描述子，该位置描述子中包括位置信息。
在一个可选的实施例中，上述的位置描述子还包括以下至少之一：在传输流中位置描述子的唯一标识、强制重载标志、预宣告标志、激活倒计时标志、时标单位、服务类型，其中，该强制重载标志用于指示在进行媒体片段时间轴对齐之前是否需要重新加载媒体呈现描述MPD，预宣告标志用于指示与位置描述子对应的自适应媒体的媒体片段尚未处于播放装置，激活倒计时标志用于指示与位置描述子对应的自适应媒体的媒体片段进入播放状态的剩余时间，时标单位用于指示剩余时间标识字段时间值，服务类型用于指示位置描述子所引用外部资源的业务类型。
在一个可选的实施例中，上述传输流中还可以携带有用于确定位置信息对应的自适应流媒体的媒体呈现描述MPD的信息。
在一个可选的实施例中，在上述传输流中的PMT中携带MPD描述子；其中，该MPD描述子中包括与位置信息对应的MPD的URL；或者，从位置信息中获取该MPD的URL。
在本实施例中还提供了一种自适应流媒体处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的一种自适应流媒体处理装置的结构框图，如图9所示，该装置包括获取模块92、第一确定模块94和第二确定模块96，下面对该自适应媒体流处理装置进行说明。
获取模块92，用于获取传输流中携带的自适应流媒体的位置信息和时间信息；第一确定模块94，连接至上述获取模块92，用于根据上述位置信息确定自适应流媒体中需要与传输流进行时间轴对齐的媒体片段；第二确定模块96，连接至上述第一确定模块94，用于根据时间信息确定自适应流媒体中媒体片段的媒体呈现时间相对于传输流时间轴的显示时间戳。
图10是根据本发明实施例的另一种自适应流媒体处理装置的结构框图，如图10所示，该装置包括添加模块102和发送模块104，下面对该自适应媒体流处理装置进行说明。
添加模块102，用于在传输流中添加自适应流媒体的位置信息和/或时间信息，其中，该位置信息用于确定自适应流媒体中需要与传输流进行时间轴对齐的媒体片段，该时间信息用于确定自适应流媒体中媒体片段的媒体呈现时间相对于传输流时间轴的；发送模块104，连接至上述添加模块102，用于将传输流发送给用户终端。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (30)

1.一种自适应流媒体处理方法，其特征在于，包括：
获取传输流中携带的自适应流媒体的位置信息和时间信息；
根据所述位置信息确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段；
根据所述时间信息确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳。
2.根据权利要求1所述的方法，其特征在于，获取所述传输流中携带的所述自适应流媒体的位置信息包括：
解析获取的所述传输流中的节目映射表PMT，从所述PMT中确定流类型值为预定值的时间轴和外部媒体信息分组码流TEMIPES码流的包标识符PID；
根据所述PID过滤出所述TEMIPES码流；
提取所述TEMIPES码流中携带的所述自适应流媒体的位置描述子作为所述位置信息。
3.根据权利要求2所述的方法，其特征在于，获取所述传输流中携带的所述自适应流媒体的时间信息包括：
提取所述TEMIPES码流扩展头域中包含的显示时间戳PTS；
根据所述PTS值确定所述自适应流媒体的时间信息。
4.根据权利要求1所述的方法，其特征在于，获取所述传输流中携带的所述自适应流媒体的位置信息包括：
获取所述传输流中扩展描述子标签的值为预定值的特定媒体组件TS码流；
提取所述特定媒体组件TS码流适配域中携带的自适应流媒***置描述子作为所述位置信息。
5.根据权利要求4所述的方法，其特征在于，获取所述传输流中携带的所述自适应流媒体的时间信息包括：
提取所述特定媒体组件TS码流载荷中携带的分组码流PES扩展头域中包含的PTS；
根据所述PTS值确定所述自适应流媒体的时间信息。
6.根据权利要求4所述的方法，其特征在于，获取所述传输流中携带的所述自适应流媒体的时间信息包括：
获取所述传输流中的特定媒体组件TS后续的第一个与所述特定媒体组件TS码流具有相同PID值且TS头域中载荷数据单元起始指示符取值为预定值的TS码流；
提取获取的所述TS码流载荷中携带的PES扩展头域中包含的PTS；
根据所述PTS值确定所述自适应流媒体的时间信息。
7.根据权利要求2至6中任一项所述的方法，其特征在于，提取所述自适应流媒体的位置描述子包括：
从所述TEMIPES码流载荷或所述特定媒体组件TS码流的适配域中提取标签字段值为预定值且业务类型字段值为预定值的适配域AF描述子作为所述自适应流媒体的位置描述子。
8.根据权利要求7所述的方法，其特征在于，所述位置描述子包括以下至少之一：
事件流方案标识字段、事件流值字段、事件标识字段，其中，
所述事件流方案标识字段值用于唯一标识事件流方案，所述事件流值字段值用于唯一标识所述事件流方案中的事件流，所述事件标识字段值用于唯一标识所述事件流中的事件。
9.根据权利要求8所述的方法，其特征在于，所述位置描述子还包括媒体呈现描述URL字段，其中，所述媒体呈现描述URL字段值用于确定所述自适应流媒体的媒体呈现描述URL。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
从所述位置信息中提取所述强制重载标志；
在所述强制重载标志的值为预定值的情况下，重新加载所述自适应流媒体的媒体呈现描述。
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
从所述自适应流媒体的位置信息中提取所述预宣告标志；
在所述预宣告标志的值为预定值的情况下，从所述位置信息中提取所述激活倒计时字段和所述时标字段。
12.根据权利要求1至11中任一项所述的方法，其特征在于，根据所述位置信息确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段包括：
确定与所述位置信息对应的自适应流媒体的媒体呈现描述MPD；
根据所述位置信息和所述MPD确定与所述传输流进行时间轴对齐的所述媒体片段。
13.根据权利要求12所述的方法，其特征在于，确定与所述位置信息对应的自适应流媒体的所述MPD包括：
提取所述传输流中的节目映射表PMT中包含的MPD描述子；从所述MPD描述子中获取与所述位置信息对应的所述MPD的统一资源定位符；或者，
从所述位置信息中获取所述MPD的统一资源定位符。
14.根据权利要求12或13所述的方法，其特征在于，根据所述位置信息和所述MPD确定与所述传输流进行时间轴对齐的所述媒体片段包括：
使用所述位置信息中携带的事件流方案标识字段值和所述事件流值字段值，替换所述MPD中的媒体片段模板元素media属性的$EventStream$标识符；使用所述位置信息中携带的事件标识字段值，替换所述MPD中的媒体片段模板元素media属性的$EventID$标识符，构造用于标识与所述传输流进行时间轴对齐的所述自适应流媒体的媒体片段的统一资源定位符URL。
15.根据权利要求12或13所述的方法，其特征在于，根据所述位置信息和所述MPD确定与所述传输流进行时间轴对齐的所述媒体片段包括：
使用所述位置信息中携带的事件流方案标识字段值以及事件流值字段值，检索确定所述MPD中的时段元素；使用所述位置信息中携带的事件标识字段值检索确定所述时段元素中的媒体片段URL子元素；
根据所述媒体片段URL元素的media及mediaRange属性值，构造需要与所述传输流进行时间轴对齐的自适应流媒体的媒体片段的URL。
16.根据权利要求12或13所述的方法，其特征在于，根据所述位置信息和所述MPD确定与所述传输流进行时间轴对齐的所述媒体片段包括：
使用所述位置信息中携带的事件流方案标识字段值以及事件流值字段值，检索确定所述MPD中的时段元素；使用所述位置信息中携带的事件标识字段值检索确定所述时段元素的事件子元素；
根据所述事件元素的media及mediaRange属性值，构造需要与所述传输流进行时间轴对齐的自适应流媒体的媒体片段的URL。
17.根据权利要求1至11中任一项所述的方法，其特征在于，根据所述时间信息确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳包括：
根据所述时间信息确定所述需要与所述传输流进行时间轴对齐的媒体片段的媒体呈现时间相对于所述传输流时间轴的PTS；
根据所述需要与所述传输流进行时间轴对齐的媒体片段的PTS计算所述媒体片段所在时段中后续媒体片段的PTS。
18.根据权利要求17所述的方法，其特征在于，根据所述时间信息确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳还包括：
将所述自适应流媒体的位置描述子对应的PTS值作为所述媒体片段的媒体呈现时间相对于所述传输流时间轴的PTS。
19.一种自适应流媒体处理方法，其特征在于，包括：
在传输流中添加自适应流媒体的位置信息和/或时间信息，其中，所述位置信息用于确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段，所述时间信息用于确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳；
将所述传输流发送给用户终端。
20.根据权利要求19所述的方法，其特征在于，在所述传输流中添加携带所述自适应流媒体的位置信息包括：
在所述传输流的节目映射表PMT中添加包标识符PID，其中，所述PID用于获取流类型值为预定值的时间轴和外部媒体信息分组码流TEMIPES码流，所述TEMIPES码流中携带有所述位置信息。
21.根据权利要求20所述的方法，其特征在于，在所述传输流中添加携带所述自适应流媒体的时间信息包括：
在所述TEMIPES码流扩展头域中携带所述时间信息。
22.根据权利要求19所述的方法，其特征在于，在所述传输流中添加携带所述自适应流媒体的位置信息包括：
在所述传输流中携带扩展描述子标签的值为预定值的特定媒体组件TS码流，其中，所述TS码流适配域中携带所述位置信息。
23.根据权利要求22所述的方法，其特征在于，在所述传输流中添加携带所述自适应流媒体的时间信息包括：
在所述TS码流载荷的分组码流PES扩展头域中携带PTS，其中所述PTS值用于确定所述自适应流媒体的时间信息。
24.根据权利要求22所述的方法，其特征在于，在所述传输流中添加携带所述自适应流媒体的时间信息包括：
设置所述传输流中的特定媒体组件TS后续的TS码流与所述特定媒体组件TS码流具有相同PID值且TS头域中载荷数据单元起始指示符取值为预定值；
在所述后续的所述TS码流载荷的PES扩展头域中携带PTS，其中，所述PTS值确定所述自适应流媒体的时间信息。
25.根据权利要求20至24中任一项所述的方法，其特征在于，在所述传输流中携带标签字段值为预定值且业务类型字段值为预定值的，并且处于所述TEMIPES码流载荷或所述特定媒体组件TS码流适配域中的AF描述子作为所述自适应流媒体的位置描述子，所述位置描述子中包括所述位置信息。
26.根据权利要求20至24中任一项所述的方法，其特征在于，所述位置描述子包括以下至少之一：
事件流方案标识字段、事件流值字段、事件标识字段，其中，
所述事件流方案标识字段值用于唯一标识事件流方案，所述事件流值字段值用于唯一标识所述事件流方案中的事件流，所述事件标识字段值用于唯一标识所述事件流中的事件。
27.根据权利要求26所述的方法，其特征在于，所述位置描述子还包括媒体呈现描述URL字段，其中，所述媒体呈现描述URL字段值用于确定所述自适应流媒体的媒体呈现描述URL。
28.根据权利要求27所述的方法，其特征在于，
在所述传输流中的节目映射表PMT中携带MPD描述子；其中，所述MPD描述子中包括所述媒体呈现描述URL字段；或者，
在所述位置信息中携带所述媒体呈现描述URL字段。
29.一种自适应流媒体处理装置，其特征在于，包括：
获取模块，用于获取传输流中携带的自适应流媒体的位置信息和时间信息；
第一确定模块，用于根据所述位置信息确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段；
第二确定模块，用于根据所述时间信息确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳。
30.一种自适应流媒体处理装置，其特征在于，包括：
添加模块，用于在传输流中添加自适应流媒体的位置信息和/或时间信息，其中，所述位置信息用于确定所述自适应流媒体中需要与所述传输流进行时间轴对齐的媒体片段，所述时间信息用于确定所述自适应流媒体中媒体片段的媒体呈现时间相对于所述传输流时间轴的显示时间戳；
发送模块，用于将所述传输流发送给用户终端。
CN201410856623.9A 2014-12-31 2014-12-31 自适应流媒体处理方法及装置 Active CN105812961B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410856623.9A CN105812961B (zh) 2014-12-31 2014-12-31 自适应流媒体处理方法及装置
EP15874878.0A EP3242490B1 (en) 2014-12-31 2015-08-20 Self-adaptive streaming media processing method and device
PCT/CN2015/087615 WO2016107192A1 (zh) 2014-12-31 2015-08-20 自适应流媒体处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410856623.9A CN105812961B (zh) 2014-12-31 2014-12-31 自适应流媒体处理方法及装置

Publications (2)

Publication Number Publication Date
CN105812961A true CN105812961A (zh) 2016-07-27
CN105812961B CN105812961B (zh) 2019-09-10

Family

ID=56284128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410856623.9A Active CN105812961B (zh) 2014-12-31 2014-12-31 自适应流媒体处理方法及装置

Country Status (3)

Country Link
EP (1) EP3242490B1 (zh)
CN (1) CN105812961B (zh)
WO (1) WO2016107192A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111899A (zh) * 2017-12-29 2018-06-01 中兴通讯股份有限公司 视频传输方法、客户端、服务器
CN114667722A (zh) * 2020-10-07 2022-06-24 腾讯美国有限责任公司 使用基于会话的dash操作进行url定制
CN115102932A (zh) * 2022-06-09 2022-09-23 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备、存储介质及产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117676219A (zh) * 2022-08-29 2024-03-08 华为技术有限公司 一种数据传输方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140075042A1 (en) * 2012-09-07 2014-03-13 Futurewei Technologies, Inc. System and Method for Segment Demarcation and Identification in Adaptive Streaming
CN103843266A (zh) * 2011-09-22 2014-06-04 三星电子株式会社 在广播***中播放广播内容的装置和方法
CN103875252A (zh) * 2011-10-13 2014-06-18 三星电子株式会社 内容显示方法、内容同步方法、广播内容显示方法及显示装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179484A (zh) * 2006-11-09 2008-05-14 华为技术有限公司 一种不同媒体流间的同步方法及***
CN101547355B (zh) * 2008-03-24 2011-02-09 展讯通信（上海）有限公司 富媒体电视的解码方法
KR20120083747A (ko) * 2011-01-18 2012-07-26 삼성전자주식회사 방송통신 융합형 서비스를 위한 전송 방법 및 장치
US20140002598A1 (en) * 2012-06-29 2014-01-02 Electronics And Telecommunications Research Institute Transport system and client system for hybrid 3d content service
KR101761302B1 (ko) * 2012-08-22 2017-07-25 후아웨이 테크놀러지 컴퍼니 리미티드 Ｍｐｅｇ-2 트랜스포트 스트림에서 ｉｓｏ-ｂｍｆｆ 이벤트 박스의 캐리지
CN105393548A (zh) * 2013-04-16 2016-03-09 Lg电子株式会社 广播发射设备、广播接收设备、操作广播发射设备的方法和操作广播接收设备的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103843266A (zh) * 2011-09-22 2014-06-04 三星电子株式会社 在广播***中播放广播内容的装置和方法
CN103875252A (zh) * 2011-10-13 2014-06-18 三星电子株式会社 内容显示方法、内容同步方法、广播内容显示方法及显示装置
US20140075042A1 (en) * 2012-09-07 2014-03-13 Futurewei Technologies, Inc. System and Method for Segment Demarcation and Identification in Adaptive Streaming

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108111899A (zh) * 2017-12-29 2018-06-01 中兴通讯股份有限公司 视频传输方法、客户端、服务器
CN108111899B (zh) * 2017-12-29 2021-05-11 中兴通讯股份有限公司 视频传输方法与装置、客户端、服务器及存储介质
US11539983B2 (en) 2017-12-29 2022-12-27 Zte Corporation Virtual reality video transmission method, client device and server
CN114667722A (zh) * 2020-10-07 2022-06-24 腾讯美国有限责任公司 使用基于会话的dash操作进行url定制
CN115102932A (zh) * 2022-06-09 2022-09-23 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备、存储介质及产品
CN115102932B (zh) * 2022-06-09 2024-01-12 腾讯科技（深圳）有限公司 点云媒体的数据处理方法、装置、设备、存储介质及产品

Also Published As

Publication number Publication date
EP3242490A1 (en) 2017-11-08
EP3242490A4 (en) 2017-12-20
CN105812961B (zh) 2019-09-10
WO2016107192A1 (zh) 2016-07-07
EP3242490B1 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
CN106034262B (zh) 自适应流媒体处理方法及装置
US9596510B2 (en) Method for transmitting broadcast service, method for receiving broadcast service, and apparatus for receiving broadcast service
US9860611B2 (en) Broadcast service transmitting method, broadcasting service receiving method and broadcast service receiving apparatus
US9661371B2 (en) Method for transmitting a broadcast service, apparatus for receiving same, and method for processing an additional service using the apparatus for receiving same
US9712864B2 (en) Broadcast service receiving method and broadcast service receiving apparatus
US11343549B2 (en) Reception apparatus, reception method, transmission apparatus, and transmission method
CA2839444C (en) Method for transmitting a broadcast service, method for receiving a broadcast service, and apparatus for receiving a broadcast service
US20170070790A1 (en) A method of decoding a content bitstream
US9723362B2 (en) Method for transmitting and receiving broadcast service and receiving device thereof
US20170078765A1 (en) Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
US20170164071A1 (en) Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method, and broadcast signal reception method
JP2016103745A (ja) 送信装置及び送信方法、並びに、受信装置並びに受信方法
CN105812961A (zh) 自适应流媒体处理方法及装置
US11388485B2 (en) Receiving device, receiving method, transmission device, and transmission method
KR20150013110A (ko) 방송 프로그램과 관련한 양방향 서비스를 처리하는 장치 및 방법
US10616618B2 (en) Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method and broadcast signal receiving method
CN106031186A (zh) 接收设备、接收方法、发送设备和发送方法
CN114128301B (zh) 广播信号发送设备、广播信号发送方法、广播信号接收方法和广播信号接收设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant