CN102480634B - 移动多媒体广播中分级业务同步的方法、设备和*** - Google Patents
移动多媒体广播中分级业务同步的方法、设备和*** Download PDFInfo
- Publication number
- CN102480634B CN102480634B CN201010557758.7A CN201010557758A CN102480634B CN 102480634 B CN102480634 B CN 102480634B CN 201010557758 A CN201010557758 A CN 201010557758A CN 102480634 B CN102480634 B CN 102480634B
- Authority
- CN
- China
- Prior art keywords
- bit stream
- layer bit
- layer
- code stream
- cmmb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003139 buffering effect Effects 0.000 claims description 23
- 230000002123 temporal effect Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 4
- 238000005538 encapsulation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000032798 delamination Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种移动多媒体广播中分级业务同步的方法、设备和***，将MPEG-2TS码流中的分级业务的各层码流通过CMMB传送时，通过统一的时间戳，保证分级业务的各层码流(即：各个分层数据)之间的同步，从而保证CMMB中分级业务的正常实施。
Description
技术领域
本发明涉及移动通信技术领域，具体是一种移动多媒体广播***(CMMB，ChinaMobileMultimediaBroadcasting)中传送MPEG-2TS流分级业务时，实现分级业务多个分层同步的方法和***。
背景技术
随着通信技术的发展，移动多媒体广播技术的应用越来越广。目前，***多媒体广播***(简称：CMMB)标准规定了在广播业务频率范围内，移动多媒体广播***广播信道传输信号的帧结构、信道编码和调制等。CMMB标准中规定，采用复用子帧来封装视频、音频等流媒体数据，进行传送。
分级业务是指编码器对内容源进行编码，产生多个层次的码流，基本层码流可以单独解码，增强层码流包含用于提高低层码流质量的附加信息，需要和包括基本层在内的低层码流一起解码。分级业务能够实现有服务质量差别的区分业务、实现各种终端的能力适配，具有诸多优点，因此，在CMMB***中传送分级业务是很有必要的。
分级业务中，终端在一帧数据接收完毕的时刻，码流可被编码到多个分层中。在终端侧，需要将通过不同分层的码流合并，如将同一视频帧的多个分层合并起来，然后进行视频解码展现。在合并时，各层码流之间必须同步，才能保证参与合并的是同一接入单元的的码流，保证合并的成功，合并成功才能保证后续解码展现成功。
现有技术中，并没有提供将MPEG-2TS流中的分级业务的各层码流通过CMMB传送，并且保证上述多个分级业务的各层码流之间的同步的技术。
发明内容
本发明的主要目的是提供一种移动多媒体广播中分级业务同步的方法、设备和***，将MPEG-2TS流中的分级业务的各层码流通过CMMB传送，并且保证上述多个分级业务的各层码流之间的同步。
本发明解决其技术问题所采用的技术方案是：
一种移动多媒体广播中分级业务发送同步的方法，其包括：
前端发送设备接收编码设备发出的MPEG-2TS码流；
从所述MPEG-2TS码流中提取出所封装的媒体数据，得到各层码流：基本层码流和增强层码流；
将所述各层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中以及将所述各层码流所在的复用子帧位置信息封装于所述广播信道帧中；
将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步；
将需要发送的媒体数据连同该媒体数据的所述各层码流的CMMB广播时间戳一起广播发送。
优选地，所述将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步；具体包括：
根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间；
将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB时间戳。
本发明还提供一种移动多媒体广播中分级业务接收同步的方法，其包括：
终端接收设备监听广播信道帧中所述各层码流所在的复用子帧位置信息；
根据所述位置信息和自身的处理能力接收所述各层码流中的基本层码流，或接收所述基本层码流及对应的增强层码流；
将所述各层码流按CMMB广播时间戳对齐、同步后进行合并；
将所述各层码流进行解码展现。
优选地，所述将所述各层码流按CMMB广播时间戳对齐、同步，具体包括：
所述终端接收设备将所接收到的所述各层码流连同其对应的CMMB时间戳放入缓冲区；
在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并。
优选地，所述在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并，具体包括：
所述终端接收设备取属于一个接入单元的基本层码流，以基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流，将其作为同一接入单元的码流进行合并。
本发明还提供一种前端发送设备，其包括：
码流接收单元，用于接收编码设备发出的MPEG-2TS码流；
数据提取单元，用于从所述MPEG-2TS码流中提取出所封装的媒体数据，得到各层码流：基本层码流和增强层码流；
码流封装单元，用于将所述各层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中以及将所述各层码流所在的复用子帧位置信息封装于所述广播信道帧中；
码流同步单元，用于将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步；
码流发送单元，用于将需要发送的媒体数据连同该媒体数据的所述各层码流的CMMB广播时间戳一起广播发送。
优选地，所述码流同步单元，包括：
时间计算子单元，用于根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间；
时间戳计算子单元，用于将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB时间戳。
本发明还提供一种终端接收设备，其包括：
位置监听单元，用于监听广播信道帧中所述各层码流所在的复用子帧位置信息；
码流接收单元，用于根据所述位置信息和自身的处理能力接收所述各层码流中的基本层码流，或接收所述基本层码流及对应的增强层码流；
码流合并单元，用于将所述各层码流按CMMB广播时间戳对齐、同步后进行合并；
码流展现单元，用于将所述各层码流进行解码展现。
优选地，所述码流合并单元包括：
缓冲子单元，用于将所接收到的所述各层码流连同其对应的CMMB时间戳放入缓冲区；
码流对齐子单元，用于在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并。
优选地，所述码流对齐子单元，用于取属于一个接入单元的基本层码流，以基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流，将其作为同一接入单元的码流进行合并。
本发明还提供一种移动多媒体广播中分级业务同步的***，其包括：
编码设备，用于将编码生成的多个分层的码流封装为MPEG-2TS码流后发出；
前端发送设备，用于收所述编码设备发出的MPEG-2TS码流，从所述MPEG-2TS码流中提取出所封装的媒体数据，得到各层码流：基本层码流和增强层码流，将所述各层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中以及将所述各层码流所在的复用子帧位置信息封装于所述广播信道帧中，将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步，将需要发送的媒体数据连同该媒体数据的所述各层码流的CMMB广播时间戳一起广播发送；
终端接收设备，用于监听广播信道帧中所述各层码流所在的复用子帧位置信息，根据所述位置信息和自身的处理能力接收所述各层码流中的基本层码流，或接收所述基本层码流及对应的增强层码流，将所述各层码流按CMMB广播时间戳对齐、同步后进行合并，将所述各层码流进行解码展现。
优选地，所述前端发送设备，用于根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间，将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB时间戳。
优选地，所述终端接收设备，还用于将所接收到的所述各层码流连同其对应的CMMB时间戳放入缓冲区，在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并。
优选地，所述终端接收设备，还用于取属于一个接入单元的基本层码流，以基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流，将其作为同一接入单元的码流进行合并。
实施本发明的技术方案，具有以下有益效果：本发明提供的移动多媒体广播中分级业务同步的方法、设备和***，将MPEG-2TS码流中的分级业务的各层码流通过CMMB传送时，通过统一的时间戳，保证分级业务的各层码流(即：各个分层数据)之间的同步，从而保证CMMB中分级业务的正常实施。
附图说明
图1为本发明实施例提供的移动多媒体广播中分级业务发送同步的方法的流程图；
图2为图1的步骤S140的具体流程图；
图3为本发明实施例提供的移动多媒体广播中分级业务接收同步的方法的流程图；
图4为图3的步骤S230的具体流程图；
图5为本发明实施例提供的前端发送设备的结构示意图；
图6为图5中码流同步单元的具体结构示意图；
图7为本发明实施例提供的终端接收设备的结构示意图；
图8为图7中的码流合并单元的结构示意图；
图9为本发明实施例提供的***的结构示意图；
图10为本发明应用例提供的广播信道帧的组成结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种移动多媒体广播中分级业务发送同步的方法，如图1所示，该方法包括步骤：
S110、前端发送设备接收编码设备发出的MPEG(MovingPicturesExpertsGroup/MotinPicturesExpertsGroup，动态图像专家组)-2TS(TransportStream，传输流)码流；各层码流具有PCR时间，所述PCR时间保证同一采样时刻上的基本层数据、增强层数据在PCR时间上的同步
S120、前端发送设备从所述MPEG-2TS码流中提取出所封装的媒体数据，得到各层码流：基本层码流和增强层码流；
S130、前端发送设备将所述各层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中以及将所述各层码流所在的复用子帧位置信息封装于所述广播信道帧中；
S140、前端发送设备将所述媒体数据的所述各层码流的PTS(Presentationtimestamp，展现时戳)时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步；在本实施例中，如图2所示，该步骤S140具体包括步骤：
S141、前端发送设备根据所述各层码流所在的PES包中的PTS信息和PES(PacketizedElementaryStream，分组基本流)包的PCR时间信息计算所述各层码流的PCR(ProgramClockReference，节目时钟参考)时间；
S142、前端发送设备将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB时间戳。
S150、前端发送设备将需要发送的媒体数据连同该媒体数据的所述各层码流的CMMB广播时间戳一起广播发送。
该实施例提供的方法通过用各层码流的PCR时间乘上CMMB时间刻度换算出分层码流对应的CMMB时间戳，用所处理的第一个复用子帧内的第一层码流的PCR时间确定了业务的CMMB时间戳起始值，并通过该转换方法确定了后续各层码流的CMMB时间戳。保证同一PCR时间点上的各层码流在CMMB时间戳的统一，从而保证不同分层业务的各层码流之间的同步。
本发明实施例还提供一种移动多媒体广播中分级业务接收同步的方法，该实施例提供的方法与上述实施例提供的方法相配合，如图3所示，该方法包括步骤：
S210、终端接收设备监听广播信道帧中所述各层码流所在的复用子帧位置信息；
S220、所述终端接收设备根据所述位置信息和自身的处理能力接收所述各层码流中的基本层码流，或接收所述基本层码流及对应的增强层码流；
S230、所述终端接收设备将所述各层码流按CMMB广播时间戳对齐、同步后进行合并；在本实施例中，如图4所示，该步骤S230更具体包括：
S231、所述终端接收设备将所接收到的所述各层码流连同其对应的CMMB时间戳放入缓冲区；
S232、所述终端接收设备在一帧数据接收完毕的时刻(，从所述缓冲区取待合并的码流进行对齐合并。在本实施例中，该步骤S232具体包括：所述终端接收设备取属于一个接入单元的基本层码流，以基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流，将其作为同一接入单元的码流进行合并。
S240、所述终端接收设备将所述各层码流进行解码展现。
上述实施例提供的移动多媒体广播中分级业务发送与接收同步的方法，将MPEG-2TS码流中的分级业务的各层码流通过CMMB传送时，通过统一的时间戳，保证分级业务的各层码流(即：各个分层数据)之间的同步，从而保证CMMB中分级业务的正常实施。
本发明实施例提供一种前端发送设备，如图5所示，该前端发送设备包括：
码流接收单元510，用于接收编码设备发出的MPEG-2TS码流；
数据提取单元520，用于从所述MPEG-2TS码流中提取出所封装的媒体数据，得到各层码流：基本层码流和增强层码流；
码流封装单元530，用于将所述各层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中以及将所述各层码流所在的复用子帧位置信息封装于所述广播信道帧中；
码流同步单元540，用于将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步；
码流发送单元550，用于将需要发送的媒体数据连同该媒体数据的所述各层码流的CMMB广播时间戳一起广播发送。
在更为具体的实施例中，如图6所示，所述码流同步单元540包括：
时间计算子单元541，用于根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间；
时间戳计算子单元542，用于将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB时间戳。
本发明实施例还提供一种终端接收设备，如图7所示，该终端接收设备包括：
位置监听单元710，用于监听广播信道帧中所述各层码流所在的复用子帧位置信息；
码流接收单元720，用于根据所述位置信息和自身的处理能力接收所述各层码流中的基本层码流，或接收所述基本层码流及对应的增强层码流；
码流合并单元730，用于将所述各层码流按CMMB广播时间戳对齐、同步后进行合并；
码流展现单元740，用于将所述各层码流进行解码展现。
在更为具体的实施例中，如图8所示，所述码流合并单元730包括：
缓冲子单元731，用于将所接收到的所述各层码流连同其对应的CMMB时间戳放入缓冲区；
码流对齐子单元732，用于在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并。在其他的实施例中，更为具体的，所述码流对齐子单元732，用于取属于一个接入单元的基本层码流，以基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流，将其作为同一接入单元的码流进行合并。
本发明实施例还提供一种移动多媒体广播中分级业务同步的***，如图9所示，该***包括：
编码设备810，用于将编码生成的多个分层的码流封装为MPEG-2TS码流后发出；
在本实施例中，编码设备810将媒体源编码为基本层码流和至少一个增强层码流，基本层码流可以单独解码，增强层码流包含用于提高低层码流质量的附加信息，需要和包括基本层码流在内的低层一起解码。在时间线上，分层码流以接入单元为基本单位，典型的接入单元如：一帧视频帧。在分层编码的方式下，特定时间点上的一个接入单元可被编码为多个层码流的数据，这多个层码流的数据可以被分为多路进行传输；终端接收设备(如：手机等移动终端)根据需要，可同时接收多路传输的多个层的数据，将其按所属的接入单元进行合并，解码展现。
前端发送设备820，用于收所述编码设备发出的MPEG-2TS码流，从所述MPEG-2TS码流中提取出所封装的媒体数据，得到各层码流：基本层码流和增强层码流，将所述各层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中以及将所述各层码流所在的复用子帧位置信息封装于所述广播信道帧中，将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步，将需要发送的媒体数据连同该媒体数据的所述各层码流的CMMB广播时间戳一起广播发送；
终端接收设备830，用于监听广播信道帧中所述各层码流所在的复用子帧位置信息，根据所述位置信息和自身的处理能力接收所述各层码流中的基本层码流，或接收所述基本层码流及对应的增强层码流，将所述各层码流按CMMB广播时间戳对齐、同步后进行合并，将所述各层码流进行解码展现。
上述实施例提供的***，将MPEG-2TS码流中的分级业务的各层码流通过CMMB传送时，通过统一的时间戳，保证分级业务的各层码流(即：各个分层数据)之间的同步，从而保证CMMB中分级业务的正常实施。
在更为具体的实施例中，所述前端发送设备820，还用于根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间，将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB时间戳。用各层码流的PCR时间乘上CMMB时间刻度换算出分层码流对应的CMMB时间戳，用所处理的第一个复用子帧内的第一层码流的PCR时间确定了业务的CMMB时间戳起始值，并通过该转换方法确定了后续各层码流的CMMB时间戳。保证同一PCR时间点上的各层码流在CMMB时间戳的统一，从而保证不同分层业务的各层码流之间的同步。
在更为具体的实施例中，所述终端接收设备，用于将所接收到的所述各层码流连同其对应的CMMB时间戳放入缓冲区，在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并。更为具体的实施例中，所述终端接收设备830，还用于取属于一个接入单元的基本层码流，以基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流，将其作为同一接入单元的码流进行合并。
下面提供上述实施例的应用例：
本应用例中以编码设备为H264SVC(可扩展的视频编码)编码器为例，其编码输出视频数据基本单元为NALU(NetworkAbstractionLayer，网络抽象层单元)，同一时间点上的若干NALU组成一个接入单元。
在该应用例中，以广播业务包含了SVC视频和一路音频为例，SVC视频采用空间分层模式，被编码为一路QVGA(QuarterVGA，320×240像素图像)基本码流和一路VGA(VideoGraphicArray，一种视频传输标准，视频图像640X480像素图像)增强视频码流，音频被编码为一路音频数据码流。需要说明的是，上述实施例提供的方法设备和***同样适用于多路增强流及其它分级编码模式的情况。
编码设备将编码生成的SVC基本码流、SVC增强码流以及音频数据码流分为多个节目复用封装为一路MPEG-2TS码流后发出。对于每一路节目的PES码流中的PTS时间戳并不强制要求相互依赖，通过PCR来保证同一采样时刻上的SVC基本码流、SVC增强码流以及音频数据码流在PCR时间上的同步。
前端发送设备接收编码设备发出的MPEG-2TS码流，从MPEG-2TS码流中提取出所封装的SVC媒体数据，将SVC基本层码流和SVC增强层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中，同时将所述视频流各层码流所在的复用子帧位置信息封装于所述广播信道帧中。
图10为本发明应用例提供的广播信道帧的组成结构示意图。如图10所示，某频点F上有40个时隙，其中时隙0(复用帧0)用于传送控制信息，时隙1至时隙39用于传送业务信息。前端发送设备将视频业务S中的视频基本层码流、音频以及数据信息配置为复用帧1中，占用时隙1至时隙4，复用子帧号为1。视频增强层码流配置为复用帧2，占用时隙5至时隙6，复用子帧号为1。复用帧1和复用帧2中不再传输其他业务。在业务的控制信息和电子业务指南(ElectronicServiceGuide，ESG)信息中添加承载各层(基本层码流及其对应的各增强层码流)码流的复用帧位置信息，该描述信息标明视频业务S包含两个复用子帧：复用帧1的复用子帧1为业务基本层码流数据，复用帧2的复用子帧1为增强层码流数据。
前端发送设备获取视频业务S的基本层码流V1，封装到复用帧1的复用子帧1中，获取视频业务S的增强层码流V2，封装到复用帧2的复用子帧1中。前端发送设备获取视频业务S的音频数据码流及数据段信息，添加到复用帧1的复用子帧1中，即与基本层码流一起承载于同一个复用子帧中。承载各层码流的复用帧位置信息，承载于广播信道帧中的复用帧0中，以指示接收终端各层码流的复用帧位置信息，以方便其接收视频业务S。
音频数据码流、视频数据码流封装到复用子帧中去的时候，是以一个个音频或视频单元为单位进行封装的。对于每个音频单元或视频单元，都有一个对应的CMMB时间戳，根据CMMB标准，该时间戳为复用子帧内的起始播放时间和每个单元对应的相对播放时间组合而成。起始播放时间和每个单元对应的相对播放时间也封装在复用子帧内，与媒体数据一同发送。
在前端发送设备上，需要将所接收的媒体数据的PCR时间戳转换成CMMB广播时间戳，在此过程中控制SVC各分层业务在CMMB广播时间戳上的同步。
前端发送设备上，SVC各分层业务在CMMB广播时间戳上的同步，按以下方法进行：
对于SVC各分层所对应的每一复用子帧，
A、接收输入的MPEG-2TS码流，对于每一视频单元，取出其所在PES包的PTS时间戳，结合其所在节目的码流所对应的PCR有关时间信息，计算该视频单元的PCR时间；
B、直接用视频单元的PCR时间乘上CMMB时间刻度，得到该SVC视频单元的CMMB时间戳。对复用子帧，取一个起始播放时间，将视频单元的CMMB时间戳分解为起始播放时间和每个单元对应的相对播放时间两部分，把起始播放时间和每个单元对应的相对播放时间封装到复用子帧里去。
步骤A中视频单元的PCR时间的计算可以采用以下方法：
(1)解析MPEG-2TS码流中的TS包，直到解析到带有PCR的TS包，将该PCR作为参考PCR时间戳，解析该TS包中PES包，将PES包中的PTS作为参考PTS时间戳。
(2)对于后续每一视频单元，取出其所在PES包的PTS时间戳，如果该TS包中带有PCR，则更新参考PCR时间戳，同时更新参考PTS时间戳。如果该TS包中没有PCR，则计算该视频单元的PCR；
(3)用PES包里的PTS时间戳去和参考PTS时间戳做差值，再用这个差值加上参考PCR时间戳，就得到PES包对应的PCR时间，亦即视频单元对应的PCR时间。
PCR时间＝|PTS时间戳-参考PTS时间戳|+参考PCR时间戳公式(1)
步骤B中所述CMMB时间刻度，表示每秒发生的CMMB时间单位数，根据CMMB标准《移动多媒体广播第2部分：复用》为22500。
终端接收设备(如：手机、上网本等)上接收终端监听广播信道帧中的复用帧0，接收控制信息及ESG信息，以正确接收多媒体广播业务，同时监听到的，还包括分级视频业务中各层码流所在的复用子帧位置信息。终端接收设备并根据自身需要，如其视频流处理能力或网络传输状况，决定接收基本层码流，或接收基本层码流及对应的增强层码流。该应用例中该终端接收设备以一个可以处理VGA视频的上网本为例，需要同时接收QVGA的基本码流和VGA的增强码流来做处理，解码展现VGA视频。接收到从不同复用子帧传来的基本码流和增强码流后，上网本将视频单元从复用子帧中提取出来，解析出H264基本编码单元NALU，将属于不同分层业务的NALU按CMMB广播时间戳对齐、同步，之后将属于同一个接入单元的NALU进行合并，然后进行视频解码展现。
终端接收设备(如：上网本)上，SVC各分层业务的同步按以下方法进行：
a、每一个视频单元，都有对应的CMMB时间戳，该时间戳为复用子帧内的起始播放时间和每个单元对应的相对播放时间组合而成。将视频单元所包含的NALU数据连同其对应的时间戳放入缓冲区，缓冲区可以是基本层或者增强层，该基本层、增强层都是各自独立的。
b、每隔一个固定时间间隔，上网本就从前述缓冲区取一个视频接入单元，将视频接入单元不同分层的NALU数据对齐合并后，送入解码器。先取属于一个视频接入单元的SVC基本层码流的NALU数据，以SVC基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流的NALU数据，将其作为同一视频接入单元的数据，和基本层码流的NALU数据合并，将合并后的NALU数据作为一个完整的接入单元，送入解码器解码。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种移动多媒体广播中分级业务发送同步的方法，其特征在于，包括：
前端发送设备接收编码设备发出的MPEG-2TS码流；
从所述MPEG-2TS码流中提取出所封装的媒体数据，得到具有PCR时间的各层码流：基本层码流和增强层码流；
将所述各层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中以及将所述各层码流所在的复用子帧位置信息封装于所述广播信道帧中；
将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步；
将需要发送的媒体数据连同该媒体数据的所述各层码流的CMMB广播时间戳一起广播发送；
其中，所述将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步；具体包括：
根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间；
将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB广播时间戳。
2.一种移动多媒体广播中分级业务接收同步的方法，其特征在于，包括：
终端接收设备监听广播信道帧中各层码流所在的复用子帧位置信息；
根据所述位置信息和自身的处理能力接收所述各层码流中的基本层码流，或接收所述基本层码流及对应的增强层码流；
将所述各层码流按CMMB广播时间戳对齐、同步后进行合并；
将所述各层码流进行解码展现；
所述CMMB广播时间戳是在统一时间基准下由所述各层码流的PTS时间戳转换成，具体为：
根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间；
将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB广播时间戳。
3.如权利要求2所述方法，其特征在于，所述将所述各层码流按CMMB广播时间戳对齐、同步，具体包括：
所述终端接收设备将所接收到的所述各层码流连同其对应的CMMB广播时间戳放入缓冲区；
在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并。
4.如权利要求3所述方法，其特征在于，所述在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并，具体包括：
所述终端接收设备取属于一个接入单元的基本层码流，以基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流，将其作为同一接入单元的码流进行合并。
5.一种前端发送设备，其特征在于，包括：
码流接收单元，用于接收编码设备发出的MPEG-2TS码流；
数据提取单元，用于从所述MPEG-2TS码流中提取出所封装的媒体数据，得到各层码流：基本层码流和增强层码流；
码流封装单元，用于将所述各层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中以及将所述各层码流所在的复用子帧位置信息封装于所述广播信道帧中；
码流同步单元，用于将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步；
码流发送单元，用于将需要发送的媒体数据连同该媒体数据的所述各层码流的CMMB广播时间戳一起广播发送；
其中，所述码流同步单元，包括：
时间计算子单元，用于根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间；
时间戳计算子单元，用于将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB广播时间戳。
6.一种终端接收设备，其特征在于，包括：
位置监听单元，用于监听广播信道帧中各层码流所在的复用子帧位置信息；
码流接收单元，用于根据所述位置信息和自身的处理能力接收所述各层码流中的基本层码流，或接收所述基本层码流及对应的增强层码流；
码流合并单元，用于将所述各层码流按CMMB广播时间戳对齐、同步后进行合并；
码流展现单元，用于将所述各层码流进行解码展现；
所述CMMB广播时间戳是在统一时间基准下由所述各层码流的PTS时间戳转换成，具体为：
根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间；
将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB广播时间戳。
7.如权利要求6所述终端接收设备，其特征在于，所述码流合并单元包括：
缓冲子单元，用于将所接收到的所述各层码流连同其对应的CMMB广播时间戳放入缓冲区；
码流对齐子单元，用于在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并。
8.如权利要求7所述终端接收设备，其特征在于，所述码流对齐子单元，用于取属于一个接入单元的基本层码流，以基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流，将其作为同一接入单元的码流进行合并。
9.一种移动多媒体广播中分级业务同步的***，其特征在于，包括：
编码设备，用于将编码生成的多个分层的码流封装为MPEG-2TS码流后发出；
前端发送设备，用于收所述编码设备发出的MPEG-2TS码流，从所述MPEG-2TS码流中提取出所封装的媒体数据，得到各层码流：基本层码流和增强层码流，将所述各层码流按其所属的层分别封装于广播信道帧中的不同复用子帧中以及将所述各层码流所在的复用子帧位置信息封装于所述广播信道帧中，将所述媒体数据的所述各层码流的PTS时间戳转换成统一时间基准下的CMMB广播时间戳，控制所述各层码流在CMMB广播时间戳上的同步，将需要发送的媒体数据连同该媒体数据的所述各层码流的CMMB广播时间戳一起广播发送；
终端接收设备，用于监听广播信道帧中所述各层码流所在的复用子帧位置信息，根据所述位置信息和自身的处理能力接收所述各层码流中的基本层码流，或接收所述基本层码流及对应的增强层码流，将所述各层码流按CMMB广播时间戳对齐、同步后进行合并，将所述各层码流进行解码展现；
其中，所述前端发送设备，用于根据所述各层码流所在的PES包中的PTS信息和PES包的PCR时间信息计算所述各层码流的PCR时间，将该层码流的PCR时间除以PCR的时钟刻度然后乘以CMMB时间刻度，得到该层码流的CMMB广播时间戳。
10.如权利要求9所述***，其特征在于，所述终端接收设备，还用于将所接收到的所述各层码流连同其对应的CMMB广播时间戳放入缓冲区，在一帧数据接收完毕的时刻，从所述缓冲区取待合并的码流进行对齐合并。
11.如权利要求10所述***，其特征在于，所述终端接收设备，还用于取属于一个接入单元的基本层码流，以基本层码流的时间戳为基准，取出与基本层码流时间戳对应的增强层码流，将其作为同一接入单元的码流进行合并。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010557758.7A CN102480634B (zh) | 2010-11-24 | 2010-11-24 | 移动多媒体广播中分级业务同步的方法、设备和*** |
| PCT/CN2011/077591 WO2012068898A1 (zh) | 2010-11-24 | 2011-07-25 | 移动多媒体广播中分级业务同步的方法、设备和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010557758.7A CN102480634B (zh) | 2010-11-24 | 2010-11-24 | 移动多媒体广播中分级业务同步的方法、设备和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102480634A CN102480634A (zh) | 2012-05-30 |
| CN102480634B true CN102480634B (zh) | 2015-12-16 |
Family
ID=46093091
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201010557758.7A Active CN102480634B (zh) | 2010-11-24 | 2010-11-24 | 移动多媒体广播中分级业务同步的方法、设备和*** |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN102480634B (zh) |
| WO (1) | WO2012068898A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106303673B (zh) | 2015-06-04 | 2021-01-22 | 中兴通讯股份有限公司 | 码流对齐、同步处理方法及发送、接收终端和通信*** |
| CA3005479A1 (en) | 2015-11-20 | 2017-05-26 | Genetec Inc. | Media streaming |
| US11716520B2 (en) * | 2021-06-25 | 2023-08-01 | Netflix, Inc. | Systems and methods for providing optimized time scales and accurate presentation time stamps |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101273627A (zh) * | 2005-09-27 | 2008-09-24 | 韩国电子通信研究院 | 用于高质量视频服务的传送和接收数字多媒体广播的设备 |
| CN101282482A (zh) * | 2008-05-04 | 2008-10-08 | 中兴通讯股份有限公司 | 视频数据与音频数据同步播放的装置、***和方法 |
| CN101690200A (zh) * | 2007-05-04 | 2010-03-31 | 韩国电子通信研究院 | 用于在数字多媒体广播***中提供高质量多媒体服务的方法和设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004057873A1 (en) * | 2002-12-20 | 2004-07-08 | Koninklijke Philips Electronics N.V. | Method and apparatus for handling layered media data |
| JP2009267573A (ja) * | 2008-04-23 | 2009-11-12 | Victor Co Of Japan Ltd | 動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム |
| CN101951506B (zh) * | 2010-09-17 | 2014-03-12 | 中兴通讯股份有限公司 | 实现可伸缩视频编码业务同步发送、接收的***和方法 |
-
2010
- 2010-11-24 CN CN201010557758.7A patent/CN102480634B/zh active Active
-
2011
- 2011-07-25 WO PCT/CN2011/077591 patent/WO2012068898A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101273627A (zh) * | 2005-09-27 | 2008-09-24 | 韩国电子通信研究院 | 用于高质量视频服务的传送和接收数字多媒体广播的设备 |
| CN101690200A (zh) * | 2007-05-04 | 2010-03-31 | 韩国电子通信研究院 | 用于在数字多媒体广播***中提供高质量多媒体服务的方法和设备 |
| CN101282482A (zh) * | 2008-05-04 | 2008-10-08 | 中兴通讯股份有限公司 | 视频数据与音频数据同步播放的装置、***和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2012068898A1 (zh) | 2012-05-31 |
| CN102480634A (zh) | 2012-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101951506B (zh) | 实现可伸缩视频编码业务同步发送、接收的***和方法 | |
| US10897636B2 (en) | Broadcast signal transmitting apparatus and broadcast signal transmitting method | |
| CN101945261B (zh) | 移动多媒体广播***中分级传送、接收方法与装置 | |
| KR101639358B1 (ko) | 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법 | |
| CN101453639B (zh) | 支持roi区域的多路视频流的编码、解码方法和*** | |
| CN105745899A (zh) | 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法 | |
| CN105723718A (zh) | 发送广播信号的设备、接收广播信号的设备、发送广播信号的方法和接收广播信号的方法 | |
| CN107113462A (zh) | 发送方法、接收方法、发送装置以及接收装置 | |
| CN102342127A (zh) | 用于视频编码和解码的方法和装置 | |
| EP3288270B1 (en) | Broadcasting signal transmission device, broadcasting signal reception device, broadcasting signal transmission method, and broadcasting signal reception method | |
| CN106134203A (zh) | 广播信号发送装置、广播信号接收装置、广播信号发送方法、和广播信号接收方法 | |
| CN101513054B (zh) | 用于变换地面数字多媒体广播内容的方法和采用该方法的网关 | |
| CN101729887B (zh) | 一种数字广播***的数据传输方法及装置 | |
| CN102098542A (zh) | 一种多媒体数据传输的方法、***和装置 | |
| CN102480634B (zh) | 移动多媒体广播中分级业务同步的方法、设备和*** | |
| CN102404560B (zh) | 实现可伸缩视频编码业务协同传输的方法及*** | |
| KR100501909B1 (ko) | 엠펙-4 데이터를 디지털 오디오 방송 데이터에 다중화하는 장치와 그 방법 및 그 역다중화 방법 | |
| US20100315486A1 (en) | Stereoscopic video service providing/receiving method and apparatus in digital broadcasting system | |
| CN101754024B (zh) | 一种复用装置及复用方法 | |
| CN101453653B (zh) | 一种传播数字音视频参数集的方法 | |
| CN101854528B (zh) | 移动多媒体广播技术的实现方法、***和装置 | |
| KR101745652B1 (ko) | 복호 정보 고속 취득이 가능한 방송 송신기와 수신기 및 그 방법 | |
| KR101276342B1 (ko) | 광고 서비스를 제공하기 위한 송신 방법 및 송신 장치와, 수신 방법 및 수신 장치 | |
| KR101118265B1 (ko) | 가변 비트율 서비스 제공 방법 및 그 장치 | |
| KR100933054B1 (ko) | 고품질 비디오 서비스를 제공하는 방송 신호의 송신 및수신 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |