CN100496129C - 基于h.264多路视频转码复用的方法 - Google Patents
基于h.264多路视频转码复用的方法 Download PDFInfo
- Publication number
- CN100496129C CN100496129C CN200710023476.7A CN200710023476A CN100496129C CN 100496129 C CN100496129 C CN 100496129C CN 200710023476 A CN200710023476 A CN 200710023476A CN 100496129 C CN100496129 C CN 100496129C
- Authority
- CN
- China
- Prior art keywords
- stream
- video
- mpeg
- multiplexing
- transcoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000006243 chemical reaction Methods 0.000 claims abstract description 31
- 238000003066 decision tree Methods 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 15
- 238000012856 packing Methods 0.000 claims description 12
- FPPNZSSZRUTDAP-UWFZAAFLSA-N carbenicillin Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)C(C(O)=O)C1=CC=CC=C1 FPPNZSSZRUTDAP-UWFZAAFLSA-N 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 8
- 230000003139 buffering effect Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000012797 qualification Methods 0.000 claims description 3
- 230000000536 complexating effect Effects 0.000 abstract 1
- 241000288113 Gallirallus australis Species 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 9
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000007418 data mining Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- AVSGTGUIBQOXJK-UHFFFAOYSA-N 5,6-dihydro-4h-cyclopenta[c]dithiole-3-thione Chemical compound C1CCC2=C1SSC2=S AVSGTGUIBQOXJK-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- GUGNSJAORJLKGP-UHFFFAOYSA-K sodium 8-methoxypyrene-1,3,6-trisulfonate Chemical compound [Na+].[Na+].[Na+].C1=C2C(OC)=CC(S([O-])(=O)=O)=C(C=C3)C2=C2C3=C(S([O-])(=O)=O)C=C(S([O-])(=O)=O)C2=C1 GUGNSJAORJLKGP-UHFFFAOYSA-K 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
基于H.264多路视频转码复用的方法，输入是多路MPEG-2单节目流，输出是一路H.264多节目流，实现MPEG-2到H.264的视频转码、音视频的解复用与复用、多路H.264节目的复用，其视频转码包括码率、分辨率及格式转换；MPEG-2到H.264的视频转码算法采用MPEG-2到H.264码的快速转换方法，利用H.264的宏块模式选择与MPEG-2运动补偿残差间的相关性，利用MPEG-2解码得到的运动补偿残差、MB模式、直接映射成H.264的宏块模式；并且合成TS流，在多路MPEG-2节目流以ASI接口通过PCI总线输入转码复用服务器，转码复用后的单路H.264视频流通过PCI总线以ASI接口方式输出。
Description
技术领域
本发明属于数字电视中的视频压缩编码与复用领域。尤其是涉及基于H.264多路视频转码复用的方法和复用器。
背景技术
近年来移动数字电视在国内迅速发展，但图像带宽束缚了数字视频业务的拓展。为了兼顾码流传输效率和视频图像质量，***通常的传输速率在6～10Mbps。而数字电视视频录像节目多采用MPEG-2视频压缩标准，图像尺寸较大。比如，标清的MPEG-2码率约为4Mbps，高清的MPEG-2码率约为10Mbps。移动数字电视用户的带宽一般难以满足多路高码率的视频流的实时传输，为了使用户能在较低带宽的情况下能顺利收看更多的移动数字电视节目，需要降低视频流的码率。再加上储存容量的限制和各种不同数字电视终端的出现，使数字电视用户对高效的视频编码技术需求越来越迫切。
在数字电视信源未采用低码率、高清晰度的压缩编码标准之前，上述问题目前的解决办法有两个，其一是将高码率的MPEG-2等数字视频进行高压缩，转为低码率的MPEG-2数字视频；其二是将高码率的MPEG-2等数字视频进行转码，转为H.264数字视频。第一种方法将会导致图象质量大幅度下降，显然不可取，第二种方法则会在几乎不降低图象质量的情况下，获得更高压缩效率和更低传输码率。
与MPEG-2相比，H.264在同等图像质量下，能够提高4倍以上的压缩效率。可见上述第二种方法比较可取。但H.264作为单纯的视频压缩标准，没有关于音视频合成及多路复用传输等方面的内容。目前也没有专用的设备实现MPEG-2到H.264的视频转码以及复用。考虑到电视台原有的MPEG-2前端设备数量多且非常昂贵，摒弃已有大量的MPEG-2前端设备，包括数码摄像机、非线性图像节目编辑器，这是不现实的。如何保障图像质量，同时大幅度降低图像的带宽，即构建转码复用专用设备已成当务之急。
现有技术中未涉及基于H.264多路视频转码复用的方法和复用器。如CN1745573图像拾取设备及其运动图片拍摄方法，在运动图片拍摄模式下工作的图像拾取装置，其中运动图片拍摄开始之前，通过在键输入部分(12)上的快门按钮来指示，将控制部分(10)的时钟频率设置为普通频率，从而减小监控状态下的电力消耗以延长电池寿命，而且其中，当指示运动图片拍摄开始时，由时钟转换控制部分(101)将该时钟频率大幅增加，从而使得在对运动图片数据进行解码处理期间，MPEG转换器(7)能够高速访问存储YUV数据，例如参考数据，搜索数据等的SDRAM(8)，并能够对运动图片进行实时压缩。
CN1567271具备高速网络接口的MPEG码流变换采集方法及装置，在设备内实现传输流的数据过滤、PID修改、服务信息***和码率变换，设备具有高速以太网接口用于将变换后的目标传输流传送到计算机中。实现码流的直接采集，也能够对码流进行处理。
CN1633180基于变换和数据融合的多描述视频编码方法，包括对要编码的信号实施变换1～n；分别对变换1～n后的信号进行量化和熵编码；分别按照各自的路径1～n对量化和熵编码后的信号1～n进行解码；分别对解码后的信号1～n进行逆变换；逆变换后分别得到边描述1～n，将1～n个逆变换后的数据融合成为中心描述等步骤。它能将基于变换和数据融合的多描述编码和视频编码结合起来，对一组视频序列，这种编码方法能产生多个MPEG码流，从每一个码流中都可以还原出一个失真较大的视频序列；当多个码流被收到时，一个失真较小的视频序列将被还原出来。
发明内容
本发明提出了在原有的MPEG-2移动数字电视的基础上，增加专用的H.264视频转码复用服务器，并采用变换域的视频转码算法，降低转码复杂度。用软件方式实现了多路MPEG-2到H.264的转码、H.264视频与音频的复用与解复用及多路H.264节目的复用与解复用。
本转码复用器的实现所采用的技术方案如下：基于H.264多路视频转码复用的方法和复用器，输入是多路MPEG-2单节目流，输出是一路H.264多节目流，实现MPEG-2到H.264的视频转码、音视频的解复用与复用、多路H.264节目的复用，其视频转码包括码率、分辨率及格式转换。MPEG-2到H.264的视频转码算法采用基于机器学习的转码算法，实现码率、分辨率可调，帧内、帧间采用不同的算法。MPEG-2到H.264码的快速转换方法如下述。在合成TS流时按一定规律重新改写PID值，以避免PID冲突引起的解码器不能正确解码。在合成TS流时对PMT表的流类型字段作相应的修改。多路MPEG-2节目流以ASI接口通过PCI总线输入转码复用服务器，转码复用后的单路H.264视频流通过PCI总线以ASI接口方式输出，并使用FIFO提供的半满信号来读取FIFO数据或写FIFO，以避免CPU频繁访问PCI接口。MPEG-2到H.264的转码以及多路转码后的H.264视频流与音频流复用在同一服务器中完成。
TS流由编码后的基本数据流(ES)根据一定的格式打包形成PES包，再加入一些***信息而构成，在发送端，基本流的PES打包由音/视频编码器完成，复用器接收编码端的音、视频数据流以及辅助数据流，按照一定的复用方法将其交织成为单一的TS流。为了实现音、视频同步，在码流中还必须加入各种时间的标志和***的控制信息。对于接收端，则正好和发送端过程相反。
MPEG-2到H.264的视频转码：从MPEG-2视频到H.264视频的转码，目前主要有两种架构：基于像素域的级联体系转码(CPDT)和基于DCT域的转码(DDT)。基于像素域的级联体系转码就是先完全解码，在像素域做处理，再重新编码。由于二次编码时编码部分和解码部分在结构上完全独立，因此转码具有很大的灵活性，但是对宏块数据的运动矢量和编码模式都重新作了计算，转码效率低，如全靠软件来实现，难以达到实时的要求。基于DCT域的转码(DDT)直接在DCT域对DCT系数、运动失量等重估计，计算复杂度低，但灵活性受到限制，当要求改变运动矢量、码率、分辨率等，就很难采用这种体系结构。
本发明MPEG-2到H.264码的快速转换方法，利用H.264的宏块模式选择与MPEG-2运动补偿残差间的相关性，将H.264宏块模式选择问题转化为数据分类问题，利用MPEG-2解码得到的运动补偿残差、MB模式、编码块模式(CBPC)直接映射成H.264的宏块模式；在MPEG-2码解码时，保存相关的MB信息，包括MB编码模式、编码块类型(CBPC)、MB残差的均值和方差(以4×4的sub-MB分别计算，共16个均值和方差)，其解码后采用标准的H.264编码器对YUV图像编码，并保存H.264MB编码模式，采用机器学习算法得到决策树，用于H.264编码模式的分类；在MPEG-2码流解码时，获取MPEG-2的MC残差、宏块模式、编码块模式(CBPC)，并计算出4×4子块MC残差的均值和方差；通过决策树获取H.264中宏块编码模式；在H.264编码时，对MB的编码模式直接赋值；H.264编码器的输入为MPEG-2解码后的YUV数据以及MB编码模式，并没有使用MPEG-2的运动矢量，在运动估计时，使用由决策树得到的MB编码模式。其转码算法框图如图1所示。
得到决策树的方法是：决策树分类应遵循一下原则：
1)将输入序列分成Intra、Skip、Inter16×16和Inter8×8的分类器；
2)将Inter16×16分成16×16、16×8、8×16的分类器；
3)将inter8×8分成8×8、8×4、4×8、4×4的分类器。
决策树生成应遵循一下原则：
1)如果MPEG-2MB的MC没有编码，即没有非零MV，4个8×8块没有编码系数，H.264MB将被编码成16×16，需通过决策树二级判别，选择最优模式；
2)如果MPEG-2MB为intra模式，则在H.264中，该MB编码成intra或inter8×8，若编码成intra，算法终止；若为inter8×8，需通过二级判决，选择最优模式；
3)如果MPEG-2MB为skip模式，在H.264中，该MB也为skip模式。
4)决策树通过WEKA数据挖掘工具生成。WEKA的数据挖掘程序的文件格式为ARFF(Attribute-Relation File Format)。一个ARFF文件采用ASCII代码书写，反映一组属性间的相互关系。一般包括两个不同的段：1)文件头，包括关系的名称、属性和类型；2)数据。
5)训练集由高码率的MPEG-2序列组成，不包括B帧。决策集由MPEG-2码流解码后，H.264重新编码得到。在H.264编码过程中，量化参数为25，使用RD优化得到宏块编码模式。
转码决策树包括三个等级，采用3个不同的WEKA树，如图2所示：
1)将输入序列分成Intra、Skip、Inter16×16和Inter8×8的分类器；
2)将Inter16×16分成16×16、16×8、8×16的分类器；
3)将inter8×8分成8×8、8×4、4×8、4×4的分类器。
第一个WEKA决策树，训练数据集使用了MPEG-2一个宏块内16个4×4子块残差的均值和方差、宏块模式(skip、intra和3种non-intra，分别以0、1、2、4、8标识)、编码块模式(CBPC)和H.264MB的编码模式。
ARFF数据段的实例行样本用于训练决策树模型，一行代表一个宏块样本。
第二个决策树，训练样本集使用了MPEG-2一个宏块内16个4×4子块残差的均值和方差、宏块模式(3种non-intra)、编码块模式(CBPC)和H.264MB的16×16的子编码模式(16×16，16×8，8×16)。该决策树决定了inter 16×16的最终编码模式。
第三个决策树，训练样本集使用了MPEG-2一个宏块内4个4×4子块残差的均值和方差、宏块模式(3种non-intra)、编码块模式(CBPC)和H.264MB的8×8的子编码模式(8×8，8×4，4×8，4×4)。
基于这些训练文件，通过WEKA数据挖掘工具使用J48算法生成决策树。J48算法由Ross Quinlan提出，在数据挖掘领域有着广泛的应用。
TS流复用
对于转码后多路节目的H.264视频，和原来节目的音频按照MPEG-2***层来实现音、视频数据的复用和同步，并把多路节目合成一路TS流(传输流)进行传输。TS流由编码后的基本数据流(ES)根据一定的格式打包形成PES包，再加入一些***信息而构成，在发送端，基本流的PES打包由音/视频编码器完成，复用器接收编码端的音、视频数据流以及辅助数据流，按照一定的复用方法将其交织成为单一的TS流。为了实现音、视频同步，在码流中还必须加入各种时间的标志和***的控制信息。对于接收端，则正好和发送端过程相反。
传输流可由多个节目构成，而每一个节目可由多个流复合在一起，包括视频流、音频流、节目特殊信息流(PSI)等。其中PSI有四种类型：节目关联表(PAT)、节目映射表(PMT)、网络信息表(NIT)和条件访问表(CAT)。复用器将转码后的H.264视频和原音频按传输流的格式打包。TS包的长度为188字节，分成包头和包负荷两部分。包头4字节前缀是链接字头，包括同步字节0×47和数据包标识PID，从PID可以判断其后面负载的数据类型，是视频流、音频流、PSI还是其它数据包。包负荷是包的实际内容，根据具体情况，可以放置PES包或PSI包。
PSI用来描述传送流的组成结构，在***中担任极其重要的角色，在多路复用中尤为重要的是PAT表和PMT表。PAT表中给出了一路TS流中有多少套节目，以及它与PMT表PID之间的对应关系；PMT表给出了一套节目的具体组成及与视频、音频等PID的对应关系。
在转码复用器中，采用软件方式将多路单一节目的MPEG-2传送流(SPTS)转码后复用成多节目一路H.264传送流(MPTS)，它的***组成框图如图3所示。
多路单节目MPEG-2的TS流以ASI接口方式接入，通过PCI总线将节目数据传给转码复用服务器。服务器主要功能是接收4路MPEG-2单路节目传输流，将其视频转成H.264视频，然后复用成一个多路节目的传输流，并且除去空包，重新改写PID值和流类型字段；抽取和处理任何一个接收到的PSI和业务信息(SI)，将其和本地产生的这类数据集成起来；另外，还需要用***时钟STC来进行节目时钟参考PCR的再标识处理。为完成以上功能，并且尽可能提高***工作速度，在具体实现考虑了以下几点：
1)为了避免主机CPU频繁访问PCI接口，利用FIFO提供的半满信号，CPU读取FIFO数据或写FIFO。对于输入FIFO，半满时产生中断，CPU响应中断，将FIFO中的数据一次性读入内存缓冲；对于输出FIFO，情况类似，一次性将FIFO写至半满。
2)节目同步字的识别。要获取一个节目的数据，必须先找到TS流数据包的同步字，由于同步头并非满足唯一透明原则，即负荷中有可能恰为其值，因此需搜索检测。
3)PID冲突的解决。PID是TS流中负载类型的唯一标识。不同支路MPEG-2码流的PID值可能相同，如果不加修改往往会导致不能正确译码，解决的办法是在合成TS流时按一定的规律重新改写PID值。例如，若节目1的PID为100，以后每检测一道节目，新的PID加1，依次类推。
4)流类型的修改。由于输入的MPEG-2TS流的视频格式为MPEG-2，而重新合成的TS流的视频格式为H.264，因此需要对PMT表的流类型字段作相应的修改，修改前MPEG-2的流类型字段为0x02，修改后的流类型字段为0x1b。
TS流解复用
TS流的解复用与复用的流程刚好相反，其流程如图4所示。接收端通过检测PID为0包来建立PAT表，由PAT表得到该路TS流所包含各套节目的PMT表的PID，从而建立PMT表。最后由PMT表得到每套节目所对应的音视频包的PID。接收端通过这些PID将对应的音频、视频数据放入缓冲区，以便音视频解码器的解码。
附图说明
图1是MPEG-2到H.264的视频转码算法框图。
图2MPEG-2到H.264视频转码器决策树框图。
图3是多路单节目传送流的转码复用框图。
图4是TS流解复用流程图。
图5是视频转码在移动数字电视中的应用框图。
图6是TS流各表PID的对应关系图。
具体实施方式
在基于MPEG-2的移动数字电视***中，视频内容主要来自于MPEG-2节目库、***，以及视频直播节目，通过复用器将多个MPEG-2节目流复用后，进行信道编码调制，然后进行数字电视无线发射。
引入基于H.264的视频转码复用器后，***构架如图5所示。它实际上是将MPEG-2节目库与MPEG-2节目流前移，一方面，通过静态转码建立H.264视频节目库，供播放***选用；另一方面，对***和视频直播的MPEG-2节目流进行动态实时转码，降低视频流的码率，改变视频流的空间分辨率、帧率，适应后端的传输需求。转码后通过软件复用将多套H.264节目合成一路TS流进行传输。
多路单节目MPEG-2的TS流以ASI接口方式接入视频转码复用器，通过PCI总线将节目数据传给转码复用服务器。服务器接收多路MPEG-2单路节目传输流，将其视频转成H.264视频，然后复用成一个多路节目的传输流，并通过ASI接口输出。
在输入的MPEG-2单路节目流中，检测到的第一套节目的PID为100，以后每检测到一套节目，在合成TS流时，新的PID加1。由于输入的MPEG-2TS流的视频格式为MPEG-2，而重新合成的TS流的视频格式为H.264，需要对PMT表的流类型字段作相应的修改，修改前MPEG-2的流类型字段为0x02，修改后的流类型字段为0x1b。
MPEG-2到H.264码的快速转换方法中采用的基于决策树的分类：
使用开源的数据挖掘工具WEKA分析MPEG-2宏块残差的均值与方差、编码模式、编码块类型(CBPC)，获取H.264宏块编码模式。该转码器的决策树包括3个WEKA决策树，在图2中以灰色标识。第一个WEKA决策树用于判别skip、Intra、8×8、16×16模式，如果是8×8模式或16×16模式，则使用第二个或第三个决策树判决该MB的最终模式。通过WEKA工具计算出决策树中均值和方差的判决电平。决策树的工作如下：
节点1：输入该节点的是MPEG-2编码MB。通过检测MPEG-2MB的残差大小，将MB的编码方式分成4类：skip、Intra、8×8或16×16。Intra决策过程不在专利中讨论，其他情况需根据前面的分类情况进行第二次决策分类。在生成决策树时，将使用以下规则：
1)如果MPEG-2MB的MC没有编码，即没有非零MV，4个8×8块没有编码系数。H.264MB将被编码成16×16。需通过决策树二级判别，选择最优模式。
2)如果MPEG-2MB为intra模式，则在H.264中，该MB编码成intra或inter8×8。若编码成intra，算法终止；若为inter8×8，需通过二级判决，选择最优模式。
3)如果MPEG-2MB为skip模式，在H.264中，该MB也为skip模式。
节点2：输入该节点是由节点1分出的16×16MB，该节点用第二个WEKA决策树，对H.264MB的模式(16×16，16×8或8×16)分类。检测16×8或8×16子块是否生成更好的预测，若判别为16×8或8×16，则为最终的编码模式，否则，将由节点4继续判别。
节点3：输入该节点的由节点1分出的8×8MB。该节点用第三个WEKA决策树，对H.2648×8子宏块选择最优模式：8×8，8×4，4×8，4×4。该决策树执行4次，分别对一个宏块内的4个8×8子块进行判别一次，该部分只使用8×8子块内的4个4×4块的均值和方差。
节点4：输入该节点的是由节点1分出的skip模式块或由节点2分出的16×16模式块。该节点估计H.26416×16模式(不包括16×8和8×16模式)，选择最优模式是skip或inter16×16。
MB模式的判决和门限值的选择由H.264的量化参数(QP)决定，随着QP的不同，均值和方差的门限值也不同。解决这种情况可以有两种方法：1)对每个QP生成一个决策树，在H.264编码时，根据所用的QP值，选择相应的决策树；2)只生成一个决策树，根据QP值调整均值和方差的门限。对于第一种方法，在一个转码器中需生成52个不同的决策树，而每一个又需3个WEKA决策树，因此共需156个WEKA决策树。在H.264中，QP值与量化步长有一定的关系，QP每增加6，量化步长增加一倍，因此可以通过这种关系调整均值和方差的门限值。在该转码器中，采用了第二种方法。生成了QP为25的决策树，其他QP值可以通过调整门限电平来实现。当QP增加6时，门限值提高2.5％，反之降低2.5％。
在接收端的TS流解复用，通过检测PID为0的包建立PAT表，由PAT表得到该路TS流所包含各套节目的PMT表的PID，从而建立PMT表。最后由PMT表得到每套节目所对应的音视频包的PID，如图6所示。接收端通过这些PID将对应的音频、视频数据放入缓冲区，由音视频解码器解码。
合成TS流时按一定规律重新改写PID值，例如，若节目1的PID为100，以后每检测一道节目，新的PID加1，依次类推；在合成TS流时对PMT表的流类型字段作相应的修改，修改前MPEG-2的流类型字段为0x02，修改后的流类型字段为0x1b。
基本数据流(ES)根据一定的格式打包形成PES包，再加入一些***信息(如业务信息(SI)、***时钟信息等)而构成。
PSI用来描述传送流的组成结构，在多路复用中PAT表中给出了一路TS流中有多少套节目，以及它与PMT表PID之间的对应关系；PMT表给出了一套节目的具体组成及与视频、音频等PID的对应关系；并采用流类型的修改：由于输入的MPEG-2TS流的视频格式为MPEG-2，而重新合成的TS流的视频格式为H.264，对PMT表的流类型字段作相应的修改，修改前MPEG-2的流类型字段为0x02，修改后的流类型字段为0x1b。
多路单节目MPEG-2的TS流以ASI接口方式接入，通过PCI总线将节目数据传给转码复用服务器；服务器接收4路MPEG-2单路节目传输流，将其视频转成H.264视频，然后复用成一个多路节目的传输流，并且除去空包，重新改写PID值和流类型字段；抽取和处理任何一个接收到的PSI和业务信息(SI)，将其和本地产生的这类数据集成起来。另外，还需要用***时钟STC来进行节目时钟参考PCR的再标识处理。TS流解复用时，接收端通过检测PID为0包来建立PAT表，由PAT表得到该路TS流所包含各套节目的PMT表的PID，从而建立PMT表；最后由PMT表得到每套节目所对应的音视频包的PID。接收端通过这些PID将对应的音频、视频数据放入缓冲区，由音视频解码器解码。
本发明实施流程还包括：基于H.264多路视频转码复用的方法，输入是多路MPEG-2单节目流，输出是一路H.264多节目流，实现MPEG-2到H.264的视频转码、音视频的解复用与复用、多路H.264节目的复用，其视频转码包括码率、分辨率及格式转换；MPEG-2到H.264的视频转码算法采用MPEG-2到H.264码的快速转换方法，利用H.264的宏块模式选择与MPEG-2运动补偿残差间的相关性，将H.264宏块模式选择问题转化为数据分类问题，利用MPEG-2解码得到的运动补偿残差、MB模式、编码块模式(CBPC)直接映射成H.264的宏块模式；在MPEG-2码流解码时，保存相关的MB信息，包括MB编码模式、编码块类型、MB残差的均值和方差，其解码后采用标准的H.264编码器对YUV图像编码，并保存H.264MB编码模式，采用机器学习算法得到决策树，用于H.264编码模式的分类；在MPEG-2码流解码时，获取MPEG-2的MC残差、宏块模式、编码块模式(CBPC)，并计算出4×4子块MC残差的均值和方差；通过决策树获取H.264中宏块编码模式；在H.264编码时，对MB的编码模式直接赋值；H.264编码器的输入为MPEG-2解码后的YUV数据以及MB编码模式：在运动估计时，使用由决策树得到的MB编码模式；实现码率、分辨率可调，帧内、帧间采用不同的算法；并且合成TS流，在多路MPEG-2节目流以ASI接口通过PCI总线输入转码复用服务器，转码复用后的单路H.264视频流通过PCI总线以ASI接口方式输出；TS流由编码后的基本数据流(ES)根据一定的格式打包形成PES包，再加入***信息而构成，在发送端，基本流的PES打包由音/视频编码器完成，复用器接收编码端的音、视频数据流以及辅助数据流，按照一定的复用方法将其交织成为单一的TS流；在码流中加入各种时间的标志和***的控制信息；对于接收端，则正好和发送端过程相反。合成TS流时重新改写PID值。
在MPEG-2码流解码时利用FIFO提供的半满信号，CPU读取FIFO数据或写FIFO；对于输入FIFO，半满时产生中断，CPU响应中断，将FIFO中的数据一次性读入内存缓冲；对于输出FIFO，一次性将FIFO写至半满。
传输流可由多个节目构成，而每一个节目可由多个流复合在一起，包括视频流、音频流、节目特殊信息流PSI；其中节目特殊信息流PSI有四种类型：节目关联表PAT、节目映射表PMT、网络信息表(NIT)和条件访问表(CAT)；复用器将转码后的H.264视频和原音频按传输流的格式打包。TS包的长度为188字节，分成包头和包负荷两部分；包头4字节前缀是链接字头，包括同步字节0×47和数据包标识PID，从PID判断其后面负载的数据类型，是视频流、音频流、PSI还是其它数据包；包负荷是包的实际内容，放置PES包或PSI包。
PSI用来描述传送流的组成结构，在多路复用中PAT表中给出了一路TS流中有多少套节目，以及它与PMT表PID之间的对应关系；PMT表给出了一套节目的具体组成及与视频、音频等PID的对应关系；并采用流类型的修改：由于输入的MPEG-2TS流的视频格式为MPEG-2，而重新合成的TS流的视频格式为H.264，对PMT表的流类型字段作相应的修改，修改前MPEG-2的流类型字段为0x02，修改后的流类型字段为0x1b。
多路单节目MPEG-2的TS流以ASI接口方式接入，通过PCI总线将节目数据传给转码复用服务器；服务器接收4路MPEG-2单路节目传输流，将其视频转成H.264视频，然后复用成一个多路节目的传输流，并且除去空包，重新改写PID值和流类型字段；抽取和处理任何一个接收到的PSI和业务信息(SI)，将其和本地产生的这类数据集成起来。
还需要用***时钟STC来进行节目时钟参考PCR的再标识处理。
TS流解复用时，接收端通过检测PID为0包来建立PAT表，由PAT表得到该路TS流所包含各套节目的PMT表的PID，从而建立PMT表；最后由PMT表得到每套节目所对应的音视频包的PID；接收端通过这些PID将对应的音频、视频数据放入缓冲区，由音视频解码器解码。
Claims (9)
1、基于H.264多路视频转码复用的方法，其特征是输入是多路MPEG-2单节目流，输出是一路H.264多节目流，实现MPEG-2到H.264的视频转码、音视频的解复用与复用、多路H.264节目的复用，其视频转码包括码率、分辨率及格式转换；MPEG-2到H.264的视频转码算法采用MPEG-2到H.264码的快速转换方法，利用H.264的宏块模式选择与MPEG-2运动补偿残差间的相关性，将H.264宏块模式选择问题转化为数据分类问题，利用MPEG-2解码得到的运动补偿残差、MB模式、编码块模式(CBPC)直接映射成H.264的宏块模式；在MPEG-2码流解码时，保存相关的MB信息，包括MB编码模式、编码块类型、MB残差的均值和方差，其解码后采用标准的H.264编码器对YUV图像编码，并保存H.264MB编码模式，采用机器学习算法得到决策树，用于H.264编码模式的分类；在MPEG-2码流解码时，获取MPEG-2的MC残差、宏块模式、编码块模式(CBPC)，并计算出4×4子块MC残差的均值和方差；通过决策树获取H.264中宏块编码模式；在H.264编码时，对MB的编码模式直接赋值；H.264编码器的输入为MPEG-2解码后的YUV数据以及MB编码模式：在运动估计时，使用由决策树得到的MB编码模式；实现码率、分辨率可调，帧内、帧间采用不同的算法；并且合成TS流，在多路MPEG-2节目流以ASI接口通过PCI总线输入转码复用服务器，转码复用后的单路H.264视频流通过PCI总线以ASI接口方式输出；TS流由编码后的基本数据流(ES)根据一定的格式打包形成PES包，再加入***信息而构成，在发送端，基本流的PES打包由音/视频编码器完成，复用器接收编码端的音、视频数据流以及辅助数据流，按照一定的复用方法将其交织成为单一的TS流；在码流中加入各种时间的标志和***的控制信息；对于接收端，则正好和发送端过程相反。
2、根据权利要求1所述的基于H.264多路视频转码复用的方法，其特征是为在MPEG-2码流解码时利用FIFO提供的半满信号，CPU读取FIFO数据或写FIFO；对于输入FIFO，半满时产生中断，CPU响应中断，将FIFO中的数据一次性读入内存缓冲；对于输出FIFO，一次性将FIFO写至半满。
3、根据权利要求1所述的基于H.264多路视频转码复用的方法，其特征是合成TS流时重新改写PID值。
4、根据权利要求1所述的基于H.264多路视频转码复用的方法，其特征是传输流可由多个节目构成，而每一个节目可由多个流复合在一起，包括视频流、音频流、节目特殊信息流PSI；其中节目特殊信息流PSI有四种类型：节目关联表PAT、节目映射表PMT、网络信息表(NIT)和条件访问表(CAT)；复用器将转码后的H.264视频和原音频按传输流的格式打包。
5、根据权利要求4所述的基于H.264多路视频转码复用的方法，其特征是TS包的长度为188字节，分成包头和包负荷两部分；包头4字节前缀是链接字头，包括同步字节0×47和数据包标识PID，从PID判断其后面负载的数据类型，是视频流、音频流、PSI还是其它数据包；包负荷是包的实际内容，放置PES包或PSI包。
6、根据权利要求1所述的基于H.264多路视频转码复用的方法，其特征是PSI用来描述传送流的组成结构，在多路复用中PAT表中给出了一路TS流中有多少套节目，以及它与PMT表PID之间的对应关系；PMT表给出了一套节目的具体组成及与视频、音频等PID的对应关系；并采用流类型的修改：由于输入的MPEG-2TS流的视频格式为MPEG-2，而重新合成的TS流的视频格式为H.264，对PMT表的流类型字段作相应的修改，修改前MPEG-2的流类型字段为0x02，修改后的流类型字段为0x1b。
7、根据权利要求1所述的基于H.264多路视频转码复用的方法，其特征是多路单节目MPEG-2的TS流以ASI接口方式接入，通过PCI总线将节目数据传给转码复用服务器；服务器接收4路MPEG-2单路节目传输流，将其视频转成H.264视频，然后复用成一个多路节目的传输流，并且除去空包，重新改写PID值和流类型字段；抽取和处理任何一个接收到的PSI和业务信息(SI)，将其和本地产生的这类数据集成起来。
8、根据权利要求7所述的基于H.264多路视频转码复用的方法，其特征是还需要用***时钟STC来进行节目时钟参考PCR的再标识处理。
9、根据权利要求1所述的基于H.264多路视频转码复用的方法，其特征是TS流解复用时，接收端通过检测PID为0包来建立PAT表，由PAT表得到该路TS流所包含各套节目的PMT表的PID，从而建立PMT表；最后由PMT表得到每套节目所对应的音视频包的PID；接收端通过这些PID将对应的音频、视频数据放入缓冲区，由音视频解码器解码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200710023476.7A CN100496129C (zh) | 2007-06-05 | 2007-06-05 | 基于h.264多路视频转码复用的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200710023476.7A CN100496129C (zh) | 2007-06-05 | 2007-06-05 | 基于h.264多路视频转码复用的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101068366A CN101068366A (zh) | 2007-11-07 |
| CN100496129C true CN100496129C (zh) | 2009-06-03 |
Family
ID=38880773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200710023476.7A Expired - Fee Related CN100496129C (zh) | 2007-06-05 | 2007-06-05 | 基于h.264多路视频转码复用的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100496129C (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101909211B (zh) * | 2010-01-04 | 2012-05-23 | 西安电子科技大学 | 基于快速模式判决的h.264/avc高效转码器 |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101588252B (zh) | 2008-05-23 | 2011-07-20 | 华为技术有限公司 | 一种多点会议的控制方法及装置 |
| CN101715124B (zh) * | 2008-10-07 | 2013-05-08 | 镇江唐桥微电子有限公司 | 单路输入多路输出的视频编码***及视频编码方法 |
| CN101635854B (zh) | 2009-08-26 | 2012-07-04 | 腾讯科技（深圳）有限公司 | 一种实现合并转码的方法和装置 |
| CN102098502B (zh) * | 2009-12-14 | 2015-06-03 | 无锡中星微电子有限公司 | 一种编码格式转化的方法及装置 |
| PL2559246T3 (pl) | 2010-04-13 | 2017-02-28 | Ge Video Compression Llc | Łączenie obszarów próbek |
| KR101874272B1 (ko) | 2010-04-13 | 2018-07-03 | 지이 비디오 컴프레션, 엘엘씨 | 평면 간 예측 |
| KR102388012B1 (ko) | 2010-04-13 | 2022-04-18 | 지이 비디오 컴프레션, 엘엘씨 | 샘플 배열 멀티트리 세부분할에서 계승 |
| BR122020007669B1 (pt) | 2010-04-13 | 2022-07-12 | Ge Video Compression, Llc | Codificação de uma amostragem espacial de um sinal de informação bidimensional usando subdivisão |
| CN101945265B (zh) * | 2010-08-19 | 2013-05-08 | 北京市博汇科技有限公司 | 一种基于带宽占用率的多节目恒码率ts流复用方法 |
| CN101924943B (zh) * | 2010-08-27 | 2011-11-16 | 郭敏 | 一种实时的基于h.264的低比特率视频转码方法 |
| CN102025999B (zh) * | 2010-12-31 | 2012-05-16 | 北京工业大学 | 基于支持向量机的视频转码快速帧内预测方法 |
| CN102055983B (zh) * | 2011-01-26 | 2013-01-23 | 北京世纪鼎点软件有限公司 | 基于标准的h.264解码器的mvc-3d立体视频的解码方法 |
| CN102301730B (zh) * | 2011-07-18 | 2014-02-19 | 华为技术有限公司 | 多路音视频传输和处理方法、装置及*** |
| CN102256162B (zh) * | 2011-07-22 | 2013-11-06 | 网宿科技股份有限公司 | 基于实时文件格式转换的优化流媒体点播的方法和*** |
| EP2579595A2 (en) * | 2011-09-30 | 2013-04-10 | Broadcom Corporation | Streaming transcoder with adaptive upstream and downstream transcode coordination |
| CN102523418B (zh) * | 2011-12-28 | 2014-05-28 | 深圳市九洲电器有限公司 | 一种接口转换装置、视频信号转换方法及音视频设备 |
| CN102611935A (zh) * | 2012-02-29 | 2012-07-25 | 山东泰信电子有限公司 | 一种多码流单通道的播放方法 |
| CN102802024A (zh) * | 2012-08-28 | 2012-11-28 | 曙光信息产业(北京)有限公司 | 在服务器端实现的转码方法以及转码*** |
| CN103065635A (zh) * | 2013-01-15 | 2013-04-24 | 哈尔滨工程大学 | 基于3g网络的稳定高质量实时音频传输方法 |
| CN104038816B (zh) * | 2014-06-20 | 2017-06-23 | 深圳市九洲电器有限公司 | 一种视频同步方法及*** |
| CN104363509B (zh) * | 2014-10-24 | 2018-11-16 | 深圳国微技术有限公司 | 一种视频转换方法、装置、播放***及终端 |
| CN104768030B (zh) * | 2015-03-30 | 2018-01-26 | 深圳市九洲电器有限公司 | 节目音频同步播放方法及*** |
| CN106341622B (zh) * | 2015-07-06 | 2020-01-24 | 阿里巴巴集团控股有限公司 | 一种多路视频流的编码方法及装置 |
| KR102124714B1 (ko) | 2015-09-03 | 2020-06-19 | 미디어텍 인크. | 비디오 코딩에서의 신경망 기반 프로세싱의 방법 및 장치 |
| CN105306947B (zh) * | 2015-10-27 | 2018-08-07 | 中国科学院深圳先进技术研究院 | 基于机器学习的视频转码方法 |
| CN106850644A (zh) * | 2017-02-17 | 2017-06-13 | 山东浪潮商用***有限公司 | 一种基于Java语言实现TS包PID修改的方法 |
| CN107404648B (zh) * | 2017-08-24 | 2019-12-03 | 中南大学 | 一种基于hevc的视频多路转码方法 |
| CN113141521B (zh) * | 2020-01-17 | 2022-08-23 | 北京达佳互联信息技术有限公司 | 一种音视频数据编码方法、装置、电子设备及存储介质 |
| CN111935436B (zh) * | 2020-09-15 | 2021-02-19 | 杭州盖视科技有限公司 | 多视频流在播放端的无缝切换方法与*** |
-
2007
- 2007-06-05 CN CN200710023476.7A patent/CN100496129C/zh not_active Expired - Fee Related
Non-Patent Citations (6)
| Title |
|---|
| 《RD－OPTIMIZATIONFORMPEG-2TOH.264TRANSCODING》. Gerardo Fernandez-Escribano,Hari Kalva等.Muntimedia and Expo,2006 IEEE International Conference,No.第309-312页. 2006 |
| 《RD－OPTIMIZATIONFORMPEG-2TOH.264TRANSCODING》. Gerardo Fernandez-Escribano,Hari Kalva等.Muntimedia and Expo,2006 IEEE International Conference,No.第309-312页. 2006 * |
| Converting DCT Coefficients to H.264/AVC. Jun Xin,Anthony Vetro,Huifang Sun.MITSUBISHI ELECTRIC RESEARCH LABORATORIES http://www.merl.com. 2004 |
| Converting DCT Coefficients to H.264/AVC. Jun Xin,Anthony Vetro,Huifang Sun.MITSUBISHI ELECTRIC RESEARCH LABORATORIES http://www.merl.com. 2004 * |
| SPEEDING-UP THEMACROBLOCK PATITION MODEDESESION IN MPEG-2/H.264 TRANSCODING. Gerardo Fernandez-Escribano,Hari Kalva等.Image Processing,2006IEEE International Conference. 2006 |
| SPEEDING-UP THEMACROBLOCK PATITION MODEDESESION IN MPEG-2/H.264 TRANSCODING. Gerardo Fernandez-Escribano,Hari Kalva等.Image Processing,2006IEEE International Conference. 2006 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101909211B (zh) * | 2010-01-04 | 2012-05-23 | 西安电子科技大学 | 基于快速模式判决的h.264/avc高效转码器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101068366A (zh) | 2007-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100496129C (zh) | 基于h.264多路视频转码复用的方法 | |
| CN103621085B (zh) | 降低视频解码中的延迟的方法和计算*** | |
| CN100496127C (zh) | Mpeg-2到h.264码的快速转换方法 | |
| CN100393128C (zh) | 编码设备和方法、解码设备和方法以及译码***和方法 | |
| CN104604242B (zh) | 发送设备、发送方法、接收设备和接收方法 | |
| CN100334880C (zh) | 发送和接收动态图像数据的方法及其设备 | |
| JP4786114B2 (ja) | 映像をコード化するための方法及び装置 | |
| CN110460858B (zh) | 信息处理装置和方法 | |
| KR100574186B1 (ko) | 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템 | |
| CN102792689B (zh) | 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器 | |
| CN100558168C (zh) | 生成编码画面数据和对编码画面数据进行解码的方法和设备 | |
| CN103038783B (zh) | 自适应视频解码电路及其方法 | |
| CN101877789A (zh) | 编码器辅助式自适应视频帧内插 | |
| CN103918268A (zh) | 用于解码图片缓冲器和参考图片列表的状态信息的信号通知 | |
| CN101909211B (zh) | 基于快速模式判决的h.264/avc高效转码器 | |
| CN101164336A (zh) | 影像信息记录装置、影像信息记录方法、影像信息记录程序、以及记录了影像信息记录程序的记录介质 | |
| FI105634B (fi) | Menetelmä videokuvien siirtämiseksi, tiedonsiirtojärjestelmä ja multimediapäätelaite | |
| JP4410414B2 (ja) | ビデオ信号圧縮処理方法 | |
| CN108924550A (zh) | 一种多路同分辨率视频转码方法 | |
| CN105657448A (zh) | 一种编码视频流的转发方法、装置及*** | |
| CN105323578A (zh) | 统计复用方法及装置 | |
| CN100473158C (zh) | 发送和接收动态图像数据的方法 | |
| CN102630006A (zh) | 一种传输视频流的装置和方法 | |
| KR100935493B1 (ko) | Ｄｓｐ 기반 분산 트랜스코딩 장치 및 방법 | |
| CN100334885C (zh) | 图像信号压缩编码方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C53 | Correction of patent of invention or patent application | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Bo Inventor after: Fang Huaidong Inventor after: Liu Li Inventor after: Lu Baosheng Inventor after: Yan Su Inventor after: Chen Qimei Inventor before: Fang Huaidong Inventor before: Liu Li Inventor before: Lu Baosheng Inventor before: Yan Su Inventor before: Chen Qimei |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: INVENTOR; FROM: FANG HUAIDONG LIU LIU LU BAOSHENG YAN SU CHEN QIMEI TO: LI BO FANG HUAIDONG LIU LIU LU BAOSHENG YAN SU CHEN QIMEI |
|
| EE01 | Entry into force of recordation of patent licensing contract |
Assignee: Jiangsu Zhuo Yi Mdt InfoTech Ltd Assignor: Nanjing University Contract record no.: 2012320000384 Denomination of invention: H.264 based multichannel video transcoding multiplexing method and multiplexer Granted publication date: 20090603 License type: Common License Open date: 20071107 Record date: 20120401 |
|
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: Jiangsu Zhuo Yi Mdt InfoTech Ltd Assignor: Nanjing University Contract record no.: 2012320000384 Date of cancellation: 20130531 |
|
| LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090603 Termination date: 20130605 |