CN101299819B - 可伸缩视频编码中的三维小波子带排序及码流封包方法 - Google Patents

可伸缩视频编码中的三维小波子带排序及码流封包方法 Download PDF

Info

Publication number
CN101299819B
CN101299819B CN 200810104941 CN200810104941A CN101299819B CN 101299819 B CN101299819 B CN 101299819B CN 200810104941 CN200810104941 CN 200810104941 CN 200810104941 A CN200810104941 A CN 200810104941A CN 101299819 B CN101299819 B CN 101299819B
Authority
CN
China
Prior art keywords
band
wavelet
time domain
wavelet sub
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200810104941
Other languages
English (en)
Other versions
CN101299819A (zh
Inventor
戴琼海
彭义刚
肖红江
杨敬钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN 200810104941 priority Critical patent/CN101299819B/zh
Publication of CN101299819A publication Critical patent/CN101299819A/zh
Application granted granted Critical
Publication of CN101299819B publication Critical patent/CN101299819B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明设计了一种可伸缩视频编码中的三维小波子带排序和码流封包方法。该方法首先按照顺序解码的要求,对时域小波子带进行排序,将时域小波子带分为不同的等级;然后按照传输失真MSE值的大小,对同一等级内的空域小波子带进行排序;再后对排序后的码流进行封包,将封包后的码流传输给接收端,当接收端未达到解码的时限时,发现丢包则进行重传,重传的次数小于等于最大重传次数;当接收端达到解码的时限时,则对丢包不进行重传。该方法提供了一种有效的码率传输控制方法,从而为视频编码和传输提供准确的码流分配,提供自适应于视频传输网络的异构性、网络带宽波动性和时延变化以及用户接收终端多样性的高性能三维可伸缩性的码流组织和传输方式。

Description

可伸缩视频编码中的三维小波子带排序及码流封包方法
技术领域
本发明属于多媒体通信领域,特别涉及一种三维小波子带排序及码流封包方法。
背景技术
随着互联网技术的飞速发展,包含图像、视频、声音以及其他内容的多媒体应用不断普及和流行。然而,由于互联网固有的异构性,各种网络具有不同的信道特性(如:不同的信道带宽、时延、抖动等)。同时用户使用的终端设备也种类繁多,这些终端的显示能力和处理能力明显地存在着差别。因此,用户通过不同网络不同终端所得到的视频质量不尽相同,需要采用可伸缩编码解决该问题。对视频采用可伸缩编码方式编码得到的码流具有可伸缩性。可伸缩编码方法将视频信号以最高质量进行编码,然后可以提取其中一部分得到较低码率的码流,从而满足网络带宽和终端处理能力的需求,同时也降低服务器的复杂度。由于这种优越的适应性,可伸缩视频编码是视频编码界最受关注的领域之一。
对视频编码而言,可伸缩编码是为了达到如下可伸缩性:质量可伸缩性、空域可伸缩性和时域可伸缩性。质量可伸缩性具有这样的性质:取部分比特进行重构可以得到模糊的视频画面,若取更多的比特则重构画面就变得愈加清晰。空域可伸缩性是指码流可提供不同空间分辨率画面的性质。时域可伸缩性是指码流可提供不同的时域分辨率,即不同的帧率。目前可伸缩视频编码方法大致有:分层视频编码,精细可伸缩视频编码,小波可伸缩视频编码以及MPEG AVC/H.264可伸缩扩展等几类。其中,小波可伸缩编码是一种可以产生可伸缩码流的有效工具,它可以在提供可伸缩性码流的同时保持很高的编码效率。其高效的表示能力及嵌入式的编码方式为自适应的空间、时间和质量可伸缩性提供了很大的灵活性。其中的一种t+2D的含运动补偿的三维小波变换编码方案包括:对视频序列进行运动补偿时域小波变换后,然后进行二维的空域小波变换,最后编码采用EZBC编码方式。这种t+2D的变换编码方法产生的不同的小波子带对重构视频序列的质量有不同的影响。该视频编码方法的整体流程如图1所示。具体包括以下步骤:
1)将视频帧分为一个个的图像组,对图像组进行MCTF:对一个包含N帧图像的视频序列,首先将其分为一组组大小为2J帧的图像组(Group ofPictures,GOP),然后对每一个GOP采用小波变换的提升方案,做J级的运动补偿时域小波变换(Motion CompensationTemporal Filtering,MCTF),得到不同的时域小波子带,即各级时域高频小波子带和时域低频小波子带;
2)对时域小波子带进行空域小波变换得到小波子带:在全空间分辨率下对每个GOP内形成的各时域小波子带进行M级的空域小波变换,则各级时域小波子带均被变换为3×M+1个不同空间分辨率的空域小波子带;这样每个GOP均被变换为2J×(3×M+1)个小波子带;
3)对小波子带进行EZBC编码:对变换后的小波子带采用上下文建模的嵌入式零块(Embedded coding algorithm using ZeroBlocks of subband/wavelet coefficients and Contextmodeling,EZBC)编码。由于采用的该方法中的四叉树不同层次和不同子带的码表是独立构建的,所以每个小波子带均对应独立的码流。
上述步骤1)MCTF、步骤2)空域小波变换可以基于小波变换的提升方案来实现。小波变换的提升方案包括三个步骤:***、预测和更新。***步骤是指将原信号分为两个部分:即将信号按其序号的奇、偶分为两个子集:偶数序列子集和奇数序子集。预测步骤是利用两子集间的相关性,用一个子集来预测另一个,例如使用奇数序列子集来预测偶数序列子集,从而得到细节信号部分,并存入偶数序列子集中。更新步骤是指用把细节信号即偶数序列子集来更新奇数序列子集,得到概貌信号,并存入奇数序列子集中。这样,小波变换的提升方案被分解成了几个非常简单的基本步骤,且每个步骤都非常容易找到它的逆变换。重构的过程就是变换的逆步骤,也包含三个步骤,即反预测、反更新和合并。
小波提升的提升方案的优点是:可实现整数小波变换;能实现任意图像尺寸的小波变换;能在当前位置完成小波变换,不需要分配额外的内存,便于基于芯片的实现;算法简单,适合并行处理,计算速度快等。
上述基于三维小波变换的视频编码方法为自适应的空间以及空间、时间和质量可伸缩性提供了很大的灵活性。编码出的视频码流应该是嵌入式的,这样就可以根据具体的视频传输网络结构和网络带宽以及用户视频接收终端的需求来对嵌入式的码流进行截取,以尽量获得最佳质量的视频。然而目前大多数码流组织方式只是支持了帧内码流的嵌入式,而没有考虑帧间码流的嵌入式组织,没有考虑小波变换后各子带对重构视频帧质量的重要性不同,没有考虑传输时的时延影响等。因而,在对整个视频码流进行组织和传输时,无法保证在网络受限条件下对整个视频码流进行全局最优的分配。
鉴于上述背景技术中提到的现有技术存在的缺陷和不足,本发明所要解决的技术问题是提供一种可伸缩视频编码的三维小波子带排序和码流封包方法,以提供一种有效的视频编码传输方式,从而为视频编码和传输提供准确的码流分配,提供自适应视频传输网络的异构性、网络带宽波动性和时延变化以及用户接收终端多样性的高性能三维(时间、空间、质量)可伸缩性的码流组织形式。
在实施本发明提出的方法前,首先对视频序列进行t+2D的含运动补偿的三维小波变换编码,具体过程为:对大小为2J帧的GOP,做J级的MCTF;在全空间分辨率下对各时域小波子带进行M级的空域小波变换,则各级时域小波子带均被变换为3×M+1个不同空间分辨率的空域小波子带;这样每个GOP均被变换为2J×(3×M+1)个小波子带。然后实施本发明提出的这种可伸缩视频编码的三维小波子带排序和码流封包方法。
发明内容
本发明的目的在于克服已有技术的不足之处,提供一种可伸缩视频编码中的三维小波子带排序及码流封包方法,该方法既考虑视频帧内码流的嵌入式,还考虑帧间码流的嵌入式,而且综合考虑了传输时延的影响和小波变换后各小波子带对重构视频帧质量的重要性不同,对重要性较大的子带先行进行传输,重要性较小的子带后传输,从而保证接收端接收到最重要的信息。使得整个码流具有很好的网络适应性,能在网络条件受限的条件下尽可能获得好的视频重构质量。
本发明的显著特点在于,在采用已有技术的t+2D三维小波变换编码方法完成EZBC编码后,再根据含有运动补偿的三维小波变换后的各小波子带对重构视频帧质量的重要性不同这个特点,考虑实际传输中受到信道时延、抖动和带宽等条件的限制,对重要性较大的子带先行进行传输,重要性较小的子带后传输,从而保证接收端接收到最重要的信息。
本发明的另一特点是,该方法将视频可伸缩的小波变换和嵌入式编码结合起来,同时结合了传输的可伸缩性,使得整个码流具有很好的网络适应性,能在网络条件受限的情况下尽可能获得好的视频重构质量。
本发明的第三个特点是,提出的小波子带排序和码流封包方法具有较低的计算复杂度,易于实施。首先基于运动补偿时域小波变换以及空域小波变换均可采用小波变换的提升方案实现,具有占用内存小、运算复杂度低等优点。其次,码流封包方法和最大重传次数的计算简单。
附图说明
图1为已有的可伸缩视频编码中的t+2D的含有运动补偿的三维小波变换编码方案。
图2是本发明提出的可伸缩视频编码的三维小波子带排序和码流封包方法的流程图。
图3是本发明的一个实施实例中对8帧大小的GOP进行3级MCTF及3级空域小波变换示意图。
图4是本发明的一个实施实例中8帧大小的GOP解码时限、小波子带排序及码流封包组装示意图。
具体实施方式
本发明的总体流程图如图2所示,包括对EZBC编码后的码流进行小波子带的排序,及排序后的码流进行打包及传输两部分具体的解决方案的步骤如下:
1)所述的小波子带的排序,具体包括下列步骤:
11)按照解码重构视频序列时顺序解码的原则,依次解码重构视频的第1、2、3……帧,对时域小波子带进行排序,根据重构视频帧与不同时域小波子带的关系,与重构视频序列当前帧相关的时域小波子带先传输,与后一帧相关的时域小波子带后传输;这样,时域小波子带便被分为具有不同传输优先级的等级了;具体过程为:
以Ai 0来代表视频帧,其中下标i代表帧的顺序号,上标0表示变换前的原始视频帧;则原视频帧序列为:A0 0,A1 0,A2 0,A3 0,A4 0,A5 0,A6 0,A7 0……;以Li j和Hi j分别代表运动补偿时域小波变换(Motion Compensation Temporal Filtering,MCTF)之后的时域低频小波子带和时域高频小波子带;变换的结果为仅有一个时域最低频小波子带L0 j,多个时域高频小波子带Hi j,其中上标j代表该时域高频小波子带是第j级变换得到的,j∈[1,J]∩Z+,J为总的变换级数,下标i代表该小波子带的顺序号,在第j级变换中共得到2J-j个时域高频小波子带,i∈{1,2,...,2J-j|j};将最低频小波子带L0 j和所有2J-j(j∈[1,J]∩Z+)个时域高频小波子带中的与解码原视频帧A0 0相关的时域低频小波子带L0 J及时域高频小波子带H0 J,H0 J-1,...,H0 1的优先权等级设为1;按同样原则,将其余的时域高频小波子带依次分为不同的等级2、3、......p,p≥2;
12)按照传输失真MSE值的大小,对同一等级内的空域小波子进行排序,以便对传输失真MSE值小的子带先行进行传输,传输失真MSE值大的子带后传输,从而保证接收端接收到最重要的信息;具体过程为:
经过J级MCTF和M级的空域小波变换后的视频帧被分为不同的小波子带Si,i∈[1,n]∩Z+,Z+表示正整数集合,n=2J×(3M+1),每个小波子带对重构视频帧的质量的影响是由MSE来度量的,其中,MSE的定义是:
Figure G2008101049414D00041
式中,s是原始视频帧序列,
Figure G2008101049414D00042
为解码端重构的视频帧序列;若小波子带Si在传输过程中丢失,则所造成的传输失真MSE值为:
D ( ∪ i ≠ j S i ) , i∈[1,n]∩Z+
上式表示小波子带Sj丢失,则由其他小波子带重构得到的视频帧与原视频帧相比所存在的失真;MSE值越大,说明该小波子带对重构视频帧而言越重要,则具有越高的传输等级;由MSE值的大小得到的小波子带排序的结果为:
S r 0 , S r 1 , S r 2 , S r 3 , S r 4 . . . . . . , r0∈[1,n]∩Z+
这些小波子带对应的码流长度分别为:
l r 0 , l r 1 , l r 2 , l r 3 , l r 4 . . . . . . ;
在接下来的打包操作中,根据这些码流长度和最大包长的限制进行。
2)排序后的码流进行封包及传输,具体包括以下步骤:
21)对排序后的码流按顺序进行封包Lj,j代表包的序号,最大包长为L,设定为一个网络IP(Internet Protocol)包的长度;由于不同小波子带对视频重构效果具有不同的影响,即不同的小波子带重要性不同,使得重要性较大的子带先进行传输,重要性较小的子带后传输,从而保证接收端接收到最重要的信息。
22)根据网络不同的时延计算包j的最大重传次数Mj;具体包括:若包Lj丢失,对重构视频帧造成的总失真为Dj L;若包Lj被接收,但由于编码时的量化造成失真为Dj Q;只考虑信道传输造成的失真Dj C,其中一个图像组(Group Of Pictures,GOP)内的包的个数为NP;各等级所对应的包的个数为NP k,1≤k≤K,K为时域小波子带等级数;包Lj的最大重传次数Mj由下式得到:
s . t . Σ s = 1 k Σ j = 1 N P s Time j ≤ Deadline k , 1 ≤ k ≤ N P
其中,DGOP是一个GOP总的传输失真,第k等级内的小波子带传输时间最多为
Figure G2008101049414D00053
B是信道带宽,Lj是第j个包的的长度,Mj是该包Lj的最大重传次数,Timej是该包Lj的传输时间,Deadlinek是前k等级的小波子带的总解码时限,PLoss,j是每个包Lj每次传输时丢包的概率,PARQ,j是包Lj在重传中丢包的概率。
23)将封包后的码流传输给接收端,当接收端未达到解码时限时,发现丢包Lj,则要求发送端进行重传包Lj,重传的次数小于等于最大重传次数Mj;当接收端达到解码时限时,则对丢包Lj不进行重传。
实施案例
这里给出本发明的一个实施实例,但本发明并不仅仅限于这个实施实例。本发明的具体实施流程图如图2所示。本实施例以一个8帧大小的GOP来说明具体实施步骤。
本实施例是基于已有的含运动补偿的三维小波变换与编码方法的基础上进行的。
一个大小为8的GOP进行3级MCTF及3级空域小波变换如图3所示。图3中弯箭头代表相邻帧之间的运动补偿时域小波变换,直的实线箭头和直的虚线箭头分别代表通过MCTF形成时域低频小波子带和时域高频小波子带,各块使用不同的灰度值以区别不同的小波子带块。具体变换过程如下:
原始视频序列的一个GOP中的帧标记为A0 0,A1 0,A2 0,A3 0,A4 0,A5 0,A6 0,A7 0,经过一级MCTF后被变换为一级时域低频小波子带L0 1,L1 1,L2 1,L3 1和一级时域高频小波子带H0 1,H1 1,H2 1,H3 1;对一级时域低频小波子带L0 1,L1 1,L2 1,L3 1再进行第二级MCTF,形成二级时域低频小波子带L0 2,L1 2和二级时域高频小波子带H0 2,H1 2;对二级时域低频小波子带L0 2,L1 2再进行第三级MCTF,形成三级时域低频小波子带L0 3和三级时域高频小波子带H0 3。接着对MCTF得到的各时域小波子带进行空域小波变换,得到各空域小波子带。然后对所有小波子带进行EZBC编码,得到各小波子带对应的编码码流。
在上述步骤之后再进行本发明的实施步骤,包括:
1)小波子带的排序及码流封包
首先按照顺序解码及解码时延的要求,对时域小波子带排序。按照依次解码帧A0 0,A0 1,A0 2,A0 3,A0 4,A0 5,A0 6,A0 7的顺序,对由MCTF得到的时域小波子带进行排序。要解码帧A0 0,需用到时域小波子带L0 3,H0 3,H0 2,H0 1;接着解码帧A1 0,则又用到时域小波子带H1 1;接着解码帧A2 0,又用到时域小波子带H1 2,H2 1;接着解码帧A3 0,又用到时域小波子带H3 1。这样,接下来的帧就可以再继续依次解码了。按照这个原则,就把时域小波子带分为4个传输等级,即时域小波子带的传输顺序为:
L0 3,H0 3,H0 2,H0 1|H1 1|H1 2,H2 1|H3 1|
受网络条件的限制,不同等级下的时域小波子带传输具有不同的解码时限。设其不同等级时域小波子带对应的解码时限为:
|         |         |         |
DeadlineA DeadlineB DeadlineC DeadlineD
8帧大小的GOP时域子带传输排序及解码时限如图4(a)所示;接着对同一等级内的空域小波子带进行排序,如图4(b)所示;最后对编码的码流按照小波子带排序的结果进行封包,设最大包长为L,如图4(c)所示。其中,图4(a)为对MCTF形成的时域高频小波子带和时域低频小波子带排序的结果以及其对应的解码时限,帧的顺序为:L0 3,H0 3,H0 2,H0 1|H1 1|H1 2,H2 1|H3 1|,图中不同灰度的块代表不同的小波子带,竖直的黑色虚线将时域小波子带由左至右依次分为1、2、3、4共四个等级,各等级的解码时限分别为DeadlineA、DeadlineB、DeadlineC、DeadlineD;图4(b)表示对同一等级内的空域小波子带排序的结果,越处在上方的小波子带排序越靠前;图4(c)表示封包形成的码流,第1等级小波子带码流封装为3个包,第2,3,4等级小波子带码流各封装为1个包。
2)码流传输
对封装好了的包,要根据实际的网络条件确定最优的传输策略。考虑如下的优化问题:
Figure G2008101049414D00061
Figure G2008101049414D00062
Figure G2008101049414D00063
Figure G2008101049414D00064
Figure G2008101049414D00065
其中,
Figure G2008101049414D00071
NP k(1≤k≤4)是1、2、3、4各等级所对应的包的个数,DGOP是一个GOP总的传输失真,Dj C(1≤k≤4)是信道传输造成的失真,TimeA,TimeB,TimeC,TimeD分别为1、2、3、4各等级内小波子带的传输时间,DeadlineA、DeadlineB、DeadlineC、DeadlineD分别为各等级内的解码时限,Lj是第j个包的的长度,Mj是该包Lj的最大重传次数,Timej是该包Lj的传输时间,PLoss,j是每个包Lj每次传输时丢包的概率,PARQ,j是包Lj在重传中丢包的概率。求解上述优化问题,则可获得各包Lj对应最大重传次数Mj。实际传输时,根据时延条件的限制,只要未到达解码时限,发现丢包时则进行重传;若带宽较小,当接收端达到解码时限时,则不进行重传。这样,保证了接收端接收到最重要的信息。

Claims (3)

1.一种可伸缩视频编码中的三维小波子带排序及码流封包方法,其特征在于,包括对EZBC编码后的码流进行小波子带的排序,及排序后的码流进行打包及传输两部分;
首先对视频序列进行t+2D的含运动补偿的三维小波变换编码,具体过程为:对大小为2J帧的GOP,做J级的MCTF;在全空间分辨率下对各时域小波子带进行M级的空域小波变换,则各级时域小波子带均被变换为3×M+1个不同空间分辨率的空域小波子带;这样每个GOP均被变换为2J×(3×M+1)个小波子带;
1)所述的小波子带的排序,具体包括下列步骤:
11)按照解码重构视频序列时顺序解码的原则,依次解码原始视频各帧,对时域小波子带进行排序,将时域小波子带分为具有不同传输优先权的等级,根据重构视频序列与不同时域子带的关系,与重构视频序列当前帧相关的时域小波子带优先权的等级高,与后一帧相关的时域小波子带优先权的等级低;
12)按照除此空域小波带外的其他小波子带
Figure F2008101049414C00011
重构得到的视频帧与原视频帧相比所存在的传输失真均方误差MSE值的大小,对同一等级内的空域小波子带进行排序,以便对传输失真MSE值大的子带先进行传输,传输失真MSE值小的子带后传输,从而保证接收端接收到最重要的信息;
2)排序后的码流进行封包及传输,具体包括以下步骤:
21)对排序后的码流按顺序进行封包Lj,j代表包的序号,最大包长为L,设定为一个网络IP(Internet Protocol)包的长度;
22)根据网络不同的时延计算包Lj的最大重传次数Mj,Mj为自然数,具体包括:若包Lj丢失,对重构视频帧造成的总失真为Dj L;若包Lj被接收,但由于编码时的量化造成失真为Dj Q;只考虑信道传输造成的失真Dj C,其中
Figure F2008101049414C00012
一个图像组GOP内的包的个数为NP;各等级所对应的包的个数为NP k,1≤k≤K,K为时域小波子带等级数;包Lj的最大重传次数Mj由下式得到:
min D GOP = Σ j = 1 N P D j C · P ARQ , j = Σ j = 1 N P D j C · ( P Loss , j ) M j
s . t . Σ s = 1 k Σ j = 1 N p s Time j ≤ Deadline k , 1 ≤ k ≤ N P
其中,DGOP是一个GOP总的传输失真,第k等级内的小波子带传输时间最多为B是信道带宽,Lj是第j个包的的长度,Mj是该包Lj的最大重传次数,Timej是该包Lj的传输时间,Deadlinek是前k等级的小波子带的总解码时限,PLoss,j是每个包Lj每次传输时丢包的概率,PARQ,j是包Lj在重传中丢包的概率;
23)将封包后的码流传输给接收端,当接收端未达到解码时限时,发现丢包Lj,则要求发送端进行重传包Lj,重传的次数小于等于最大重传次数Mj;当接收端达到解码时限时,则对丢包Lj不进行重传。
2.如权利要求1所述的方法,其特征在于,所述步骤11)将时域小波子带分为具有不同传输优先权的等级,具体包括:
以Ai 0来代表视频帧,其中下标i代表帧的顺序号,上标0表示变换前的原始视频帧;则原视频帧序列为:A0 0,A1 0,A2 0,A3 0,A4 0,A5 0,A6 0,A7 0……;以Li j和Hi j分别代表运动补偿时域小波变换(Motion Compensation Temporal Filtering,MCTF)之后的时域低频小波子带和时域高频小波子带;变换的结果为仅有一个时域最低频小波子带L0 j,多个时域高频小波子带Hi j,其中上标j代表该时域高频小波子带是第j级变换得到的,j∈[1,J]∩Z+,J为总的变换级数,下标i代表该小波子带的顺序号,在第j级变换中共得到2J-j个时域高频小波子带,i∈{1,2,...,2J-j|j};将最低频小波子带L0 j和所有2J-j(j∈[1,J]∩Z+)个时域高频小波子带中的与解码原视频帧A0 0相关的时域低频小波子带L0 J及时域高频小波子带H0 J,H0 J-1,...,H0 1的优先权等级设为1;按同样原则,将其余的时域高频小波子带依次分为不同的等级2、3、......p,p≥2;
3.如权利要求1所述的方法,其特征在于,所述步骤12)按照MSE值的大小,对同一等级内的空域小波子进行排序,具体包括:
经过J级MCTF和M级的空域小波变换后的视频帧被分为不同的小波子带Si,i∈[1,n]∩Z+,Z+表示正整数集合,n=2J×(3M+1),每个小波子带对重构视频帧的质量的影响是由MSE来度量的,其中,MSE的定义是:
Figure F2008101049414C00021
式中,s是原始视频帧序列,
Figure F2008101049414C00022
为解码端重构的视频帧序列;若小波子带Si在传输过程中丢失,则所造成的传输失真MSE值为:
D ( ∪ S i i ≠ j ) , i ∈ [ 1 , n ] ∩ Z +
上式表示小波子带Sj丢失,则由其他小波子带
Figure F2008101049414C00024
重构得到的视频帧与原视频帧相比所存在的失真;MSE值越大,说明该小波子带对重构视频帧而言越重要,则具有越高的传输等级;由MSE值的大小得到的小波子带排序的结果为:
r0∈[1,n]∩Z+,r1、r2、r3、r4数值范围与r0同;
这些小波子带
Figure F2008101049414C00026
对应的码流长度分别为:
l r 0 , l r 1 , l r 2 , l r 3 , l r 4 . . . . . . ;
在接下来的打包操作中,根据这些码流长度和最大包长的限制进行打包。
CN 200810104941 2008-04-25 2008-04-25 可伸缩视频编码中的三维小波子带排序及码流封包方法 Expired - Fee Related CN101299819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200810104941 CN101299819B (zh) 2008-04-25 2008-04-25 可伸缩视频编码中的三维小波子带排序及码流封包方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200810104941 CN101299819B (zh) 2008-04-25 2008-04-25 可伸缩视频编码中的三维小波子带排序及码流封包方法

Publications (2)

Publication Number Publication Date
CN101299819A CN101299819A (zh) 2008-11-05
CN101299819B true CN101299819B (zh) 2010-04-14

Family

ID=40079483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200810104941 Expired - Fee Related CN101299819B (zh) 2008-04-25 2008-04-25 可伸缩视频编码中的三维小波子带排序及码流封包方法

Country Status (1)

Country Link
CN (1) CN101299819B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8825886B2 (en) * 2010-07-28 2014-09-02 Hong Kong Applied Science and Technology Research Institute Company Limited System and method for evaluating network transport effects on delivery of media content
JP2012209673A (ja) * 2011-03-29 2012-10-25 Sony Corp 情報処理装置及び方法、画像提供システム及び画像提供方法、並びにプログラム
CN106559668B (zh) * 2015-09-25 2018-07-27 电子科技大学 一种基于智能量化技术的低码率图像压缩方法
CN107371029B (zh) * 2017-06-28 2020-10-30 上海大学 基于内容的视频包优先级分配方法
WO2020006291A1 (en) * 2018-06-28 2020-01-02 Apple Inc. Priority-based video encoding and transmission
CN116996675B (zh) * 2023-09-27 2023-12-19 河北天英软件科技有限公司 一种即时通信***及信息处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1568003A (zh) * 2003-06-18 2005-01-19 中国科学院研究生院 可降维的对象分割和小波分形可伸缩性视频编码
CN1669328A (zh) * 2002-07-17 2005-09-14 皇家飞利浦电子股份有限公司 三维小波视频编码和解码方法以及相应的设备
CN1794818A (zh) * 2005-12-01 2006-06-28 西安交通大学 可伸缩视频编码中的高性能三维码率控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1669328A (zh) * 2002-07-17 2005-09-14 皇家飞利浦电子股份有限公司 三维小波视频编码和解码方法以及相应的设备
CN1568003A (zh) * 2003-06-18 2005-01-19 中国科学院研究生院 可降维的对象分割和小波分形可伸缩性视频编码
CN1794818A (zh) * 2005-12-01 2006-06-28 西安交通大学 可伸缩视频编码中的高性能三维码率控制方法

Also Published As

Publication number Publication date
CN101299819A (zh) 2008-11-05

Similar Documents

Publication Publication Date Title
CN101299819B (zh) 可伸缩视频编码中的三维小波子带排序及码流封包方法
Van Der Schaar et al. Cross-layer packetization and retransmission strategies for delay-sensitive wireless multimedia transmission
Kim et al. Error-resilient image and video transmission over the Internet using unequal error protection
Li et al. Robust transmission of JPEG2000 encoded images over packet loss channels
US7283589B2 (en) Packetization of FGS/PFGS video bitstreams
CN100387063C (zh) 可伸缩视频编码中的三维码率控制方法
CN107995493B (zh) 一种全景视频的多描述视频编码方法
CN101523740A (zh) 超宽带通信***和方法
CN101895753B (zh) 基于网络拥塞程度的视频传输方法、***及装置
CN102088640A (zh) 基于视频内容的自适应选择重传方法
CN101783940A (zh) 一种基于小波框架变换的联合信源信道编码方法
CN102006483B (zh) 一种视频编解码方法及装置
CN101895752B (zh) 基于图像视觉质量的视频传输方法、***及装置
KR19990013991A (ko) 화상 압축
Kim et al. Network-adaptive video streaming using multiple description coding and path diversity
CN102710943A (zh) 基于前向纠错编码窗口扩张的实时视频传输方法
CN102316315A (zh) 一种实时视频传输方法
CN101917608B (zh) 视频轨迹的可伸缩传输方法
Kim et al. A multiple-substream unequal error-protection and error-concealment algorithm for SPIHT-coded video bitstreams
CN1253005C (zh) 可降维的对象分割和小波分形可伸缩性视频编码
CN104394401B (zh) 一种基于无速率调制的立体视频传输方法
Soldani et al. Multiple description coding versus transport layer FEC for resilient video transmission
CN105554500B (zh) 基于rcm译码符号不等分配的视频传输方法及***
CN113068065B (zh) 一种基于视点预测的低时延流媒体传输方法
Cai et al. Multiple description wavelet coding with dual decomposition and cross packetization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100414

CF01 Termination of patent right due to non-payment of annual fee