CN102271256A - 基于模式决策的自适应帧组分布式视频编码和解码方法 - Google Patents
基于模式决策的自适应帧组分布式视频编码和解码方法 Download PDFInfo
- Publication number
- CN102271256A CN102271256A CN2011102754654A CN201110275465A CN102271256A CN 102271256 A CN102271256 A CN 102271256A CN 2011102754654 A CN2011102754654 A CN 2011102754654A CN 201110275465 A CN201110275465 A CN 201110275465A CN 102271256 A CN102271256 A CN 102271256A
- Authority
- CN
- China
- Prior art keywords
- frame
- block
- mode
- decoding
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 27
- 238000013139 quantization Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 238000002474 experimental method Methods 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种能够提高率失真性能的基于模式决策的自适应帧组编解码方法,帧组编码为把帧分为关键帧、准关键帧、WZ帧;对准关键帧的块采用帧间模式、帧内模式或Skip模式进行编码;对WZ帧的块采用WZ模式、帧内/WZ模式或Skip/WZ模式进行编码;帧组解码分为关键帧解码、准关键帧解码和WZ帧解码;对关键帧采用传统的帧内解码方法;对准关键帧分为帧间模式、帧内模式、Skip模式解码;对WZ帧分为WZ块模式、粗糙帧内块模式、Skip块模式解码;存储器内存储一个GOP中的解码后的关键帧和准关键帧。本发明能够提高整个***的编码效率和最终的解码质量,在计算量略微提高的条件下,很大程度地提高了其率失真性能。
Description
技术领域
本发明涉及一种基于模式决策的自适应帧组分布式视频编码和解码方法,属于视频编码方法领域。
背景技术
随着无线多媒体通信及无线视频传感网络等新技术的出现和应用,对视频的编解码***提出了新的要求:由于无线视频编码器电池容量、数字处理能力和运算能力有限,要求无线视频编码器低功耗、低复杂度;由于传输速率的限制,要求编码器具有高压缩效率;由于采用无线接入与传输,要求视频信号传输具备强健壮性。当今的视频压缩编码(MPEG-x系列与H.26x系列)因编码器承担了运动估计、变换、量化、熵编码及相应解码等大量高复杂计算,使得编码复杂度是解码的5~10倍以上,所以传统视频编码技术已不再适用于这些应用场合,须寻找新的编码压缩方法。
分布式视频编码DVC理论基础是信息论中的Slepian-Wolf(SF)和Wyner-Ziv(WZ)两定理。虽然在20世纪70年代从理论上证明了多个相关信源独立编码联合解码同样可以达到联合编码联合解码的编码效率,但直至2002年才开始有学者进行分布式视频编码的实现算法研究,且取得了一定成果并逐渐引起关注。基于SF与WZ理论的分布式视频编码,在编码端把各帧图像看成“独立信源”,各帧之间进行独立编码,编码方式类似于传统的帧内编码。在解码端,利用时域相邻帧的高度相关性,通过对已解码重建帧运动估计进行时域内(外)差求取边信息,利用边信息和解码器联合迭代解码以重构当前待解码帧图像。
目前分布式视频编码的研究已经获得到了很多较有意义的成果,如欧洲DOSCOVER项目组提出的DOSCOVER分布式编码器,然而距离实际应用还有不小的差距, Ramchandran等提出的PRISM(power-efficient robust high- compression syndrome-base multimedia)方案的研究结果显示,将运动估计的复杂度在编码器和解码器之间任意分担,不会造成率失真性能上限的损失;如果将帧间相关估计全部移至解码端,则编码端的码率估计与码率控制必须通过反馈信道即依赖于解码端。
发明内容
本发明所要解决的技术问题是提供一种基于模式决策的自适应帧组分布式视频编码和解码方法,能够提高整个***的编码效率和最终的解码质量,在计算量略微提高的条件下,很大程度地提高了其率失真性能。
为了解决上述技术问题,本发明所采用的技术方案是:一种基于模式决策的自适应帧组分布式视频编码方法,其特征在于:包括如下步骤:
(1)读取一个帧组所包含的最大图像帧的个数L及时间相关性判断准则的门限值T1 和T2,然后以帧为单位读取图像值;
(2)每个图像组的第一帧作为关键帧进行H.264帧内编码,生成H.264帧内码流,并发送到解码端;
其中为当前编码帧相邻的前一个已解码的关键帧;
其中为帧像素的坐标;
(5)对步骤(4)中得到的残差帧进行8×8块划分,分别计算各块的绝对残差和SAD,第K块的绝对残差和为;
其中T1、T2是通过实验预先设定的门限值;
(7)根据步骤(6)中的块分类,对当期编码帧中的块进行块模式统计,根据块类型的数量来确定当前帧的模式,当Skip块或WZ块数量最多,当前帧的模式设置为WZ帧;当:块数量大于Skip块和WZ块数量之和,设置当前帧为关键帧;
(8)自适应帧组方式编码:在连续WZ帧个数大于L-1的情况下,强制设置第L-1的WZ帧为关键帧,该情况下帧组长度=L;在连续WZ帧个数不大于L-1的情况下,根据步骤(7)判断的结果,若当前编码帧为关键帧,并且前一帧为WZ帧的情况下,则强制设置前一帧为准关键帧,否则不强制设置准关键帧,并根据帧数设置该情况下GOP长度;并对关键帧采用帧内编码方式,对准关键帧采用基于块的帧内、帧间混合编码方式;对WZ帧采用基于块的混合分布式编码方式;
(9)对模式信息码流的熵编码:按照帧的次序以头信息方式对每帧进行模式信息编码,对于关键帧,只需设置帧级头信息,对于准关键帧和WZ帧,需设置帧级头信息和块级头信息,对于块头信息采用“从左到右,从上到下”的顺序进行扫描,形成块模式信息码流,模式信息码流包括帧组长度、帧级头信息和块级头信息,模式码流采用熵编码压缩后发送到解码端。
前述的基于模式决策的自适应帧组分布式视频编码方法,其特征在于:步骤(8)中所述的准关键帧的编码方法为在准关键帧中设置与步骤(6)中Skip块、WZ块和块相对应的Skip块、Inter块和Intra块,对Skip块无需进行编码,只需向解码端发送块的编码模式信息;对WZ块采用传统的帧间编码模式;对块,采用H.264帧内编码方式。
前述的基于模式决策的自适应帧组分布式视频编码方法,其特征在于:步骤(8)中所述的WZ帧的编码方法为对Skip块无需进行编码,只需向解码端发送块的编码模式信息;对WZ块采用目前分布式编码中的Wyner-Ziv编码模式;对块采用编码质量低于关键帧的粗糙帧内编码方式。
前述的基于模式决策的自适应帧组分布式视频编码方法,其特征在于:所述的Wyner-Ziv编码模式为:对WZ块的残差进行8×8 DCT变换,统一量化后提取位平面,输出频域系数,并送入LDPC编码器编码,采用编码端码率控制器ERC来控制哪些部分校验码需要传输,通过编码端码率控制,得出LDPC编码器产生的校验信息需要传送到解码端的位平面数N和每个位平面需要传输到解码端的码率。
一种基于模式决策的自适应帧组分布式视频解码方法,其特征在于:帧解码分为关键帧解码、准关键帧解码和WZ帧解码;对关键帧采用传统的帧内解码方法;对准关键帧根据块信息解码,分为帧间模式、帧内模式、Skip模式解码;对WZ帧根据块信息解码,分为WZ模式、粗糙帧内模式、Skip模式解码;存储器内存储一个GOP中的解码后的关键帧和准关键帧,包括如下步骤:
(2) 对准关键帧的块模式信息码流采用熵解码,分为Inter块、Intra块和Skip块;根据公式(1)利用解码的关键帧生成参考帧,Skip块通过参考帧的相同位置的块来恢复,即;Intra块通过传统的帧内解码方式恢复;Inter块通过传统的帧间解码方式恢复, 准关键帧解码后保存在存储器中;
(3)产生边信息帧:在解码端,以帧组为单位,一组帧组产生一个边信息帧;对应与编码端,一个帧组有两种情况组成:包含头尾一个关键帧和一个准关键帧;或包含头尾两个关键帧,第一种情况下,边信息帧Y由解码的关键帧和准关键帧之间通过基于8×8块的双向运动补偿内插法来产生,前向运动估计和后向运动估计产生的块最小绝对残差和、保存在缓冲器中;
(5)边信息的修正:利用部分重构WZ帧,对边信息进行修正, 用部分重构WZ帧的像素值在帧内块和Skip块的位置上来替代边信息帧Y中的像素值,产生新的边信息帧Y’,即
接下来在WZ块的位置,对解码的关键帧以边信息帧Y’为参考帧基于8×8块进行前向运动估计,产生运动矢量和块最小绝对残差和保存在缓冲器中;同样,在WZ块的位置,对解码的关键帧以边信息帧Y’为参考帧基于8×8块进行后向运动估计,产生运动矢量和块最小绝对残差和保存在缓冲器中;比较四个绝对残差和、、和的大小,通过式(8)来修正边信息,即
(8)
其中为边信息帧中WZ块的坐标,一组帧组产生的修正边信息帧Y’的个数等于该帧组WZ帧的个数;
(7)WZ块的解码:WZ块解码首先根据接受到的校验位和解码器端的边信息用信道解码方式恢复频域信息,经过Skip块、WZ块和块的解码的过程,可以得到恢复的频域码流,恢复的频域码流含有编码端传送的信息,通过公式(9),即通过恢复的频域码流来精细重构最终的频域系数,
其中和分别为根据恢复的频域信息推断的的最大值和最小值。此方法用恢复的的位平面信息限制了单纯由位平面重构而产生的失真。对反量化,逆离散余弦变换(IDCT),恢复残差值D'。原始像素W'由式(10)来获得
(8)恢复WZ帧,并通过去h.264中方块滤波器滤波后显示。
前述的基于模式决策的自适应帧组分布式视频解码方法,其特征在于:步骤(3)中所述的第一种情况下的边信息帧Y通过公式(5)计算得到:
所述的第二种情况下的边信息帧Y通过公式(6)计算得到:
本发明从权衡编码复杂度和编码压缩性能的角度来设计实用视频编码***,所带来的有益效果是:
(1)提出根据帧模式和最大帧组数进行自适应组合帧组的编码方法,保证同一帧组的图像之间有较强的时间相关性,从而提高编码性能;
(2)提出三种帧模式:关键帧、准关键帧和WZ帧;对准关键帧基于块的帧内、帧间混合编码算法,与关键帧帧内编码相比,该算法提高编码速度并减少码流,提出对WZ帧的基于块的混合分布式编码算法,与现有的算法相比,在码流基本不增加的情况下提高了率失真性能;
(3)在解码端提出利用部分重构WZ帧对边信息进行修正的算法,该算法利用图像的空间相关性,提高了解码性能。
附图说明
图1是本发明的***结构框图;
图2是本发明的编码器结构框图;
图3是本发明的解码器结构框图;
图4是本发明的Foreman序列的帧不同类型块统计图;
图5是本发明的Carphone序列的帧不同类型块统计图;
图6是本发明的Football序列的帧不同类型块统计图;
图7是本发明的自适应帧组示意图;
图8是本发明的基于块的自适应帧组编码算法程序流程图;
图9是本发明的基于块的解码编码算法程序流程图;
图10 DOSCOVER分布式编码器Forman序列测试结果示意图;
图11 DOSCOVER分布式编码器Carphone序列测试结果示意图。
具体实施方式
下面将结合说明书附图,对本发明做进一步的说明。
本发明提出的基于模式决策的自适应帧组DVC***,既可以用软件完成,也可以用嵌入式硬件***来实现。图1给出了本发明提出DVC***的结构框图,其中的摄像头可以是手机摄像头,传感网络摄像头等一些低能量设备的视频输入终端;编码器可以用软件实现,一般情况是DSP或其他嵌入式并行机;解码器一般情况是高性能PC机,可以是DSP或其他嵌入式并行机;网络可以是有线也可以是无线网络。
编码器框图如图2所示,编码器对输入图像进行帧模式判断,把帧分为关键帧、准关键帧、WZ帧进行自适应帧组编码。采用了基于块的4种编码模式:帧内模式、Skip模式、粗糙帧内模式、WZ模式。对关键帧采用帧内模式编码;对准关键帧的块采用帧间模式、帧内模式或Skip模式进行编码。对WZ帧的块采用WZ模式、帧内/WZ模式或SKIP/WZ模式进行编码,其中WZ模式采用编码端码率控制器来控制传送的比特位。存储器内存储一个GOP中的所有帧以及解码后的关键帧和准关键帧。
基于块模式决策的自适应帧组分布式视频编码方法,其特征是包括如下步骤:
本发明中的编码器算法,主要有下列部分组成:一是对图像的块模式及帧模式判断;二是根据帧模式和最大帧组数自适应组合帧组;三是对关键帧的帧内编码;四是对准关键帧基于块的帧内、帧间混合编码;五是对WZ帧的基于块的混合分布式编码。在帧模式判断时取消了运算量巨大的运动估计,所以编码器的复杂度与传统视频编码器相比大大降低,从而保留了“低复杂度编码”的特性。
第一步:读取L, T1、T2:其中L是一个帧组(GOP)所包含的最大图像帧的个数,T1 、T2是时间相关性判断准则的门限值。
第二步:每个图像组的第一帧作为关键帧进行H.264帧内编码,生成H.264帧内码流,然后发送到解码端。
第三步:生成参考帧:对关键帧采用H.264帧内解码,解码后保存在存储器中。用解码恢复关键帧来生成参考帧,即在编码端使用一个与帧内编码算法对应的帧内解码器来恢复关键帧,我们在实施中采用了H.264帧内解码算法,
其中为当前编码帧相邻的前一个已解码的关键帧。
其中T1、T2是通过实验预先设定的门限值。本发明相比现有的DVC技术增加了对块模式的判断,由于采用式(4)作为判断依据而没有采用传统编码器中的运动估计来进行判断,增加运算量不大。
第七步:对当前编码帧进行帧模式判断
根据当前编码帧中8×8块的模式来判断帧的模式。首先对当前编码帧中的块进行块模式统计,根据块类型的数量来确定当前帧的模式。情况1:Skip块数量最多,表明当前编码帧和相邻关键帧之间的相关性很强,把当前帧的模式设置为WZ帧可以减少编码码流;情况2:WZ块数量最多,表明当前编码帧和相邻关键帧之间的相关性较强,把当前帧的模式设置为WZ帧可以减少编码码流;情况3:块数量大于Skip块和WZ块数量之和,表明当前编码帧和相邻关键帧之间的相关性很弱,若当前帧的模式设置为WZ帧进行编码码流减少不明显,反而增加编码复杂度,所以设置当前帧为关键帧。在这种情况下,对整帧采用第二步的帧内编码模式,而不再对块进行第六步所述的分类编码处理。
在T1=10*82=640、T2=30*82=1920情况下实验统计,对于运动程度较小的图像序列Foreman,Carphone(见图4、5),Skip块比例平均高达70%,的比例平均在20%以下。对于运动剧烈,图像复杂的图像序列football(见图6),Skip块比例平均也在40%以上,的比例平均在40%以下;因此,本发明采用对WZ帧的块分类为Skip块,可以有效降低计算量;分类为块,可以在增加少量码流的情况下有效提高编码质量。
第八步:自适应帧组方式编码
为了防止误差积累,一般情况设置L=8,情况1:在连续WZ帧个数大于L-1的情况下,则强制设置第L-1的WZ帧为关键帧,该情况下帧组(GOP)长度=L;情况2:在连续WZ帧个数不大于L-1的情况下,本发明根据第七步自适应设置该图像为WZ帧或关键帧,若当前编码帧为关键帧,并且前一帧为WZ帧的情况下,则强制设置前一帧为准关键帧,否则不强制设置准关键帧,并根据帧数设置当前该情况下GOP长度。自适应帧组如图7所示,由于强制关键帧和关键帧的编码方式相同,统称关键帧,所以一个帧组有两种情况组成:包含头尾两个关键帧, GOP长度;或包含头尾一个关键帧和一个准关键帧, GOP长度。需要说明的是如果前后帧分别为强制关键帧和关键帧情况下,则这两帧不构成独立的GOP,关键帧作为下一个GOP的起始帧。
本发明对关键帧、准关键帧、WZ帧采用不同的编码方式:对关键帧采用第二步所述的帧内编码方式,对准关键帧采用第十步所述的基于块的帧内、帧间混合编码方式;对WZ帧采用第十二步所述的基于块的混合分布式编码方式。
这种编码方式和现有DVC方法不同,现有DVC方法一般采用固定帧组方式编码,本发明采用自适应帧组方式编码,根据帧之间的时间相关性来设置帧组,并和现有的自适应帧组编码方法不同,现有的自适应帧组编码方法仅仅根据相关性确定关键帧,而本发明采用增加设置准关键帧类型的方式,保证每个帧组的帧之间有较强的相关性,这样时间相关性能被更充分的使用,因此取得了较好的效果。
第九步:对模式信息码流的熵编码
按照帧的次序以头信息方式对每帧进行模式信息编码,对于关键帧,只需设置帧级头信息,对于准关键帧和WZ帧,需设置帧级头信息和块级头信息。对于块头信息采用“从左到右,从上到下”的顺序进行扫描,形成模式信息码流(00表示Skip块,01表示WZ块,10表示块)。模式码流包括帧组长度、帧级头信息和块级头信息,模式码流采用熵编码压缩后发送到解码端。
第十步:准关键帧的编码
当前编码帧为准关键帧时,按照第六步,块分为三种类型:Skip块、WZ块和块,为了与WZ帧块编码方式区别,在准关键帧中对应设置为Skip块、Inter块和Intra块, 对不同类型的块采用不同的编码方式。情况1:Skip块,此情况下当前编码帧和参考帧对应位置的像素块的差距很小,相关性很大,因此本发明采用H.264编码中的Skip编码模式,无需进行编码,只需向解码端发送块的编码模式信息,大大减少了运算量;情况2:WZ块,此情况下当前编码帧和参考帧对应位置的像素块的差距较小,相关性较大,采用传统的帧间编码模式,即对块的残差进行DCT、量化、熵编码;情况3:块,表明当前编码帧和参考帧对应位置的像素块的差距较大,相关性较小,采用H.264帧内编码方式。
第十一步:准关键帧的解码
对准关键帧中的Skip块,通过其相邻关键帧解码后的相同位置的块来恢复,Inter块通过传统的帧间解码方式恢复、Intra块通过传统的帧内解码方式恢复, 解码后保存在存储器中。
第十二步:WZ帧的编码
当前编码帧为WZ帧时,对不同类型的块采用不同的编码方式。情况1:Skip块,此情况下当前编码帧和参考帧对应位置的像素块的差距很小,相关性很大,因此本发明采用H.264编码中的Skip编码模式,无需进行编码,只需向解码端发送块的编码模式信息,大大减少了运算量;情况2:WZ块,此情况下当前编码帧和参考帧对应位置的像素块的差距较小,相关性较大,采用目前分布式编码中的Wyner-Ziv编码模式(见第十三步);情况3:块,表明当前编码帧和参考帧对应位置的像素块的差距较大,相关性较小,为提高编码质量,采用类似关键帧的帧内编码模式,为了减少码流,对该模式用较少的码流表示,采用编码质量低于关键帧的粗糙帧内编码方式。
第十三步:WZ块的编码
对WZ块的残差进行8×8 DCT变换,统一量化后提取位平面,输出频域系数,并送入LDPC编码器编码,编码器产生的校验信息只有部分根据编码器的需要进行传输,采用现有的编码端码率控制技术来控制哪些部分需要传输,而不是传统的通过解码器的反馈通道来控制。采用编码端进行码率控制可以解决反馈机制不能实现或者代价过高的场合,为了不增加编码器的复杂度,采用低复杂度的边信息估计和校验码率估计方法。另外由于WZ块比例平均在15%以下,数量较少,采用编码端码率控制器对编码器复杂度增加不大。
编码端码率控制算法:
第3步:计算需要传输到解码端的位平面数N
估计WZ块每个变换量化后的系数需要传输到解码端的位平面个数,步骤如下:
第4步:计算位平面的码率
接下来估计在每个位平面需要传输到解码端的码率,计算如下:
(10)
通过编码端码率控制,得出LDPC编码器产生的校验信息需要传送到解码端的位平面数N和每个位平面需要传输到解码端的码率。
基于块模式决策的自适应帧组分布式视频解码方法,其特征是包括如下步骤:
解码器框图如图3所示,解码器根据对模式信息码流解码,读出GOP长度,帧解码分为关键帧解码、准关键帧解码和WZ帧解码;对关键帧采用传统的帧内解码方法;对准关键帧根据块信息解码,分为帧间模式、帧内模式、Skip模式解码;对WZ帧根据块信息解码,分为WZ模式、粗糙帧内模式、Skip模式解码;存储器内存储一个GOP中的解码后的关键帧和准关键帧。
解码算法由LDPC迭代解码、四次运动估计补偿、去方块滤波等环节来实现,因此具有较高的解码复杂度。具体包括如下步骤:
第二步:生成参考帧
第三步:准关键帧的解码
对准关键帧的块模式信息码流采用熵解码,分为Inter块、Intra块和Skip块。Skip块通过参考帧的相同位置的块来恢复,即;Intra块通过传统的帧内解码方式恢复, 解码后保存在存储器中;Inter块通过传统的帧间解码方式恢复,即对码流熵解码、反量化、反变换得到残差,则Inter块的值为残差加上参考帧相同位置的块的像素值,即
第四步:产生边信息帧
在解码端,根据GOP长度,以GOP为单位,一组帧组产生一个边信息帧。对应与编码端,一个帧组有两种情况组成:包含头尾一个关键帧和一个准关键帧;或包含头尾两个关键帧。第一种情况下,边信息帧Y由解码的关键帧和准关键帧之间通过基于8×8块的双向运动补偿内插法来产生,即
第五步:WZ帧中Skip块和块的解码
对WZ帧的块模式码流采用熵解码:分为Skip块、WZ块和块。Skip块通过其相邻关键帧解码后的相同位置的块来恢复,即。块通过帧内解码方式恢复, 解码后保存在存储器中。由帧内块和Skip块解码部分重构WZ帧;
第六步:边信息的修正
针对当前解码WZ帧,利用部分重构WZ帧,对边信息进行修正,这个边信息对后续的WZ块重构产生好的效果。具体的边信息进行修正步骤为:
用部分重构WZ帧的像素值在帧内块和Skip块的位置上来替代边信息帧Y中的像素值,产生新的边信息帧Y’,即
接下来在WZ块的位置,对解码的关键帧以边信息帧Y’为参考帧基于8×8块进行前向运动估计,产生运动矢量和块最小绝对残差和保存在缓冲器中。同样,在WZ块的位置,对解码的关键帧以边信息帧Y’为参考帧基于8×8块进行后向运动估计,产生运动矢量和块最小绝对残差和,比较四个绝对残差和、、和的大小,通过式(16)来修正边信息。即
其中为边信息帧中WZ块的坐标,本专利采用部分重构WZ帧来修正边信息,充分利用了WZ帧中已解码帧内块和Skip块的信息,如果部分重构WZ帧与关键帧或准关键帧之间的相关性比关键帧之间或关键帧与准关键帧之间的相关性强,则选择用部分重构WZ帧来修正边信息。可以看出,Y’由当前解码WZ帧产生,不同的WZ帧产生不同的Y’,一组帧组产生的修正边信息帧Y’的个数和该帧组WZ帧的个数相等;
第七步:生成残差帧
第九步:WZ块的解码
WZ块解码根据接受到的校验位和解码器端的边信息用信道解码方式恢复频域信息,边信息指中与当前WZ块相同位置的系数块。接下来对WZ块频域系数进行精细重构:经过Skip块、WZ块和块的解码的过程,可以得到恢复的频域码流,假设此恢复是无差错的。由于恢复的频域码流含有编码端传送的信息,并且与有很强的相关性,本专利通过采用公式(17),即通过恢复的频域码流来精细重构最终的频域系数;
最后,参考帧被用于恢复WZ块原始像素W',即
第十步:恢复WZ帧,并通过h.264去方块滤波器滤波后显示。
图8为本发明的编码算法的程序实现流程图,下面对其编码算法的实施步骤进行详细说明:
步骤1:由摄像头从传输信道接收码流,设定帧组(GOP)的最大帧数L, 设定门限值T1、T2;
步骤2:每个图像组的第一帧作为关键帧进行H.264帧内编码,生成关键帧码流通过传输网络发送到解码端;
步骤3:对关键帧采用H.264帧内解码,解码后保存在存储器中;
步骤8:自适应帧组方式:根据步骤(7)自适应设置图像为WZ帧或关键帧,并强制设置关键帧前WZ帧为准关键帧,结合相同设定的最大(GOP)长度L来设计帧组。自适应帧组有两种情况组成:包含头尾两个关键帧,组(GOP)长度;或包含头尾一个关键帧和一个准关键帧,帧组(GOP)长度;
步骤9:模式码流采用熵编码压缩后发送到解码端;
步骤10:对准关键帧采用基于块的帧内、帧间混合编码方式编码,形成帧间、帧内码流发送到解码端;
步骤11:对准关键帧采用基于块的帧内、帧间混合解码方式解码,解码后保存在存储器中;
步骤12:对WZ帧采用基于块的混合分布式编码方式编码,首先形成Intra/WZ 码流发送到解码端;
步骤13:WZ块采用基于编码端码率控制算法的Wyner-Ziv编码,形成WZ码流发送到解码端;
图9为本发明的解码算法的程序实现流程图,下面对其解码算法的实施步骤进行详细说明:
步骤1:从传输信道接收码流,对模式码流进行熵解码;
步骤3:读取帧模式信息,分为关键帧、关键帧和WZ帧;
步骤4:对关键帧采用用H.264的帧内解码器解码;
步骤6:准关键帧的解码:读取准关键帧的块模式信息,分为Inter块、Intra块和Skip块,Skip块通过参考帧的相同位置块来恢复,Intra块通过传统的帧内解码方式恢复,Inter块通过传统的帧间解码方式恢复,准关键帧解码重构后保存在存储器中;
步骤7:产生边信息帧: GOP为单位产生一个边信息帧。帧组有两种情况组成:包含头尾两个关键帧,该情况下通过公式(13)产生边信息帧Y;或包含头尾一个关键帧和一个准关键帧,该情况下通过公式(14)产生边信息帧Y;
步骤9:利用部分重构WZ帧和边信息帧Y,利用公式(15)和公式(16),生成修正的边信息帧Y’;
步骤11:WZ块解码根据接收到的校验位和边信息解码恢复频域信息,并利用公式(17)对WZ块频域系数进行精细重构,并反量化、反变换,重构出WZ块数据;
对本发明提出的DVC方案在假设无损传输信道下做了初步测试实验,采用标准测试序列:Forman和Carphone做输入视频,以QCIF分辨率和15帧/秒进行测试。一些相关对比实验包括:
(1)PDDVC-ERC:像素域编码器端码率控制的DVC
(2)h.264 的帧间编码(I-B-B-B)
(3)h.263+的帧内编码(I-I-I-I)
(4)欧洲DOSCOVER项目组提出的DOSCOVER分布式编码器
Forman序列和Carphone序列测试结果如图10和11所示。
第一,与DOSCOVER相比,本发明算法在对Forman序列实验中可获得2.5分贝的改善和对Carphone序列实验中可获得3分贝的改善。本专利在编码过程中利用了序列的时间相关性,Carphone序列的时间相关性比Forman序列强,所以改善效果更明显。
第二,与PDDVC-ERC相比,本发明算法在对Forman序列实验中可获得1.8分贝的改善和Carphone序列实验中可获得1.5分贝的改善。像素域编码器端码率控制的DVC(PDDVC-ERC)已经考虑了序列的时间相关性,本发明利用空间相关性对边信息进行修正,使PSNR进一步提高。同时实验发现,本专利的编码时间与PDDVC-ERC编码时间大致相同,体现了“低复杂度编码”的特点。
综上所述,本发明从权衡编码复杂度和编码压缩性能的角度来设计实用视频编码***:提出在基本不增加运算量的情况下,编码端进行部分帧间相关估计的方法,另外,通过设置关键帧和WZ帧之间的数量来获得各种要求的编码效果,并考虑K帧数量和辅助信息质量之间的权衡,提高整个***的编码效率和最终的解码质量。与现有的一些DVC***相比,在计算量略微提高的条件下,很大程度地提高了其率失真性能。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界。
Claims (7)
1.一种基于模式决策的自适应帧组分布式视频编码方法,其特征在于:包括如下步骤:
(1)读取一个帧组所包含的最大图像帧的个数L及时间相关性判断准则的门限值T1 和T2,然后以帧为单位读取图像值;
(2)每个图像组的第一帧作为关键帧进行H.264帧内编码,生成H.264帧内码流,并发送到解码端;
其中为当前编码帧相邻的前一个已解码的关键帧;
其中T1、T2是通过实验预先设定的门限值;
(7)根据步骤(6)中的块分类,对当期编码帧中的块进行块模式统计,根据块类型的数量来确定当前帧的模式,当Skip块或WZ块数量最多,当前帧的模式设置为WZ帧;当:块数量大于Skip块和WZ块数量之和,设置当前帧为关键帧;
(8)自适应帧组方式编码:在连续WZ帧个数大于L-1的情况下,强制设置第L-1的WZ帧为关键帧,该情况下帧组长度=L;在连续WZ帧个数不大于L-1的情况下,根据步骤(7)判断的结果,若当前编码帧为关键帧,并且前一帧为WZ帧的情况下,则强制设置前一帧为准关键帧,否则不强制设置准关键帧,并根据帧数设置该情况下GOP长度;并对关键帧采用帧内编码方式,对准关键帧采用基于块的帧内、帧间混合编码方式;对WZ帧采用基于块的混合分布式编码方式;
(9)对模式信息码流的熵编码:按照帧的次序以头信息方式对每帧进行模式信息编码,对于关键帧,只需设置帧级头信息,对于准关键帧和WZ帧,需设置帧级头信息和块级头信息,对于块头信息采用“从左到右,从上到下”的顺序进行扫描,形成块模式信息码流,模式信息码流包括帧组长度、帧级头信息和块级头信息,模式码流采用熵编码压缩后发送到解码端。
6.一种基于模式决策的自适应帧组分布式视频解码方法,其特征在于:帧解码分为关键帧解码、准关键帧解码和WZ帧解码;对关键帧采用传统的帧内解码方法;对准关键帧根据块信息解码,分为帧间模式、帧内模式、Skip模式解码;对WZ帧根据块信息解码,分为WZ模式、粗糙帧内模式、Skip模式解码;存储器内存储一个GOP中的解码后的关键帧和准关键帧,包括如下步骤:
(2) 对准关键帧的块模式信息码流采用熵解码,分为Inter块、Intra块和Skip块;根据公式(1)利用解码的关键帧生成参考帧,Skip块通过参考帧的相同位置的块来恢复,即;Intra块通过传统的帧内解码方式恢复;Inter块通过传统的帧间解码方式恢复, 准关键帧解码后保存在存储器中;
(3)产生边信息帧:在解码端,以帧组为单位,一组帧组产生一个边信息帧;对应与编码端,一个帧组有两种情况组成:包含头尾一个关键帧和一个准关键帧;或包含头尾两个关键帧,第一种情况下,边信息帧Y由解码的关键帧和准关键帧之间通过基于8×8块的双向运动补偿内插法来产生,前向运动估计和后向运动估计产生的块最小绝对残差和、保存在缓冲器中;
(5)边信息的修正:利用部分重构WZ帧,对边信息进行修正, 用部分重构WZ帧的像素值在帧内块和Skip块的位置上来替代边信息帧Y中的像素值,产生新的边信息帧Y’,即
接下来在WZ块的位置,对解码的关键帧以边信息帧Y’为参考帧基于8×8块进行前向运动估计,产生运动矢量和块最小绝对残差和保存在缓冲器中;同样,在WZ块的位置,对解码的关键帧以边信息帧Y’为参考帧基于8×8块进行后向运动估计,产生运动矢量和块最小绝对残差和保存在缓冲器中;比较四个绝对残差和、、和的大小,通过式(8)来修正边信息,即
其中为边信息帧中WZ块的坐标,一组帧组产生的修正边信息帧Y’的个数等于该帧组WZ帧的个数;
(7)WZ块的解码:WZ块解码首先根据接受到的校验位和解码器端的边信息用信道解码方式恢复频域信息,经过Skip块、WZ块和块的解码的过程,可以得到恢复的频域码流,恢复的频域码流含有编码端传送的信息,通过公式(9),即通过恢复的频域码流来精细重构最终的频域系数,
其中和分别为根据恢复的频域信息推断的的最大值和最小值,此方法用恢复的的位平面信息限制了单纯由位平面重构而产生的失真,对反量化,逆离散余弦变换(IDCT),恢复残差值D',原始像素W'由式(10)来获得
(8)恢复WZ帧,并通过去h.264中方块滤波器滤波后显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110275465 CN102271256B (zh) | 2011-09-16 | 2011-09-16 | 基于模式决策的自适应帧组分布式视频编码和解码方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110275465 CN102271256B (zh) | 2011-09-16 | 2011-09-16 | 基于模式决策的自适应帧组分布式视频编码和解码方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102271256A true CN102271256A (zh) | 2011-12-07 |
CN102271256B CN102271256B (zh) | 2013-08-07 |
Family
ID=45053398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110275465 Expired - Fee Related CN102271256B (zh) | 2011-09-16 | 2011-09-16 | 基于模式决策的自适应帧组分布式视频编码和解码方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102271256B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102740081A (zh) * | 2012-06-21 | 2012-10-17 | 西南交通大学 | 一种基于分布式编码技术的多视点视频传输差错控制方法 |
CN103002283A (zh) * | 2012-11-20 | 2013-03-27 | 南京邮电大学 | 多视角分布式视频压缩的边信息生成方法 |
CN104301729A (zh) * | 2014-09-07 | 2015-01-21 | 南京邮电大学 | 一种无反馈分布式视频编码的码率控制方法 |
CN105338357A (zh) * | 2015-09-29 | 2016-02-17 | 湖北工业大学 | 一种分布式视频压缩感知编码技术方法 |
CN106210744A (zh) * | 2016-07-19 | 2016-12-07 | 华南农业大学 | 基于宏块分类的分布式残差视频编译码方法 |
CN106534873A (zh) * | 2016-11-29 | 2017-03-22 | 四川大学 | 基于小波域的分布式视频编码关键帧丢失错误保护方法 |
CN111372081A (zh) * | 2020-03-17 | 2020-07-03 | 四川大学 | 基于丢失块修复的分布式多视点视频解码的方法和装置 |
CN112437300A (zh) * | 2020-11-23 | 2021-03-02 | 武汉理工大学 | 一种基于自适应区间重叠因子的分布式视频编码方法 |
CN115002471A (zh) * | 2022-05-27 | 2022-09-02 | 武汉理工大学 | 基于鲁棒自适应dac码的分布式视频编码及解码方法和*** |
CN117939134A (zh) * | 2024-03-22 | 2024-04-26 | 鹰驾科技(深圳)有限公司 | 一种无线视频通信方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101835044A (zh) * | 2010-04-23 | 2010-09-15 | 南京邮电大学 | 一种频率域分布式视频编码中的分类组合方法 |
CN102088612A (zh) * | 2011-03-11 | 2011-06-08 | 西安电子科技大学 | 具有鲁棒性的无反馈Wyner-Ziv视频解码器 |
-
2011
- 2011-09-16 CN CN 201110275465 patent/CN102271256B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101835044A (zh) * | 2010-04-23 | 2010-09-15 | 南京邮电大学 | 一种频率域分布式视频编码中的分类组合方法 |
CN102088612A (zh) * | 2011-03-11 | 2011-06-08 | 西安电子科技大学 | 具有鲁棒性的无反馈Wyner-Ziv视频解码器 |
Non-Patent Citations (3)
Title |
---|
《MM'08》 20081031 Tao Sheng et al Rate Allocation for Transform Domain Wyner-Ziv Video Coding without Feedback 701-704 1-7 , * |
JUNAID JAMEEL AHMAD ET AL: "Energy Efficient Video Compression for Wireless Sensor Networks", 《INFORMATION SCIENCES AND SYSTEMS, 2009. CISS 2009. 43RD ANNUAL CONFERENCE ON》 * |
TAO SHENG ET AL: "Rate Allocation for Transform Domain Wyner-Ziv Video Coding without Feedback", 《MM’08》 * |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102740081B (zh) * | 2012-06-21 | 2015-03-25 | 西南交通大学 | 一种基于分布式编码技术的多视点视频传输差错控制方法 |
CN102740081A (zh) * | 2012-06-21 | 2012-10-17 | 西南交通大学 | 一种基于分布式编码技术的多视点视频传输差错控制方法 |
CN103002283A (zh) * | 2012-11-20 | 2013-03-27 | 南京邮电大学 | 多视角分布式视频压缩的边信息生成方法 |
CN104301729B (zh) * | 2014-09-07 | 2018-04-10 | 南京邮电大学 | 一种无反馈分布式视频编码的码率控制方法 |
CN104301729A (zh) * | 2014-09-07 | 2015-01-21 | 南京邮电大学 | 一种无反馈分布式视频编码的码率控制方法 |
CN105338357B (zh) * | 2015-09-29 | 2018-08-24 | 湖北工业大学 | 一种分布式视频压缩感知编解码方法 |
CN105338357A (zh) * | 2015-09-29 | 2016-02-17 | 湖北工业大学 | 一种分布式视频压缩感知编码技术方法 |
CN106210744A (zh) * | 2016-07-19 | 2016-12-07 | 华南农业大学 | 基于宏块分类的分布式残差视频编译码方法 |
CN106210744B (zh) * | 2016-07-19 | 2019-01-08 | 华南农业大学 | 基于宏块分类的分布式残差视频编译码方法 |
CN106534873B (zh) * | 2016-11-29 | 2019-05-03 | 四川大学 | 基于小波域的分布式视频编码关键帧丢失错误保护方法 |
CN106534873A (zh) * | 2016-11-29 | 2017-03-22 | 四川大学 | 基于小波域的分布式视频编码关键帧丢失错误保护方法 |
CN111372081B (zh) * | 2020-03-17 | 2022-06-17 | 四川大学 | 基于丢失块修复的分布式多视点视频解码的方法和装置 |
CN111372081A (zh) * | 2020-03-17 | 2020-07-03 | 四川大学 | 基于丢失块修复的分布式多视点视频解码的方法和装置 |
CN112437300A (zh) * | 2020-11-23 | 2021-03-02 | 武汉理工大学 | 一种基于自适应区间重叠因子的分布式视频编码方法 |
CN112437300B (zh) * | 2020-11-23 | 2022-04-15 | 武汉理工大学 | 一种基于自适应区间重叠因子的分布式视频编码方法 |
CN115002471A (zh) * | 2022-05-27 | 2022-09-02 | 武汉理工大学 | 基于鲁棒自适应dac码的分布式视频编码及解码方法和*** |
CN115002471B (zh) * | 2022-05-27 | 2024-08-09 | 武汉理工大学 | 基于鲁棒自适应dac码的分布式视频编码及解码方法和*** |
CN117939134A (zh) * | 2024-03-22 | 2024-04-26 | 鹰驾科技(深圳)有限公司 | 一种无线视频通信方法及*** |
CN117939134B (zh) * | 2024-03-22 | 2024-05-31 | 鹰驾科技(深圳)有限公司 | 一种无线视频通信方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN102271256B (zh) | 2013-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102271256A (zh) | 基于模式决策的自适应帧组分布式视频编码和解码方法 | |
CN100446560C (zh) | 用于平滑在误差掩蔽期间产生的人为产物的解码器装置和方法 | |
JP4755095B2 (ja) | 映像符号化の符号化側/復号化側に使用される双方向予測方法 | |
US7826527B2 (en) | Method for video data stream integration and compensation | |
JP4685849B2 (ja) | スケーラブルビデオコーディング及びデコーディング方法、並びにその装置 | |
CN102630012B (zh) | 基于多描述视频编码、解码方法、装置及*** | |
CN110933430B (zh) | 二次编码优化方法 | |
KR20130108948A (ko) | 적응적 전처리 기법을 이용한 영상 인코딩 방법 | |
CN103002283A (zh) | 多视角分布式视频压缩的边信息生成方法 | |
CN102572428B (zh) | 面向多媒体传感网分布式编解码的边信息估计方法 | |
CN102026001B (zh) | 基于运动信息的视频帧重要性评估方法 | |
Ye et al. | Improved side information generation for distributed video coding by exploiting spatial and temporal correlations | |
TWI479897B (zh) | 具備三維去雜訊化功能之視訊編碼/解碼裝置及其控制方法 | |
CN103957413A (zh) | 一种针对移动网络视频通信应用的实时误码掩盖方法和装置 | |
Lin et al. | A novel error resilience using reversible data embedding in H. 264/AVC | |
KR20100082700A (ko) | 와이너-지브 부호화 및 복호화 시스템 및 방법 | |
JP4642033B2 (ja) | 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法 | |
CN106210744B (zh) | 基于宏块分类的分布式残差视频编译码方法 | |
KR100801155B1 (ko) | H.264에서의 저복잡도를 가지는 공간적 에러 은닉방법 | |
CN112565779B (zh) | 一种基于失真漂移的视频隐写方法 | |
Ascenso et al. | A denoising approach for iterative side information creation in distributed video coding | |
KR100801532B1 (ko) | H.264/avc 비디오 표준에서의 옵티컬플로워를이용한 시방향 에러 은닉 방법 | |
Vyas et al. | Error concealment techniques using intra-modes and weighted interpolation in H. 264 decoder | |
Lei et al. | Study for distributed video coding architectures | |
Suh et al. | Motion vector recovery for error concealment based on distortion modeling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130807 |
|
CF01 | Termination of patent right due to non-payment of annual fee |