CN106534873B - 基于小波域的分布式视频编码关键帧丢失错误保护方法 - Google Patents

基于小波域的分布式视频编码关键帧丢失错误保护方法 Download PDF

Info

Publication number
CN106534873B
CN106534873B CN201611075342.5A CN201611075342A CN106534873B CN 106534873 B CN106534873 B CN 106534873B CN 201611075342 A CN201611075342 A CN 201611075342A CN 106534873 B CN106534873 B CN 106534873B
Authority
CN
China
Prior art keywords
key frame
error
coding
frequency band
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611075342.5A
Other languages
English (en)
Other versions
CN106534873A (zh
Inventor
卿粼波
荣松
何小海
王正勇
杨红
杨佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201611075342.5A priority Critical patent/CN106534873B/zh
Publication of CN106534873A publication Critical patent/CN106534873A/zh
Application granted granted Critical
Publication of CN106534873B publication Critical patent/CN106534873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种基于小波域的关键帧质量可分级保护方案，同时对误码关键帧的虚拟噪声模型进行了改进，通过在编码端对关键帧同时进行传统的帧内视频编码和基于小波域的Wyner‑Ziv编码，将经过错误掩盖后的误码关键帧作为基本层，Wyner‑Ziv编码产生的校验信息码流则作为增强层。同时为了使***的码率适应不同的网络条件，本文将小波分解后的图像的各个不同层的低频带和高频带组合成不同的增强层，根据不同的信道环境，传输不同层的数据。实验结果表明：在出现误码情况下，本文所提方案不仅可以提高关键帧的鲁棒性，同时针对不同的信道环境和要求，也可以在不同程度上提升视频的率失真性能。

Description

基于小波域的分布式视频编码关键帧丢失错误保护方法
技术领域
本发明涉及图像通信领域中的分布式视频编码容错传输问题，尤其是涉及一种基于小波域的分布式视频编码***中关键帧丢失错误保护问题。
背景技术
随着视频信息在生活中的日益普及，视频通信技术近些年来取得了长足的发展。在ITU-T视频专家组(VCEG)和ISO的动态图像专家组(MPEG)合作下，新一代视频编码标准H.265/HEVC(High Efficiency Video Coding)应运而生。虽然HEVC可以获得很好的率失真性能，但是其编码端过于复杂的特点使其在一些新兴的视频业务领域遇到了较大的瓶颈，比如大规模无线多媒体设备、移动手机终端等。分布式视频编码(Distributed VideoCoding，DVC)的出现，为这种应用场合提供了一种有效的解决思路。
由于无线网络信道情况不稳定，视频的传输很容易受到各种外在环境因素的干扰，导致视频数据丢失受损，严重影响视频的重建质量。针对这些问题，国内外学者进行了大量的研究与改进，其中基于时间域和空间域的错误隐藏算法中比较有代表性的是：双线性插值算法(BI-linear Interpolation，BI)和外边界匹配算法(Outer BoundaryMatching Algorithm，OBMA)等。Dissanayake结合Wyner-Ziv理论来实现H.264编码的抗误码传输。Gao提出了一种基于块合并的算法来对丢失数据块进行错误隐藏。另一方面，针对网络的异构性和设备终端的多样性，可伸缩视频编码(Scalable Video Coding，SVC)根据网络带宽的变化有选择性地传输码流从而能够很好地适应网络视频的传输特性。Fan结合压缩感知理论提出了可分级的DVC结构,Ouatet对基于DVC的分级结构和传统的可分级视频编码在不同信道环境下的鲁棒性和率失真性能进行了分析和比较。
然而，从所查文献来看，很少有对基于分布式视频编码中的关键帧在出现误码情况下提出可分级的保护方案，事实上，关键帧能否正确解码传输不仅影响着自身的重构质量，同时也对整个***的性能起着很关键的作用。
发明内容
本发明的目的是提高分布式视频编码中关键帧的鲁棒性，本发明利用小波变换图像的特性，提出一种基于小波域关键帧的可分级保护方案，在异构网络环境下关键帧出现误码丢失时，能够有效地提高***的编码性能。
本发明的基本思想是通过在编码端对关键帧同时进行传统HEVC帧内编码和Wyner-Ziv编码，将经过错误掩盖后的误码关键帧作为基本层，将小波分解后的图像的各个不同层的低频带和高频带组合成不同的增强层，根据不同的信道环境，传输不同层的数据，以此来达到在质量上可分级的保护关键帧的目的。
考虑到低频信息和高频信息重要性不同，以三层小波分解来说明所提出的分级方案，为了叙述方便，对于误码引起数据丢失的关键帧，将进行错误隐藏(ErrorConcealment，EC)后得到的关键帧作为基本层(Base Layer，BL)和边信息，并进行与编码端相同的小波变换。第一个增强层(Enhanced Layer，EL1)包括对经过错误掩盖后关键帧的LL3、HH3、HH2和HH1这四个频带进行纠错解码，其余的各个频带直接用边信息对应的部分来进行填充；第二个增强层(EL2)是在第一个增强层的基础上，增加了对LH3、LH2、LH1这三个频带的纠错解码，剩下的频带同样直接用边信息对应的部分来进行填充；第三个增强层(EL3)则包括对所有的频带进行纠错解码。
同时对关键帧误码情况下的虚拟噪声模型也进行了改进，在传统的分布式视频编码中，由于解码端无法准确获取原始信息，因此一般的做法是通过其前向参考帧和边信息来建立虚拟噪声模型。然而针对关键帧出现误码的情况，如果信道带宽受限，传输所有增强层的校验信息来纠错解码则不现实。然而传输部分增强层后重建视频帧质量与原始帧还是有一定差异，如果将其直接作为前向参考帧来进行下一帧的虚拟噪声模型估计则会与实际噪声模型相差较大，严重影响***的性能。由于同一层的各个频带之间虚拟噪声分布的相似性，因此，第二个和第三个增强层各个频带的虚拟噪声模型时可以利用第一个增强层已经解码出来的重建帧和其对应的边信息获得。
本发明针对关键帧在异构网络中的鲁棒性传输问题，提出一种基于小波域的关键帧质量可分级保护方案，同时对传统的分布式视频编码中的虚拟噪声模型进行了改进。另一方面，为了使***的码率适应不同的网络条件，利用小波分解的特性，将不同的低频带和高频带组合成不同的增强层，在不同的信道环境下，传输不同增强层的额外校验数据，以此达到可分级的保护关键帧的目的。
附图说明
图1为基于小波域关键帧的分级抗误码方法框图；
图2为小波域频带分级方案；
图3-a～图3-c为本发明方法在不同的误码率下，通过传输不同的增强层后视频重建图像与传统错误隐藏方案重建视频图像平均峰值信噪比(PSNR)值对比，其中图3-a为foreman序列PSNR对比曲线，图3-b为bus序列PSNR对比曲线，图3-c为coastguard序列PSNR对比曲线。
图4-a～图4-c是丢包率为5％时通过传输不同的增强层重构后视频序列的率失真曲线，其中图4-a为foreman序列的率失真曲线，图4-b为bus序列的率失真曲线，图4-c为coastguard序列的率失真曲线。
图5-a～图5-d为在误码情况下通过传输不同的增强层后视频重建图像的主观质量对比。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
图1中，基于小波域关键帧可分级保护方法，包括以下步骤；
(1)在编码端，对关键帧同时进行传统的HEVC帧内编码和基于小波域的Wyner-Ziv编码，将HEVC码流送入信道，Wyner-Ziv产生的检验信息则存储在缓冲区中。
(2)在解码端，首先判断接收到的HEVC码流是否出现丢包，若无丢包，则直接解码重建即可，删除缓冲区中的Wyner-Ziv码流，若出现丢包，首先采用错误掩盖技术对视频码流解码重建，然后根据反馈信道传送部分Wyner-Ziv码流，将经过错误掩盖后的图像作为边信息，利用额外的检验信息来完成误码关键帧的重建。
具体的，所述步骤(1)中，Wyner-Ziv编码采用的是基于9/7的三层小波变换，将三层小波分解后得到的不同高低频子带组合成不同的增强层，结果如图2所示。
所述步骤(2)中，在关键帧出现误码的情况下，在基本层优先传输的基础上，根据无线网络环境的特性，可以选择性的传输部分增强层来保护误码的关键帧。在信道条件不是很好的情况下，可以选择只传输增强层EL1的校验信息来进行保护，如果信道条件得到改善则可以增加传输增强层EL2的校验信息，当然，如果条件允许，则可以传输所有增强层的校验信息。
在本发明中，对于误码的关键帧采用的错误掩盖方法为典型的双线性插值算法。
在本发明中，对于解码端误码关键帧的虚拟噪声的估计改进的具体方法如下：
(a)在Girod提出的Wyner-Ziv视频编码***中，认为边信息Y和原始帧X之间的相关噪声概率分布近似服从拉普拉斯分布：
其中α为拉普拉斯参数，d为原始帧与其边信息之间的残差，即d＝X-Y。拉普拉斯分布参数α可由X、Y之间的方差σ计算获得：
(b)对于小波分解后视频帧的第一个增强层EL1的四个频带LL3、HH3、HH2和HH1，分别计算前向参考帧各个频带Xref与边信息Y对应频带之间的残差dEL1及方差σEL1：
dEL1＝Xref-Y (3)
然后根据公式(1)和(2)分别可以得到增强层EL1中四个频带的虚拟噪声估计。通过传输增强层EL1来纠错解码重建后的频带用X'表示。对于误码情况下，由于同一层的各个频带之间虚拟噪声分布的相似性，因此第二个增强层EL2和第三个增强层EL3各个频带的虚拟噪声模型可以通过第一个增强层EL1的X'和对应的边信息Y获得，新的残差分布可以用公式(5)和(6)表示，然后结合公式(1)和(2)可以得到更符合实际的噪声估计。
d'EL1＝X'-Y(5)
为了证明本发明方法的有效性，我们对其进行了实验验证，并以传统的错误隐藏算法为比较对象，其结果如图3、图4和图5所示。其中，图3给出了当HEVC编码量化参数取26，Wyner-Ziv编码量化步长取12时，不同的丢包率下(Packet Loss Rate，PLR)下，三个视频序列通过解码纠错传输不同的增强层后视频图像重构平均PSNR值对比。图4分别给出了三个视频序列在随机丢包率为5％时通过传输不同增强层后视频重构图像的率失真性能曲线。图5给出了foreman序列第16帧在传输不同的增强层后视频图像重构主观质量对比情况。比较的具体过程如下：
(1)对视频序列进行编解码，视频序列选择分布式视频编码中常见的测试序列，他们的名称、分辨率、和帧率分别为：foreman(352×288，15帧/秒)，bus(352×288，15帧/秒)，coastguard(352×288，15帧/秒)。关键帧HEVC帧内编码时采用的量化步长(QP)值分别取22、24、26、28，对应的关键帧Wyner-Ziv编码量化步长分别取7、9、12、15。
(2)将本发明下对误码关键帧的保护方案和传统的错误隐藏算法进行比较，对其两种视频编码性能：不同的丢包率下误码关键帧重建峰值信噪比(PSNR)及比特率变化量、固定丢包率下误码关键帧重建峰值信噪比(PSNR)及比特率、误码关键帧重构主观质量(其中PSNR体现视频的客观质量)，比较性能的差距用以下两个指标评价：
ΔPSNR＝PSNRWZ-PSNREC
ΔRate＝RateWZ-RateEC
其中，主观质量以人眼观察为主要评价标准，PSNRWZ表示本发明算法下视频重建图像的峰值信噪比(PSNR)，PSNREC表示传统的错误隐藏算法下视频重构图像的PSNR值，ΔPSNR表示本发明方法相比较于传统的错误隐藏算法的峰值信噪比变化值，ΔRate表示本发明方法相比较于传统的错误隐藏算法的码率变化值。
(3)分别输入不同丢包率下的视频序列，并对其进行编解码。
(4)程序分别输出视频解码重建后的视频序列以及各自的比特率、PSNR值，其中本发明下关键帧若出现误码，码率则等于传统的HEVC帧内编码码率与额外的Wyner-Ziv码率之和。具体的结果如表1-3所示，表1显示了在随机丢包率为5％时，不同的量化步长下，通过传输不同增强层后重建视频图像的平均PSNR值变化情况；表2则显示了在随机丢包率为5％时，不同的量化步长下，传输不同增强层后视频重建图像的平均码率值变化情况；表3显示当HEVC帧内编码量化步长为26，Wyner-Ziv量化步长为12时，丢包率为1％、5％、10％、20％时，本发明算法相比较于传统错误掩盖方案视频重建图像平均PSNR及码率的变化情况，可以看出，随着丢包率的逐渐增加，基于错误掩盖算法重建后视频图像的PSNR下降趋势越来越明显，然而即使在丢包率很高达到20％的情况下，本发明所提方案也可以在不同程度上很好的提升误码情况下重建图像的PSNR值。从总体上可以看出，本发明方法针对关键帧在不同的误码率下，通过传输不同增强层的Wyner-ziv码流，可以在不同程度上提升重建视频的质量，能够很好的适应不同网络环境的要求。
表1丢包率为5％时各个视频序列PSNR变化量
表2丢包率为5％时各个视频序列比特率变化量
表3不同丢包率下PSNR和比特率改变量

Claims (1)

1.一种基于小波域的分布式视频编码关键帧错误保护方法，其特征包括以下步骤：
(1)在编码端对关键帧同时进行传统的HEVC帧内编码和Wyner-Ziv编码，其中Wyner-Ziv编码采用三层小波分解方案，将分解后得到的低频带和高频带组合成不同的增强层，相应的校验信息码流存储在缓冲区中；
(2)在解码端，首先判断关键帧是否出现误码，若未出现误码丢包情况，则丢弃编码端缓冲区中的校验信息，直接按HEVC帧内解码重建即可，若出现误码，则首先对误码关键帧进行错误掩盖，并对其进行解码重建，然后将重建后的视频图像作为当前待解码关键帧的边信息，记为Y，最后通过反馈信道请求编码端传送部分Wyner-Ziv码流对误码的关键帧进行纠错解码，其中纠错解码的过程中，可以根据信道的条件传输不同的增强层数据，在解码出第一个增强层后，第二个增强层和第三个增强层各个频带的虚拟噪声模型的估计可以根据第一个增强层解码重建后的频带和对应的边信息Y得到。
CN201611075342.5A 2016-11-29 2016-11-29 基于小波域的分布式视频编码关键帧丢失错误保护方法 Active CN106534873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611075342.5A CN106534873B (zh) 2016-11-29 2016-11-29 基于小波域的分布式视频编码关键帧丢失错误保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611075342.5A CN106534873B (zh) 2016-11-29 2016-11-29 基于小波域的分布式视频编码关键帧丢失错误保护方法

Publications (2)

Publication Number Publication Date
CN106534873A CN106534873A (zh) 2017-03-22
CN106534873B true CN106534873B (zh) 2019-05-03

Family

ID=58354147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611075342.5A Active CN106534873B (zh) 2016-11-29 2016-11-29 基于小波域的分布式视频编码关键帧丢失错误保护方法

Country Status (1)

Country Link
CN (1) CN106534873B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111212286B (zh) * 2020-01-14 2022-02-01 四川大学 一种基于层修复的分布式多视点视频传输的方法和***
CN112188310B (zh) * 2020-09-28 2022-08-16 北京金山云网络技术有限公司 测试序列构建方法、装置、电子设备及存储介质
CN112565765B (zh) * 2020-12-11 2021-11-09 四川大学 一种多点视频的分级编解码方法和传输装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102026000A (zh) * 2011-01-06 2011-04-20 西安电子科技大学 像素域-变换域联合的分布式视频编码***
CN102271256A (zh) * 2011-09-16 2011-12-07 河海大学常州校区 基于模式决策的自适应帧组分布式视频编码和解码方法
CN102857760A (zh) * 2012-09-29 2013-01-02 中国科学院计算技术研究所 一种无反馈的优化码率的分布式视频编解码方法及其***
CN103826122A (zh) * 2013-10-25 2014-05-28 广东工业大学 一种复杂度均衡的视频编码方法及其解码方法
CN105611301A (zh) * 2015-12-23 2016-05-25 四川大学 基于小波域残差的分布式视频编解码方法
CN106060567A (zh) * 2016-06-16 2016-10-26 四川大学 一种基于分层wz帧的小波域分布式多视点视频编码

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5971010B2 (ja) * 2012-07-30 2016-08-17 沖電気工業株式会社 動画像復号装置及びプログラム、並びに、動画像符号化システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102026000A (zh) * 2011-01-06 2011-04-20 西安电子科技大学 像素域-变换域联合的分布式视频编码***
CN102271256A (zh) * 2011-09-16 2011-12-07 河海大学常州校区 基于模式决策的自适应帧组分布式视频编码和解码方法
CN102857760A (zh) * 2012-09-29 2013-01-02 中国科学院计算技术研究所 一种无反馈的优化码率的分布式视频编解码方法及其***
CN103826122A (zh) * 2013-10-25 2014-05-28 广东工业大学 一种复杂度均衡的视频编码方法及其解码方法
CN105611301A (zh) * 2015-12-23 2016-05-25 四川大学 基于小波域残差的分布式视频编解码方法
CN106060567A (zh) * 2016-06-16 2016-10-26 四川大学 一种基于分层wz帧的小波域分布式多视点视频编码

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Distributed Video Coding with Dynamic Virtual Channel Model Estimation";卿粼波等;《The First International Symposium on Data, Privacy, and E-Commerce (ISDPE 2007)》;20071212;全文
"分布式视频编码中关键帧丢失错误保护";荣松;《中国图像图形学报》;20170531;第22卷(第5期);全文
"分布式视频编码中的边信息优化算法";汪芸等;《数字视频》;20150531;第39卷(第9期);全文

Also Published As

Publication number Publication date
CN106534873A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN101982977B (zh) 用于与时域边界进行数据对准的方法和装置
Fang et al. GOP-based channel rate allocation using genetic algorithm for scalable video streaming over error-prone networks
US20090086819A1 (en) MPEG-4 Streaming System With Adaptive Error Concealment
CN108184118A (zh) 云桌面内容编码与解码方法及装置、***
CN106534873B (zh) 基于小波域的分布式视频编码关键帧丢失错误保护方法
JP2005531258A (ja) スケーラブルで頑強なビデオ圧縮
CN110740334A (zh) 一种帧级别的应用层动态fec编码方法
CN102438152B (zh) 可伸缩视频编码容错传输方法、编码器、装置和***
Lee et al. A robust codec for transmission of very low bit-rate video over channels with bursty errors
Huang et al. Unequal error protection for MPEG-2 video transmission over wireless channels
Hemami Digital image coding for robust multimedia transmission
Kondi et al. Joint source-channel coding for scalable video using models of rate-distortion functions
CN104363461B (zh) 视频帧的错误隐藏方法及应用其的视频解码方法
Tang et al. End-to-end distortion modeling for error-resilient screen content video coding
CN101860759B (zh) 一种编码方法和编码装置
Sodagar et al. A new error resilience technique for image compression using arithmetic coding
Wang et al. Two-dimensional channel coding scheme for MCTF-based scalable video coding
Carreira et al. Selective motion vector redundancies for improved error resilience in HEVC
Gharavi et al. H. 263 compatible video coding and transmission
Jiaji et al. An information hiding algorithm for HEVC based on intra prediction mode and block code
CN102811349A (zh) 可自动调节冗余的无反馈多描述分布式视频编解码器
CN1277418C (zh) 基于小波变换的视频编码控制方法
Wang et al. Spatial-frequency HEVC multiple description video coding with adaptive perceptual redundancy allocation
Farzamnia et al. Error concealment using multiple description coding and LIoyd-max quantization
Kung et al. Packet video transmission over wireless channels with adaptive channel rate allocation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant