CN108924568B - 一种基于3d-hevc框架的深度视频错误隐藏方法 - Google Patents
一种基于3d-hevc框架的深度视频错误隐藏方法 Download PDFInfo
- Publication number
- CN108924568B CN108924568B CN201810558850.1A CN201810558850A CN108924568B CN 108924568 B CN108924568 B CN 108924568B CN 201810558850 A CN201810558850 A CN 201810558850A CN 108924568 B CN108924568 B CN 108924568B
- Authority
- CN
- China
- Prior art keywords
- block
- vector
- lost
- blocks
- compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种基于3D‑HEVC框架的深度视频错误隐藏方法。目前还缺乏在错误发生在深度图的情况下,通过错误隐藏方法改进图像最终质量的有效方法。本发明方法先把深度图中各64×64大小的编码单元块进行分类,划分成静止块和运动块,然后对静止块采用从参考帧直接拷贝同位块进行错误隐藏,对运动块采用矢量补偿的方法进行错误隐藏,最后对错误隐藏后性能不佳的错误修复块进行进一步性能优化。矢量补偿方法具体是:首先构建运动共享矢量、空域矢量集,然后计算全局视差矢量集,重建丢失块,最后计算外边界匹配度。本发明方法结合了新标准的特性并改进了已有错误隐藏方法,对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。
Description
技术领域
本发明属于视频编解码技术领域,具体涉及一种基于3D-HEVC的面向深度图传输出错的错误隐藏方法。
背景技术
错误隐藏是针对视频在网络传输过程中进行开展的。由于传输环境恶劣或是网络传输中断等传输不良因素导致,在传输过程中有可能发生传输信息丢包。错误隐藏是在发生传输信息丢包情况下不进行网络重传机制时运用到的技术。
MVD格式视频中,不仅要考虑到纹理图发生的传输错误,还要考虑到深度图发生传输错误,深度图在MVD格式进行虚拟视点合成时有着重要的作用,不准确的深度图会使虚拟视点的绘制效果出现模糊重影等失真,进而影响整个3D视频的体验。为了有更好的3D视频体验,我们要将纹理图与深度图视为同等重要的因素。
发明内容
本发明的目的是研究在错误发生在深度图的情况下,如何利用有效的错误隐藏方法改进图像最终质量,提供一种基于3D-HEVC框架下深度图视频序列的错误隐藏方法。
本发明方法的具体步骤如下:
步骤(1).根据图像丢失块像素点的坐标,获取前向参考帧中的同位块B1和后向参考帧中的同位块B2,同位块大小为64×64。
步骤(2).取两个同位块B1和B2像素均值的差值绝对值,当平均像素差Th大于阈值1,即判断当前丢失块为运动块,反之则判断为静止块。
如果判断丢失块的类型为静止块,采用将前向参考帧中的同位块或后向参考帧中的同位块信息来填补图像中的当前丢失块进行恢复;
如果判断丢失块的类型为运动块,采用基于矢量补偿的方法进行恢复;再对最终恢复性能较差的丢失块进行质量再提升。
基于矢量补偿的方法恢复的具体步骤是:
步骤(a).构建运动共享矢量:
将纹理图中同位块的可用运动矢量缩放后,加入待选矢量集;
若对应的同位块为帧内编码块,则取周围邻块不为0运动矢量的平均值作为当前待选运动矢量;
步骤(b).构建空域矢量集:
选择大小为4×4的左下块0、左块1、左上块2、上块3、右上块4和下块5的运动/视差矢量来构建空域矢量集,其对应位移矢量集为{SV0,SV1,SV2,SV3,SV4,SV5};如果上述待选块中发生丢失,则放弃该块的运动矢量信息。
步骤(c).全局视差矢量:
由上述运动共享矢量、5个空域矢量,一个全局矢量构成了待选矢量集。
步骤(d).重建丢失块:
从待选矢量集中选择某候选运动/视差矢量,利用运动/视差矢量补偿的方法,填充丢失块中像素位置的空洞;
若当前帧F中丢失块像素点p的位置为(x,y),待选矢量集的候选位移矢量为SV=(svi,svj),通过偏移补偿计算得到参考帧Fr中对应像素点p′的位置(x′,y′),其中:
用Fr中像素点p′的像素值作为重建像素填充当前帧F中的空洞。
步骤(e).计算外边界匹配度:
由加权外边界匹配算法(DOBMA)计算参考帧中运动/视差补偿块外边界与丢失块外边界匹配度Dobma,计算公式如下:
其中,wotop为图像块上外边界分配的权重值、woleft为图像块左外边界分配的权重值、wobottom为图像块下外边界分配的权重值、woright为图像块右外边界分配的权重值;k,j分别表示图像块边界像素横、纵坐标的变化值;M是编码单元CU块的边长;p1(x+k,y+1)、p2(x′+k,y′+1)分别为丢失图像块、参考图像块上外边界在像素坐标点(x+k,y+1)、(x′+k,y′+1)处的像素值;p1(x-1,y+j)、p2(x′-1,y′+j)分别为丢失图像块、参考图像块左外边界在像素坐标点(x-1,y+j)、(x′-1,y′+j)处的像素值;p1(x+k,y+M)、p2(x′+k,y′+M)分别为丢失图像块、参考图像块下外边界在点(x+k,y+M)、(x′+k,y′+M)处的像素值;p1(x+M,y+j)、p2(x′+M,y′+j)、分别为丢失图像块、参考图像块右外边界在点(x+M,y+j)、(x′+M+1,y′+j)处的像素值;
根据加权外边界匹配算法计算深度图外边界匹配度和纹理图外边界匹配度的绝对差值,具体公式为:MAD为计算出的绝对差值;表示当前深度图中丢失块与通过候选位移矢量在参考帧中找到的运动/视差补偿块,二者之间的加权外边界匹配度;表示与当前深度图对应的纹理图中的同位块,与此同位块通过纹理图位移矢量找到的补偿块,二者之间的加权外边界像匹配度;选择位移矢量补偿中MAD值最小的重建块作为最终的填充块。
质量再提升具体方法是:
步骤(f).质量提升重建算法公式:
通过运动/视差补偿在参考帧中获取候选块作为重建块;若丢失块是双向参考,则在前后参考帧中进行运动/视差补偿,分别在这两个参考帧中获取候选块,然后将两个候选块的像素值取平均值作为最后的重建块;
丢失块像素值重建的计算公式是:
Ft(x,y)=w1Ft1(x1',y1')+w2Ft2(x2',y2');
其中Ft(x,y)为丢失块像素点(x,y)坐标处的像素值,Ft1(x1',y1'),Ft2(x2',y2')分别为两个参考帧中候选块对应位置(x1',y1')、(x2',y2')处的像素值,w1和w2分别为加权值;单向参考时w1或w2的值为1,同时另一者的值为0;双向参考时,w1=w2=0.5;
步骤(g).利用参考帧重组合进行丢失块质量提升:
根据丢失块周围正确接收块的位移矢量,在当前丢失块位置运用矢量补偿,获取每个参考帧中的重建参考块,判断重建参考块位置是否发生遮挡,剔除不可用的参考帧。
Step1:选择遮挡判断块:
选取每个丢失块四周8个4×4的预测单元PU块作为遮挡判断块Al,l=1~8,分别为丢失块上预测单元A1、A2,丢失块下预测单元A3、A4,丢失块左预测单元A5、A6,丢失块右预测单元A7、A8;接着由矢量补偿方法找到参考块,选取参考块四周相同位置的8个PU块Al′作为遮挡判断参考块。
Step2:判断参考补偿块是否被遮挡:
由矢量补偿方法找到参考块,通过遮挡判断块的像素值是否存在显著增大进行判断,计算像素归一化值δ是否大于判断阈值Th2,
其中,h、g分别为横纵坐标偏移量,Al'(x+g,y+h)为参考补偿块周边的判断块内坐标(x+g,y+h)处的像素值,Al(x+g,y+h)为当前丢失块周边的判断块内坐标(x+g,y+h)处的像素值;当周边判断块中有一个块的δ值大于阈值Th2时,则判断参考补偿块发生了遮挡;若参考补偿块判断为被遮挡块,则表明此参考补偿块的来源帧不适合作为参考帧,并去除掉这部分遮挡导致的参考帧。
然后,从各可用参考帧中获取到的重建参考块进行两两组合,可得到新的重建参考块用其进行受损块重建;选择质量最好的重建块作为最后的质量提升后的重建块。
本发明方法结合了新标准的特性并改进了已有错误隐藏方法,能改进在新的HEVC立体视频扩展标准3D-HEVC下相应的立体视频错误隐藏恢复技术,对立体视频在网络传输中发生的网络丢包现象有很好的恢复效果。
附图说明
图1为本发明方法的流程图。
具体实施方式
以下结合具体实施例和附图,对本发明进一步的详细说明。
一种基于3D-HEVC框架的深度视频错误隐藏方法,该方法先把深度图中各64×64大小的编码单元块进行分类,划分成静止块和运动块。接着,对静止块采用从参考帧直接拷贝同位块进行错误隐藏,对运动块采用矢量补偿的方法进行错误隐藏。然后,对错误隐藏后性能不佳的错误修复块进行进一步性能优化。
如图1所示,该方法的具体步骤如下:
步骤(1).根据图像丢失块像素点的坐标,获取前向参考帧中的同位块B1和后向参考帧中的同位块B2,同位块大小为64×64。
步骤(2).取两个同位块B1和B2像素均值的差值绝对值,当平均像素差Th大于阈值1,即判断当前丢失块为运动块,反之则判断为静止块。
如果判断丢失块的类型为静止块,采用将前向参考帧中的同位块或后向参考帧中的同位块信息来填补图像中的当前丢失块进行恢复。
如果判断丢失块的类型为运动块,采用基于矢量补偿的方法进行恢复;再对最终恢复性能较差的丢失块进行质量再提升。
基于矢量补偿的方法恢复的具体步骤是:
步骤(a).构建运动共享矢量:
纹理图与深度图由于编解码运动矢量的精度不同,将纹理图中同位块的可用运动矢量缩放后,加入待选矢量集;若对应的同位块为帧内编码块,则取周围邻块不为0运动矢量的平均值作为当前待选运动矢量;缩放计算如下:MVtexture为最终优化后的运动矢量,MVt为纹理图中直接获取到的运动矢量,R为缩放比例。
步骤(b).构建空域矢量集:
选择大小为4×4的左下块0、左块1、左上块2、上块3、右上块4和下块5的运动/视差矢量来构建空域矢量集,其对应位移矢量集为{SV0,SV1,SV2,SV3,SV4,SV5};如果上述待选块中某些块发生丢失,则放弃该块的运动矢量信息。
步骤(c).全局视差矢量:
其中N是大小为8×8且存在视差矢量的块的数量,DVi是第i个为8×8块的视差矢量值。
由上述运动共享矢量、5个空域矢量,1个全局矢量构成了待选矢量集。
步骤(d).重建丢失块:
从待选矢量集中选择某候选运动/视差矢量,利用运动/视差矢量补偿的方法,填充丢失块中像素位置的空洞;
若当前帧F中丢失块像素点p的位置为(x,y),待选矢量集的候选位移矢量为SV=(svi,svj),通过偏移补偿计算得到参考帧Fr中对应像素点p′的位置(x′,y′),其中:
用Fr中像素点p′的像素值作为重建像素填充当前帧F中的空洞。
步骤(e).计算外边界匹配度:
由加权外边界匹配算法(DOBMA)计算参考帧中运动/视差补偿块外边界与丢失块外边界匹配度,计算公式如下:
其中,wotop为图像块上外边界分配的权重值、woleft为图像块左外边界分配的权重值、wobottom为图像块下外边界分配的权重值、woright为图像块右外边界分配的权重值;k,j分别表示图像块边界像素横、纵坐标的变化值;M是编码单元CU块的边长;p1(x+k,y+1)、p2(x′+k,y′+1)分别为丢失图像块、参考图像块上外边界在像素坐标点(x+k,y+1)、(x′+k,y′+1)处的像素值;p1(x-1,y+j)、p2(x′-1,y′+j)分别为丢失图像块、参考图像块左外边界在像素坐标点(x-1,y+j)、(x′-1,y′+j)处的像素值;p1(x+k,y+M)、p2(x′+k,y′+M)分别为丢失图像块、参考图像块下外边界在点(x+k,y+M)、(x′+k,y′+M)处的像素值;p1(x+M,y+j)、p2(x′+M,y′+j)、分别为丢失图像块、参考图像块右外边界在点(x+M,y+j)、(x′+M+1,y′+j)处的像素值;
根据加权外边界匹配算法(DOBMA)计算深度图外边界匹配度和纹理图外边界匹配度的绝对差值,具体公式如下:
MAD为计算出的绝对差值;表示当前深度图中丢失块与通过候选位移矢量在参考帧中找到的运动/视差补偿块,二者之间的加权外边界匹配度;表示与当前深度图对应的纹理图中的同位块,与此同位块通过纹理图位移矢量找到的补偿块,二者之间的加权外边界像匹配度。当MAD值越小,表明受损块的重建质量越好。选择位移矢量补偿中MAD值最小的重建块作为最终的填充块。
质量再提升具体方法是:
步骤(f).质量提升重建算法公式:
通过运动/视差补偿在参考帧中获取候选块作为重建块;若丢失块是双向参考,则在前后参考帧中进行运动/视差补偿,分别在这两个参考帧中获取候选块,然后将两个候选块的像素值取平均值作为最后的重建块;
丢失块像素值重建的计算公式是:
Ft(x,y)=w1Ft1(x1',y1')+w2Ft2(x2',y2');
其中Ft(x,y)为丢失块像素点(x,y)坐标处的像素值,Ft1(x1',y1'),Ft2(x2',y2')分别为两个候选块对应位置(x1',y1')、(x2',y2')处的像素值,w1和w2分别为加权值。单向参考时w1或w2的值为1,同时另一者的值为0;双向参考时,w1=w2=0.5。
步骤(g).利用参考帧重组合进行丢失块质量提升:
在3D-HEVC编码结构中,如某帧图像有2个参考列表L0、L1,每个参考列表分别包含有V个参考帧,即L0{R0,R1,R2,…,RV},L1{R′0,R′1,R′2,…,R′V},......;若不考虑重复,这帧图像中的丢失块在重建时参考块的来源至多有2V个帧。根据丢失块周围正确接收块的位移矢量,在当前丢失块位置运用矢量补偿,获取每个参考帧中的重建参考块。
判断重建参考块位置是否发生遮挡,剔除不可用的参考帧。
Step1:选择遮挡判断块:
选取每个丢失块四周8个4×4的预测单元PU块作为遮挡判断块Al,l=1~8,分别为丢失块上预测单元A1、A2,丢失块下预测单元A3、A4,丢失块左预测单元A5、A6,丢失块右预测单元A7、A8。接着由矢量补偿方法找到参考块,选取参考块四周相同位置的8个PU块Al′作为遮挡判断参考块。
Step2:判断参考补偿块是否被遮挡:
深度图的像素值是根据物体与深度相机的距离决定的,距离深度相机越近的物体,在深度图中对应的像素值越大。像素块亮度值小的块,即离深度相机远的块,在运动过程中可能会被像素块亮度值大的块,即离深度相机近的块所遮挡。所以在发生块遮挡的情况时,前景块的像素值会替代被遮挡块的像素值。此时被遮挡块的像素值会显著增大。由矢量补偿方法找到参考块,通过遮挡判断块的像素值是否存在显著增大进行判断,通过公式计算像素归一化值δ是否大于判断阈值Th2,其中,h、g分别为横纵坐标偏移量,Al'(x+g,y+h)为参考补偿块周边的判断块内坐标(x+g,y+h)处的像素值,Al(x+g,y+h)为当前丢失块周边的判断块内坐标(x+g,y+h)处的像素值。当周边判断块中有一个块的δ值大于阈值Th2(Th2=20)时,则判断参考补偿块发生了遮挡。若参考补偿块判断为被遮挡块,则表明此参考补偿块的来源帧不适合作为参考帧,并去除掉这部分遮挡导致的“不可用”参考帧。
从各可用参考帧中获取到的重建参考块进行两两组合,可得到新的重建参考块用其进行受损块重建;选择质量最好的重建块作为最后的质量提升后的重建块。
由于考虑到不同视频测试序列对本发明的影响,通过选取两种视频测试序列的丢包,对这类情况使用本发明的错误隐藏方法进行恢复,实验结果验证了该错误隐藏算法的适用性。
本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下,本领域技术人员能够想到的变化和优点都被包括在本发明中,并且以所附的权利要求书为保护范围。
Claims (1)
1.一种基于3D-HEVC框架的深度视频错误隐藏方法,其特征在于该方法的具体步骤是:
步骤(1).根据图像丢失块像素点的坐标,获取前向参考帧中的同位块B1和后向参考帧中的同位块B2,同位块大小为64×64;
步骤(2).取两个同位块B1和B2像素均值的差值绝对值,当平均像素差Th大于阈值1,即判断当前丢失块为运动块,反之则判断为静止块;
如果判断丢失块的类型为静止块,采用将前向参考帧中的同位块或后向参考帧中的同位块信息来填补图像中的当前丢失块进行恢复;
如果判断丢失块的类型为运动块,采用基于矢量补偿的方法进行恢复;再对最终恢复性能较差的丢失块进行质量再提升;
基于矢量补偿的方法恢复的具体步骤是:
步骤(a).构建运动共享矢量:
将纹理图中同位块的可用运动矢量缩放后,加入待选矢量集;
若对应的同位块为帧内编码块,则取周围邻块不为0运动矢量的平均值作为当前待选运动矢量;
MVtexture为最终优化后的运动矢量,MVt为纹理图中直接获取到的运动矢量,R为缩放比例;
步骤(b).构建空域矢量集:
选择大小为4×4的左下块0、左块1、左上块2、上块3、右上块4和下块5的运动/视差矢量来构建空域矢量集,其对应位移矢量集为{SV0,SV1,SV2,SV3,SV4,SV5};如果上述待选块中发生丢失,则放弃该块的运动矢量信息;
步骤(c).全局视差矢量:
其中N是大小为8×8且存在视差矢量的块的数量,DVi是第i个为8×8块的视差矢量值;
由上述运动共享矢量、5个空域矢量,一个全局矢量构成了待选矢量集;
步骤(d).重建丢失块:
从待选矢量集中选择某候选运动/视差矢量,利用运动/视差矢量补偿的方法,填充丢失块中像素位置的空洞;
若当前帧F中丢失块像素点p的位置为(x,y),待选矢量集的候选位移矢量为SV=(svi,svj),通过偏移补偿计算得到参考帧Fr中对应像素点p′的位置(x′,y′),其中:
用Fr中像素点p′的像素值作为重建像素填充当前帧F中的空洞;
步骤(e).计算外边界匹配度:
由加权外边界匹配算法计算参考帧中运动/视差补偿块外边界与丢失块外边界匹配度:
其中,wotop为图像块上外边界分配的权重值、woleft为图像块左外边界分配的权重值、wobottom为图像块下外边界分配的权重值、woright为图像块右外边界分配的权重值;k,j分别表示图像块边界像素横、纵坐标的变化值;M是编码单元CU块的边长;p1(x+k,y+1)、p2(x′+k,y′+1)分别为丢失图像块、参考图像块上外边界在像素坐标点(x+k,y+1)、(x′+k,y′+1)处的像素值;p1(x-1,y+j)、p2(x′-1,y′+j)分别为丢失图像块、参考图像块左外边界在像素坐标点(x-1,y+j)、(x′-1,y′+j)处的像素值;p1(x+k,y+M)、p2(x′+k,y′+M)分别为丢失图像块、参考图像块下外边界在点(x+k,y+M)、(x′+k,y′+M)处的像素值;p1(x+M,y+j)、p2(x′+M,y′+j)、分别为丢失图像块、参考图像块右外边界在点(x+M,y+j)、(x′+M+1,y′+j)处的像素值;
MAD为计算出的绝对差值;表示当前深度图中丢失块与通过候选位移矢量在参考帧中找到的运动/视差补偿块,二者之间的加权外边界匹配度;表示与当前深度图对应的纹理图中的同位块,与此同位块通过纹理图位移矢量找到的补偿块,二者之间的加权外边界像匹配度;选择位移矢量补偿中MAD值最小的重建块作为最终的填充块;
质量再提升具体方法是:
步骤(f).质量提升重建算法公式:
通过运动/视差补偿在参考帧中获取候选块作为重建块;若丢失块是双向参考,则在前后参考帧中进行运动/视差补偿,分别在这两个参考帧中获取候选块,然后将两个候选块的像素值取平均值作为最后的重建块;
丢失块像素值重建的计算公式是:
Ft(x,y)=w1Ft1(x1',y1')+w2Ft2(x2',y2');
其中Ft(x,y)为丢失块像素点(x,y)坐标处的像素值,Ft1(x1',y1'),Ft2(x2',y2')分别为两个参考帧中候选块对应位置(x1',y1')、(x2',y2')处的像素值,w1和w2分别为加权值;单向参考时w1或w2的值为1,同时另一者的值为0;双向参考时,w1=w2=0.5;
步骤(g).利用参考帧重组合进行丢失块质量提升:
根据丢失块周围正确接收块的位移矢量,在当前丢失块位置运用矢量补偿,获取每个参考帧中的重建参考块,判断重建参考块位置是否发生遮挡,剔除不可用的参考帧;
Step1:选择遮挡判断块:
选取每个丢失块四周8个4×4的预测单元PU块作为遮挡判断块Al,l=1~8,分别为丢失块上预测单元A1、A2,丢失块下预测单元A3、A4,丢失块左预测单元A5、A6,丢失块右预测单元A7、A8;接着由矢量补偿方法找到参考块,选取参考块四周相同位置的8个PU块A′l作为遮挡判断参考块;
Step2:判断参考补偿块是否被遮挡:
由矢量补偿方法找到参考块,通过遮挡判断块的像素值是否存在显著增大进行判断,计算像素归一化值δ是否大于判断阈值Th2,其中,h、g分别为横纵坐标偏移量,Al'(x+g,y+h)为参考补偿块周边的判断块内坐标(x+g,y+h)处的像素值,Al(x+g,y+h)为当前丢失块周边的判断块内坐标(x+g,y+h)处的像素值;当周边判断块中有一个块的δ值大于阈值Th 2时,则判断参考补偿块发生了遮挡;若参考补偿块判断为被遮挡块,则表明此参考补偿块的来源帧不适合作为参考帧,并去除掉这部分遮挡导致的参考帧;
然后,从各可用参考帧中获取到的重建参考块进行两两组合,可得到新的重建参考块用其进行受损块重建;选择质量最好的重建块作为最后的质量提升后的重建块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810558850.1A CN108924568B (zh) | 2018-06-01 | 2018-06-01 | 一种基于3d-hevc框架的深度视频错误隐藏方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810558850.1A CN108924568B (zh) | 2018-06-01 | 2018-06-01 | 一种基于3d-hevc框架的深度视频错误隐藏方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108924568A CN108924568A (zh) | 2018-11-30 |
CN108924568B true CN108924568B (zh) | 2020-11-06 |
Family
ID=64410733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810558850.1A Active CN108924568B (zh) | 2018-06-01 | 2018-06-01 | 一种基于3d-hevc框架的深度视频错误隐藏方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108924568B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109819230B (zh) * | 2019-01-28 | 2020-08-25 | 杭州电子科技大学 | 一种基于hevc标准的立体三维视频错误隐藏方法 |
CN110062219B (zh) * | 2019-03-12 | 2020-11-06 | 杭州电子科技大学 | 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法 |
CN111010583B (zh) * | 2019-11-29 | 2021-09-07 | 杭州电子科技大学 | 一种基于残差分块的自适应多视点视频错误隐藏方法 |
CN111225217B (zh) * | 2019-12-16 | 2022-05-10 | 功智域控科技(苏州)有限公司 | 一种基于虚拟视点绘制的3d-hevc错误隐藏方法 |
CN111770346B (zh) * | 2020-06-10 | 2022-09-30 | 杭州电子科技大学 | 一种基于显著性的立体三维视频错误隐藏方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101082581B1 (ko) * | 2010-01-29 | 2011-11-10 | 충북대학교 산학협력단 | H.264/avc 복호화기의 에러 은닉 장치 및 방법 |
CN102510500B (zh) * | 2011-10-14 | 2013-12-18 | 北京航空航天大学 | 一种基于深度信息的多视点立体视频错误隐藏方法 |
CN104602028B (zh) * | 2015-01-19 | 2017-09-29 | 宁波大学 | 一种立体视频b帧整帧丢失错误隐藏方法 |
CN107277549B (zh) * | 2017-06-07 | 2020-05-12 | 南京邮电大学 | 一种基于纹理角度预测模式的hevc帧内编码帧差错掩盖方法 |
CN107682705B (zh) * | 2017-09-26 | 2020-05-12 | 杭州电子科技大学 | 基于mv-hevc框架的立体视频b帧错误隐藏方法 |
-
2018
- 2018-06-01 CN CN201810558850.1A patent/CN108924568B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108924568A (zh) | 2018-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108924568B (zh) | 一种基于3d-hevc框架的深度视频错误隐藏方法 | |
CN105517671B (zh) | 一种基于光流法的视频插帧方法及*** | |
JP5970609B2 (ja) | 3dビデオ符号化における統一された視差ベクトル導出の方法と装置 | |
EP2608148B1 (en) | Method and apparatus for generating multi-view | |
CN107682705B (zh) | 基于mv-hevc框架的立体视频b帧错误隐藏方法 | |
Jeong et al. | Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization | |
US20100201870A1 (en) | System and method for frame interpolation for a compressed video bitstream | |
US9451233B2 (en) | Methods and arrangements for 3D scene representation | |
CN104602028B (zh) | 一种立体视频b帧整帧丢失错误隐藏方法 | |
CN102595145B (zh) | 一种立体视频整帧丢失错误隐藏方法 | |
CN103475884B (zh) | 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法 | |
Song et al. | Error concealment of multi-view video sequences using inter-view and intra-view correlations | |
Zhang et al. | View synthesis distortion estimation with a graphical model and recursive calculation of probability distribution | |
Khattak et al. | Temporal and inter-view consistent error concealment technique for multiview plus depth video | |
CN108668135B (zh) | 一种基于人眼感知的立体视频b帧错误隐藏方法 | |
WO2016078162A1 (zh) | 一种基于hevc的3d视频快速编码方法 | |
Rahaman et al. | Hole-filling for single-view plus-depth based rendering with temporal texture synthesis | |
CN110062219B (zh) | 结合虚拟视点绘制3d-hevc整帧丢失错误隐藏方法 | |
Kurc et al. | Depth map inter-view consistency refinement for multiview video | |
CN111010583B (zh) | 一种基于残差分块的自适应多视点视频错误隐藏方法 | |
CN103856782A (zh) | 基于多视点视频整帧丢失的自适应错误掩盖方法 | |
CN109819230B (zh) | 一种基于hevc标准的立体三维视频错误隐藏方法 | |
CN103220533A (zh) | 一种立体视频宏块丢失错误隐藏方法 | |
Xiang et al. | Auto-regressive model based error concealment scheme for stereoscopic video coding | |
Doan et al. | Efficient view synthesis based error concealment method for multiview video plus depth |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |