CN1922889B - 使用加权预测的误差隐蔽技术 - Google Patents
使用加权预测的误差隐蔽技术 Download PDFInfo
- Publication number
- CN1922889B CN1922889B CN200480042164.5A CN200480042164A CN1922889B CN 1922889 B CN1922889 B CN 1922889B CN 200480042164 A CN200480042164 A CN 200480042164A CN 1922889 B CN1922889 B CN 1922889B
- Authority
- CN
- China
- Prior art keywords
- macro block
- error
- steps
- reference pictures
- weighted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种解码器(10),该解码器通过为每一个宏块检查像素误差来隐蔽由宏块流组成的编码图像中的误差。如果存在这种误差,那么对来自两个不同画面中的每一个的至少两个宏块画面来说,其中每一个宏块画面都会进行加权,以便产生一个用于估计遗失/损坏值的加权预测(WP),以便隐蔽那些被发现存在像素误差的宏块。
Description
技术领域
本发明涉及一种用于隐蔽宏块阵列所构成的编码图像中的误差的技术。
背景技术
在很多情况下,视频流都会经历压缩处理(编码处理),由此有助于实施存储和传输处理。当前存在很多的编码方案,这其中包含了基于块的编码方案,例如已经提出的ISO/ITU H.264编码技术。由于存在信道差错和/或网络拥塞,因此这类编码视频流常常会招致数据遗失或者在传输过程中被损坏。一旦执行解码,那么数据的遗失/破坏会将其自身显现为遗失/损坏的像素值,而这些像素值则会产生图像伪像。为了减少这种伪像,解码器会从相同画面图像的其他宏块或是从其他画面中估计这些值,从而“隐蔽”这种遗失/损坏的像素值。由于解码器并未实际隐藏这些遗失/损坏的像素值,因此,短语“误差隐蔽”是存在些许的用词不当的。
空间隐蔽处理试图依靠空间域中相邻区域之间的相似性而从相同图像的其他区域推导(估计)出遗失/损坏的像素值。时间隐蔽处理则试图从具有时间冗余度的其他图像中推导遗失/损坏的像素值。一般来说,经过误差隐蔽处理的图像与原始图像是近似的。然而,如果使用经过误差隐蔽处理的图像作为基准,那么将会传播所述误差。当一系列或一组画面包含了衰落或慢转换时,与基准画面本身相比,当前画面与经过加权因数扩缩的基准画面会具有更强的相关性。在这种情况下,对于通常使用的仅仅依赖于运动补偿的时间隐蔽技术而言,该技术将会产生恶劣的结果。
由此需要一种隐蔽技术,以便能够有利地减小误差传播。
发明内容
简要的说,依照本发明的优选实施例,在这里提供了一种用于隐蔽由宏块流组成的编码图像中的误差的技术。该方法是从为每一个宏块检查像素误差开始的。如果存在误差,则对来自至少一个画面的至少一个宏块执行加权,以便产生用于估计遗失/损坏值的加权预测(WP),由此隐蔽那些已被发现存在像素误差的宏块。
附图说明
图1描述的是用于实现WP的视频解码器的示意框图;
图2描述的是依照本原理并且通过使用WP而执行的用于隐蔽误差的方法步骤;
图3A描述的是与用于误差隐蔽的WP模式先验选择处理相关联的步骤;
图3B描述的是与用于误差隐蔽的WP模式后验选择处理相关联的步骤;
图4图示的是适于发现遗失像素数据平均值的曲线图处理;以及
图5描述的是与经历了线性衰落/慢转换的宏块相适合的曲线。
具体实施方式
引言
为了全面了解借助加权预测消除由编码宏块构成的图像中的误差的发明原理方法,较为有益的是提供与用于视频压缩处理的JVT标准相关的简要描述。JVT标准(也称为H.264和MPEG AVC)包括采用加权预测的第一视频压缩标准。对JVT之前的视频压缩技术、例如由MPEG-1、2和4规定 的视频压缩技术而言,将单个基准图像用于预测(也就是“P”画面)是不会导致图像缩放的。在使用双向预测(“B”画面)时,该预测是从两个不同画面形成的,然后,这两个预测将会一起使用相等的加权因数(1/2,1/2)来求取平均值,从而形成一个单独的平均预测。JVT标准允许使用多个基准画面来执行画面间预测,并且这其中是通过对某个基准画面索引进行编码来指示使用基准画面中的某个特定画面的。对画面(或P片)来说,所使用的仅仅是单向预测,可允许的基准画面是在第一列表(列表0)中管理的。而对B画面(或B片)来说,其中对基准画面的两个列表、即列表0和列表1进行了管理。对这种B画面(或B片)来说,JVT标准不但提供了使用列表0或列表1的单向预测,而且还提供了同时使用列表0和列表1的双向预测。在使用双向预测时,列表0和列表1中的预测值的平均值将会形成最终预测值。参数nal_ref_idc表示在解码器的缓存器中使用了B画面作为基准画面。为了方便起见,术语B_stored表示的是用作基准图像的B画面,术语B_disposable表示的则是那些未被用作基准画面的B画面。JVTWP工具提供了任意的乘法加权因数,并且在P和B画面中提供了适用于基准画面预测的加性偏移。
WP工具为衰落/慢转换序列的编码处理提供了一个特别的优势。在像P画面中那样将WP应用于单向预测时,该WP所实现的结果与先前为误差弹性所提出的漏预测处理相类似。漏预测则成为WP的一个特例,其中扩缩因子被限制在范围0≤α≤1中。此外,JVT WP还允许具有负的扩缩因子以及大于1的扩缩因子。
JVT标准的主档和扩展档都是支持加权预测(WP)的。用于P和SP片的序列参数集合表示的是使用WP。WP模式具有两种类型:(a)显性模式,该模式支持P、SP和B片,以及(b)隐性模式,该模式只支持B片。以下将会给出关于显性和隐性模式的论述。
显性模式
在显性模式中,WP参数是在分片(slice)报头中编码的。每一个彩色分量的乘法加权因数以及加性偏移可以是为用于P片和B片的列表0中的每一个可允许的基准画面而被编码的。相同画面中的所有分片必须具有相同的WP参数,但是为了实现误差弹性,它们会在每一个分片中进行重传。然而,即使是从相同基准画面存储器中预测得到的,相同画面中的不同宏块也还是可以使用不同的加权因数。这种处理可以通过使用存储器管理控制操作(MMCO)来实现,其中该操作可以将一个或多个基准画面索引与特定的基准画面存储器相关联。
双向预测所使用的加权参数是供单向预测使用的相同加权参数的某种组合。最终得到的画面间预测是根据所使用的预测类型并且为每一个宏块或宏块分区形成的。对源自列表0的单向预测而言,加权预测值SampleP是由等式(1)给出的:
SampleP=Clip1(((SampleP0·W0+2LWD-1)>>LWD)+O0) (1)
对源自列表1的单向预测而言,SampleP的值是如下给出的:
SampleP=Clip1(((SampleP1·W1+2LWD-1)>>LWD)+O1) (2)
对双向预测而言,
SampleP=Clip1(((SampleP0·W0+SampleP1·W1+2LWD) (3)
>>(LWD+1))+(O0+O1+1)>>1)
其中Clip1()是截取在范围[0,255]以内的运算符,W0和O0分别是列表0的基准画面加权因数和偏移,W1和O1分别是列表1的基准画面加权因数和偏移,LWD是对数加权除数舍入因数(log weight denominator roundingfactor)。SampleP0和Sample1是列表0和列表1的初始预测值,SampleP 则是加权预测值。
隐性模式
在WP隐性模式中,加权因数并未在分片报头中显性传送,取而代之的是,该因数是基于当前画面与基准画面之间的相对距离而被推导得到的。隐性模式只用于双向预测编码的宏块以及B片中的宏块分区,其中包括那些使用了直接模式的分片。用于双向预测的公式与前述关于双向预测的显性模式的章节中所给出的公式相同,但是其偏移值O0和O1等于零,此外,
加权因数W0和W1是通过使用下列公式推导得到的。
X=(16384+(TDD>>1))/TDD
Z=clip3(-1024,1023,(TDB·X+32)>>6)
W1=Z>>2 W0=64-W1 (4)
这个公式是
W1=(64*TDD)/TDB
的无除法16位安全操作的实施方式
其中TDB是列表1的基准画面与列表0的基准画面之间的时间差值,并且该差值被截取在范围[-128,127]以内,TDD则是当前画面与列表0的基准画面的差值,它被截取在范围[-128,127]以内。
迄今为止,没有任何一种WP工具是用于误差隐蔽用途的。虽然已经发现WP(漏预测)适用于误差弹性,但是它不非为了处理多个基准帧的应用而被设计的。依照本原理,在这里提供了一种通过使用加权预测(WP)来实现误差隐蔽目的的方法,该方法可以在没有额外费用的情况下在任何一种与可以实施WP的压缩标准相符合的视频解码器中实现,其中举例来说, 该压缩标准可以是JVT标准。
有关用于WP隐蔽处理并符合JVT的解码器的描述
图1描述的是符合JVT的视频解码器10的示意框图,其中该解码器能够通过执行WP来提供依照本原理的加权预测误差隐蔽处理。解码器10包括可变长度解码器部件12,该部件对依照JVT标准编码的输入编码视频流执行熵解码。由解码器部件12输出的经过熵解码的视频流会在部件14中接受逆量化处理,然后,在加法器18的第一输入端接收该视频流之前,该视频流还会在部件16中接受逆变换处理。
图1的解码器10包括基准画面存储器(存储器)20,它存储了那些在解码器输出端(也就是加法器18的输出端)产生的连续画面,以便在预测后续画面的过程中加以使用。基准画面索引值则用于识别基准画面存储器20中存储的单独的基准画面。运动补偿部件22对从基准画面存储器20中检索的一个或多个基准画面执行运动补偿,以便实施画面间预测。乘法器24使用一个来自基准画面加权因数查找表26的加权因数来扩缩一个或多个经过运动补偿处理的基准画面。在可变长度解码器部件12所产生的解码视频流内部有一个基准画面索引,该索引标识的是一个或多个用于对图像内部的宏块执行画面间预测的基准画面。该基准画面索引充当的是用于从查找表26中查找恰当加权因数以及偏移值的键标。由乘法器产生的加权基准画面数据会在加法器28中与来自基准画面加权查找表26的偏移值相加。在加法器28上求和得到的组合基准画面和偏移值则充当加法器18的第二输入,该加法器的输出将会充当解码器10的输出。
依照本原理,解码器10不但通过执行加权预测处理来预测连续解码宏块,而且还使用了WP来完成差错隐蔽处理。为此目的,可变长度解码器部件12不但用于对输入的编码宏块执行解码,而且还会为每一个宏块检查像素误差。可变长度解码器部件12依照检测到的像素误差来产生一个误差检 测信号,以供误差隐蔽参数生成器30接收。如参考图3A和3B详细描述的那样,生成器30同时产生了分别由加法器24和28接收的加权因数和偏移值,以便隐蔽像素误差。
图2描述的是通过在JVT(H.264)解码器中使用加权预测来隐蔽误差的本原理的方法步骤,其中该解码器可以是图1中的解码器10。该方法是从复位解码器10的初始化处理(步骤100)开始的。在步骤100之后,在图2的步骤110中,解码器10接收的各个输入宏块都会在图1的可变长度解码器部件12中接受解码处理。然后,在图2的步骤120中将会判定解码宏块是否在一开始进行了画面间编码(也就是参考另一个画面进行编码)。如果没有的话,则执行步骤130,经过解码的宏块将会接受画面内预测,其中所述预测是使用来自相同画面的一个或多个宏块所进行的预测。
对经过画面间编码的宏块来说,在步骤120之后执行的是步骤140。在步骤140中,其中将会检查经过画面间编码的宏块是否是用加权预测编码的。如果不是的话,那么该宏块会在步骤150中接受默认的画面间预测处理(也就是说,该宏块将会接受使用默认值的画面间预测处理)。否则,该宏块会在步骤160中接受WP画面间预测。在执行了步骤130、150或160之后,在步骤170中将会执行误差检测(由图1的可变长度解码器部件12执行),以便判定是否存在遗失或损坏的像素误差。如果存在误差,则执行步骤190并且选择恰当的WP模式(隐性或显性),图1的生成器30则会选择对应的WP参数。此后该程序执行过程将会转移到步骤160。否则,在没有任何误差的情况下,该进程将会结束(步骤200)。
如先前所述,JVT视频解码标准规定了两种WP模式:(a)在P、SP和B片中得到支持的显性模式,(b)只在B片中得到支持的隐性模式。图1的解码器10将会依照若干种用于下述模式选择处理的方法中的某一种来选择显性或隐性模式。然后,WP参数(加权参数和偏移)是依照选定的WP模式 (隐性或显性)确定的。基准画面可以来自列表0或列表1中包含的任何一个先前解码的画面,但是,最终存储的解码画面应该充当用于隐蔽用途的基准画面。
WP模式选择
根据在用于当前和/或基准画面的编码比特流中是否使用了WP,在这里可以使用不同的规则来确定误差隐蔽中所要使用的WP模式。如果在当前画面或相邻画面中使用了WP,那么还会将WP用于误差隐蔽。对画面中的所有分片来说,这些分片要么全都应用了WP,要么没有一个应用WP,这样一来,如果在没有传输误差的情况下接收到了相同画面,那么图1中的解码器10可以通过检查该画面中的其他分片来确定当前画面中是否使用WP。依照本原理而被用于误差隐蔽的WP既可以使用隐性模式实施,也可以使用显性模式实施,还可以同时使用这两种模式来实施。
图3A描述的是用于选择隐性和显性WP模式中的某一种的方法步骤,其中该选择是以先验方式进行的,也就是说,该选择是在完成误差隐蔽之前执行的。图3A的模式选择方法是在步骤200中输入了所有必要参数的时候开始的。此后,在步骤210中将会执行误差检测,以便确定当前画面/分片中是否存在误差。接着,在步骤220中将会检查是否在步骤210中发现误差。如果没有发现误差,则不需要执行误差隐蔽,并且在步骤230中将会执行画面间预测解码,此后则会在步骤240中输出数据。
一旦在步骤220中发现误差,那么在步骤250中将会检查在当前画面编码处理或是先前编码画面所使用的画面参数集中是否指示了隐性模式。如果没有的话,则执行步骤260,并且选择WP显性模式,图1的生成器30则会确定用于该模式的WP参数(加权因数和偏移)。否则,如果选择了隐性模式,那么在步骤270中将会基于当前画面与基准画面之间的相对距离来获取WP参数(加权因数和偏移)。在步骤260或270之后以及步骤240 中的数据输出之前,在步骤280中,其中将会执行画面间预测模式解码以及误差隐蔽处理。
图3B描述的是用于选择隐性或显性WP模式中的某一种的方法,其中该选择是使用在执行了画面间预测解码以及误差隐蔽之后得到的最佳结果并以后验方式实施的。图3B的模式选择方法是在步骤300中输入了所有必要参数的时候开始的。此后,在步骤310中将会执行误差检测,以便确定当前宏块中是否存在误差。接着,在步骤320中将会检查步骤310中是否发现了误差。如果没有发现误差,则不需要执行误差隐蔽,并且在步骤330中将会执行画面间预测解码,此后则会在步骤340中输出数据。
一旦在步骤320中发现误差,则执行步骤340和350,在这些步骤中,图1中的解码器10分别使用隐性模式和显性模式来执行WP处理。接着执行的是步骤360和370,在这些步骤中分别借助了步骤340和350中获取的WP参数来执行画面间预测解码以及误差隐蔽。在步骤380中,其中会将步骤360和370中获取的隐蔽结果与专为步骤340中的输出选择的最佳结果进行比较。其中举例来说,在这里可以使用空间连续性测量来确定哪一种模式产生了更好的隐蔽。
通过对当前画面中的损坏区域所具有的正确接收的空间相邻分片的模式、以及基准画面中在时间上处于相同位置的分片的模式加以考虑,可以确定继续执行依照图3A中的方法的先验模式判定。在JVT中,相同画面中的所有分片必须应用相同的模式,但是该模式可以不同于在时间上相邻的那些分片(或是在时间上处于相同位置的分片)。对误差隐蔽来说是不存在这种限制的,但是如果存在这种限制,那么较为优选的是使用空间相邻分片的模式。只有在空间相邻分片不可用的时候才会使用时间相邻分片的模式。这种方法排除了关于在解码器10上改变初始WP功能的需要。此外如下文所述,与在时间上相邻的分片相比,使用空间相邻的分片将会更为简 单。
另一种方法使用了当前的分片编码类型来表明决定继续执行先验模式判定。对B片而言,它使用的是隐性模式。对P片来说,它使用的是显性模式。隐性模式仅仅支持B片中被双向预测的宏块,并且不支持P片。如下文所述,与显性模式相比,用于隐性模式的WP参数估计通常更为简单。
对参考图3B所述的后验模式选择来说,图1的解码器10可以在不使用初始数据资料的情况下使用几乎任何一种用于测量误差隐蔽的规则,例如,解码器10可以计算这两种WP模式,并且保持一种在被隐蔽块的边界与其相邻块之间产生最平滑过渡的WP模式。
在WP可以改善提高误差隐蔽性能的时候,即使在当前或相邻画面中并未使用WP,也可以根据实际情况使用后续规则来进行模式判定。在第一种情况中,我们可以使用WP隐性模式而用不等的加权时间来加权双向预测补偿。在不丧失一般性的情况下,在这里始终可以假设画面与较接近的相邻画面更为相关,用于模拟这种相关性的最简单的方法则是使用符合WP隐性模式的线性模型,其中WP参数是像等式(4)中那样根据当前画面与基准画面之间的相对时间距离而被估计得到的。依照本原理的优选实施例,在使用双向预测补偿时,时间误差隐蔽是通过使用WP隐性模式实施的。使用WP隐性模式所提供的优点是:在不需要检测常见场景转变的情况下,能为衰落/慢转换序列改善被隐蔽图像的质量。
在第二种情况中,我们可以在顾及了画面/分片类型的情况下,通过使用隐性模式来加权双向预测补偿。对编码视频流来说,编码质量可以随画面/分配类型而改变。一般来说,与其他类型相比,I画面具有较高的编码质量,而与B_disposable相比,P或B_stored则具有较高的编码质量。在用于双向预测编码块的时间误差隐蔽中,如果使用了WP并且所述加权处理顾及了画面/分片类型,那么所隐蔽的图像可以具有较高的质量。依照本原 则,在依照画面/分片类型应用WP参数时,双向预测时间误差消除处理将会使用显性模式。
在第三种情况中,当使用隐蔽图像作为基准时,我们可以使用WP显性模式来限制误差传播。通常,隐蔽图像等同于原始图像的某种近似,其质量有可能会不稳定。如果将隐蔽图像用作未来画面基准,那么有可能会传播误差。在时间隐蔽中,为隐蔽基准画面本身应用较少的加权将会限制误差传播。依照本原理,通过将WP显性模式应用于双向预测时间误差隐蔽,可以用来限制误差传播。
我们还可以在检测衰落/慢变换的时候使用WP来实现误差隐蔽。WP尤其适用于对衰落/慢变换序列进行编码,由此可以改善这些序列的误差隐蔽质量。因此,依照本原理,在检测到衰落/慢变换的时候应该使用WP。为此目的,解码器10包含了一个衰落/慢变换检测器(未显示)。对用以选择隐性或显性模式的判定来说,无论先验还是后验规则,这些规则都是可以使用的。对先验判定而言,在使用双向预测的时候将会采用隐性模式。与之相反,在使用单向预测的时候则会采用显性模式。对后验规则来说,解码器10可以在不使用原始数据资料的情况下应用任何一种用于测量误差隐蔽质量的规则。对隐性模式而言,解码器10是基于空间距离并通过使用等式4来推导WP参数的。但对显性模式而言,等式(1)~(3)中使用的WP参数是没有必要确定的。
WP显性模式参数估计
如果在当前画面或相邻画面中使用了WP,那么,倘若存在空间相邻画面(也就是说,如果这些画面是在没有出现传输误差的情况下接收的)的话,则可以从空间相邻的画面中推导出WP参数,此外也可以从时间相邻的画面中推导WP参数,还可以同时利用这二者来推导WP参数。如果上部和下部相邻画面都是可用的,那么WP参数将会是这二者的平均值,这一点对 加权因数和偏移而言都是成立的。如果只有一个相邻画面可用,那么WP参数与可用相邻画面的WP参数相同。
来自时间相邻的画面的WP参数估计可以如下获取,其中包括:将偏移设置成0,将用于单向预测的加权预测写为
SampleP=SampleP0·W0 (6)
以及将用于双向预测的加权预测写为
SampleP=(SampleP0·W0+SampleP1·W1)/2(7)
其中wi是加权因数。
当前画面是用f表示的,来自列表0的基准画面是用f0表示的,来自列表1的基准画面则是用f1表示的,加权因数可以如下进行估计:
wi=avg(f)/avg(fi),i=0,1.(8)
其中avg是整个画面的平均光强(或彩色分量)值(用avg表示)。作为选择,在avg()计算中,等式(8)不必使用整个画面,而可以仅仅使用损坏区域中的相同位置的区域。
在等式(8)中,由于当前画面f中的某些区域受到损坏,因此,关于avg(f)的估计将是计算加权因数所必需的。目前有两种方法存在。第一种方法是使用图4所示的适于发现avg(f)的值的曲线。其中横坐标度量的是时间,纵坐标度量的则是整个画面的平均光强(或彩色分量)值(用avg表示)或是与当前画面中的损坏区域具有相同位置的区域。
如图5所示,第二种方法假设当前画面经历了线性衰落/慢变换的逐步变换。在数学上,这种状态可以如下表示:
其中下标是时刻,n0代表当前画面,n1代表基准画面,n2、n3则是处于n1之前或与之相等的先前解码画面,并且n2≠n3。等式(9)能够实现关于avg(f)的计算。等式(8)则能够实现关于估计加权因数的计算。如果实际衰落/慢变换不是线性的,那么使用不同的n2、n3将会产生不同的w。一种复杂度略高的方法包括为n2和n3测试若干个选项,然后找出所有选项中的w的平均值。
如果使用先验规则来从空间相邻画面或时间相邻画面中选择WP参数,那么空间相邻的画面将会具有高优先级。只有在空间相邻画面不可用的情况下才会使用时间估计。这种估计假设衰落/慢变换是均匀应用于整个画面的,并且使用空间相邻的画面来计算WP参数的复杂度要低于使用时间相邻画面所进行的计算。对后验规则来说,解码器10可以在不使用初始数据资料的情况下应用任何一种用于测量误差隐蔽质量的规则。
如果没有使用WP来编码当前或相邻画面,那么我们可以借助其他方法来估计WP参数。如果在顾及了画面/分片类型的情况下通过调整加权的双向预测补偿来使用WP显性模式,那么WP偏移将被设置成0,加权因数则是根据列表0和列表的基准画面中在时间上位置相同的块的分片类型来确定的。如果它们是相同的,则设置w0=w1。如果它们是不同的,那么具有分片类型I的加权因数将会大于具有分片类型P的加权因数,具有分片类型P的加权因数则大于具有类型B_stored的加权因数,而具有类型B-Stored的加权因数大于具有类型B_disposable的加权因数。举例来说,如果列表0中在时间上位置相同的分片为I,而列表1中的为P,那么w0>w1。在确 定加权因数时需要满足的条件是:在等式(7)中,(w0+w1)/2=1。
在使用隐蔽图像时,如果使用WP显性模式来限制误差传播,那么后续实例将会描述如何基于预测块的误差隐蔽距离以及具有误差并与之最为接近的优先顺序(precedence)来计算加权。误差隐蔽距离被定义为是从当前块到具有误差的最近优先顺序的运动补偿的迭代数量。举例来说,如果图像块fn(下标n是时间索引)是从fn-2中预测的,fn-2是从fn-5中预测的,并且fn-5是隐蔽的,那么误差隐蔽距离是2。
为了简单起见,WP偏移被设置成0,加权预测可以写为:
SampleP=(SampleP0·W0+SampleP1·W1)/(W0+W1)
我们定义
W0=1-αn0以及W1=1-βn1
其中0≤α,β≤1,n0、n1是SampleP0和SampleP1的误差隐蔽距离。查找表可以用于追踪误差隐蔽距离。在遇到内部块/画面的时候,,这时可以认为误差隐蔽距离是无限的。
在为显性模式检测到作为衰落/慢变换的画面/分片时,由于没有将WP用于当前画面,因此没有空间信息可用。在这种情况下,等式(6)~(9)是允许从空间相邻画面中推导WP参数的。
上文中描述的是一种用于在由宏块阵列构成的编码图像中通过使用加权预测来隐蔽误差的技术。
Claims (28)
1.一种用于在图像解码过程中隐蔽由编码宏块流组成的图像中的空间误差的方法,该方法包括以下步骤:
在加权预测解码中为每一个宏块检查像素数据误差,如果存在这种像素误差,则:
对来自至少一个基准画面的至少一个宏块进行加权,以便产生一个加权预测,从而用于隐蔽被发现存在像素数据误差的宏块。
2.根据权利要求1的方法,还包括以下步骤:
选择隐性加权预测解码模式;以及
依照JVT视频编码标准使用所述隐性加权预测解码模式来加权至少一个宏块。
3.根据权利要求1的方法,还包括以下步骤:
选择显性加权预测解码模式;以及
依照JVT视频编码标准使用所述显性加权预测解码模式来加权至少一个宏块。
4.根据权利要求2的方法,还包括以下步骤:通过使用双向预测补偿而将所述隐性加权预测解码模式用于时间隐蔽处理。
5.根据权利要求1的方法,还包括以下步骤:依照加权预测解码过程中的使用的基准画面的类型并且使用双向预测补偿来加权至少一个宏块。
6.根据权利要求5的方法,还包括以下步骤:在先前隐蔽了至少一个基准画面的至少一部分的时候,通过加权至少一个宏块来限制误差传播。
7.根据权利要求5的方法,还包括以下步骤:当以迭代方式隐蔽了至少一个基准画面的至少一部分的时候,通过加权至少一个宏块来限制误差传播。
8.根据权利要求5的方法,还包括以下步骤:对来自不同基准画面的至少两个不同的宏块中的每一个进行加权,以便产生一个加权预测,从而隐蔽被发现存在像素数据误差的宏块。
9.根据权利要求5的方法,还包括以下步骤:对当前画面以及与所述当前画面相邻画面的至少一个宏块进行加权。
10.根据权利要求1的方法,还包括以下步骤:在检测到衰落或慢变换之一的时候,对所述至少一个宏块进行加权。
11.根据权利要求1的方法,还包括以下步骤:依照指定的规则并且使用隐性和显性模式之一来加权至少一个宏块。
12.根据权利要求11的方法,还包括以下步骤:分别依照与在当前画面中空间相邻宏块和在至少一个基准画面中时间相邻的宏块之一相关联的规则,并且通过使用隐性和显性模式之一来加权至少一个宏块。
13.根据权利要求12的方法,还包括以下步骤:分别依照与正确接收的在当前画面中空间相邻宏块和在至少一个基准画面中时间相邻宏块之一相关联的规则,并且通过使用隐性和显性模式之一来加权至少一个宏块。
14.根据权利要求11的方法,还包括以下步骤:依照与基准画面类型相关联的规则,并且通过使用隐性和显性模式之一来加权至少一个宏块。
15.根据权利要求3的方法,还包括以下步骤:从在至少一个基准画面中时间相邻的宏块中估计一个加权值,以便加权至少一个宏块。
16.根据权利要求15的方法,还包括以下步骤:借助适于发现平均光强值的曲线而从在至少一个基准画面中时间相邻的宏块中估计加权值,其中所述估计加权值是从该平均光强值中推导得到的。
17.根据权利要求15的方法,还包括以下步骤:根据基准画面中的线性衰落或慢变换而从在至少一个基准画面中时间相邻的宏块中估计加权值。
18.根据权利要求7的方法,还包括以下步骤:从在当前画面中至少一个空间相邻的宏块中估计一个用于加权至少一个宏块的加权值。
19.根据权利要求9的方法,还包括以下步骤:依照指定的规则而从在当前画面中空间相邻的宏块和在至少一个基准画面中时间相邻的宏块中的至少一个宏块估计加权值,以便加权至少一个不同的宏块。
20.根据权利要求19的方法,其中指定的规则包括为在当前画面中至少一个空间相邻的宏块分配一个较高的优先级。
21.根据权利要求5的方法,还包括以下步骤:从最近存储的画面集合中选出基准画面。
22.一种用于隐蔽由编码宏块流组成的图像中的空间误差的方法,其中该编码宏块流是使用加权预测编码的,该方法包括以下步骤:
为每一个宏块检查像素数据误差,以及如果在加权模式解码中存在误差,则:
对来自至少两个不同基准画面的至少两个不同宏块中的每一个进行加权,以便产生加权预测,从而用于隐蔽被发现存在像素数据误差的宏块。
23.一种用于在图像解码过程中隐蔽由编码宏块流组成的图像中的空间误差的解码器,该解码器包括:
检测器,用于为每一个宏块检查像素数据误差;以及
误差隐蔽参数生成器,用于产生对来自基准画面的至少一个宏块进行加权的数值,以便隐蔽被发现存在像素数据误差的宏块。
24.根据权利要求23的解码器,其中该检测器包括可变长度解码器部件。
25.根据权利要求23的解码器,其中在先前隐蔽了基准画面的至少一部分的时候,误差隐蔽参数生成器产生用于对至少一个宏块进行加权的数值,以便限制误差传播。
26.根据权利要求23的解码器,其中当所述检测器检测到衰落或慢变换之一的时候,误差隐蔽参数生成器产生用于对至少一个宏块进行加权的数值。
27.根据权利要求23的解码器,其中误差隐蔽参数生成器依照指定的规则并且使用隐性和显性模式之一来产生用于对至少一个宏块进行加权的数值。
28.根据权利要求27的解码器,其中误差隐蔽参数生成器依照与在当前画面中空间相邻的宏块和在至少一个基准画面中时间相邻宏块之一相关联的规则,来产生用于对至少一个宏块进行加权的数值。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2004/006205 WO2005094086A1 (en) | 2004-02-27 | 2004-02-27 | Error concealment technique using weighted prediction |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1922889A CN1922889A (zh) | 2007-02-28 |
CN1922889B true CN1922889B (zh) | 2011-07-20 |
Family
ID=34957260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200480042164.5A Expired - Fee Related CN1922889B (zh) | 2004-02-27 | 2004-02-27 | 使用加权预测的误差隐蔽技术 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20080225946A1 (zh) |
EP (1) | EP1719347A1 (zh) |
JP (1) | JP4535509B2 (zh) |
CN (1) | CN1922889B (zh) |
BR (1) | BRPI0418423A (zh) |
WO (1) | WO2005094086A1 (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1636998A2 (en) * | 2003-06-25 | 2006-03-22 | Thomson Licensing | Method and apparatus for weighted prediction estimation using a displaced frame differential |
US8238442B2 (en) | 2006-08-25 | 2012-08-07 | Sony Computer Entertainment Inc. | Methods and apparatus for concealing corrupted blocks of video data |
EP2129136A4 (en) * | 2007-01-31 | 2016-04-13 | Nec Corp | IMAGE QUALITY EVALUATION PROCESS, IMAGE QUALITY EVALUATION DEVICE AND IMAGE QUALITY EVALUATION PROGRAM |
EP2071852A1 (en) | 2007-12-11 | 2009-06-17 | Alcatel Lucent | Process for delivering a video stream over a wireless bidirectional channel between a video encoder and a video decoder |
ATE526787T1 (de) | 2007-12-11 | 2011-10-15 | Alcatel Lucent | Verfahren zum zustellen eines videostroms über einen drahtlosen kanal |
US20090154567A1 (en) * | 2007-12-13 | 2009-06-18 | Shaw-Min Lei | In-loop fidelity enhancement for video compression |
WO2010001832A1 (ja) * | 2008-06-30 | 2010-01-07 | 株式会社東芝 | 動画像予測符号化装置および動画像予測復号化装置 |
US9161057B2 (en) * | 2009-07-09 | 2015-10-13 | Qualcomm Incorporated | Non-zero rounding and prediction mode selection techniques in video encoding |
US8995526B2 (en) * | 2009-07-09 | 2015-03-31 | Qualcomm Incorporated | Different weights for uni-directional prediction and bi-directional prediction in video coding |
US8711930B2 (en) * | 2009-07-09 | 2014-04-29 | Qualcomm Incorporated | Non-zero rounding and prediction mode selection techniques in video encoding |
US9106916B1 (en) | 2010-10-29 | 2015-08-11 | Qualcomm Technologies, Inc. | Saturation insensitive H.264 weighted prediction coefficients estimation |
US9521424B1 (en) * | 2010-10-29 | 2016-12-13 | Qualcomm Technologies, Inc. | Method, apparatus, and manufacture for local weighted prediction coefficients estimation for video encoding |
US8428375B2 (en) * | 2010-11-17 | 2013-04-23 | Via Technologies, Inc. | System and method for data compression and decompression in a graphics processing system |
JP5547622B2 (ja) * | 2010-12-06 | 2014-07-16 | 日本電信電話株式会社 | 映像再生方法、映像再生装置、映像再生プログラム及び記録媒体 |
US20120207214A1 (en) * | 2011-02-11 | 2012-08-16 | Apple Inc. | Weighted prediction parameter estimation |
JP6188550B2 (ja) * | 2013-11-14 | 2017-08-30 | Kddi株式会社 | 画像復号装置 |
WO2018012886A1 (ko) | 2016-07-12 | 2018-01-18 | 한국전자통신연구원 | 영상 부호화/복호화 방법 및 이를 위한 기록 매체 |
US11259016B2 (en) * | 2019-06-30 | 2022-02-22 | Tencent America LLC | Method and apparatus for video coding |
US11638025B2 (en) * | 2021-03-19 | 2023-04-25 | Qualcomm Incorporated | Multi-scale optical flow for learned video compression |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5631979A (en) * | 1992-10-26 | 1997-05-20 | Eastman Kodak Company | Pixel value estimation technique using non-linear prediction |
CN1440624A (zh) * | 2000-05-15 | 2003-09-03 | 诺基亚有限公司 | 用标志控制的视频隐藏方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6940903B2 (en) * | 2001-03-05 | 2005-09-06 | Intervideo, Inc. | Systems and methods for performing bit rate allocation for a video data stream |
JP2004007379A (ja) * | 2002-04-10 | 2004-01-08 | Toshiba Corp | 動画像符号化方法及び動画像復号化方法 |
US8406301B2 (en) * | 2002-07-15 | 2013-03-26 | Thomson Licensing | Adaptive weighting of reference pictures in video encoding |
BR0316963A (pt) * | 2002-12-04 | 2005-10-25 | Thomson Licensing Sa | Codificação de fusões de vìdeo usando predição ponderada |
US20060146940A1 (en) * | 2003-01-10 | 2006-07-06 | Thomson Licensing S.A. | Spatial error concealment based on the intra-prediction modes transmitted in a coded stream |
US7606313B2 (en) * | 2004-01-15 | 2009-10-20 | Ittiam Systems (P) Ltd. | System, method, and apparatus for error concealment in coded video signals |
-
2004
- 2004-02-27 CN CN200480042164.5A patent/CN1922889B/zh not_active Expired - Fee Related
- 2004-02-27 JP JP2007500735A patent/JP4535509B2/ja not_active Expired - Fee Related
- 2004-02-27 WO PCT/US2004/006205 patent/WO2005094086A1/en active Application Filing
- 2004-02-27 BR BRPI0418423-8A patent/BRPI0418423A/pt not_active IP Right Cessation
- 2004-02-27 US US10/589,640 patent/US20080225946A1/en not_active Abandoned
- 2004-02-27 EP EP04715805A patent/EP1719347A1/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5631979A (en) * | 1992-10-26 | 1997-05-20 | Eastman Kodak Company | Pixel value estimation technique using non-linear prediction |
CN1440624A (zh) * | 2000-05-15 | 2003-09-03 | 诺基亚有限公司 | 用标志控制的视频隐藏方法 |
Non-Patent Citations (6)
Title |
---|
Elias S. G. Carotti ET AL.LOW-COMPLEXITY LOSSLESS VIDEO CODING VIA ADAPTIVE SPATIO-TEMPORAL PREDICTION.ICIP 2003 IEEE International Conference on Image Processing2.2003,2第197-200页. |
Elias S. G. Carotti ET AL.LOW-COMPLEXITY LOSSLESS VIDEO CODING VIA ADAPTIVE SPATIO-TEMPORAL PREDICTION.ICIP 2003 IEEE International Conference on Image Processing2.2003,2第197-200页. * |
Faouzi Kossentini ET AL.Predictive RD Optimized Motion Estimation for Very Low Bit-Rate Video Coding.IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS15 9.1997,15(9),第1752-1763页. |
Faouzi Kossentini ET AL.Predictive RD Optimized Motion Estimation for Very Low Bit-Rate Video Coding.IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS15 9.1997,15(9),第1752-1763页. * |
Shin-ichiro Koto ET AL.ADAPTIVE BI-PREDICTIVE VIDEO CODING USING TEMPORAL EXTRAPOLATION.ICIP 2003 IEEE International Conference on Image Processing3.2003,3第829-832页. |
Shin-ichiro Koto ET AL.ADAPTIVE BI-PREDICTIVE VIDEO CODING USING TEMPORAL EXTRAPOLATION.ICIP 2003 IEEE International Conference on Image Processing3.2003,3第829-832页. * |
Also Published As
Publication number | Publication date |
---|---|
CN1922889A (zh) | 2007-02-28 |
JP2007525908A (ja) | 2007-09-06 |
WO2005094086A1 (en) | 2005-10-06 |
EP1719347A1 (en) | 2006-11-08 |
BRPI0418423A (pt) | 2007-05-15 |
US20080225946A1 (en) | 2008-09-18 |
JP4535509B2 (ja) | 2010-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1922889B (zh) | 使用加权预测的误差隐蔽技术 | |
US10506236B2 (en) | Video encoding and decoding with improved error resilience | |
CN101513071B (zh) | 用于确定解码视频块中的期望失真的方法及设备 | |
US8050331B2 (en) | Method and apparatus for noise filtering in video coding | |
US7856053B2 (en) | Image coding control method and device | |
US8238442B2 (en) | Methods and apparatus for concealing corrupted blocks of video data | |
CN101641958B (zh) | 图像处理设备和图像处理方法 | |
CN101390401A (zh) | 借助伪影评价的提高的图像/视频质量 | |
JP2010515399A (ja) | 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法 | |
Lee et al. | A novel algorithm for zero block detection in high efficiency video coding | |
JP2010508708A (ja) | ビデオ圧縮用の空間規約誘導時間予測 | |
US9374592B2 (en) | Mode estimation in pipelined architectures | |
US20050074064A1 (en) | Method for hierarchical motion estimation | |
US20070198622A1 (en) | Method for fast SATD estimation | |
Lin et al. | Error resilience property of multihypothesis motion-compensated prediction | |
JP2002112273A (ja) | 動画像符号化方法 | |
JP2002325259A (ja) | 誤り補正に基づいてデジタル画像を符号化する方法 | |
US20150036747A1 (en) | Encoding and decoding apparatus for concealing error in video frame and method using same | |
KR100228684B1 (ko) | 움직임 추정에 기초한 시간예측 오류 은폐방법 및 장치 | |
US20220312024A1 (en) | Image decoding device, image decoding method, and program | |
CN116132697A (zh) | 一种图像块效应检测方法、***、设备及存储介质 | |
CN114554206A (zh) | 视频编码中的运动矢量确定方法、装置、设备和存储介质 | |
KR20050099080A (ko) | 동영상 복호화 시 영상 품질 향상 방법 | |
JP2002354488A (ja) | 動画像伝送装置 | |
JP2005278051A (ja) | 映像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110720 Termination date: 20170227 |