CN1157080A - 用于编码视频图像的装置和方法 - Google Patents
用于编码视频图像的装置和方法 Download PDFInfo
- Publication number
- CN1157080A CN1157080A CN96190638.3A CN96190638A CN1157080A CN 1157080 A CN1157080 A CN 1157080A CN 96190638 A CN96190638 A CN 96190638A CN 1157080 A CN1157080 A CN 1157080A
- Authority
- CN
- China
- Prior art keywords
- amplitude
- coefficient
- bit rate
- value
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
通过在传统的量化之后对所选的系数进行修正,例如将这些系数表示为零,可以在很大程度上改善MPEG编码的视频信号的图像质量。这种修正是使得对于拉格朗日系数λ的一个给定值来说,拉格朗日值D+λR(D是失真,R是比特速率)是最小值。相对简单的处理被公开,其中的λ值是利用将要被编码的图像的统计分析式(6)计算的。这种统计分析包括以系数的幅度分布为基础的对RD曲线的估计。所寻找到的λ值是该曲线在所希望的比特速率处的导数。
Description
发明的技术领域
本发明涉及用于编码视频图像的装置,它包括:用于将像素数据块变换成系数的图像变换器;用于对所说的系数进行编码的装置,比特速率R和编码图像的失真D由一个编码参数所决定;用于从一系列编码参数值中选择之一的装置(3),以便对于一个所加的λ值有取和D+λR的最小值;以及一个计算λ值的计算装置。本发明还涉及一种编码视频信号的方法。
发明背景
上文中提到的装置在Ramchandran和Vetterli的文章″具有完全的JPEG/MPEG解码器兼容性的失真率最优快速阈值化″(″Rate-DistorionOptimal fast thresholding with complete JPEG/MPEG DecoderCompatiblity″)(出版于1994年9月的IEEE图像处理专刊的第三卷的第五期)中有所公开。该文章公开了一种用于改善MPEG的编码器的图像质量的方法。如同在图像编码领域中所公知的那样,MPEG确定了一个编码器包括为了获得系数的一个图像变换器和用于将该系数成像为一个相邻量化电平的一个量化器。量化的电平构成一个编码参数。根据这一现有技术的方法,通过对于量化的系数进行阈值化,即如果速率/失真值是良好的话,就通过选择量化电平零而不选择传统的量化电平的方法来改善图像质量。
参考图1对现有技术作简要的总结。图中的参考号码100表示一个速率-失真曲线(在下简称RD曲线)对应量化步长尺度Δ的一个范围。通过进行阈值化,由于不多的非零的系数被发送,所以,比特率将是较低的,而且失真将会加大。图1中,曲线101表示阈值化的操作是以按照步长尺度是Δ1量化的系数执行的RD曲线,而曲线102表示阈值化的操作是以按照步长尺度是Δ2量化的系数执行的RD曲线。曲线101和102在下将被参考为进行阈值化的曲线。它们是通过确定针对″拉格朗日系数″λ的不同的值的被称为″拉格朗日值″的最小值而获得的。拉格朗日值由下式确定:
L(
b,λ)=D(
b)+λ.R(
b)
在该表达式中,
b代表一套将要被编码的系数值。D(
b)和R(
b)分别是对这些系数进行编码时的失真和比特率。拉格朗日系数λ是大于或等于0的自然数。对于每一个λ,可以找到产生出使得L(
b,λ)是最小值的一套
b系数的一个阈值化操作。加到这一设置的失真D(
b)和比特速率R(
b)构成了在阈值化曲线上的一个点。起始点(λ=0)总是在曲线100上。随着λ的增加,失真将会变大且比特速率将会变低。如图1中清楚可见,一个给定的比特速率R1可以通过两个方法实现:(i)利用步长尺度是Δ2对系数进行,并将全部的量化系数发送;和(ii)利用量化步长尺度较小的Δ1对系数进行量化,并且阈值化选择的系数。很明显,选择(ii)更为有利,因为它产生较小的失真。
曲线101和102只是示出的两种主要可能的阈值化曲线。图中由103示出的包络构成了对于给定图像的最佳RD曲线。它完全是在曲线100之下。换句话说,以任何所希望的比特速率,所施行的阈值化可以导致产生出比不进行阈值化时更小的失真的量化步长尺度Δ和拉格朗日系数λ。然而从计算的角度来看,这种编码器的最佳操作点的确定的方式是非常繁琐的。在这样的一个繁琐的计算过程中,一套最佳的系数针对大量的λ的值而被找到。
发明目的及概述
本发明的目的是提供一个编码器,它以不繁琐的方式确定最佳的操作点。
根据本发明,其装置的特征在于计算装置包括:用于测量系数幅度分布的装置;用于从所说的幅度分布对于多个编码参数值进行比特速率R和失真D的估计的装置,以便获得估计的RD曲线;和用于在所说的RD曲线的所选点计算λ=-dD/dR的装置。
本发明是基于这样的认识,即针对所希望的比特速率而要寻找的拉格朗日系数λ是等于RD曲线的导数;并利用了这样的事实,即RD曲线的最终的一个好的近似能够从针对每一个空间频率的系数幅度的分布得出。所说的幅度分布可方便地通过将被编码图像的统计预分析而被测量到。例如,当所说空间频率的一个系数指示呈现是相同的幅度时,该幅度分布能够通过针对每一个空间频率的倍数的计数而获得。
在根据本发明的一个装置的实施例中,采用用于估计比特速率R的装置当一个系数呈现所说的幅度由幅度分布所确定时,针对所有的空间频率,对于比特数的乘积作累积相加,以便利用出现的数目编码一个给定的幅度。另外,采用用于估计比特速率R的装置,以便从所说的幅度分布计算平均信息量,所说的平均信息量表示比特速率R。
本发明的这些和其它方面将从结合附图的描述中变得显见。
附图简述
图1是解释现有技术的装置的速率失真的曲线。
图2是根据本发明的用于编码一个视频信号的装置。
图3是图2中所示的λ计算器的框图。
图4是说明图3的计算电路的操作的流程图。
图5是说明图3的λ计算器的操作的一些平均信息量-失真关系的示意图。
图6和图7是λ计算器的另外的实施例的框图。
图8是解释图2的量化器的操作的量化图。
图9和10是说明图2的量化器的操作的流程图。
实施例的说明
图2示出了根据本发明的视频信号的编码装置。该装置包括一个延迟单元1、图像变换器2、量化器3、可变长度编码电路4、比特速率控制电路5和λ计算器6。本发明的一个重要的方面是,视频信号能够按照MPEG的标准编码。为此目的,本实施例中的图像变换器2、可变长度编码器4和比特速率控制电路5与通常公知的MPEG编码器的对应单元完全一样,因此不对这些部分详细描述。为了简化起见,图2只示出了对于帧内编码所需要的单元。本发明也可以用于帧间编码。所采用的图像首先从运动补偿的图像中减去,而后对由此获得的剩余部分编码。
在图像变换器2中,所加的图像按数据块顺序作图像变换。在本实施例中,采用的是离散余弦变换(DCT)。但是,任何适当的频率变换都可以采用,包括子带滤波。DCT变换将例如8*8像素的每一个变换成8*8系数ci的数据块,其中i=0...63,表示图像细节增加的等级。
DCT系数ci加到量化器3,它以离散的量化级成像每一个系数ci。不同的量化级相距一个量化步长尺度Δi。为了与MPEG标准兼容,按照存储在量化矩阵中的加权因数Wi,量化步长尺度Δi是系数相关的。该量化步长尺度是由比特速率控制电路5逐个数据块地控制的,该电路5将量化步长尺度Δ加到量化器。量化步长尺度Δi是由下式表示:
Δi=c.Wi.Δ
其中i表示空间频率,Wi是针对所说的空间频率的加权因数,而c是常数。对于帧内(I)和帧间(P,B)的图像,量化矩阵一般是不同的。
在传统的MPEG编码器中,量化器在两个最接近的量化等级之一上成像每一个系数ci。根据本发明,量化器3也接收拉格朗日系数λ。根据λ,量化器以不同于最接近的量化级别的等级成像系数ci。更具体地说,如果一个不同的级别在一个速率失真的情形中更为有效,则量化器就将强制一个系数以呈现一个不同的级别。量化器3和λ计算器6的实施例将作更详细的讨论。
已量化的qi系数被顺序地加到一个可变长度编码电路4。对于每一个非零的系数和可能的与MPEG标准相一致的在先的非零系数序列,编码电路4形成一个可变长度的码字。在缓存(未示出)之后,这些形成的码字经过一个发送信道发送。这些码字也被加到比特速率控制电路5。该控制电路以一种已知的方式控制量化步长尺度Δ,其方式是使每一个数据块的比特数总是尽可能与预定的目标Rt保持一致。
拉格朗日系数λ由λ计算器加到量化器。通过分析所要编码的图像,计算器计算λ。最终,视频信号被直接加到λ计算器,而信号的实际的编码(变换,量化,可变长度编码)是发生在其经延迟单元1延迟了一个图像周期之后。
图3示出了λ计算器6的框图。该计算器包括一个图像变换器600、一个直方图形成电路601、一个估计电路602和一个计算电路603。图像变换器600与图2中的图像变换器2完全一样,并提供针对每一个数据块的64个系数ci(i=0...63)。i表示空间频率。这些系数具有在范围[-2047,2048]之间的一个幅度n。针对每一个空间频率i,直方图形成电路601形成一个系数的幅度分布的直方图。例如,当系数ci呈现值n并记录在一个二维阵列hi.n中时,电路601计数其次数。直方图形成电路601的更复杂的实施例将在后面描述。利用直方图hi.n,RD估计电路602产生对于RD曲线的一个估计。最终,计算电路603从估计的RD曲线计算拉格朗日系数λ。事实上,寻找的拉格朗日系数λ是由在给定的目标比特速率或一个给定的失真的RD曲线的导数-dD/dR所构成。
参考图4所示的操作流程图解释RD估计电路602的操作。在步骤40,设量化步长尺度Δ为一个值。随后在步骤41计算针对这一量化步长尺度的比特速率R和失真D。下面将详细地讨论步骤41的具体过程。如果步骤41是针对大数目的量化步长尺度Δ执行的,则将产生图5中由500表示的RD曲线。可是,没有必要获得全部的RD曲线。由于拉格朗日系数λ是在对应于目标比特速率Rt的点P处的导数-dD/dR(见图5),所以只发现在点P处附近的RD曲线部分。已知的数值算法,例如″平分算法″可被用于P点的确定。这在图4中利用步骤42表示,其中核查在当前的量化步长尺度的比特速率R是否足以等于比特Rt的目标数目。只要是否定的情况,就要在步骤40选择不同的量化步长尺度Δ并在步骤41以不同的量化步长尺度执行计算。应该记住,RD曲线的相关部分能够从可得到的直方图hi.n计算。没有必要为了R和D的每一个计算再次变换图像。
现在来描述计算失真D和计算比特速率R的两个例子(图4中的步骤41)。前面已经提到过,量化步长尺度Δ是指示离散的量化等级之间的距离Δi。RD估计电路602从hi,n确定系数ci的幅度n对应于应该量化等级rk的频繁程度,即幅度n在间隔[tk,tk+1]中的频繁程度。系数ci以在tk<=n<tk+1的幅度出现的数目是
经常设tk=rk-1/2Δi和tk+1=rk+1/2Δi,但这并不必要。还应该注意到,Δi对于I图像和P图像或B图像可以是不同的。
每一个具体值引入一种失真。用于所说的失真的一种度量是(rk-n)2。所以,对应于应该特定的空间频率的全部N个系数ci的失真是:
对于当前的图像的失真则是:
在计算比特速率R的第一实施例中,所说的比特速率被假设是与图像的平均信息量H相均衡的。该平均信息量是以下面的方式来计算。呈现量化等级rk的系数ci的几率pk是从如下的直方图hi,n计算的:
系数ci的平均信息量Hi和图像的平均信息量H分别计算如下: 和
平均信息量H和失真D都是当前量化步长尺度Δ的函数。应记住,图5中的RD曲线500是针对各种步长尺度的对于H和D的计算而得到的。在编码了相关的图像之后,对于实际的RD曲线,该RD曲线500看上去是对应于十分满意的情况。
在计算比特速率R的第二个实施例中,考虑了由图2中的可变长度编码电路4所使用的可变长度表。DC系数(即对于i=0的系数ci)被利用DC编码表单独编码。该编码表说明用于每一个DC幅度n的应该码字尺度In。记住,具有幅度n的DC系数c0的出现的次数被存储在直方图h0,n中,将被编码的全部的DC系数的比特数目是:
AC系数(对于i≠0的系数ci)以不同的方式编码。MPEG标准包括说明″事件″的码字长度的一个AC编码表,每一个事件具有一个值(非零系数的量化等级rk)和一个在所说的非零系数之前的零系数的运行长度。事件的数目和它们的值可以从直方图hi.n获得。从直方图不能得到的是事件的运行长度。所以,采用针对每一个值rk的平均运行长度。该平均运行长度是利用呈现所说的表应用于典型的图像的方法从AC编码表得到的。对应于所说的平均运行长度的一个平均码字长度Lk也是从编码表得到的。因此,将要被编码的AC系数的比特数可以通过将事件的出现的次数与数值rk相乘,即系数ci与在范围tk<n<tk+1中的幅度相乘而近似地得到,即:
用平均码字长度Lk加上全部的可能的值和空间频率。因此:
最终,将一个数据块的结束码EOB加在每一个数据块。由于EOB是一个固定长度的编码,所以为了发送EOB码需要固定数目的比特Reob。因此,对于比特R的比特速率的一个充分的估计是
R=Rdc+Rac+Reob
由于已经估计了多个量化步长尺度Δ的失真D和比特速率R,计算电路603计算拉格朗日系数λ作为操作点P的导数-dD/dR。如果点(R2,D2)是操作点P且两点(R1,D1)和(R2,D2)是接近的,则λ的形式如下:
对于靠近操作点的两点(R1,D1)和(R3,D3),较为简单和欠精确的λ的估计是:
如此获得的λ的值加到量化器3(图2)。当图像被编码时,对于所有的图像数据块λ有相同的值。图5示出了编码器对所加的λ值的利用的情况。图中的参考号500表示由RD估计电路602计算的RD曲线。对于λ=0来说(即没有系数的修正),编码器将操作在点P,因为比特速率控制电路5(见图2)产生的一个量化步长尺度(Δ2)将实际地实现比特的目标数目。但是,如将要描述的那样,在不同的λ的影响下,系数被成像在不同的量化等级。这使得比特数目将被降低。比特速率控制电路以降低量化步长尺度对此作反应。更具体地说,比特速率控制电路自动地控制量化步长尺度到值(Δ1),在该值,速率失真曲线501在点Q的偏移保持在与RD曲线在点P的偏移相等。
在上述的λ计算器的实施例中,用于图像的RD曲线是利用针对构成所说图像的全部的数据块的相同的量化步长尺度Δ而被估计出的。已经发现,对于针对当前的图像的实际的RD曲线来说,估计的RD曲线对应于一个满意的程度。无疑,如果实现了实际的MPEG编码器自适应地随着逐个(宏)数据块地变化其量化步长尺度,就能估计出更精确的RD曲线。通常,量化步长尺度取决于所说数据块的活动性。相比于高的活动性的数据块,具有低的活动性的数据块是以较小的量化步长尺度量化的,因为高的活动性(例如很多的图像细节)会引起粗糙的量化效果。根据ISO-IEC/JTC1/SC29/WG11/N0400(最好见MPEG2的测试模式5)(1993年4月,第57页),对于第m个(宏)数据块的充足的量化步长尺度Δm是:
Δm=Δ.f(Am)
其中的Δ是一个基准的量化步长尺度,Am是第m个数据块的活动性,而f(Am)是根据所说的活动性确定Δm的一个适当的函数。
图6示出了λ计算器的一个实施例,它将数据块的活动性用于估计RD曲线。该λ计算器包括一个活动性确定电路604,从每一个数据块的像素值计算每一个数据块m的活动性Am,例如根据MPEG测试模式5的第57页进行计算。根据下式,校正电路605将每一个DCT系数ci修正成活动性校正的系数c′i
电路单元600-603与图3一样。如前所说,形成电路601的直方图考虑了具有同一幅度的系数的出现的次数。然而,原先具有幅度n的系数现在具有的幅度是n/f(Am)。RD估计电路602计算用于不同的量化步长尺度的多个(R,D)点。将量化步长尺度代而他应用到幅度n/f(Am)与将该量化步长尺度Δm=Δ.f(Am)应用到幅度n具有相同的效果。因此将自适应量化结合到λ的计算。
如果实现实际的MPEG编码器能够按照帧内编码的模式编码所选择的帧间编码的图像(P,B)的(宏)数据块,就能够估计更精确的RD曲线。这意味着具有加权因子We.i的帧内量化矩阵被用于量化帧间编码图像的多数的数据块,而具有加权因子Wa.i的不同的帧间量化矩阵被用于量化帧内数据块。
图7示出了又一个λ计算器6的实施例,它将P或B图像的数据块的帧内编码模式用于对RD曲线进行估计的目的。λ计算器包括开关606,当接收到将被帧内编码的数据块的时候,该开关由开关信号S启动。开关信号S是由预分析电路607产生,它确定数据块的帧内编码的帧间方式是否更为有效。响应信号S,乘法器根据下式将帧内数据块的每一个DCT系数ci修正成编码模式校正的系数c′i:
电路单元600-603与图3一样。如前所说,形成电路601的直方图计数具有同一幅度的系数。然而,原来具有n的帧内编码的数据块现在具有的幅度是n*(We.i/Wa.i)。RD估计电路602针对不同的量化步长尺度计算多个(R,D)点。将量化步长尺度代而他加到幅度n*(We.i/Wa.i)和将量化步长尺度Δi=Δ*(Wa.j/We.i)加到幅度n具有相同的效果。将全部的加权因数We,i用于P或B图像的所有的数据块的效果是因此消除帧内数据块并通过应用帧内加权因子Wa.i所取代。
现参考图8和9解释量化器3的操作。图8示出了DCT系数ci的可能值的尺度。rk-1,rk,rk+1…表示量化的系数qi可能呈现的离散的量化级。如上所述,所说的量化级响应由比特速率控制电路5(图2)所加的量化步长尺度Δ由一个量化步长尺度Δi所间隔。图9示出了由量化器对于系数ci所执行的操作的流程图在开始的步骤70,ci的值被成象在最接近的量化等级rk。在步骤71,根据下式针对该量化级顺序地计算″拉格朗日值L″:
L=(ci-rk)2+λ.Rk
在公式中,(ci-rk)2是对于失真的度量,它是ci与rk相近似的结果,而且Rk是为了发送ci所要求的比特数。在步骤72,计算的拉格朗日值L被用作Lmin。
随后,系数ci被成像在较低的量化级rk-l。这表示在图中的步骤73将指数降低1。在步骤74,针对新的量化等级计算拉格朗日值L。在步骤75,检查拉格朗日值L是否小于Lmin。如果是,则在速率失真的角度,该较低的量化等级rk-1显然是优于rk。换句话说,失真增加,但在比特数方面的增益是更重要的。量化器随后再次执行步骤72-75以便检测是否有更为适用的更低的量化等级。只要是在步骤75发现有L值的增加,就停止这种方式的对于最小的拉格朗日值的寻找。随后在步骤76选择对应于Lmin的量化等级以便用于系数ci的量化。图9中所示的算法针对一个图像数据块的全部系数ci执行。
注意到,当在步骤73选择了较低的量化等级时,可能会达到量化等级0。零系数本身不进行编码但是将被包括在下一个非零系数中。结果是比特数被包括在用于计算L的公式的项Rk中(步骤74)。
实践已经证明,这样发现的量化等级几乎不比″传统″的等级低一个或两个级别。所以,有可能只针对某些量化等级(″传统″的量化等级rk和低于该等级的两个等级)简化计算拉格朗日值L。并简单地选择得出最小的L值的量化等级。
上述的量化处理涉及比特速率受限的DCT系数的量化。与传统的其中用于每一个系数的多数相近的量化等级被编码和发送的MPEG编码相比,它提供了图像质量的明显的改善。
图像质量的进一步的改善是通过随后将如此获得的系数qi经受阈值化而得到的。如上所述,阈值化的理解意味着所选择的系数被表示为零。图10表示了用于此目的的对非零系数qi执行此操作的流程图。在步骤80中,给定当前的λ值,针对系数qi≠0的情况计算拉格朗日值L1:
L1=(ci-qi)2+λ.Ri
其中Ri是qi的发送的比特数,并有可能在零系数之前。在步骤81中,针对其中零值将被强制为qi的情况的拉格朗日值L2的计算由下式确定:
L2-(ci-0)2+λ.ΔRi
其中ΔRi是通过qi表示为零的比特数(qi=0)的编码被包括在随后的非零的系数的编码中)随后,制步骤82中检测是否L1>L2。如果否,qi将保持不变。如果是,qi将在步骤83接受为零值。针对随后的非零系数重复这一过程。
图10所示的阈值化的算法确定每一个系数是否保持该系数或将其表示为零更为有利。与上述的文章、″具有完全的JPEG/MPEG解码器兼容性的失真率最优快速阈值化″(″Rate-Distortion Optimal Fast Thresholding withcomplete JPEG/MPEG Decoder Compatiblity″)中的算法相比,本发明的算法是相当简单且在计算上是不繁琐的。上述文章中的算法要计算全部的可能的阈值化选择并选择最佳的一个。毫无疑问,所描述的进行阈值化的方式使得图像质量有了相当大的改进。尤其是发现比特速率受限的量化和进行阈值化的结合大大地改进了图像质量。
更进一步的改进是通过将一个图像数据块的拉格朗日值与具有全零值系数的数据块的拉格朗日值相比较而得到的。事实上,具有全部为零的系数的数据块是不需要发送的。在一个参数中指出这样的空的数据块就足够了,在MPEG中,称之为编码的数据块方案。很明显,在对编码的数据块方案进行编码中所包括的比特数被考虑到拉格朗日值L=D+λR的λR的一项当中。
应该注意,除去量化等级之外的参数其它编码参数也可以被控制。λ的计算值可被用于选择最佳的运动矢量、选择场或帧之间的编码模式、从多个预测模式(正向,反向)选择之一等。
总之,通过在传统的量化之后对所选的系数进行修正,例如将这些系数表示为零,可以在很大程度上改善MPEG编码的视频信号的图像质量。这种修正是使得对于拉格朗日系数λ的一个给定值来说,拉格朗日值D+λR(D是失真,R是比特速率)是最小值。相对简单的处理被公开,其中的λ值是利用将要被编码的图像的统计分析式(6)计算的。这种统计分析包括以系数的幅度分布为基础的对RD曲线的估计。所寻找到的λ值是该曲线在所希望的比特速率处的导数。
Claims (15)
1.用于编码图像信号的一种装置,它包括:
图像变换器(2),用于将像素的数据块变换成系数;
编码装置(3,4),用于编码所说的系数,编码图像的比特速率R和失真D是由一个编码参数(rk)所决定;
用于从一系列的编码参数值选择其一的装置,对于一个所加的λ值来说,该参数的D+λR之和是最小值;和
计算装置(6),用于计算λ值;其特征在于该计算装置包括:
用于测量系数幅度分布的装置(601);
用于从所说的幅度分布对于多个编码参数值进行比特速率R和失真D的估计的装置(602),以便获得估计的RD曲线;
和用于在所说的RD曲线的所选点计算λ=-dD/dR的装置(603)。
2.如权利要求1的装置,其特征在于还包括装置(603),用于确定每一个象素数据块的活动性程度;和装置(604),用于在测量幅度分布之前根据所说的活动性修正系数的幅度。
3.如权利要求1或2的装置,其特征在于还包括装置(606)用于在测量幅度分布之前根据数据块进行编码的模式修正系数的幅度。
4.如权利要求1,2或3的装置,其特征在于对于每一个空间频率来说,其幅度分布是通过计数出现指示所说空间频率的一个系数呈现相同的幅度(n)时的次数(hi.n)获得的。
5.如权利要求1的装置,其特征在于所说的装置(602)用于从所说的幅度分布估计用于计算平均信息量(H)的比特速率R,所说的平均信息量指示比特速率R。
6.如权利要求1的装置,其特征在于的用于估计比特速率R的装置(602)被用于针对所有的空间频率累积地相加比特数的乘积,以便编码一个给定的幅度,该幅度具有当一个系数呈现所说的幅度是由幅度分布所定义的幅度时出现的次数。
7.如权利要求6的装置,其特征在于的系数被可变长度地编码,且编码一个给定幅度的比特数是一个预定的平均码字长度。
8.用于编码图像信号的一种方法,它包括步骤:
将像素的数据块变换成系数;
对系数进行量化并修正量化的系数以便使取和D+λR对于所加的λ值被减小,其中D是失真而R是比特速率;和
编码已修正的系数;
其特征在于该方法包括用下列的步骤计算λ值:
测量系数幅度分布;
从所说的幅度分布对于多个量化步长尺度进行比特速率R和失真D的估计,以便获得估计的RD曲线;和
在所说的RD曲线的所选点计算λ=-dD/dR。
9.用于编码图像信号的一种方法,它包括步骤:
将像素的数据块变换成系数;
编码所说的系数,编码图像的比特速率R和失真D是由一个编码参数所决定;
从一系列的编码参数值选择其一,对于一个所采用的λ值来说,该参数的D+λR之和是最小值;和
计算λ值;
其特征在于该进行计算的步骤包括;
测量系数的幅度分布;
从所说的幅度分布对于多个编码参数值进行比特速率R和失真D的估计以便获得估计的RD曲线;和
在所说的RD曲线的所选点计算λ=-dD/dR。
10.如权利要求9的方法,其特征在于还包括用于确定每一个像素数据块的活动性程度的步骤;和用于在测量幅度分布之前根据所说的活动性修正系数的幅度的步骤。
11.如权利要求8或9的方法,其特征在于还包用于在测量幅度分布之前根据数据块进行帧内或帧间编码的模式修正系数的幅度的步骤。
12.如权利要求9,10或11的方法,其特征在于对于每一个空间频率来说,其幅度分布是通过计数出现指示所说空间频率的一个系数呈现相同的幅度(n)时的次数(hi.n)获得的。
13.如权利要求9的方法,其特征在于所说的估计比特速率R的步骤用于从所说的幅度分布计算平均信息量(H),所说的平均信息量指示比特速率R。
14.如权利要求9的方法,其特征在于的用于估计比特速率R的步骤被用于针对所有的空间频率累积地相加比特数的乘积,以便编码一个给定的幅度,该幅度具有当一个系数呈现所说的幅度是由幅度分布所定义的幅度时出现的次数。
15.如权利要求14的方法,其特征在于的系数被可变长度地编码,且编码一个给定幅度的比特数是一个预定的平均码字长度。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP95201055 | 1995-04-25 | ||
EP95201055.1 | 1995-04-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1157080A true CN1157080A (zh) | 1997-08-13 |
Family
ID=8220221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN96190638.3A Pending CN1157080A (zh) | 1995-04-25 | 1996-04-18 | 用于编码视频图像的装置和方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US5691770A (zh) |
EP (1) | EP0768007B1 (zh) |
JP (1) | JPH10502791A (zh) |
CN (1) | CN1157080A (zh) |
AU (1) | AU705914B2 (zh) |
DE (1) | DE69605523T2 (zh) |
WO (1) | WO1996034495A2 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100536571C (zh) * | 2003-01-08 | 2009-09-02 | 苹果公司 | 用于改进的编码模式选择的方法和装置 |
CN101513072B (zh) * | 2006-08-30 | 2011-07-27 | 汤姆森特许公司 | 用于分析和经验混合编码失真建模的方法和装置 |
CN101911702B (zh) * | 2008-01-08 | 2012-07-25 | 高通股份有限公司 | 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置 |
US8355436B2 (en) | 2002-11-08 | 2013-01-15 | Apple Inc. | Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders |
CN101595736B (zh) * | 2006-12-15 | 2013-04-24 | 汤姆森特许公司 | 失真度估算 |
US8781002B2 (en) | 2003-01-08 | 2014-07-15 | Apple Inc. | Method and apparatus for improved coding mode selection |
CN101409835B (zh) * | 2002-11-08 | 2014-09-17 | 苹果公司 | 利用拉格朗日乘子和视觉掩蔽来控制速率-失真折中的方法和装置 |
Families Citing this family (56)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997017797A2 (en) * | 1995-10-25 | 1997-05-15 | Sarnoff Corporation | Apparatus and method for quadtree based variable block size motion estimation |
US5778192A (en) * | 1995-10-26 | 1998-07-07 | Motorola, Inc. | Method and device for optimal bit allocation between different sources of information in digital video compression |
US5909513A (en) * | 1995-11-09 | 1999-06-01 | Utah State University | Bit allocation for sequence image compression |
JPH10174103A (ja) * | 1996-12-13 | 1998-06-26 | Matsushita Electric Ind Co Ltd | 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法 |
US6633609B1 (en) * | 1996-12-24 | 2003-10-14 | Intel Corporation | Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth |
US6263020B1 (en) * | 1996-12-24 | 2001-07-17 | Intel Corporation | Method and apparatus for bit rate control in a digital video system |
JP3847349B2 (ja) * | 1997-02-03 | 2006-11-22 | シャープ株式会社 | デジタル画像の埋め込み符号器、レート―歪み最適化方法、復号器及び復号方法 |
US6272175B1 (en) * | 1997-02-13 | 2001-08-07 | Conexant Systems, Inc. | Video signal coding systems and processes using adaptive quantization |
KR100249223B1 (ko) * | 1997-09-12 | 2000-03-15 | 구자홍 | 엠팩(mpeg)-4의움직임벡터코딩방법 |
US6118822A (en) * | 1997-12-01 | 2000-09-12 | Conexant Systems, Inc. | Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes |
US6037987A (en) * | 1997-12-31 | 2000-03-14 | Sarnoff Corporation | Apparatus and method for selecting a rate and distortion based coding mode for a coding system |
US6122321A (en) * | 1998-05-12 | 2000-09-19 | Hitachi America, Ltd. | Methods and apparatus for reducing the complexity of inverse quantization operations |
US6263021B1 (en) * | 1998-09-18 | 2001-07-17 | Sarnoff Corporation | Treating non-zero quantized transform coefficients as zeros during video compression processing |
EP1005233A1 (en) * | 1998-10-12 | 2000-05-31 | STMicroelectronics S.r.l. | Constant bit-rate coding control in a video coder by way of pre-analysis of the slices of the pictures |
US6167162A (en) * | 1998-10-23 | 2000-12-26 | Lucent Technologies Inc. | Rate-distortion optimized coding mode selection for video coders |
EP1063851B1 (en) * | 1999-06-22 | 2007-08-01 | Victor Company Of Japan, Ltd. | Apparatus and method of encoding moving picture signal |
US7096481B1 (en) | 2000-01-04 | 2006-08-22 | Emc Corporation | Preparation of metadata for splicing of encoded MPEG video and audio |
US6600836B1 (en) * | 2000-01-28 | 2003-07-29 | Qualcomm, Incorporated | Quality based image compression |
US6771703B1 (en) * | 2000-06-30 | 2004-08-03 | Emc Corporation | Efficient scaling of nonscalable MPEG-2 Video |
US6871006B1 (en) | 2000-06-30 | 2005-03-22 | Emc Corporation | Processing of MPEG encoded video for trick mode operation |
US6937770B1 (en) | 2000-12-28 | 2005-08-30 | Emc Corporation | Adaptive bit rate control for rate reduction of MPEG coded video |
US7023924B1 (en) | 2000-12-28 | 2006-04-04 | Emc Corporation | Method of pausing an MPEG coded video stream |
US6980594B2 (en) | 2001-09-11 | 2005-12-27 | Emc Corporation | Generation of MPEG slow motion playout |
US6968091B2 (en) * | 2001-09-18 | 2005-11-22 | Emc Corporation | Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs |
US6959116B2 (en) * | 2001-09-18 | 2005-10-25 | Emc Corporation | Largest magnitude indices selection for (run, level) encoding of a block coded picture |
US8406301B2 (en) | 2002-07-15 | 2013-03-26 | Thomson Licensing | Adaptive weighting of reference pictures in video encoding |
WO2004006188A2 (en) * | 2002-07-09 | 2004-01-15 | Aware, Inc. | Iterative compression parameters control for a sequence of images |
US7106907B2 (en) * | 2002-10-18 | 2006-09-12 | Mitsubishi Electric Research Laboratories, Inc | Adaptive error-resilient video encoding using multiple description motion compensation |
EP1933569A3 (en) | 2002-11-08 | 2010-07-07 | Apple Inc. | Method and apparatus for control of rate-distortion tradeoff by using lagrange multiplier and/or quantizer value |
US7672523B2 (en) * | 2003-03-03 | 2010-03-02 | The Hong Kong University Of Science And Technology | Efficient rate allocation for multi-resolution coding of data |
US7327786B2 (en) * | 2003-06-02 | 2008-02-05 | Lsi Logic Corporation | Method for improving rate-distortion performance of a video compression system through parallel coefficient cancellation in the transform |
US8204323B2 (en) | 2003-06-05 | 2012-06-19 | Aware, Inc. | Image quality control techniques |
JP2005004866A (ja) * | 2003-06-11 | 2005-01-06 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
US7280597B2 (en) * | 2003-06-24 | 2007-10-09 | Mitsubishi Electric Research Laboratories, Inc. | System and method for determining coding modes, DCT types and quantizers for video coding |
KR20050053297A (ko) * | 2003-12-02 | 2005-06-08 | 학교법인 성균관대학 | 동영상 부호화 방법 및 장치 |
US7746927B1 (en) * | 2004-03-26 | 2010-06-29 | Apple Inc. | Robust single-pass variable bit rate encoding |
US8005139B2 (en) | 2004-06-27 | 2011-08-23 | Apple Inc. | Encoding with visual masking |
KR100631714B1 (ko) | 2004-06-30 | 2006-10-09 | 엘지전자 주식회사 | 휴대단말기의 개선된 영상신호 레이트 콘트롤 장치 및 방법 |
JP4034317B2 (ja) * | 2005-03-29 | 2008-01-16 | 富士通株式会社 | 画像符号化装置 |
US8208536B2 (en) | 2005-04-28 | 2012-06-26 | Apple Inc. | Method and apparatus for encoding using single pass rate controller |
US7975219B2 (en) * | 2005-05-31 | 2011-07-05 | Sorenson Media, Inc. | Method, graphical interface and computer-readable medium for reformatting data |
US7885979B2 (en) * | 2005-05-31 | 2011-02-08 | Sorenson Media, Inc. | Method, graphical interface and computer-readable medium for forming a batch job |
US8296649B2 (en) * | 2005-05-31 | 2012-10-23 | Sorenson Media, Inc. | Method, graphical interface and computer-readable medium for generating a preview of a reformatted preview segment |
US7423642B2 (en) * | 2005-12-14 | 2008-09-09 | Winbond Electronics Corporation | Efficient video frame capturing |
US7944965B2 (en) * | 2005-12-19 | 2011-05-17 | Seiko Epson Corporation | Transform domain based distortion cost estimation |
EP1940176A3 (en) * | 2006-12-28 | 2008-07-09 | Siemens Aktiengesellschaft | Method and device for coding a sequence of digitized images |
WO2008080881A1 (en) * | 2006-12-28 | 2008-07-10 | Siemens Aktiengesellschaft | Method and device for coding a sequence of digitized images |
US8019167B2 (en) | 2007-01-03 | 2011-09-13 | Human Monitoring Ltd. | Compressing high resolution images in a low resolution video |
US20080225947A1 (en) * | 2007-03-13 | 2008-09-18 | Matthias Narroschke | Quantization for hybrid video coding |
US8634462B2 (en) | 2007-03-13 | 2014-01-21 | Matthias Narroschke | Quantization for hybrid video coding |
US20080273113A1 (en) * | 2007-05-02 | 2008-11-06 | Windbond Electronics Corporation | Integrated graphics and KVM system |
US9008171B2 (en) | 2008-01-08 | 2015-04-14 | Qualcomm Incorporated | Two pass quantization for CABAC coders |
JP5159955B2 (ja) * | 2008-09-16 | 2013-03-13 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 適応的ビデオ・エンコーダ制御 |
US9338463B2 (en) | 2011-10-06 | 2016-05-10 | Synopsys, Inc. | Visual quality measure for real-time video processing |
US9781449B2 (en) * | 2011-10-06 | 2017-10-03 | Synopsys, Inc. | Rate distortion optimization in image and video encoding |
EP3562156A1 (en) | 2018-04-27 | 2019-10-30 | InterDigital VC Holdings, Inc. | Method and apparatus for adaptive context modeling in video encoding and decoding |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0176474B1 (ko) * | 1992-12-01 | 1999-04-15 | 김광호 | 고속화상 재생에 적합한 디지탈 비디오 테이프레코더용 데이타 코딩기술 |
US5550590A (en) * | 1994-03-04 | 1996-08-27 | Kokusai Denshin Denwa Kabushiki Kaisha | Bit rate controller for multiplexer of encoded video |
-
1996
- 1996-04-18 EP EP96908305A patent/EP0768007B1/en not_active Expired - Lifetime
- 1996-04-18 WO PCT/IB1996/000348 patent/WO1996034495A2/en active IP Right Grant
- 1996-04-18 DE DE69605523T patent/DE69605523T2/de not_active Expired - Fee Related
- 1996-04-18 JP JP8532314A patent/JPH10502791A/ja active Pending
- 1996-04-18 CN CN96190638.3A patent/CN1157080A/zh active Pending
- 1996-04-18 AU AU51608/96A patent/AU705914B2/en not_active Ceased
- 1996-04-24 US US08/637,254 patent/US5691770A/en not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8355436B2 (en) | 2002-11-08 | 2013-01-15 | Apple Inc. | Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders |
CN101409835B (zh) * | 2002-11-08 | 2014-09-17 | 苹果公司 | 利用拉格朗日乘子和视觉掩蔽来控制速率-失真折中的方法和装置 |
CN100536571C (zh) * | 2003-01-08 | 2009-09-02 | 苹果公司 | 用于改进的编码模式选择的方法和装置 |
CN101651831B (zh) * | 2003-01-08 | 2013-07-17 | 苹果公司 | 用于改进的编码模式选择的方法和装置 |
US8781002B2 (en) | 2003-01-08 | 2014-07-15 | Apple Inc. | Method and apparatus for improved coding mode selection |
CN101513072B (zh) * | 2006-08-30 | 2011-07-27 | 汤姆森特许公司 | 用于分析和经验混合编码失真建模的方法和装置 |
US8265172B2 (en) | 2006-08-30 | 2012-09-11 | Thomson Licensing | Method and apparatus for analytical and empirical hybrid encoding distortion modeling |
CN101595736B (zh) * | 2006-12-15 | 2013-04-24 | 汤姆森特许公司 | 失真度估算 |
CN101911702B (zh) * | 2008-01-08 | 2012-07-25 | 高通股份有限公司 | 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
AU705914B2 (en) | 1999-06-03 |
EP0768007B1 (en) | 1999-12-08 |
JPH10502791A (ja) | 1998-03-10 |
DE69605523D1 (de) | 2000-01-13 |
AU5160896A (en) | 1996-11-18 |
WO1996034495A3 (en) | 1997-01-16 |
DE69605523T2 (de) | 2000-07-06 |
WO1996034495A2 (en) | 1996-10-31 |
US5691770A (en) | 1997-11-25 |
EP0768007A2 (en) | 1997-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1157080A (zh) | 用于编码视频图像的装置和方法 | |
CN1157079A (zh) | 用于编码视频图像的装置和方法 | |
JP3659353B2 (ja) | ビデオ画像符号化方法 | |
CN1145363C (zh) | 静画和动画编码的量化矩阵 | |
JP3739094B2 (ja) | 符号化システムにおけるレート制御を最適にするための装置 | |
CN1130921C (zh) | 对视频信息预测编码的方法和装置 | |
CN1223959C (zh) | 编码***中基于宏块的速率控制装置和方法 | |
CN1110962C (zh) | 用于视频信号编码***的自适应量化器 | |
EP1005231A1 (en) | Data compression using adaptive bit allocation and hybrid lossless entropy encoding | |
CN1596422A (zh) | 用于估算压缩视频数据客观质量的方法和*** | |
JP2000511366A6 (ja) | 4分割ツリーベースの可変ブロックサイズ動き推定装置および方法 | |
CN1949877A (zh) | 自适应量化控制器及其方法 | |
CN1463560A (zh) | 确定视频失真的方法以及确定视频失真的*** | |
JPH10243396A (ja) | 適応型量子化方法、ビデオ信号データを符号化する方法、およびサンプリングされたビデオ信号データを符号化するためのシステム | |
CN109286812B (zh) | 一种hevc视频质量估计方法 | |
US20060078210A1 (en) | Tarp filter | |
CN108111852B (zh) | 面向量化分块压缩感知编码的双测量参数率失真控制方法 | |
CN108900838A (zh) | 一种基于hdr-vdp-2失真准则的率失真优化方法 | |
CN111050174A (zh) | 图像压缩方法、装置及*** | |
CN112465846A (zh) | 基于填充策略的含云遥感图像压缩方法 | |
CN101472182B (zh) | 视觉无损视频数据压缩 | |
CN1725858A (zh) | 用于控制比特率的设备和方法 | |
CN109672891B (zh) | Jpeg图像的无损二次压缩方法 | |
US8428381B2 (en) | Image compression method with variable quantization parameter | |
Kirmemis et al. | A Practical Approach for Rate-Distortion-Perception Analysis in Learned Image Compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |