CN1130921C - 对视频信息预测编码的方法和装置 - Google Patents

对视频信息预测编码的方法和装置 Download PDF

Info

Publication number
CN1130921C
CN1130921C CN96106278A CN96106278A CN1130921C CN 1130921 C CN1130921 C CN 1130921C CN 96106278 A CN96106278 A CN 96106278A CN 96106278 A CN96106278 A CN 96106278A CN 1130921 C CN1130921 C CN 1130921C
Authority
CN
China
Prior art keywords
prediction
block
piece
input
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN96106278A
Other languages
English (en)
Other versions
CN1140380A (zh
Inventor
M·H陈
T·沙瓦蒂尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technicolor USA Inc
Original Assignee
Thomson Consumer Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Consumer Electronics Inc filed Critical Thomson Consumer Electronics Inc
Publication of CN1140380A publication Critical patent/CN1140380A/zh
Application granted granted Critical
Publication of CN1130921C publication Critical patent/CN1130921C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一种以MPEG为基础的信号压缩***减小了由预测方式的次优选择造成的图像质量下降。本发明的方法将视频输入信号转换成像素块。然后形成代表输入块的多个经预测的块。每个经预测的块由不同的预测函数产生,并具有有关的表示输入块和经预测的块之间的相关程度的相关系数。根据比较相关系数的结果选择与最佳预测块有关的被压缩的块作为输出块。对其它输入块重复这一过程,将从比较中得到的经选择的被压缩输出块组合在一起,形成输出信号。

Description

对视频信息预测编码的方法和装置
技术领域
本发明涉及数字图像信号处理领域,更具体地说涉及对包括与图像渐变(例如从正常亮度到黑色以及从黑色到正常亮度)有关的亮度梯度的视频信号进行编码的方法和装置。
背景技术
用于地面或卫星广播***的数字电视传输通道具有有限的可用带宽。这意味着必须用尖端的数字视频数据压缩技术来节省信号带宽。为了传输,以特定的格式对数据进行压缩,而当接收时又对数据进行解压。广泛采用的这样一种格式被称为MPEG(活动图像专家组)图像编码标准(ISO/IEC 13818-2,1993年11月)。以这种格式编码的视频数据包括一系列被编码数据的连续图像或帧。某些图像(I图像)是内编码,即只从图像本身中的信息编码。另一些图像(P图像)是正向预测编码,即采用从过去的I图像或P图像的运动补偿预测进行编码。其余图像(B图像)不但正向而且反向预测编码,即采用从过去的或将来的I图像或P图像的运动补偿预测进行编码。因此,P和B图像被预测编码,以致于从P或B图像重现图像需要来自先前的被解码的I或P图像的信息。相反,I图像不是预测编码,图像可以从单一的I图像或帧重现。
MPEG标准允许采用不同的方法来对P和B图像进行预测编码。这些方法包括以帧为基础的、以场为基础的和“双基础(DualPrime)”编码。将被预测编码的场或帧被分成块,以逐块为基础对块进行预测。在MPEG标准格式中,图像块被称为“宏块”,其规定尺寸是16×16像素。MPEG标准允许采用不同的方法来对P和B图像宏块进行预测编码。这些方法包括以正向/反向帧或场为基础,而其它方法取决于与预测的宏块有关的运动矢量的值是否为零。这些方法在MPEG图像编码标准(ISO/IEC 13818-2,1993年11月)附录B表B-2至B-8中有详述。在传输之前,编码装置一般通过多种这样的方法对P和B图像宏块进行预测编码。然后为了识别对特定宏块的最佳预测方法,对给定宏块的各种预测进行比较。
采用特定的判断标准对预测进行比较。最佳编码方法被认为是给出了由这些标准检测的“最好”预测数据结果的方法。选择由最佳编码方法预测的宏块传输给视频信号接收机。
可以采用各种判断标准为数据的任何特定部分选择最佳编码方法。一种普遍采用的方法确定视频亮度数据的均方预测误差(MSE)。最佳编码方法是具有最小计算MSE值的方法。最小MSE值表示较好的预测,因为它表明在预测值中发散性较小和推测较少。
MSE可以解释为代表原始亮度值和经预测的亮度值之间的总误差或差能量。该能量可以进一步解释为DC误差能量分量和AC误差能量分量之和。DC能量分量代表每个原始亮度值通过相同的常系数与每个对应的经预测的亮度值关联时出现的能量之差。这种DC能量差的一个例子出现在两个连续的图像帧之间渐变期间。然后假定图像影物基本保持不变,与第一图像通过基本恒定的系数相关联的第二图像的亮度的渐变使得MSE值中产生高的DC能量分量。作为MSE值中高的DC误差能量分量的结果,不充分的加权可能被认为是看起来更重要的AC误差能量分量造成的。因此,MSE值可能没有准确地反映与各个预测有关的误差。这可能导致图像信号处理时间作出错误的判断,并且为特定图像块选择的预测方式可能不是最佳的。结果显示的图像质量下降。
根据本发明的原理揭示的视频信号压缩***减小了由于次优预测方式选择造成的图像质量的下降。揭示的视频信号压缩***对各个图像块进行操作,因此可以减小对仅图像部分对误差敏感的次优预测方式的选择。例如,当仅图像部分经历图像渐变时可能出现这种情况。这***还改进了在图像中不但出现运动而且出现渐变的更复杂的情况下对预测方式的选择。此外,这些优点是在不需要往往是复杂和昂贵的渐变检测电路的情况下实现的。
揭示的视频信号压缩***改进了从多个被压缩的块中选择被压缩的像素块。揭示的方法从视频输入信号中提供了被压缩的视频输出信号。视频输入信号被转换成输入像素块数据。然后,形成了代表一个输入块的多个经预测的像素块。每个经预测的块由不同的预测函数产生,并具有有关的相关系数。相关系数CF表示输入块和经预测的块之是的相关程度,并通过从一个相关参数中减去对低频变化相关分量的测量值得到。比较相关系数,并根据比较相关系数的结果选择与最佳预测块有关的被压缩的块作为输出块。对其它输入块重复这一过程,将从比较中得到的经选择的被压缩输出块组合在一起,形成输出信号。
发明内容
本发明人已经认识到通过改变从相关参数中减去的低频变化相关分量的比例,可以得到另外的优点。这一比例可以例如在用于MPEG编码操作中为P和B宏块作出最佳预测的多步骤判断过程中的不同判断点变化。另外,该比例例如可以根据表示显示图像的类型改变的外部参数动态地变化。
当新的判断标准CF用于编码操作中的其它判断时,也具有优点。例如在估计图像中的运动等级时,可以用标准CF确定图像之间的图像像素的位移。一种典型的运动估计方法识别搜索图像中的一个像素块,从像素亮度值的观点来看,它是最接近基准像素块的。这种识别一般是采用例如MSE(均方误差)或MAE(平均绝对误差)判断标准作出的。代替这些或其它标准的新的判断标准CF通过减少匹配图像块的次优选择改进了图像运动估计。当新的标准用于存在图像渐变时的运动估计时,也改善了性能。本发明人还认识到通过CF的AC和DC能量分量的非线性组合,可以既改善预测方式选择,又改善运动估计。
根据第一方面,本发明提供一种提供经压缩的视频输出数据的方法,其特征在于包括以下步骤:
(a)提供视频输入数据;
(b)将所述视频输入数据转换成代表图象的输入像素块;
(c)对每个输入的像素块,形成多个经预测的像素块,每个经预测的像素块是由不同的预测函数产生的,每个所述的经预测的块还具有有关的相关系数,该相关系数是通过从一个相关参数中减去低频变化相关分量得到的,表示所述输入块和经预测的块之间的相关程度;
(d)相互比较所述经预测的块的相关系数;
(e)根据对各个经预测的块的相关系数所作的相互比较,选择所述经预测的块中的一个;
(f)压缩所述选出的经预测的块,以便提供一个输出块;
(g)对其它像素块重复步骤(c)-(f);以及
(h)将步骤(f)中产生的输出块组合,以便形成所述视频输出数据;以及
其中,步骤(c)进一步包括选择低频变化相关分量的所述测量,以便最大限度地减小所述相关系数的步骤。
根据第二方面,本发明提供在视频信号压缩***中以像素块的形式处理视频输入数据从而在输出端提供经压缩的视频输出数据的装置,其特征在于:
压缩网络,对所述输入像素块作出响应并且为输入象素块提供多个预测块和多个压缩块,各压缩块与预测块之一相关;
计算网络,用于计算所述多个预测块的每一块的相关系数,从而指示所述输入块和所述预测块之间的相关度,其中每个相关系数是通过从相关参数中减去低频变化相关分量的测量得到的,表示所述输入块和经预测的块之间的相关程度,其中选择低频变化相关分量的所述测量,以便最大限度地减小所述相关系数;
根据对所述预测的块的相关系数所作的相互比较,选择所多个压缩块中的一个的装置;
将所述选择的压缩块传送到所述输出端的装置。
附图说明
图1是根据MPEG标准采用已知的MSE判断标准,从P图像中的宏块预测的示例范围选择最佳宏块预测的判断树。
图2是采用已知的MSE判断标准,从B图像中的宏块预测的示例范围选择最佳宏块预测的判断树。
图3是采用根据本发明的判断标准CF,从P图像中的宏块预测的示例范围选择最佳宏块预测的判断树。
图4是采用根据本发明的判断标准CF和MSE标准,从B图像中的宏块预测的示例范围选择最佳宏块预测的判断树。
图5是体现根据本发明的新判断标准CF从预测宏块的一个范围中确定最佳预测宏块的流程图。
图6表示根据本发明原理的MPEG可兼容编码器装置。
具体实施方式
根据MPEG标准,可以采用各种判断标准来选择对P和B图像宏块进行预测编码的最佳编码方法。一种普通采用的标准是视频亮度数据的均方预测误差(MSE)。图1表示这一用于在示例的判断过程中的P图像预测过程中为宏块选择最佳编码方法的标准。类似地,图2表示用于示例的B图像宏块选择过程的标准。
在包含每个像素具有确定像素亮度(灰色调假定是黑和白图像)的亮度值的N个像素的宏块中,MSE值将由下式给出: MSE = 1 N Σ i = 1 N ( u ^ i - u i ) 2 其中ui(i=1-N)是原始像素亮度值, u ^ i ( i = 1 - N ) 是经预测的像素亮度值。N等于正被预测的图像块中像素亮度值的个数,例如在采用16×16像素宏块的MPEG标准中N=256。最佳编码方法是具有最小计算MS E值的方法。可以以其它方式使用MS E值。例如可以根据某一特定阈值以下的MS E值选择编码方法。最小MS E值表示较好的预测,因为它表明在预测值中发散性较小和推测较少。
MS E代表原始亮度值和经预测的亮度值之间的总误差或差能量。该能量也可以认为是DC误差能量分量和AC误差能量分量之和。DC能量分量代表每个原始亮度值通过相同的常系数与每个对应的经预测的亮度值关联时出现的能量之差。这种DC能量差的一个例子出现在两个连续的图像帧之间渐变期间。假定图像景物保持基本相同(不运动),与第一图像通过基本恒定的系数相关联的第二图像的亮度的渐变使得MS E值中产生高的DC能量分量。作为MS E值中高的DC误差能量分量的结果,不充分的加权可能被认为是看起来更重要的AC误差能量分量造成的。因此,MS E值可能没有准确地反映与各个预测有关的误差。这可能导致图像信号处理时间作出错误的判断,并且为特定图像块选择的预测方式可能不是最佳的。
在图1的已知P图像判断过程中,从四种可供选择的预测中选出最佳宏块预测“最佳预测”。在节点A1,或选择以帧为基础的预测,或选择零值运动矢量的宏块预测。然后在节点B1,或选择在A1选择的预测,或选择以场为基础的预测,或选择“双基础”预测。这些类型的宏块预测是已知的,并在MP EG图像编码标准(ISO/IEC 13818-2,1993年11月)7.6.1节和附录B表B-2至B-8中作了限定。MS E标准既用于图1判断过程中的A1判断节点,又用于B1判断节点。这可能在节点A1或B1或同时这两个节点导致错误的判断。这意味着例如被选择的最佳正向预测是以场为基础的宏块预测,然而实际上以帧为基础的预测可能是最佳预测。
在图2的已知B图像判断过程中,从四种可供选择的预测中最终选出“最佳预测”。这四种预测是最佳正向、最佳帧平均、最佳场平均和最佳反向预测。这四种可供选择的预测是依次从六种原始预测中选出或得到的。在节点A1,或选择以正向帧为基础的预测,或选择正向零值运动矢量的预测。然后在节点B1,或将这一选择或将以正向场为基础的预测选择为最佳正向预测。类似地,在图2中的其它两个标号为A2和B2的节点,从以反向帧为基础的预测、反向零值运动矢量预测和以反向场为基础的预测中选出最佳反向预测。此外,在宏块平均节点10对在节点A1和A2选出的经预测的宏块取平均,以便形成最佳帧平均预测。在节点20对以反向场为基础和以正向场为基础的预测取平均,以便形成最佳场平均预测。最后,在节点C从最佳正向、最佳帧平均、最佳场平均和最佳反向预测中选出最佳预测。
如同图1的过程那样,在图2的过程中在判断节点A1、A2、B1和B2采用了MS E标准。这可能在这些节点中的任何节点或全部节点造成错误的判断。结果例如被选择的最佳预测是以反向场为基础的预测,然而实际上以正向场为基础的预测可能是最佳的。最后的结果是显示了质量下降的图像。
除了在节点A1-A4和B1和B2采用了根据本发明原理的新的判断标准以外,图3和4分别表示类似于图1和2的判断过程。被称为相关系数(CF)的新的标准极大地改善了用于选择最佳宏块预测的判断过程。
体现新标准的一种形式示于图5的流程图。在图3和4的节点A和B采用新的判断标准从预测宏块的一个范围中选出最佳预测宏块。在图5中,为一个输入基准宏块形成“W”个经预测的宏块。然后,为每个经预测的宏块计算判断标准“CF”的一个新的值。然后比较每个经预测的宏块的CF值,选择给出最小CF值的经预测的宏块。如果需要则对其它输入的宏块重复图5的过程。
在图5的开始框200之后的步骤205中,选择一个原始输入宏块,并存储其亮度值。然后在步骤210中,为输入宏块形成W个不同的宏块预测,并且也存储W个经预测的宏块中的每一个的亮度值。这些经预测的宏块亮度值通过已知的预测方法得到,这些方法例如是结合图3和4讨论的方法,并由MP EG编码装置实现。然后在步骤215、220和225,为每个宏块预测计算CF值。首先在步骤215,为每个经预测的宏块计算相关参数“V”,此处V代表AC和DC误差能量值之和。更准确地说,V代表经预测的宏块的亮度值和原始宏块的亮度值之间的总差能量。然后在步骤220中根据经验从0至1的范围为系数K选择一个值以后,在步骤225从相关参数V中减去乘积“KY”,KY代表关联的经预测的和原始的宏块之间相关的DC或低频变化分量。为每个宏块预测进行这种计算,以便为每个经预测的宏块产生判断标准CF的一个值。这一CF值代表关联的经预测的和原始的宏块之间的相关程度。在包括N个像素亮度值的一个图像块中的新判断标准CF的一种形式可由下式给出:
        CF=V-KY其中 CF = 1 N Σ i = 1 N ( u ^ i - u i ) 2 - Ke 2 e 2 = ( 1 N Σ i = 1 N ( u ^ i - u i ) ) 2 = Y 其中ui代表原始像素亮度值,
Figure C9610627800123
代表经预测的像素亮度值,N等于正被预测的图像块中像素亮度值的个数,例如在采用16×16像素宏块的MP EG标准中N=256。
采用CF作为宏块预测选择的判断标准与其它选择方法相比是一种极大的改进。即使当计算CF过程中从相关参数值V中减去总DC或低频变化误差能量Y时也是如此。参数CF代表减去一部分DC图像亮度能量的均方误差能量。如果K=1,则去除全部DC误差能量,CF变成预测误差的变量即AC误差能量。如果K=0,则CF回复到MS E值。然而本发明已经认识到,通过改变系数K来改变从相关参数值V中减去的误差能量Y的比例,可以获得另外的优点。例如可以通过在用于得到MP EG编码中P和B图像宏块的最佳预测方式的多步骤判断过程中的不同判断点改变K来改变这一比例。另外,可以根据外部参数动态地改变该比例。例如,一种参数可代表图像序列中的运动等级。
具体判断的最佳选择的K值取决于判断标准CF值中分配给与DC误差能量有关的AC误差能量的最佳加权。而最佳加权的分配取决于应用。在实施另外判断标准时改变K值也具有优越性。这些另外的实施包括AC和DC误差能量的其它组合。例如,可以采用非线性组合,它也调整判断标准中分配给与AC误差能量分量有关的DC误差能量分量的加权。也可以用这种组合改善例如渐变条件下的宏块预测选择。
一旦在图5的步骤215、220和225中为宏块预测计算和存储了CF值,就在步骤230中对它们进行比较。在步骤230中,对每个预测类型的CF值进行相互比较,并最佳宏块预测选择为具有最小计算CF值的经预测的宏块。正是这一宏块被选择用来由向接收机解码设备广播的传输装置进一步编码。对于一个特定的输入宏块而言,图5的过程结束于框235。然而如果需要,对其它的输入宏块可重复图5的过程。
可以采用新的判断标准的许多其它的实施方案。计算CF值并存储之前,可以不全部进行宏块预测。可以以任何适当的次序进行预测和计算CF值。此外,可以根据不是具有最小CF值的宏块选择最佳宏块预测。
如同图1的过程中那样,图3的P图像最佳宏块预测从四个可选择的预测中选择。然而与图1不同,在图3的A和B判断点采用图5的步骤215-230的判断标准。在节点A1,或者从以帧为基础的宏块预测3A或者从零值运动矢量预测3B选择一个宏块预测。然后,在节点B1或选择这一经选择的预测或选择以场为基础的预测3C或选择“双基础”预测3D。
在图4的B图像判断过程中,与不采用这一标准的图2不同,在A和B判断节点采用图5的步骤215-230的判断标准。图4的判断过程包括两个标以A3和A4的附加的判断节点,这两个节点在图2的过程中不存在。这两个判断节点分别提供了在以场为基础的预测4C、4F和零值运动矢量预测4B和4E的两种类型之间的选择。结果,现在采用在图2的过程中不可能的零值运动矢量预测4B、4E,可以产生图4中的最佳场平均预测。
图4的判断过程中附加的节点产生了进一步的改进作用。这时因为结合采用新的判断标准改变判断过程可以改善某些判断过程应用中的性能。根据具体应用的需要,通过增加或去除判断节点可以改变判断过程。在图4的应用中,通过***分别对以场为基础的预测4C、4F与零值运动矢量预测4B和4E进行比较检验,两个附加的节点改进了最佳的宏块选择。当没有运动的图像中存在渐变时,这样做改善了性能。
通过结合其它不同的判断标准采用新的判断标准可以得到另外的优点。例如在图4的判断过程中,通过结合在节点C采用MS E,在A和B节点采用新的标准,可以对选择最佳宏块作出改进。其理由是特定的判断可能需要对DC误差能量内容敏感。例如在图4中,通过采用MS E作为节点C的判断标准使节点C的判断标准对DC误差能量敏感可以改善性能。在这种情况下通过强调判断节点C的最佳场和最佳帧平均选择方案改善了最佳选择,这是由于它们一般呈现小的DC误差能量。
图4判断过程的其余部分与结合图2的B图像过程描述的相同。最终在节点C从最佳正向、最佳帧平均、最佳场平均和最佳反向预测中选择最佳预测。
新的判断标准CF可有效地用于各种其它的判断过程。例如标准CF可用于MP EG编码操作期间估计图像运动等级。一种典型的运动估计方法依靠识别搜索图像中的一个像素块(搜索块),从像素亮度值的观点来看,它是最接近基准像素块的。这种识别一般是采用例如MS E(均方误差)或MAE(平均绝对误差)判断标准作出的。代替这些或其它标准的新的判断标准CF通过减少匹配图像块的次优选择改进了图像运动估计。作为这种替换的一个例子,可以用图5流程图中的CF估计图像运动。在这种情况下,输入的宏块变成基准像素,并且经预测的宏块是搜索像素块。此外,根据结合图5讨论的原理选择参数K。然后如前面对最佳经预测的宏块进行选择所作的描述那样,图5流程图的步骤215-230将最佳搜索像素块识别为具有最小CF值的块。如同经预测的宏块选择那样,当新的标准用于存在图像渐变时的运动估计时,也改善了性能。
在MPEG和其它应用中另外的的判断标准也是可能的。根据本发明采用的判断标准的组合和次序以及判断过程的形式是依据具体***的需要作出的。新的标准可以改善在设计用来从多组值中选择一组最佳值的任何应用中的判断过程。
图6表示根据本发明原理的MP EG可兼容压缩器装置。判断处理器32实施图5的流程图中存在的新的判断标准。简单地说,以像素亮度值形式的数字视频信号以已知方式由转换器57转换成输入基准宏块,并输入至压缩器60。图6的***如已知的那样在对输入宏块的输送进行控制的情况下运行。这样做能够完成宏块预测周期和为每个输入的宏块产生输出的经压缩的块。压缩器60根据每个输入的基准宏块进行不同的宏块预测,并将所得的宏块预测以解压的形式存储在预测单元95的存储器91中。这些预测是“候选”预测,从中可以为输入基准宏块选出最佳宏块预测。正在经预测的输入基准宏块和存储在存储器91中的候选宏块预测都被输入至判断处理器32中。判断处理器32根据这一输入数据,为对应于当前正被压缩的输入基准宏块的每个候选宏块预测计算和比较相关系数。然后处理器32将比较结果得到的选择信息提供给预测单元95中的选择器97。然后选择器97根据这一选择信息从存储器91中选出最佳宏块预测。然后由减法器65从输入基准宏块中减去该最佳宏块预测。减法器65的结果由单元70压缩,提供为了传输进一步压缩用的输出数据。对每个输入的基准宏块重复这一过程。
在更详细地描述图6编码器装置的操作的过程中,压缩器60的操作只考虑I和P图像宏块的情况。图6装置的操作原理很容易地推断为B图像宏块操作。起初假定I图像预测是以帧为基础的预测,I帧宏块经减法器65未改变地进入编码单元70。单元70如已知的那样对8×8像素的块进行离散余弦变换(DCT),以便产生DCT系数。然后在单元70中对该系数进行量化。DCT的组合和在单元70中的量化导致为零的许多DCT频率系数。然后长期运行单元70,并对该系数进行统计编码,产生零的长期运行,以便最大限度地减小产生的输出数据。因此,单元70通过消除输入宏块数据中的空间冗余压缩I帧宏块。结果得到的经压缩的I帧宏块被提供至解压器75,它与单元70进行的DCT和量化功能相反。单元75的输出是输入进压缩器60的I帧宏块的再现。然后经解压的I帧宏块未改变地通过加法器80,并存储在存储器90中,以便供相继的P帧宏块进行预测压缩。重复以上描述的I帧宏块压缩过程,直到宏块的全部I帧存储在存储器90中。
对P帧宏块预测而言,当前正在预测的输入的P帧基准宏块被施加到运动估计器85中。采用已知的搜索块方法,单元85为该基准宏块确定以场为基础和以帧为基础的各个位移矢量(运动矢量),这些矢量被预测单元95中的提取器93所用,以便从存储在存储器90中的在先的帧中提取各个候选的宏块预测。被识别的候选宏块预测是与基准宏块最相同的预测,并被提取器93存储在存储器91中。这些候选宏块预测包括由以场为基础和以帧为基础的位移矢量识别的预测,以及对应于零值运动矢量和双基础预测的预测。根据由处理器32提供的选择信息,由选择器97将这些候选预测中的一个选为最佳宏块预测。减法器65以逐个像素为基础,从将要被压缩的输入的基准P帧宏块中减去由选择器97输出的最佳宏块预测。然后由单元70对从减法器65输出的差进行压缩,并进行类似于I帧宏块数据的处理。也象I帧宏块那样,在送至加法器80之前,由单元75对经压缩的P帧宏块结果进行解压。同时,由减法器65从正被预测的宏块中减去的最佳宏块预测加回到经压缩的宏块结果中。这是由选择器97完成的,它将最佳宏块预测值加到加法器80的第二输入端,加法器80以逐个像素为基础,将数据相加,以便复原宏块。这一被复原的P帧宏块形成重新构成的图像的一部分,并存储在存储器90中,以便供相继的P帧宏块进行预测压缩。
存储器91中的输入基准宏块亮度值和候选宏块预测的亮度值被提供至处理器32中的计算单元35。这些值被计算单元35进行处理,以便为每个候选宏块预测提供一个新的判断标准CF。每次计算中采用的“K”值由K值选择单元50确定。单元50根据图6的装置所作的宏块预测选择的类型确定适当的K值。具体判断的最佳选择的K值取决于分配给与判断标准CF值中的DC误差能量有关的AC误差能量的最佳加权。例如,如果正在用装置对图4的B图像判断过程中作判断,那么根据对这些具体判断的最佳加权,K可以在节点A1、A2、A3、A4、B1和B2被分配为不同的值。对在节点C所作的选择而言,K的值设为零,因此CF计算实际上变为MS E计算。
控制单元55通过控制各个单元的功能和处理器32的操作顺序来控制最佳宏块预测的选择。从单元55提供至K选择单元50的信号标识正在作出的特定判断。每个判断的适当的K值也被存储在单元50中。因此,单元50从存储器中得到对特定判断而言是适当的K值,并将它提供给计算单元35。计算单元35利用来自单元50的K值为每个预测的宏块计算新的判断标准CF。单元45比较由单元35计算的CF值,并向单元55提供输出信号,标识最佳宏块预测。这是具有最小CF值的预测宏块。然后单元55向预测单元95的选择器97提供选择信息。根据来自单元55的这一选择信息,由选择器97从存储器91中选择最佳宏块预测。然后,由减法器65从输入基准宏块中减去这一最佳宏块预测。最后,由单元70对所得结果进行压缩,以便在例如通过传输处理器进行传输之前提供进一步处理的输出数据,该处理器将输出数据变成包括标识首标的数据包。对每个输入基准宏块重复这一过程。
图6的装置可以以其它方式实施。代表由单元70输出的候选宏块的经压缩的数据可以存储在附加的存储器中。然后一旦判断处理器32已经识别最佳预测方式,如结合图6所描述的那样,相应的经压缩的宏块就可以在处理器32的控制下从这一附加的存储器中被选为输出数据。这样做有其优越性,因为对每个候选宏块预测产生经压缩的数据,并且关于传输所需的位数或带宽的它们各自的特征,可以得到更多的信息。这一附加的信息可以由处理器32用作最佳宏块选择的附加标准。
图6中的单元35、45、50和55的功能可以全部或部分地在微处理器中实现。此外,压缩器60还有其它已知的结构,并且还有其它实施压缩器60功能的已知途径。例如,可以采用多并行预测法代替串行预测法达到对输入基准宏块的预测。这包括采用处理器60与每个预测器并行的形式,同时为当前输入的基准宏块产生不同的宏块预测。如前所述,该宏块预测被提供给判断处理器32,以便进行最佳宏块选择。

Claims (2)

1.一种提供经压缩的视频输出数据的方法,其特征在于包括以下步骤:
(a)提供视频输入数据;
(b)将所述视频输入数据转换成代表图象的输入像素块;
(c)对每个输入的像素块,形成多个经预测的像素块,每个经预测的像素块是由不同的预测函数产生的,每个所述的经预测的块还具有有关的相关系数,该相关系数是通过从一个相关参数中减去低频变化相关分量得到的,表示所述输入块和经预测的块之间的相关程度;
(d)相互比较所述经预测的块的相关系数;
(e)根据对各个经预测的块的相关系数所作的相互比较,选择所述经预测的块中的一个;
(f)压缩所述选出的经预测的块,以便提供一个输出块;
(g)对其它像素块重复步骤(c)-(f);以及
(h)将步骤(f)中产生的输出块组合,以便形成所述视频输出数据;以及
其中,步骤(c)进一步包括选择低频变化相关分量的所述测量,以便最大限度地减小所述相关系数的步骤。
2.在视频信号压缩***中以像素块的形式处理视频输入数据从而在输出端提供经压缩的视频输出数据的装置,其特征在于:
压缩网络,对所述输入像素块作出响应并且为输入象素块提供多个预测块和多个压缩块,各压缩块与预测块之一相关;
计算网络,用于计算所述多个预测块的每一块的相关系数,从而指示所述输入块和所述预测块之间的相关度,其中每个相关系数是通过从相关参数中减去低频变化相关分量的测量得到的,表示所述输入块和经预测的块之间的相关程度,其中选择低频变化相关分量的所述测量,以便最大限度地减小所述相关系数;
根据对所述预测的块的相关系数所作的相互比较,选择所多个压缩块中的一个的装置;
将所述选择的压缩块传送到所述输出端的装置。
CN96106278A 1995-05-08 1996-05-07 对视频信息预测编码的方法和装置 Expired - Fee Related CN1130921C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/438,121 US5812197A (en) 1995-05-08 1995-05-08 System using data correlation for predictive encoding of video image data subject to luminance gradients and motion
US438121 1999-11-10

Publications (2)

Publication Number Publication Date
CN1140380A CN1140380A (zh) 1997-01-15
CN1130921C true CN1130921C (zh) 2003-12-10

Family

ID=23739315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96106278A Expired - Fee Related CN1130921C (zh) 1995-05-08 1996-05-07 对视频信息预测编码的方法和装置

Country Status (4)

Country Link
US (1) US5812197A (zh)
JP (1) JPH08322052A (zh)
KR (1) KR100391027B1 (zh)
CN (1) CN1130921C (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005622A (en) * 1996-09-20 1999-12-21 At&T Corp Video coder providing implicit or explicit prediction for image coding and intra coding of video
US8625665B2 (en) 1996-09-20 2014-01-07 At&T Intellectual Property Ii, L.P. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
US6341144B1 (en) * 1996-09-20 2002-01-22 At&T Corp. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
JP3774954B2 (ja) * 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
US6414994B1 (en) * 1996-12-18 2002-07-02 Intel Corporation Method and apparatus for generating smooth residuals in block motion compensated transform-based video coders
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
KR100255648B1 (ko) * 1997-10-10 2000-05-01 윤종용 그래디언트 패턴 정합에 의한 영상 움직임 검출장치 및 그 방법
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
GB9822092D0 (en) 1998-10-09 1998-12-02 Snell & Wilcox Ltd Analysis of compression decoded sequences
GB9822087D0 (en) * 1998-10-09 1998-12-02 Snell & Wilcox Ltd Improvements in data compression
GB9822094D0 (en) 1998-10-09 1998-12-02 Snell & Wilcox Ltd Improvements in data compression
GB9824061D0 (en) 1998-11-03 1998-12-30 Snell & Wilcox Ltd Film sequence detection (nt4)
US6700623B1 (en) 1998-12-10 2004-03-02 Snell & Wilcox Limited Video signal processing using triplets of pixels
US6519005B2 (en) * 1999-04-30 2003-02-11 Koninklijke Philips Electronics N.V. Method of concurrent multiple-mode motion estimation for digital video
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi
GB2361126B (en) * 2000-04-05 2004-04-21 Snell & Wilcox Ltd Spatial video processing
US7616690B2 (en) * 2000-10-31 2009-11-10 Imec Method and apparatus for adaptive encoding framed data sequences
CN1297148C (zh) * 2001-08-28 2007-01-24 株式会社Ntt都科摩 动画图像编码传送***、动画图像编码传送方法、该***和方法使用的适合的编码装置、译码装置、编码方法、译码方法以及程序
US8824553B2 (en) * 2003-05-12 2014-09-02 Google Inc. Video compression method
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7519229B2 (en) * 2004-03-30 2009-04-14 Apple, Inc. Video coding system providing separate coding chains for dynamically selected small-size or full-size playback
KR101204788B1 (ko) * 2004-06-03 2012-11-26 삼성전자주식회사 영상의 공간 예측 부호화 방법, 부호화 장치, 복호화 방법및 복호화 장치
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
US7953152B1 (en) 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
FR2896118A1 (fr) * 2006-01-12 2007-07-13 France Telecom Codage et decodage adaptatifs
KR101354151B1 (ko) * 2006-08-24 2014-01-28 삼성전자주식회사 영상 변환 방법 및 장치, 역변환 방법 및 장치
US8582656B2 (en) 2007-04-13 2013-11-12 Apple Inc. Method and system for video encoding and decoding
US8619874B2 (en) * 2007-04-13 2013-12-31 Apple Inc. Method and system for video encoding and decoding
PL2288163T3 (pl) * 2008-05-07 2015-11-30 Lg Electronics Inc Sposób i urządzenie do dekodowania sygnału wideo
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
KR101418100B1 (ko) * 2010-10-06 2014-07-14 에스케이 텔레콤주식회사 모순 검증을 이용한 부호화 및 복호화 방법과 장치
JP2012151576A (ja) 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0549813A1 (en) * 1991-07-19 1993-07-07 Sony Corporation Coding and decoding device for time-varying image
EP0576290A2 (en) * 1992-06-25 1993-12-29 Sony Corporation Picture signal coding and decoding

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5091782A (en) * 1990-04-09 1992-02-25 General Instrument Corporation Apparatus and method for adaptively compressing successive blocks of digital video
JP2636519B2 (ja) * 1991-02-15 1997-07-30 日本電気株式会社 映像動き信号検出回路
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JPH0595540A (ja) * 1991-09-30 1993-04-16 Sony Corp 動画像符号化装置
US5510840A (en) * 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
US5283645A (en) * 1992-02-14 1994-02-01 Intel Corporation Method and apparatus for detecting dissolve regions in digital video sequences
WO1993023816A1 (en) * 1992-05-18 1993-11-25 Silicon Engines Inc. System and method for cross correlation with application to video motion vector estimation
US5387938A (en) * 1992-10-08 1995-02-07 Matsushita Electric Industrial Co., Ltd. Adaptive interframe/intraframe block coding method and apparatus
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US5565921A (en) * 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system
US5506622A (en) * 1994-05-02 1996-04-09 Daewoo Electronics Co., Ltd. Block matching type motion vector determination using correlation between error signals
US5526295A (en) * 1994-12-30 1996-06-11 Intel Corporation Efficient block comparisons for motion estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0549813A1 (en) * 1991-07-19 1993-07-07 Sony Corporation Coding and decoding device for time-varying image
EP0576290A2 (en) * 1992-06-25 1993-12-29 Sony Corporation Picture signal coding and decoding

Also Published As

Publication number Publication date
CN1140380A (zh) 1997-01-15
US5812197A (en) 1998-09-22
KR960043903A (ko) 1996-12-23
JPH08322052A (ja) 1996-12-03
KR100391027B1 (ko) 2003-11-03

Similar Documents

Publication Publication Date Title
CN1130921C (zh) 对视频信息预测编码的方法和装置
KR101192026B1 (ko) 소스 픽쳐의 시퀀스를 코딩하는 방법 또는 장치
JP4142180B2 (ja) 動きベクトル符号化装置および復号装置
JP3716931B2 (ja) 連続画像の適応型復号装置
CN1227911C (zh) 在运动估值***中处理视频图像数据的方法和装置
US8374451B2 (en) Image processing device and image processing method for reducing the circuit scale
JP2008035134A (ja) 画像符号化装置
US5610659A (en) MPEG encoder that concurrently determines video data encoding format and rate control
CN1262496A (zh) 使用正交变换域中的块匹配进行运动估测的方法和装置
CN1135146A (zh) 利用基于特征点的运动估算编码视频信号的装置
US20120219057A1 (en) Video encoding apparatus and video encoding method
WO2009133365A2 (en) Scene change detection
CN1236461A (zh) 运动补偿预测处理和使用这种处理的编码器
CN1457196A (zh) 基于时空域相关性运动矢量预测的视频编码方法
JP4130617B2 (ja) 動画像符号化方法および動画像符号化装置
CN1263309C (zh) 用于视频编码的运动矢量预测方法
JP2002010260A (ja) 動きベクトル検出方法及び動画像符号化装置
US6141449A (en) Coding mode determination system
AU2001293994A1 (en) Compression of motion vectors
WO2002032143A2 (en) Compression of motion vectors
US8971393B2 (en) Encoder
KR100987581B1 (ko) 고속 움직임 추정을 위한 부분 블록정합 방법
KR100207391B1 (ko) 적응적인 벡터 양자화를 이용한 영상 부호화 시스템 및 그의 움직임 정보 검출 방법
Mamatha et al. BIT RATE REDUCTION FOR H. 264/AVC VIDEO BASED ON NOVEL HEXAGON SEARCH ALGORITHM.
KR0152031B1 (ko) 영상특성에 따른 영상신호의 부호화방법 및 그 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee