CN1823328A - 利用快速搜索块匹配的运动估计 - Google Patents

利用快速搜索块匹配的运动估计 Download PDF

Info

Publication number
CN1823328A
CN1823328A CNA2004800204338A CN200480020433A CN1823328A CN 1823328 A CN1823328 A CN 1823328A CN A2004800204338 A CNA2004800204338 A CN A2004800204338A CN 200480020433 A CN200480020433 A CN 200480020433A CN 1823328 A CN1823328 A CN 1823328A
Authority
CN
China
Prior art keywords
reference picture
motion
block
image block
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800204338A
Other languages
English (en)
Other versions
CN100555253C (zh
Inventor
P·殷
J·M·博伊斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
RCA Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RCA Licensing Corp filed Critical RCA Licensing Corp
Publication of CN1823328A publication Critical patent/CN1823328A/zh
Application granted granted Critical
Publication of CN100555253C publication Critical patent/CN100555253C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/557Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种视频编码器和相应的方法,以编码用于图像块的视频信号数据和特定参考图片索引以预测该图像块,其中该编码器(100)包括一个快速搜索块运动估计器(180),用于提供相应于所述至少一个特定参考图片的运动矢量,该运动估计器包括一个快速搜索块匹配部分,用于执行快速搜索块匹配,同时根据该图像块象素的归一化相对于该参考图片象素的归一化的比较来排除非最佳搜索点,所述快速搜索块匹配部分具有响应于所述至少一个特定参考图片的输出;以及该相应的方法(200)包括:接收基本上未压缩的图像块(212),与至少一个特定参考图片相对应地块匹配(214)该图像块,同时根据该图像块象素的归一化相对于该参考图片象素的归一化的比较来排除非最佳搜索点,计算(216)相应于该图像块与该至少一个特定参考图片之间差异的运动矢量,并且与所述运动矢量相对应地对该至少一个特定参考图片进行运动补偿(218)。

Description

利用快速搜索块匹配的运动估计
对相关申请的交叉引用
本申请要求2003年7月15日提交的、序列号为60/487,458的美国临时专利申请的利益,该临时申请的全部内容在此引入作为参考。
发明领域
本发明总地涉及视频编码器和译码器,并且具体地,是关于视频编码器和译码器中的运动估计算法。
发明背景
视频数据通常以比特流的形式被处理和传送。典型的视频压缩编码器和译码器(“编译码器”)通过形成对要编码图片的参考图片预测、并且编码当前图片和该预测间的差异,而获得它们的较大的压缩效率。预测与当前图片越相关,则压缩那个图片所需要的比特越少,由此提高了处理的效率。因此,期望形成最佳可能的参考图片预测。
在包括运动图像专家组(“MPEG”,)-1、MPEG-2和MPEG-4的许多视频压缩标准中,对先前参考图片和当前图片间的运动进行估计以形成先前参考图片的运动补偿版本。先前参考图片的运动补偿版本被用作对当前图片的预测,并且只编码当前图片和该预测间的差异。
运动估计在当前的视频编码***中发挥重要的作用,并且通常是编码器的在计算上最复杂的部分。当前的大多数视频编码标准采用了块匹配算法。逐块地估计运动量的全搜索策略是流行的运动估计方法。不幸的是,全搜索策略的复杂度非常高,尤其是对于采用多参考图片和多块类型的高级视频编码标准,诸如H.264。已经提出了几种快速搜索算法,诸如三步搜索、新三步搜索、钻石搜索、带状搜索、分级搜索、或者多分辨率(multi-resolution)搜索或者它们的组合。这些算法通过减少搜索点的数目来降低复杂度。不幸的是,它们在误差面(error surface)上趋于陷入局部最小。因此,它们的性能通常比全搜索策略要差。
大多数当前的视频编码标准采用块运动估计来减小比特率。用于视频编码的块运动估计已经被很好地研究,但对于多参考图片和多块类型选择只有很少几种算法已经被提出,诸如在H.263++以及JVT/H.264/MPEG AVC中的算法。
在H.264中,提供了各种模式用于运动补偿。每种运动补偿的宏块模式对应于一个固定尺寸的块。块可以被分割成16×16、16×8、8×16、以及8×8。8×8块可以进一步被再分割成8×4、4×8或4×4的块尺寸。因此,总计支持7种块类型。每个预测编码的m ×n块的预测信号是通过位移相应的参考图片区域来得到的,其中所述参考图片区域由来自运动矢量预测器的、差分编码的平移运动矢量来指定。H.264也支持多图片运动补偿的预测。也就是,一个以上的先前编码的图片可被用作为参考以便构建预测编码块的预测信号。因此,对于运动估计,编码器必须决定应当选择哪种块类型以及哪个参考图片。这种多参考图片和多块类型选择使得运动搜索更加复杂。
当前,已经提出了全搜索(“FS”)和几种快速搜索算法用于运动搜索,诸如象三步搜索、新三步搜索、钻石搜索、带状搜索以及分级搜索。其中,通常只有全搜索得到了最佳解决方案。因此,需要的是一种用于减小全搜索算法的复杂度同时得到最佳解决方案的方法。
发明概述
通过在视频编码器和译码器中利用快速搜索块匹配的运动估计的装置和方法,致力于解决现有技术的这些和其它不足和缺点。
视频编码器被提供以编码用于图像块的视频信号数据和特定参考图片索引以预测该图像块,其中该编码器包括快速搜索块运动估计器用于提供相应于所述至少一个特定参考图片的运动矢量,该运动估计器包括一个快速搜索块匹配部分,用于执行快速搜索块匹配,同时根据该图像块象素的归一化相对于该参考图片象素的归一化的比较来排除非最佳搜索点,所述快速搜索块匹配部分具有响应于所述至少一个特定参考图片的输出。
用于编码图像块的视频信号数据的相应的方法包括:接收基本上未压缩的图像块,与至少一个特定参考图片相对应地块匹配该图像块,同时根据该图像块象素的归一化相对于该参考图片象素的归一化的比较来排除非最佳搜索点,计算相应于该图像块和该至少一个特定参考图片之间差异的运动矢量,并且与所述运动矢量相对应地对该至少一个特定参考图片进行运动补偿。本发明的这些和其它特征、特性和优点将从以下示范实施例的描述中变得清晰,示范实施例要结合附图来理解。
附图简述
因此通过参考本发明的实施例可以得到:实现并且能够详细理解本发明的上述特性的方式、对以上简要概述的本发明的更具体的描述,其中所述实施例在所附图中图示。
然而应当指出,附图仅仅图示了本发明的典型实施例并且因此不应被看作限制它的范围,因为本发明可以承认其它同样有效的实施例。
图1示出了根据本发明原理的具有快速搜索块匹配运动估计的视频编码器的框图;
图2示出了根据本发明原理的用于编码处理的流程图;
图3示出了根据本发明原理的用于译码处理的流程图;以及
图4示出了根据本发明原理的用于和快速搜索块匹配运动估计一起使用的视频译码器的框图。
优选实施例详述
本发明通过使用快速搜索块匹配来执行运动估计。本发明的实施例利用逐次消元法来丢弃非最佳搜索点,并且利用预先计算的数据来节省计算量而不牺牲全搜索方法的最优性。
运动估计技术已经得到广泛研究。对于被编码图片的每个运动块,挑选一个代表该运动块距参考图片的位移的运动矢量。在搜索区域内以穷举搜索方法,测试在关于该运动块位置的偏移的预定范围内的每一位移。所述测试包括计算当前图片中运动块内的每个象素与参考图片中位移的运动块之间的绝对差(“SAD”)或均方误差(“MSE”)的和。选择具有最低SAD或MSE的偏移作为运动矢量。已经提出了这种技术上的多种变化,诸如象三步搜索和速率失真优化运动估计。
以下的描述仅仅说明本发明的原理。因此应当理解,本领域的技术人员将能够设计出各种安排,它们尽管没有在这里明确地描述或示出,但却体现本发明的原理并且被包括在本发明原理的精神和范围之内。此外,这里陈述的所有例子和条件语言主要打算明确地仅仅用于示教目的,以帮助读者理解本发明的原理和发明人为促进该技术所贡献的概念,并且它们被解释为并不限于这样具体陈述的例子和条件。此外,在这里陈述本发明的原理、特征和实施例及其特定例子的所有表述打算包括其结构和功能上的等价物在内。另外,还打算使这样的等价物包括当前已知的等价物以及将来研发的等价物,即,被研发来执行同样的功能而不考虑结构的任何元件。
因此,例如,本领域的技术人员应当理解这里的框图代表体现本发明原理的说明性电路的概念上的视图。同样,应当理解任何流程图、程序框图、状态转移图、伪代码等等代表各种处理,这些处理可以基本地在计算机可读媒体中表示并且由计算机或处理器来执行,无论这样的计算机或处理器有没有被明确地示出。
图中示出的各种元件的功能可以通过使用专用硬件以及能够与适当软件相联合地执行软件的硬件来提供。当由处理器提供时,所述功能可以由单个专用处理器、单个共享处理器、或者多个个体处理器来提供,其中所述个体处理器中的某些可被共享。此外,术语“处理器”或“控制器”的显式使用不应当被解释为专门地指能够执行软件的硬件,还可能隐含地包括,但不限于:数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性贮存器。也可能包括常规的和/或定制的其它硬件。同样地,图中示出的任何开关只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互作用、或者甚至手工地来实现,随着对上下文的更具体理解,特定的技术可由实施者来选择。
在本权利要求中,被表达为用于执行特定功能的装置的任何元件打算包括执行该功能的任何方式,包括例如:a)执行该功能的电路元件的组合,或b)任何形式的软件,因此包括与实施所述软件的适当电路相组合来执行该功能的固件、微码等等。由这样的权利要求定义的本发明具备这样一个事实:由所陈述的各种装置提供的功能性以权利要求所要求的方式被组合和集合。申请人因此把能够提供这些功能性的任何装置看作是在这里示出的这些装置的等价物。
快速搜索块匹配运动估计算法可达到与全搜索块匹配相当的质量而同时降低了复杂度。目前公开的逐次消元算法实施例采用基于三角不等式的度量以便及早丢弃非最佳搜索点,并且重用预计算的数据以减少计算的次数。本算法可以被应用于软件和硬件实施例。它还可以被应用于其它启发式的快速搜索算法。
如图1中所示,总体地由参考标号100来指示具有快速搜索块匹配运动估计的视频编码器。到编码器100的输入在信号通信中与求和接点110的非反相输入连接。求和接点110的输出在信号通信中与块变换器120相连接。变换器120在信号通信中与量化器130相连接。量化器130的输出在信号通信中与可变长度编码器(“VLC”)140相连接,其中VLC140的输出是编码器100外部可得的输出。
量化器130的输出在信号通信中还被连接到逆量化器150。逆量化器150在信号通信中与逆块变换器160相连接,逆块变换器160进而又在信号通信中与参考图片贮存器170相连接。参考图片贮存器170的第一输出在信号通信中与快速搜索块匹配运动估计器180的第一输入相连接。到编码器100的输入在信号通信中还与快速搜索块匹配运动估计器180的第二输入相连接。
尽管这里描述的本发明是运动估计块的概念性部分,但是应当理解,在替代实施例中独立的快速块搜索部分可向运动估计器部分馈送,所述部分之间的信令指示哪个操作点被测试或者不被测试。快速搜索块匹配运动估计器180的输出在信号通信中与运动补偿器190的第一输入相连接。参考图片贮存器170的第二输出在信号通信中与运动补偿器190的第二输入相连接。运动补偿器190的输出在信号通信中与求和接点110的反相输入相连接。
转向图2,总体地由参考标号200来指示对于根据快速搜索块匹配运动估计来编码用于图像块的视频信号数据的示范处理。所述处理包括开始框210,它把控制传递给输入框212。输入框212接收基本未压缩的图像块数据,并且将控制传递给功能框214。功能框214执行快速搜索块匹配同时根据当前图片象素的归一化(例如SAD、MSE)相对于参考图片象素的相同归一化的比较来排除非最佳搜索点。功能框214将控制传递给功能框216,功能框216计算相应于该图像块和特定参考图片之间差异的运动矢量,并且将控制传递给功能框218。功能框218与该运动矢量相对应地对特定参考图片进行运动补偿,并且将控制传递给功能框222。
功能框222从基本上未压缩的图像块中减去经运动补偿的参考图片,并且将控制传递给功能框224。功能框224进而又编码具有基本上未压缩的图像块和经运动补偿的参考图片之间的差异、连同特定参考图片的相应索引的信号,并且将控制传递给结束框226。
现在转向图3,总体地由参考标号300来指示对于译码用于图像块的视频信号数据的示范处理。所述处理包括开始框310,它把控制传递给输入框312。输入框312接收图像块压缩数据,并且将控制传递给输入框314。输入框314接收至少一个带有用于该图像块的数据的参考图片索引,每个参考图片索引对应于一个特定的参考图片。输入框314将控制传递给功能框318,功能框318检索相应于每个接收的参考图片索引的参考图片,并且将控制传递给功能框320。功能框320进而又对所检索的参考图片进行运动补偿,并且将控制传递给结束框326。
如图4中所示,总体地由参考标号400来指示用于与快速搜索块匹配运动估计一起使用的视频译码器。视频译码器400包括可变长度译码器(“VLD”)410,它在信号通信中与逆量化器420相连接。逆量化器420在信号通信中与逆变换器430相连接。逆变换器430在信号通信中与加法器或求和接点440的第一输入端子相连接,其中求和接点440的输出提供视频译码器400的输出。求和接点440的输出在信号通信中与参考图片贮存器450相连接。参考图片贮存器450在信号通信中与运动补偿器460相连接,运动补偿器460在信号通信中与求和接点440的第二输入端子相连接。
在操作中,全搜索可以首先将当前图片划分成无重叠的块,并且在参考图片中搜索它们中的每一块。通过测试搜索中心周围的搜索区域内的所有点来执行全搜索,并且找到具有最小成本函数的最终位置。尽管全搜索方法达到了最优的解决方案,但是它需要较高的计算成本。在视频编码方法中,如果搜索范围是S,参考图片的数目为RN(在H.26L中,RN可以高达15),宏块(通常16×16)中的块类型的数目为BN(在H.26L中,BN可以高达7),那么对于每个宏块,搜索点的总数目为(2S+1)*(2S+1)*BN*RN,或者多于4S2*BN*RN个搜索点。
结合本发明的实施例利用了两种技术来提高全搜索方法的计算速度。一种是数据重用,而另一种是逐次消元。对于数据重用,最小尺寸块类型(4×4)的绝对差(“SAD”)和的结果被存储以便由更大尺寸的块类型重用。因此,对于每个宏块,等价于搜索点的所需要的计算大约是4S2*RN。
一种称为三角不等式的数学不等式被用来在逐次消元算法(“SEA”)中加速全搜索。在块匹配中,例如,绝对差(“SAD”)的和或者方差(“SSD”)的和,可被用作搜索准则,以测定来自参考图片的运动补偿预测c[x,y]与当前图片中原始信号s[x,y]之间的失真。集合B包括所考虑的块的所有采样位置。
假设B被分割成子区域Bn,以使得:
B = ∪ n B n , ∩ n B n = Φ
那么
D ( s , c ) = Σ [ x , y ] ∈ B | s [ x , y ] - c [ x , y ] | p = Σ n Σ [ x , y ] ∈ B n | s [ x , y ] - c [ x , y ] | p · · · ( 1 )
把三角不等式应用于所有的Bn,推出:
D ( s , c ) = Σ [ x , y ] ∈ B | s [ x , y ] - c [ x , y ] | p ≥
Σ n | ( Σ [ x , y ] ∈ | s [ x , y ] | p ) 1 / p - ( Σ [ x , y ] ∈ B | c [ x , y ] | p ) 1 / p | p = D ~ ( s , c ) · · · ( 2 )
在以上的公式中,对于SAD有p=1而对于SSD有p=2。
可以采用SAD或SSD作为视频编译码器中的失真量度。不失一般性地,SAD被用在以下示范讨论中并且等式(2)被明确地写成等式(3)。等式(3)可以通过去除某些绝对值算子而被简化,因为可以假设视频象素数据值总是正的。
D ( s , c ) = Σ [ x , y ] ∈ B | s [ x , y ] - c [ x , y ] | ≥ Σ n | ( Σ [ x , y ] ∈ B s [ x , y ] ) - ( Σ [ x , y ] ∈ B c [ xmy ] ) | = D ~ ( s , c ) · · · ( 3 )
SEA被描述如下:
假设Dmin是在块运动搜索中先前计算出的最小失真值;
那么如果 D ~ ( s , c ) ≥ D min · · · ( 4 ) , 则丢弃块c;
否则,执行全搜索。
计算
Figure A20048002043300118
(等式(3)的右手侧)的开销可以被划分成两个部分。第一部分涉及到计算和范数(sum norm)
Figure A20048002043300119
第二部分涉及到计算等式(3)中和范数的绝对差的和,它取决于子区域的尺寸。对于多块类型运动估计,对称分割是优选的。如果子区域是4×4的,则对于一个宏块,开销等于大约S2/4*BN*RN个搜索点。如果子区域是2×2的,则开销是大约S2*BN*RN。存储和范数所需要的存储器是大约(RN+1)*图片尺寸。SEA的效率依赖于下界能够有多严格。为了补偿开销的影响并且减少全搜索的点,Dmin的初始确定以及搜索顺序是重要的。
在优选实施例中,对于SEA,应用数据重用来减小计算 (等式(3)的右手侧)的开销。
Figure A20048002043300122
的计算可以被分割成两个部分。第一部分涉及到计算和范数
Figure A20048002043300123
Figure A20048002043300124
第二部分涉及到计算等式(3)中和范数的绝对差的和。
更详细地,为了计算
Figure A20048002043300125
对经运动补偿的参考图片的和范数
Figure A20048002043300126
以及当前图片的和范数
Figure A20048002043300127
进行计算。
Figure A20048002043300128
的计算可以被存储并且被重用于参考图片中不同的候选运动矢量偏移。当视频序列中后面的图片被编码时,当前图片可以被用作后一图片的参考图片。这里,当前图片的和范数的计算结果可以被存储,并且在当前图片被用作参考图片来编码另一个相关的图片时重用作
Figure A20048002043300129
这样,在本发明的目前的实施例中计算和范数的开销被减小RN倍。
此外,对于运动估计,用于 的和范数的绝对差的和在等式(3)中被计算以用于不同的块类型。对于最小块尺寸的和范数的绝对差的计算结果被存储并且被更大的块类型重用。因此,计算和范数的绝对差的开销可以被减小BN倍。
现在提供一种被称为新SEA(“NSEA”)的新准则来在SEA中使用以丢弃除了(4)以外的非最佳点。在SEA中,由于三角不等式,仅有的被丢弃的点是那些在数学上不可能具有最低SAD的点,因此当使用全搜索方法时总是选择相同的运动矢量。在NSEA中,不再拥有这样的保证,并且作为结果的运动矢量可不同于全搜索方法,从而增加了被压缩序列的比特率。由于
Figure A200480020433001211
高度相关,因此比特率的增加可能是微小的。然而,对于NSEA,在搜索中要丢弃的点的数目可以被显著地减少,从而极大地降低了视频编码器复杂度。
NSEA被描述如下:
假设Dmin是在块运动搜索中先前计算出的最小失真值;
那么如果 D ~ ( s , c ) ≥ α D min + β · · · ( 5 ) , 则丢弃块c;
否则,执行全搜索。
在(5)中,因子α和β可以被动态地调整,因此可以选择更严格的下界,这可以进一步扔掉非最佳搜索点而不进行全搜索。在某些情况下,速率约束的失真可以被利用来进一步提高编码效率,即,
J(s,c)=D(s,c)+λmotionRmotionrefRref,(6)
其中Rmotion和Rref分别是用于编码运动矢量和参考图片的比特,而λmotion和λref被用来平衡速率和失真以便可以达到全局最优。(6)中的速率约束的失真是速率失真最优化的一种方式,它能够极大地提高编码效率。
这样(5)中的SEA算法因此被改变:
假设Jmin是在块运动搜索中先前计算出的最小速率约束失真值;
那么如果 J ~ ( s , c ) ≥ J min = α D min + β + λ motion R motion + λ ref R ref · · · ( 7 ) , 则丢弃块c;
否则,执行全搜索。
该算法可以通过利用更好的初始Dmin/Jmin以及搜索顺序来进一步提高。这样的实施例的过程如下:
对于每个预测的图片,
计算等式(3)中的用于当前图片的和范数
定义预测者集合P;
在集合P中检查D(s,c)/J(s,c),找到最小值作为初始Dmin/Jmin;
调整搜索中心及搜索范围以包括达到步骤3中的初始Dmin/Jmin的最佳预测者;
应用(5)/(7)中描述的NSEA算法,其中带有数据重用用于运动补偿编码;
计算并存储用于重建的图片的新的和范数为
本发明不受限于所述示范快速搜索算法实施例。替代实施例可以直接应用于本领域已知的其它启发式的快速搜索算法。因为和范数的计算是代价较低的,并且结果可以被重用,因此 可以被用于其它应用。例如,在如H.264中的运动估计中,一种选择参考图片用于运动补偿而不损失太多质量的快速方法是优选的。由于 之间高度相关,所以
Figure A20048002043300137
可在这里被用作选择哪个参考图片来用于运动补偿的度量。此外,运动搜索的速度还依赖于搜索顺序。可以基于
Figure A20048002043300139
的提高的质量来定义新的搜索顺序。因此,如果在某个点 D ~ ( s , c ) > = D min , 则不需要查看后续的搜索点。
本发明实施例的计算上的节省可以被应用到其它应用上,诸如象扩展搜索范围或者为其它用途适配更好的算法。本发明的实施例可以直接与采用运动估计的许多不同的视频压缩标准一起使用,这些视频压缩标准诸如象H.261、H.263、H.264、MPEG-1、MPEG-2以及MPEG-4。
本发明的这些和其它特性及优点可以被相关领域的普通技术人员基于这里的教导而容易地弄清。应当理解,本发明的教导可以以硬件、软件、固件、专用处理器或者其组合的各种形式来实现。
根据一个示范实施例,本发明可以被实现为硬件和软件的组合。此外,软件优选地被实现为有形地具体化为在程序贮存器单元上的应用程序。该应用程序可以被上传到包括任何适当结构的机器上并且由其执行。优选地,该机器被实现在具有硬件的计算机平台上,所述硬件诸如是一个或多个中央处理器单元(“CPU”)、随机存取存储器(“RAM”)以及输入/输出(“I/O”)接口。该计算机平台也可以包括操作***和微指令代码。在这里描述的各种处理和功能可以是能由CPU执行的微指令代码的一部分或者应用程序的一部分,或者它们的任意组合。此外,其它各种***单元可以被连接到该计算机平台,诸如附加的数据贮存器单元和打印单元。
还应当理解,由于在附图中描绘的某些组成***元件和方法优选地以软件方式来实现,因此该***元件或该处理功能块之间的实际连接可能不同,这取决于本发明被规划的方式。这里给出教导,相关领域的普通技术人员将能够设想本发明的这些和类似的实现或者配置。
尽管这里参考附图描述了说明性的实施例,但是应当理解,本发明不限于这些精确的实施例,并且相关领域的普通技术人员可以在其中实行各种变化和修改而不脱离本发明的范围或精神。打算将所有这样的变化和修改包括在所附权利要求中提出的本发明的范围内。

Claims (20)

1.一种编码用于图像块的视频信号数据的方法(200),该方法包括:
接收(212)基本上未压缩的图像块;
与至少一个特定参考图片相对应地块匹配(214)该图像块,同时根据所述图像块象素的归一化相对于所述参考图片象素的归一化的比较来排除非最佳搜索点;
计算(216)相应于所述图像块和所述至少一个特定参考图片之间差异的运动矢量;以及
与所述运动矢量相对应地对该至少一个特定参考图片进行运动补偿(218)。
2.如在权利要求1中定义的方法(200),其中计算运动矢量包括:
在搜索区域中测试在关于该图像块的偏移的预定范围内的位移,同时根据所述图像块象素的归一化相对于所述参考图片象素的归一化的比较来排除非最佳搜索点;
计算所述图像块的每个象素与经运动补偿的参考图片之间的绝对差的和、方差的和、以及均方误差中的至少一个;以及
选择具有最低的计算出的绝对差和、方差和或者均方误差的偏移作为所述运动矢量。
3.如在权利要求1中定义的方法(200),其中块匹配包括:
存储所述当前图片的归一化;以及
当所述当前图片被用作参考图片用于编码另一个图片时,重用所存储的归一化。
4.如在权利要求1中定义的方法(200),其中块匹配包括:
存储最小块尺寸的归一化;以及
对于更大的块尺寸重用所存储的归一化。
5.一种处理用于图像块的视频信号数据的方法,该方法包括如在权利要求1中定义的编码(200)以及译码(300),所述译码包括:
接收(312、314)带有用于所述图像块的数据的至少一个参考图片索引,每个索引对应于一个特定的参考图片;
检索(318)对应于所接收的至少一个参考图片索引中每一个索引的参考图片;以及
对所检索到的参考图片进行运动补偿(320)以形成经运动补偿的参考图片。
6.如在权利要求5中定义的方法(200、300),还包括添加所述经运动补偿的参考图片到用于所述图像块的数据中以预测该图像块。
7.如在权利要求6中定义的方法(200、300),还包括将所述预测的图像块存储为参考图片以用于将来的检索。
8.如在权利要求5中定义的方法(200、300),其中所述视频信号数据是包括块变换系数的流播视频信号数据。
9.一种视频编译码器,包括如在权利要求1中定义的视频编码器(100)以及视频译码器(400),该视频译码器译码用于图像块的视频信号数据和至少一个特定的参考图片索引以预测所述图像块,所述译码器包括一个运动补偿器(460),该运动补偿器具有输出用于确定相应于所述特定参考图片索引的块。
10.如在权利要求9中定义的视频编译码器(100、400),还包括一个与所述运动补偿器(460)进行信号通信的可变长度译码器(410),其用于提供所述特定参考图片索引给该运动补偿器。
11.如在权利要求9中定义的视频编译码器(100、400),其中所述运动补偿器(460)用于响应于快速搜索块运动估计器(180)而提供经运动补偿的参考图片。
12.如在权利要求9中定义的视频编译码器(100、400),其中所述视频信号数据是包括块变换系数的流播视频信号数据。
13.一种相对至少一个特定参考图片来编码用于图像块的视频信号数据的视频编码器(100),该编码器包括快速搜索块运动估计器(180),用于提供相应于所述至少一个特定参考图片的运动矢量,该运动估计器包括一个快速搜索块匹配部分,用于执行快速搜索块匹配,同时根据所述图像块象素的归一化相对于所述参考图片象素的归一化的比较来排除非最佳搜索点,所述快速搜索块匹配部分具有响应于所述至少一个特定参考图片的输出。
14.如在权利要求13中定义的视频编码器(100),其中所述快速搜索块匹配部分包括数据重用部分和逐次消元部分中的至少一个。
15.如在权利要求13中定义的视频编码器(100),其中所述快速搜索块匹配部分包括一个数据重用部分,该部分适于存储所述当前图片的归一化、并且当所述当前图片被用作参考图片用于编码另一个图片时重用所存储的归一化。
16.如在权利要求13中定义的视频编码器(100),其中所述快速搜索块匹配部分包括一个数据重用部分,该部分适合于存储最小块尺寸的归一化、并且对于更大的块尺寸重用所存储的归一化。
17.如在权利要求13中定义的视频编码器(100),其中所述快速搜索块匹配部分包括绝对差和计算器、方差和计算器、以及均方误差计算器中的至少一个以用于执行归一化。
18.如在权利要求13中定义的视频编码器(100),还包括一个与所述快速搜索块运动估计器(180)进行信号通信的参考图片贮存器(170),用于提供所述至少一个特定参考图片和相应的特定参考图片索引。
19.如在权利要求18中定义的视频编码器(100),还包括一个与所述参考图片贮存器(170)进行信号通信的可变长度编码器(140),用于编码所述相应于该至少一个特定参考图片的特定参考图片索引。
20.如在权利要求13中定义的视频编码器(100),还包括与所述快速搜索块运动估计器(180)进行信号通信的运动补偿器(190),用于响应于所述快速搜索块运动估计器而提供经运动补偿的参考图片。
CNB2004800204338A 2003-07-15 2004-03-02 利用快速搜索块匹配的运动估计 Expired - Lifetime CN100555253C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US48745803P 2003-07-15 2003-07-15
US60/487,458 2003-07-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2008101700180A Division CN101394563B (zh) 2003-07-15 2004-03-02 具有利用快速搜索块匹配的运动估计器的视频编码器

Publications (2)

Publication Number Publication Date
CN1823328A true CN1823328A (zh) 2006-08-23
CN100555253C CN100555253C (zh) 2009-10-28

Family

ID=34193069

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2004800204338A Expired - Lifetime CN100555253C (zh) 2003-07-15 2004-03-02 利用快速搜索块匹配的运动估计
CN2008101700180A Expired - Fee Related CN101394563B (zh) 2003-07-15 2004-03-02 具有利用快速搜索块匹配的运动估计器的视频编码器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008101700180A Expired - Fee Related CN101394563B (zh) 2003-07-15 2004-03-02 具有利用快速搜索块匹配的运动估计器的视频编码器

Country Status (9)

Country Link
US (1) US7523234B2 (zh)
EP (1) EP1644835A4 (zh)
JP (1) JP2007531345A (zh)
KR (1) KR20060037352A (zh)
CN (2) CN100555253C (zh)
BR (1) BRPI0412539A (zh)
MX (1) MXPA06000555A (zh)
MY (1) MY141139A (zh)
WO (1) WO2005017759A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115206B (zh) * 2007-08-30 2011-01-19 四川长虹电器股份有限公司 视频编码运动估计中标志位的设定方法
CN104683816A (zh) * 2013-11-26 2015-06-03 Vixs***公司 利用移动窗口进行运动补偿的方法和设备
CN105284110A (zh) * 2013-07-31 2016-01-27 松下电器(美国)知识产权公司 图像编码方法及图像编码装置
CN106572354A (zh) * 2015-10-09 2017-04-19 腾讯科技(北京)有限公司 基于图像块的搜索匹配方法、***及视频处理设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101000609B1 (ko) 2002-08-08 2010-12-10 파나소닉 주식회사 동화상의 부호화 방법 및 복호화 방법
BRPI0413979A (pt) * 2003-08-26 2006-11-07 Thomson Licensing método e aparelho para minimizar o número de imagens de referência usadas para inter-codificação
US7496736B2 (en) * 2004-08-27 2009-02-24 Siamack Haghighi Method of efficient digital processing of multi-dimensional data
TWI304303B (en) * 2006-01-04 2008-12-11 Sunplus Technology Co Ltd Apparatus for image encoding and the method thereof
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
US8213509B2 (en) 2006-10-06 2012-07-03 Calos Fund Limited Liability Company Video coding on parallel processing systems
US20080126278A1 (en) * 2006-11-29 2008-05-29 Alexander Bronstein Parallel processing motion estimation for H.264 video codec
US8144780B2 (en) * 2007-09-24 2012-03-27 Microsoft Corporation Detecting visual gestural patterns
US8655862B1 (en) * 2007-10-17 2014-02-18 Google Inc. System and method for query re-issue in search engines
US8363727B2 (en) * 2008-09-30 2013-01-29 Microsoft Corporation Techniques to perform fast motion estimation
JP2011035569A (ja) * 2009-07-30 2011-02-17 Fujitsu Ltd 動きベクトル検出装置及び動きベクトル検出方法
KR101935620B1 (ko) 2011-04-12 2019-01-04 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호화 방법, 동화상 복호화 장치, 및 동화상 부호화 복호화 장치
ES2959039T3 (es) * 2011-05-27 2024-02-19 Sun Patent Trust Aparato, procedimiento y programa para codificar imágenes en movimiento
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
CN107257483B (zh) 2011-05-31 2020-01-21 太阳专利托管公司 运动图像编码方法、运动图像编码装置
US20130003850A1 (en) 2011-06-30 2013-01-03 Toshiyasu Sugio Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN103718558B (zh) 2011-08-03 2017-04-19 太阳专利托管公司 运动图像编码方法及装置、解码方法及装置和编解码装置
WO2013057877A1 (ja) 2011-10-19 2013-04-25 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6099594A (en) * 1993-02-03 1994-08-29 Qualcomm Incorporated Interframe video encoding and decoding system
US5682209A (en) 1995-11-13 1997-10-28 Tektronix, Inc. Motion estimation using limited-time early exit with prequalification matrices and a predicted search center
US6269174B1 (en) * 1997-10-28 2001-07-31 Ligos Corporation Apparatus and method for fast motion estimation
US6363117B1 (en) * 1998-12-31 2002-03-26 Sony Corporation Video compression using fast block motion estimation
CN1147159C (zh) * 1999-04-27 2004-04-21 三星电子株式会社 实时运动图像编码的高速运动估计方法及其装置
KR100601618B1 (ko) * 1999-08-27 2006-07-14 삼성전자주식회사 계층적 움직임 추정기를 위한 최적의 데이터 공급장치 및 그방법
KR100677082B1 (ko) * 2000-01-27 2007-02-01 삼성전자주식회사 움직임 추정기
US6757330B1 (en) * 2000-06-01 2004-06-29 Hewlett-Packard Development Company, L.P. Efficient implementation of half-pixel motion prediction
US6563874B1 (en) * 2000-06-23 2003-05-13 Hitachi America, Ltd. Fast search method for motion estimation
CN1159919C (zh) * 2000-07-28 2004-07-28 三星电子株式会社 运动估计方法
CN1156168C (zh) * 2001-01-12 2004-06-30 北京航空航天大学 快速视频运动估计方法
JP3860435B2 (ja) * 2001-07-02 2006-12-20 日本電信電話株式会社 動画像符号化装置及び方法と、動画像符号化処理用プログラム及びそのプログラムの記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115206B (zh) * 2007-08-30 2011-01-19 四川长虹电器股份有限公司 视频编码运动估计中标志位的设定方法
CN105284110A (zh) * 2013-07-31 2016-01-27 松下电器(美国)知识产权公司 图像编码方法及图像编码装置
CN105284110B (zh) * 2013-07-31 2019-04-23 太阳专利托管公司 图像编码方法及图像编码装置
CN104683816A (zh) * 2013-11-26 2015-06-03 Vixs***公司 利用移动窗口进行运动补偿的方法和设备
CN106572354A (zh) * 2015-10-09 2017-04-19 腾讯科技(北京)有限公司 基于图像块的搜索匹配方法、***及视频处理设备
CN106572354B (zh) * 2015-10-09 2021-10-15 腾讯科技(北京)有限公司 基于图像块的搜索匹配方法、***及视频处理设备

Also Published As

Publication number Publication date
JP2007531345A (ja) 2007-11-01
US20060165175A1 (en) 2006-07-27
MXPA06000555A (es) 2006-07-10
MY141139A (en) 2010-03-15
KR20060037352A (ko) 2006-05-03
WO2005017759A1 (en) 2005-02-24
CN101394563B (zh) 2011-10-19
CN101394563A (zh) 2009-03-25
EP1644835A4 (en) 2011-12-07
EP1644835A1 (en) 2006-04-12
US7523234B2 (en) 2009-04-21
CN100555253C (zh) 2009-10-28
BRPI0412539A (pt) 2006-09-19

Similar Documents

Publication Publication Date Title
CN1823328A (zh) 利用快速搜索块匹配的运动估计
CN1160965C (zh) 运动图象编码串变换装置及其方法
US6438168B2 (en) Bandwidth scaling of a compressed video stream
CN1071526C (zh) 图象数据的自适应可变长度编码和译码方法
US8467448B2 (en) Apparatus and method for fast intra/inter macro-block mode decision for video encoding
CN1240227C (zh) 图像编码方法以及图像编码装置
JP4787100B2 (ja) 画像符号化装置
CN1270543C (zh) 用于以固定的计算复杂度编码活动图象的方法
US20120320992A1 (en) Enhancing compression quality using alternate reference frame
CN1906948A (zh) 利用旋转匹配预测运动的图像编码设备和方法
CN1921628A (zh) 一种运动矢量检测装置及运动矢量检测方法
CN1933601A (zh) 用于无损视频编码和解码的方法及设备
CN1596422A (zh) 用于估算压缩视频数据客观质量的方法和***
CN1675848A (zh) 用于执行高质量快速预测运动搜索的方法和设备
CN101039434A (zh) 视频编码装置
CN1949877A (zh) 自适应量化控制器及其方法
CN103327325A (zh) 基于hevc标准的帧内预测模式快速自适应选择方法
CN1144469C (zh) 编码和解码图像中的像素的运动向量的方法
CN1295696A (zh) 压缩和解压缩图象
CN1122247C (zh) 运动补偿预测方法及使用该方法的编码器和解码器
CN1232125C (zh) 通过参考离散余弦变换系数来估计运动的方法及其装置
CN1134171C (zh) 信号编码设备和方法
CN1615020A (zh) 一种复杂度可分级的帧内预测方法
CN1430419A (zh) 代码转换器和代码转换方法
CN1518365A (zh) 噪声估计方法和设备、以及利用其编码视频的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING S.A.

Address before: French Boulogne Billancourt

Patentee before: THOMSON LICENSING S.A.

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190124

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190124

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING S.A.

TR01 Transfer of patent right
CX01 Expiry of patent term

Granted publication date: 20091028

CX01 Expiry of patent term