CN100576914C - 用于估计当前运动矢量的单元和方法 - Google Patents

用于估计当前运动矢量的单元和方法 Download PDF

Info

Publication number
CN100576914C
CN100576914C CN02827218A CN02827218A CN100576914C CN 100576914 C CN100576914 C CN 100576914C CN 02827218 A CN02827218 A CN 02827218A CN 02827218 A CN02827218 A CN 02827218A CN 100576914 C CN100576914 C CN 100576914C
Authority
CN
China
Prior art keywords
motion vector
candidate
group
vector
estimation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN02827218A
Other languages
English (en)
Other versions
CN1615652A (zh
Inventor
G·J·赫克斯特拉
S·O·米坦斯
P·H·N·德维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8185538&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN100576914(C) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1615652A publication Critical patent/CN1615652A/zh
Application granted granted Critical
Publication of CN100576914C publication Critical patent/CN100576914C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于估计当前运动矢量的运动估计单元(500),该运动估计单元(500)包括:匹配误差单元(506),用于计算相应候选运动矢量的匹配误差;以及选择器(508),用于通过将相应候选运动矢量的匹配误差进行比较,从候选运动矢量中选择当前运动矢量。从先前估计的运动矢量中提取某些候选运动矢量。根据从该组先前估计的运动矢量中选择的多个运动矢量,计算其它候选运动矢量。

Description

用于估计当前运动矢量的单元和方法
技术领域
本发明涉及一种用于对图像的一组像素估计当前运动矢量的运动估计单元,该运动估计单元包括:
生成装置,用于对该组像素产生一组候选运动矢量,其中该候选运动矢量从一组先前估计的运动矢量中提取的;
匹配误差单元,用于计算相应候选运动矢量的匹配误差;以及
选择器,用于通过将相应候选运动矢量的匹配误差进行比较,从候选运动矢量中选择当前运动矢量。
本发明还涉及一种用于对图像中的一组像素估计当前运动矢量的方法,该方法包括:
生成步骤,用于对该组像素产生一组候选运动矢量,其中该候选运动矢量是从一组先前估计的运动矢量中提取的;
匹配误差步骤,用于计算相应候选运动矢量的匹配误差;以及
选择步骤,用于通过将相应候选运动矢量的匹配误差进行比较,从候选运动矢量中选择当前运动矢量。
本发明还涉及一种图像处理设备,该图像处理设备包括:
接收装置,用于接收表示图像的信号;
这种运动估计单元;以及
运动补偿图像处理单元,用于根据图像和运动估计单元的输出,计算处理的图像。
本发明还涉及一种解码器,该解码器包括:
这种运动估计单元;
离散余弦变换器;
量化器;以及
运行电平解码器。
背景技术
从文章“True-Motion Estimation with 3-D Recursive SearchBlock Matching”by G.De Haan et.al.in IEEE Transactions oncircuit and systems for video technology,vol.3,no.5,October 1993,pages 368-379中可以得知开头一段描述的这种方法的实施例。
对于视频信号处理方面的许多应用,均需要知道序列图像的视在速度场,即,光流。利用时变运动矢量场,即每个图像对一个运动矢量场表示该光流。注意一个图像可能是若干图像对的一部分。在所引用的文章中,通过将图像分割为块,估计该运动矢量场。对于每块的一组候选运动矢量,计算匹配误差,而且在最小化过程中利用该匹配误差从图像块的一组候选运动矢量中寻找最适当运动矢量。匹配误差相当于SAD:当前一块图像块上的像素与被运动矢量移位的一块基准图像上的像素之间的绝对亮度差之和。如果基准图像与当前图像直接互相相继出现,则可以如下计算SAD:
SAD ( x , y , d x , d y , n ) : = Σ i = 0 N Σ j = 0 M | Y ( x + i , y + j , n ) - Y ( x + d x + i , y + d y + j , n + 1 ) | . . . ( 1 )
其中(x,y)是块的位置,(dx,dy)是运动矢量,n是图像号,N和M是块的宽度和高度,Y(x,y,n)是位于图像n的位置(x,y)的像素的亮度。
该组候选运动矢量包括从一组事先估计的运动矢量以及随机运动矢量中提取的运动矢量。该组包括对与所研究的当前运动矢量所属的运动矢量场相同的运动矢量场计算的运动矢量。这些运动矢量被称为“空间候选对象”。该组还可以包括对另一个运动矢量场计算的运动矢量。该后者运动矢量被称为“时间候选对象”。根据几个像素块对应于所成像的场景内的同一个物体的假设,对所研究的当前像素块选择“空间候选对象”作为运动矢量候选对象。根据所成像的场景内的物体以匀速运动的假设,对所研究的当前像素块选择“时间候选对象”作为运动矢量候选对象。然而,这两个假设并不始终成立。因此,发现运动矢量场内的适当运动矢量的收敛性并不是最佳的。
发明内容
本发明的目的是提供一种开头一段描述的这种运动估计单元,在发现运动矢量场内的适当运动矢量的过程中,该运动估计单元以较快速度收敛。
通过设置该运动估计单元,以根据均属于该组先前估计的运动矢量的第一运动矢量和第二运动矢量,计算另外候选运动矢量,从而将另外候选运动矢量附加到该组候选运动矢量,可以实现本发明的目的。现在,不是仅取可以用于该图像的其它部分或其它图像的运动矢量,而是根据多个运动矢量计算候选运动矢量。
所建议的解决方案的优点是,该解决方案考虑到更多信息,因此可以更精确估计候选运动矢量。所获得的估计精度可以在候选运动矢量的数量与运动估计单元的精度收敛之间形成新的平衡点。这对于可缩放运动估计解决方案有益。
另一个优点是,可以考虑不同的运动模型。这些运动模型的例子是最近的速度、最近的加速度、图像缩放或旋转。为了计算候选运动矢量,运动模型的类型与所使用的先前估计运动矢量有关。第一运动矢量和第二运动矢量可以属于同一个运动矢量场。但是,第一运动矢量和第二运动矢量优先属于不同运动矢量场。
为了计算当前运动矢量而测试的一组候选运动矢量包括:
“空间候选对象”,从该组先前估计运动矢量中提取;
“时间候选对象”,从该组先前估计运动矢量中提取;
“多时间候选对象”,是根据从该组先前估计运动矢量中提取的多个“时间候选对象”计算的;
“多空间候选对象”,是根据从该组先前估计运动矢量中提取的多个“空间候选对象”计算的;以及
随机运动矢量。
在根据本发明的运动估计单元的实施例中,设置选择器,以便在相应匹配误差是最小匹配误差时,从该组候选运动矢量中选择特定运动矢量作为当前运动矢量。这是一种从该组候选运动矢量中选择当前运动矢量的较简单方法。
在根据本发明的运动估计单元的实施例中,设计匹配误差单元,以便通过减去第一图像对中相应图像的像素块上的各像素的亮度值,计算匹配误差中的第一匹配误差。在这种情况下,该组像素对应于像素块。优先计算亮度绝对差值之和(SAD)。SAD是可以以较快速度计算的、用于相关的较可靠测量值。
在根据本发明的运动估计单元的实施例中,第一运动矢量属于第一正向运动矢量场,而第二运动矢量属于第二正向运动矢量场,其中第一正向运动矢量场与第二正向运动矢量场不同。正向运动矢量包括通过将当前图像的像素块与是当前图像的后继图像的基准图像的像素块进行比较,计算的运动矢量。请注意,后继图像并不意味着在当前图像与基准图像之间不存在其它图像。假设一系列图像分别包括:图像0、图像1、图像2和图像3。利用图像0作为当前图像:V(0,1),即利用图像1作为基准图像,利用图像0作为当前图像:V(0,2),即利用图像2作为基准图像,以及利用图像0作为当前图像:V(0,3),即利用图像3作为基准图像,可以计算后续正向运动矢量。尽管所建议的通用解决方案可以对运动矢量场进行任何计算,但是中心问题是容易实现、成本低、单元与单元的操作,即另外候选运动矢量基于先前计算的两个运动矢量。例如:
通过使第二运动矢量减去第一运动矢量,计算另外候选运动矢量;
通过使第一运动矢量减去第二运动矢量,计算另外候选运动矢量;以及
通过使第二运动矢量乘以预定常数,然后减去第一运动矢量,计算另外候选运动矢量。通过求和可以执行使运动矢量乘以预定常数。
在根据本发明的运动估计单元的实施例中,第一运动矢量属于第四正向运动矢量场,而第二运动矢量属于反向运动矢量场。反向运动矢量包括通过将当前图像的像素块与是当前图像的先前图像的基准图像的像素块进行比较,计算的运动矢量。请注意,先前并不意味着在当前图像与基准图像之间不存在其它图像。假设一系列图像分别包括:图像0、图像1、图像2和图像3。利用图像3作为当前图像:V(3,2),即利用图2作为基准图像,利用图像3作为当前图像:V(3,1),即利用图像1作为基准图像,以及利用图像3作为当前图像:V(3,0),即利用图像0作为基准图像,可以计算后续反向运动矢量。另外候选运动矢量可以基于先前计算的两个运动矢量。例如,通过使第一运动矢量乘以预定常数,然后求与第二运动矢量的和,计算另外候选运动矢量。将正向运动矢量场与反向运动矢量场中的各运动矢量组合在一起的优点是,可以应用对应于与当前图像具有较小时间差的图像的运动矢量。
在视频编码器,例如MPEG编码器内应用根据本发明的运动估计单元的实施例是有利的。特别是在MPEG编码器中,通常对图像计算多个运动矢量场。临时存储这些运动矢量场。利用一部分该多个运动矢量场计算候选运动矢量是有利的。在MPEG编码器中,已知通过缩放一个先前估计的运动矢量,计算候选运动矢量。在某些情况下,与缩放运动矢量相比,计算多时间估计值的计算过程较简单。而缩放过程需要与复杂因数进行乘法运算(难以以简单的二进制移位和加法运算的方式进行分解),利用简单的移位和加法运算,可以计算多时间候选运动矢量。修改和变更该编码器相当于修改和变更上述运动估计单元。
根据两个或者更多个先前估计的运动矢量,可以计算多时间候选对象。多时间候选对象的计算方式取决于可以使用哪个先前估计运动矢量。利用当前图像与可用先前估计运动矢量之间的时间差,控制计算方式。可以对选择先前估计运动矢量产生影响的另一个参数是先前估计运动矢量的匹配误差。还与视在运动模型的知识有关。
将根据本发明的运动估计单元的实施例应用于开头一段描述的图像处理设备是有利的。该图像处理设备可以包括附加部件,例如用于显示处理图像的显示装置,或用于存储处理图像的存储装置。运动补偿图像处理单元可以支持下面的一种或者多种图像处理方式:
去交织:交织是用于交替发送奇数图像扫描线或偶数图像扫描线的公用视频广播过程。去交织试图恢复全部垂直分辨率,即,使奇数扫描线和偶数扫描线同时对每个图像可用;
上变换:根据一系列原始输入图像,计算更大的一系列输出图像。输出图像在时间上位于两个原始输入图像之间;以及
减少时间噪声。这还可以包括空间处理,从而降低空间-时间噪声。
图像处理设备的修改和变更可以对应于上述运动估计单元的修改和变更。
附图说明
根据下面参考附图所描述的实现过程和实施例,根据本发明的运动估计单元、编码器、方法和图像处理设备的这些以及其它方面更加明显而且更加容易理解,附图包括:
图1示出多个连续图像与运动矢量之间关系的原理图;
图2A、2B、2C和2D示出属于运动物体的运动矢量之间关系的例子的原理图,以说明利用两个先前估计的运动矢量可以计算多时间候选运动矢量;
图3示出在MPEG编码中已知的运动矢量与多个连续画面之间关系的原理图;
图4示出部分运动矢量场的原理图;
图5示出根据本发明的运动估计单元的实施例的原理图;
图6示出根据本发明、包括运动估计单元的视频编码器的实施例的原理图;
图7示出根据本发明、包括运动估计单元的图像处理设备的各单元的原理图。
在所有附图中,相应的参考编号具有相同的意义。
具体实施方式
图1示出多个连续图像0、1、2、3、4、5与具有c∈{0,3}和r∈(0,1,2,3,4,5)的运动矢量V(c,r)之间关系的原理图;下面说明语法。例如,利用V(0,1)表示与包括图像0和图像1的图像对有关的正向运动矢量表示。利用V(3,2)表示与包括图像2和图像3的图像对有关的反向运动矢量。原则上,c和r也可以具有其它值。
图2A示出属于运动物体200的运动矢量之间关系的例子的原理图。它用于说明利用两个先前估计的运动矢量可以计算多时间候选运动矢量
Figure C0282721800111
假设已经估计了下面的运动矢量:V(0,2)和V(0,3)。现在,必须计算多时间候选运动矢量
Figure C0282721800112
这可以利用等式2实现:
V ~ ( 3,4 ) = V ( 0,3 ) - V ( 0,2 ) - - - ( 2 )
这意味着,
Figure C0282721800114
是通过减去两个前面的正向运动矢量计算的外推运动矢量。
图2B示出属于运动物体200的运动矢量之间关系的另一个例子的原理图。假设已经估计了下面的运动矢量:V(3,4)和V(3,2)。现在,必须计算多时间候选运动矢量这可以利用等式3实现:
V ~ ( 3,5 ) = 3 V ( 3,4 ) - V ( 3,2 ) - - - ( 3 )
这意味着,
Figure C0282721800122
是通过将正向运动矢量乘以预定常数后与反向运动矢量相加计算的外推运动矢量。
图2C示出属于运动物体200的运动矢量之间关系的另一个例子的原理图。假设已经估计了下面的运动矢量:V(0,2)和V(0,1)。现在,必须计算多时间候选运动矢量
Figure C0282721800123
这可以利用等式4实现:
V ~ ( 0,3 ) = 2 V ( 0,4 ) - V ( 0,1 ) - - - ( 4 )
这意味着,
Figure C0282721800125
是通过将已经乘以预定常数的另一个正向运动矢量减去正向运动矢量计算的外推运动矢量。
图2D示出属于运动物体200的运动矢量之间关系的另一个例子的原理图。假设已经估计了下面的运动矢量:V(0,2)和V(0,3)。现在,必须计算多时间候选运动矢量
Figure C0282721800126
这可以利用等式5实
V ~ ( 3,2 ) = V ( 0,2 ) - V ( 0,3 ) - - - ( 5 )
这意味着,是通过将另一个正向运动矢量减去正向运动矢量计算的外推运动矢量。
图3示出在MPEG编码中已知的运动矢量与多个连续画面IBBPBB之间关系的原理图。在MPEG中,有I画面、P画面和B画面。I画面和P画面均用作基准图像。根据先前基准图像正向预测P画面。根据先前基准图像和未来基准图像,双向预测B画面。一组画面(GOP)包括(I/P)BB...B(I/P)形式的子组k。请注意,在图3中,假设k=2。利用M1和M2表示类似于GOP的预测深度M的、子组1或子组2内的画面数量。通常,不必固定Mk。替换语法可以用于该运动矢量。利用fi k表示用于预测第k子组中的第i个画面的正向运动矢量。利用bi k表示反向运动矢量。
接着,广义化结合图2A、图2B、图2C和图2D描述的例子。对它们使用替换语法。假定Mk=Mk-1=3。等式(2)被广义化为:
f ~ I k = f ~ M k - 1 k - 1 - f m k - 1 - 1 k - 1 - - - ( 6 )
下面的运动模型是“最近的速度”。在这种情况下,属于另一个子组的运动矢量用于计算多时间候选运动矢量。请注意,考虑到可以应用于图3的假设,产生:
f ~ I 2 = f 3 1 - f 2 1 - - - ( 7 )
这与图2A所示的例子对应。
等式(3)被广义化为:
f ~ 2 k = 3 f 1 k - b m k - 1 - 1 k - 1 - - - ( 8 )
下面的运动模型是“最近的加速度”。在这种情况下,属于另一个子组的运动矢量与同一个子组内的运动矢量一起用于计算多时间候选运动矢量。请注意,考虑到可以应用于图3的假设,产生:
f ~ 2 2 = 3 f 1 2 + b 2 1 - - - ( 9 )
这与图2B所示的例子对应。
等式(4)被广义化为:
f ~ i k = 2 f i - 1 k - f i - 2 k - - - ( 10 )
下面的运动模型是“最近的速度”。在这种情况下,属于同一个子组的运动矢量用于计算多时间候选运动矢量。假设i=3。考虑到可以应用于图3的假设,产生:
f ~ 3 2 = 2 f 2 2 - f 1 2 - - - ( 11 )
这与图2C所示的例子对应。
等式(5)被广义化为:
b ~ i k = f i k - f M k k - - - ( 12 )
在这种情况下,利用属于同一个子组的运动矢量计算多时间候选运动矢量。假设i=2。考虑到可以应用于图3的假设,产生:
b ~ 2 2 = f 2 2 - f 3 2 - - - ( 13 )
这与图2D所示的例子对应。
图4示出包括运动矢量402-410的部分运动矢量场400的原理图。运动矢量场400与图像缩放有关。尽管各种运动矢量402-410不同,但是它们含有共享信息,即运动模型的参数。第一步是从先前计算的运动矢量中提取这些参数。第二步是利用该信息计算候选运动矢量。它表示多空间候选运动矢量。可以根据上述描述的内插和/或外推方法,执行产生该候选运动矢量的过程。
图5示出运动估计单元500的实施例的原理图,运动估计单元500包括:
生成装置502,用于对当前图像的像素块产生一组候选运动矢量;
匹配误差单元506,用于通过求像素块的像素值与基准图像的像素值之间的各绝对差值的和,计算像素块的相应候选运动矢量的匹配误差;
存储器504,用于存储估计的运动矢量和相应匹配误差;以及
选择器508,用于通过将相应候选运动矢量的匹配误差进行比较,从候选运动矢量中选择当前运动矢量。
运动估计单元500的输入包括图像,并将该输入送到输入连接器510。运动估计单元500的输出是运动矢量场,并将该输出送到输出连接器512。下面说明运动估计单元500的行为。首先,生成装置502对像素块产生一组候选运动矢量。该组候选运动矢量包括随机运动矢量或从存储在存储器504内的先前估计运动矢量组中直接提取的运动矢量。但是还设置生成装置502,以根据均属于先前估计的运动矢量组的第一运动矢量和第二运动矢量,计算另外候选运动矢量。根据结合图2A-2D或图3描述的各等式,或者根据结合图4描述的概念,执行该计算过程。在产生了该组候选运动矢量后,匹配误差单元506对这些候选运动矢量计算匹配误差。然后,根据这些匹配误差,选择器508从该组候选运动矢量中选择当前运动矢量。因为其匹配误差具有最低值,选择该当前运动矢量。还将该当前运动矢量存储到存储器504内。
图6示出用于将输入的未压缩序列图像变换为压缩图像的视频编码器600的实施例的原理图。视频编码器600包括:
编码器链602,具有始端和终端,而且依次具有:运动估计器500、离散余弦变换器626、量化器628以及运行电平编码器629;
解码器链616,具有始端和终端,而且依次具有:运行电平编码器623、逆量化器622、运动估计器500、离散余弦逆变换器620以及运动补偿器618;
可变长度编码器634;以及
基准画面池603,用于存储先前基准画面630和未来基准画面632。
通过输入连接器612,将输入的未压缩序列画面输入到视频编码器600。根据宏块(MacroBlock),即16×16像素的块,描述画面编码过程。在每个画面中,以从左到右的顺序,编码宏块。对给定的宏块,选择编码方式。这取决于画面类型和运动补偿预测的有效性。根据编码方式,利用运动估计单元500根据过去和/或未来基准画面运动补偿预测宏块的内容。在基准画面池603中检索这些基准画面。从当前宏块,即未压缩画面中的各像素中减去该预测值,以产生预测误差。请注意,预测误差是像素矩阵。对离散余弦变换器626输入该预测误差,离散余弦变换器626将该预测误差分割为8×8像素块,并对每个8×8像素块进行离散余弦变换。对量化器628输入所获得的二维8×8DCT系数块,量化器628对它们进行量化。量化主要对高频产生影响。人类的视觉***感受不到较高频率的画面失真。运行电平编码器629以Z形发生扫描量化的二维8×8DCT系数块,并将它变换为一维量化DCT系数串。该系数串表示压缩画面。可以将这种压缩画面存储到基准画面池603内,供之后使用,例如用作基准画面。还可以将该压缩画面变换为可变长度编码串。由可变长度编码器634执行该变换过程。除了预测误差,还以同样方式对其它信息,例如画面类型和运动矢量场进行编码。
运动估计过程需要基准画面。先前基准画面和未来基准画面均是由解码器回路616根据压缩画面重构的。在需要时,从基准画面池中检索压缩图像。运行电平解码器623、逆量化器622、离散余弦逆变换器620以及运动补偿器618依次对它们进行处理。这4个单元执行的操作是编码器回路602的4个单元执行的操作的逆操作,但是顺序相反。重构后,将基准画面临时存储到基准画面池603内,用于对后续未压缩画面进行运动估计。
图7示出图像处理设备700的各单元的原理图,图像处理设备700包括:
接收装置702,在进行了某种处理后,用于接收用于表示要显示的图像的信号。该信号可以是通过天线或电缆接收的广播信号,但是也可以是从类似于VCR(盒式磁带录像机)或数字通用光盘(DVD)的存储装置接收的信号。将该信号送到输入连接器706。
运动估计单元500,如上结合图5所述;
运动补偿图像处理单元704;以及
显示装置706,用于显示处理的图像。该显示装置是任选的。
运动补偿图像处理单元706要求图像和运动矢量作为其输入。
应该注意,上面描述的实施例用于说明本发明,而不是用于限定本发明的,而且在所附权利要求所述的范围内,本技术领域内的熟练技术人员可以设计变换实施例。在权利要求中,不应该将设置在括号内的任何参考符号看作是对权利要求的限制。单词“包括”并不排除存在未列在权利要求内的单元或步骤。单词位于单元前面的“一个”并不排除存在多个这种单元。利用包括几个不同单元的硬件以及利用正确编程的计算机,可以实现本发明。在产品权利要求中,枚举了几个装置,利用同一个硬件单元可以实现这些装置。

Claims (14)

1.一种用于对图像中的一组像素估计当前运动矢量的运动估计单元(500),该运动估计单元(500)包括:
生成装置(502),用于对该组像素产生一组候选运动矢量,其中从一组先前估计运动矢量中提取该候选运动矢量;
匹配误差单元(506),用于计算相应候选运动矢量的匹配误差;以及
选择器(508),用于通过将相应候选运动矢量的匹配误差进行比较,从候选运动矢量中选择当前运动矢量,其特征在于,设置运动估计单元(500),以利用所述生成装置(502),通过根据均属于该组先前估计运动矢量的第一运动矢量和第二运动矢量计算该运动矢量,为该组候选运动矢量增加另外候选运动矢量,所述第一运动矢量与所述第二运动矢量属于不同的运动矢量场。
2.根据权利要求1所述的运动估计单元(500),其特征在于,选择器(508)被设置成,如果相应匹配误差是最小匹配误差,则从该组候选运动矢量中选择特定运动矢量作为当前运动矢量。
3.根据权利要求1所述的运动估计单元(500),其特征在于,设计所述匹配误差单元(506),以便通过减去第一图像对中相应图像的像素块上的各像素的亮度值,计算匹配误差中的第一匹配误差。
4.根据权利要求1所述的运动估计单元(500),其特征在于,设计所述生成装置(502),以根据第一运动矢量(V(0,3))和第二运动矢量(V(0,2)),计算另外候选运动矢量,其中第一运动矢量(V(0,3))属于第一正向运动矢量场,而第二运动矢量(V(0,2))属于第二正向运动矢量场,其中第一正向运动矢量场与第二正向运动矢量场不同。
5.根据权利要求4所述的运动估计单元(500),其特征在于,设计所述生成装置(502),以便通过使第一运动矢量,(V(0,3))减去第二运动矢量(V(0,2)),计算另外候选运动矢量。
6.根据权利要求4所述的运动估计单元(500),其特征在于,设计所述生成装置(502),以便通过使第二运动矢量(V(0,2))减去第一运动矢量(V(0,3)),计算另外候选运动矢量。
7.根据权利要求1所述的运动估计单元(500),其特征在于,设计所述生成装置(502),以根据第一运动矢量(V(0,1))和第二运动矢量(V(0,2)),计算另外候选运动矢量,其中第二运动矢量(V(0,2))属于第二正向运动矢量场,而第一运动矢量(V(0,1))属于第三正向运动矢量场,其中第二正向运动矢量场与第三正向运动矢量场不同。
8.根据权利要求7所述的运动估计单元(500),其特征在于,设计所述生成装置(502),以便通过使第二运动矢量(V(0,2))乘以预定常数,然后减去第一运动矢量(V(0,1)),计算另外候选运动矢量。
9.根据权利要求1所述的运动估计单元(500),其特征在于,设计所述生成装置(502),以根据第一运动矢量(V(3,4))和第二运动矢量(V(3,2)),计算另外候选运动矢量,其中第一运动矢量(V(3,4))属于第四正向运动矢量场,而第二运动矢量(V(3,2))属于第一反向运动矢量场。
10.根据权利要求9所述的运动估计单元(500),其特征在于,设计所述生成装置(502),以便通过使第一运动矢量(V(3,4))乘以预定常数,然后求与第二运动矢量(V(3,2))的和,计算另外候选运动矢量。
11.根据权利要求1所述的运动估计单元(500),其特征在于,设计所述生成装置(502),以根据第一运动矢量(404)和第二运动矢量(408),计算另外候选运动矢量(410),其中第一运动矢量(404)和第二运动矢量(408)均属于特定运动矢量场(400)。
12.一种用于对图像中的一组像素估计当前运动矢量的方法,该方法包括:
生成步骤,用于对该组像素产生一组候选运动矢量,其中从一组先前估计运动矢量中提取该候选运动矢量;
匹配误差步骤,用于计算相应候选运动矢量的匹配误差;以及
选择步骤,用于通过将相应候选运动矢量的匹配误差进行比较,从候选运动矢量中选择当前运动矢量,
其特征在于,在该方法中,利用所述生成步骤,通过根据均属于该组先前估计运动矢量的第一运动矢量和第二运动矢量计算该运动矢量,为该组候选运动矢量增加另外候选运动矢量,所述第一运动矢量与所述第二运动矢量属于不同的运动矢量场。
13.一种解码器(600),该解码器(600)包括:离散余弦变换器(626)、量化器(628)、运行电平解码器(629)以及用于对图像中的一组像素估计当前运动矢量的运动估计单元(500),该运动估计单元(500)包括:
生成装置(502),用于对该组像素产生一组候选运动矢量,其中从一组先前估计运动矢量中提取该候选运动矢量;
匹配误差单元(506),用于计算相应候选运动矢量的匹配误差;以及
选择器(508),用于通过将相应候选运动矢量的匹配误差进行比较,从候选运动矢量中选择当前运动矢量,
其特征在于,设置运动估计单元(500),以利用所述生成装置(502),通过根据均属于该组先前估计运动矢量的第一运动矢量和第二运动矢量计算该运动矢量,为该组候选运动矢量增加另外候选运动矢量,所述第一运动矢量与所述第二运动矢量属于不同的运动矢量场。
14.一种图像处理设备(700),该图像处理设备(700)包括:
接收装置(702),用于接收表示图像的信号;
运动估计单元(500),用于对所述图像中第一图像的一组像素估计当前运动矢量,该运动估计单元(500)包括:
生成装置(502),用于对该组像素产生一组候选运动矢量,其中从一组先前估计运动矢量中提取候选运动矢量;
匹配误差单元(506),用于计算相应候选运动矢量的匹配误差;以及
选择器(508),用于通过将相应候选运动矢量的匹配误差进行比较,从候选运动矢量中选择当前运动矢量;以及
运动补偿图像处理单元,用于根据图像和当前运动矢量,计算处理的图像,
其特征在于,设置运动估计单元(500),以利用所述生成装置(502),通过根据均属于该组先前估计运动矢量的第一运动矢量和第二运动矢量计算该运动矢量,为该组候选运动矢量增加另外候选运动矢量,所述第一运动矢量与所述第二运动矢量属于不同的运动矢量场。
CN02827218A 2002-01-17 2002-12-12 用于估计当前运动矢量的单元和方法 Expired - Fee Related CN100576914C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02075179 2002-01-17
EP02075179.8 2002-01-17

Publications (2)

Publication Number Publication Date
CN1615652A CN1615652A (zh) 2005-05-11
CN100576914C true CN100576914C (zh) 2009-12-30

Family

ID=8185538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN02827218A Expired - Fee Related CN100576914C (zh) 2002-01-17 2002-12-12 用于估计当前运动矢量的单元和方法

Country Status (9)

Country Link
US (1) US8073054B2 (zh)
EP (1) EP1472881B1 (zh)
JP (1) JP2005515728A (zh)
KR (1) KR100955414B1 (zh)
CN (1) CN100576914C (zh)
AT (1) ATE369701T1 (zh)
AU (1) AU2002356364A1 (zh)
DE (1) DE60221711T2 (zh)
WO (1) WO2003061293A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100414998C (zh) * 2004-09-29 2008-08-27 腾讯科技(深圳)有限公司 一种视频数据压缩中运动估计的方法
JP4636887B2 (ja) * 2005-01-11 2011-02-23 キヤノン株式会社 光学機器
KR100692600B1 (ko) * 2005-02-22 2007-03-13 삼성전자주식회사 움직임 추정 장치 및 방법
KR20070069615A (ko) * 2005-12-28 2007-07-03 삼성전자주식회사 움직임 추정장치 및 움직임 추정방법
DE102006014625B3 (de) * 2006-03-29 2007-10-25 Siemens Ag Verfahren zur Reduktion von Stufenartefakten in einer Cardio-CT-Darstellung sowie zugehöriges Speichermedium
US20090225227A1 (en) * 2008-03-05 2009-09-10 Panasonic Corporation Motion vector detecting device
JP4883029B2 (ja) * 2008-03-05 2012-02-22 パナソニック株式会社 動きベクトル検出回路、動きベクトル検出装置、及び集積回路
WO2010046854A1 (en) 2008-10-22 2010-04-29 Nxp B.V. Device and method for motion estimation and compensation
US8179984B2 (en) * 2008-11-12 2012-05-15 Mediatek Inc. Multifunctional transmitters
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
CN101754023B (zh) * 2009-11-27 2012-09-12 电子科技大学 一种图像压缩的运动估计方法
CN102595110B (zh) * 2011-01-10 2015-04-29 华为技术有限公司 视频编码方法、解码方法及终端
CN107493474B (zh) * 2011-11-08 2021-01-12 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN102946523B (zh) * 2012-10-31 2016-04-27 江苏省电力公司信息通信分公司 基于clg和avs的无人值守变电站监控视频的去隔行方法
CN107852500B (zh) * 2015-08-24 2020-02-21 华为技术有限公司 运动矢量场编码方法和解码方法、编码和解码装置
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0618471B2 (ja) 1987-11-19 1994-03-09 新神戸電機株式会社 密閉形鉛蓄電池の充電方法及び充電装置
JPH01251628A (ja) 1988-03-31 1989-10-06 Toshiba Corp ボンディング装置
US5072293A (en) 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
JP2930675B2 (ja) 1990-07-18 1999-08-03 沖電気工業株式会社 初期偏位ベクトルを用いた動きベクトルの検出方法
DE4101490C1 (zh) 1991-01-19 1992-02-06 Telenorma Gmbh, 6000 Frankfurt, De
SE469866B (sv) * 1991-04-12 1993-09-27 Dv Sweden Ab Metod för estimering av rörelseinnehåll i videosignaler
US5647049A (en) 1991-05-31 1997-07-08 Kabushiki Kaisha Toshiba Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors
DE69217150T2 (de) 1991-09-30 1997-07-17 Philips Electronics Nv Bewegungsvektorschätzung, Bewegungsbildkodierung- und -speicherung
KR19980702924A (ko) * 1995-03-22 1998-09-05 마누엘쿠베로 다중 프레임에 대한 움직임 결정값의 좌표를 정하기 위한 방법및 장치
JP4159606B2 (ja) * 1996-05-24 2008-10-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き推定
JP2000512091A (ja) * 1996-05-24 2000-09-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動作ベクトル処理
US6577680B2 (en) * 1997-03-12 2003-06-10 Matsushita Electric Industrial Co., Ltd. Video signal coding method and coding device adapted to control code amounts according to the characteristics of pictures
EP0874523B1 (en) * 1997-04-24 2004-03-03 STMicroelectronics S.r.l. Method for motion-estimated and compensated field rate up-conversion (FRU) for video applications, and device for actuating such a method
US6011870A (en) * 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
WO1999016251A1 (en) * 1997-09-23 1999-04-01 Koninklijke Philips Electronics N.V. Motion estimation and motion-compensated interpolation
US5978048A (en) * 1997-09-25 1999-11-02 Daewoo Electronics Co., Inc. Method and apparatus for encoding a motion vector based on the number of valid reference motion vectors
US6317460B1 (en) * 1998-05-12 2001-11-13 Sarnoff Corporation Motion vector generation by temporal interpolation
WO2000034920A1 (en) 1998-12-07 2000-06-15 Koninklijke Philips Electronics N.V. Motion vector estimation
JP2001136533A (ja) * 1999-11-10 2001-05-18 Matsushita Electric Ind Co Ltd 動きベクトル検出装置、動きベクトル検出方法および動きベクトル検出プログラム記録媒体
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
JP3830013B2 (ja) * 2000-03-06 2006-10-04 Kddi株式会社 ディゾルブ画像の符号化装置
DE60210757T2 (de) 2001-03-12 2007-02-08 Koninklijke Philips Electronics N.V. Vorrichtung zur videokodierung und -aufzeichnung
KR100408294B1 (ko) * 2001-09-05 2003-12-01 삼성전자주식회사 저전송율 동영상 부호화에 적합한 움직임 추정 방법
US20040247031A1 (en) * 2002-03-14 2004-12-09 Makoto Hagai Motion vector detection method
JP2004078286A (ja) 2002-08-09 2004-03-11 Sharp Corp 情報端末

Also Published As

Publication number Publication date
CN1615652A (zh) 2005-05-11
EP1472881A1 (en) 2004-11-03
KR100955414B1 (ko) 2010-05-04
AU2002356364A1 (en) 2003-07-30
KR20040075357A (ko) 2004-08-27
JP2005515728A (ja) 2005-05-26
ATE369701T1 (de) 2007-08-15
WO2003061293A1 (en) 2003-07-24
DE60221711D1 (de) 2007-09-20
US20050063467A1 (en) 2005-03-24
EP1472881B1 (en) 2007-08-08
DE60221711T2 (de) 2008-04-30
US8073054B2 (en) 2011-12-06

Similar Documents

Publication Publication Date Title
CN100576914C (zh) 用于估计当前运动矢量的单元和方法
CN101375606B (zh) 视频编码
KR100360206B1 (ko) 화상신호변환장치
JP2010045816A (ja) ビデオ符号化における中間画素高精度高速探索を実現する装置及び方法
US20060291563A1 (en) Interpolation apparatus and method for motion vector compensation
CN108833923A (zh) 视频编码、解码方法、装置、存储介质和计算机设备
KR100246167B1 (ko) 듀얼프라임 움직임 추정시스템 및 방법
CN1131876A (zh) 用于确定所选象素的真运动矢量的方法和装置
US9118927B2 (en) Sub-pixel interpolation and its application in motion compensated encoding of a video signal
CN1112767A (zh) 用于帧抽样视频编码器中检测运动矢量的方法和装置
KR20180037042A (ko) 모션 벡터 필드 코딩 방법 및 디코딩 방법, 및 코딩 및 디코딩 장치들
EP1757103A1 (en) Method of searching for a global motion vector.
CN107360433A (zh) 一种帧间预测编码方法和装置
CN114900691B (zh) 编码方法、编码器及计算机可读存储介质
KR20040047963A (ko) 움직임 예측 유닛 및 방법 및 이러한 움직임 예측 유닛을구비하는 이미지 처리 장치
KR950001947B1 (ko) 패턴처리장치
CN1972450A (zh) 具有任意转换比率的数字视频格式下转换设备及其方法
JPH0678298A (ja) インターレース動画像の動き補償予測装置
CN104937938A (zh) 用于比较两个像素块的方法和设备
JP4483085B2 (ja) 学習装置、適用装置、学習方法および適用方法
US6433828B1 (en) Picture conversion using field-by-field vertical inversion dependent upon the type of picture signal to be outputted
JP3235453B2 (ja) 画像符号化装置
US6463164B1 (en) Motion vector estimation based on statistical features of an image frame
JP3543339B2 (ja) 符号化装置およびその復号装置
JP2596352B2 (ja) 小数精度動きベクトル探索装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090109

Address after: Holland Ian Deho Finn

Applicant after: NXP B.V.

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

ASS Succession or assignment of patent right

Owner name: NXP CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20090109

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: TRIGEMINAL MICROSYSTEMS(FAR EAST) CO., LTD.

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20100925

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20100925

Address after: Grand Cayman, Cayman Islands

Patentee after: Trident microsystem (Far East) Co.,Ltd.

Address before: Holland Ian Deho Finn

Patentee before: NXP B.V.

ASS Succession or assignment of patent right

Owner name: ENTROPY COMMUNICATION CO., LTD.

Free format text: FORMER OWNER: TRIDENT MICROSYSTEMS (FAR EAST) LTD.

Effective date: 20130218

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130218

Address after: California, USA

Patentee after: ENTROPIC COMMUNICATIONS, Inc.

Address before: Grand Cayman, Cayman Islands

Patentee before: Trident microsystem (Far East) Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20091230

Termination date: 20211212

CF01 Termination of patent right due to non-payment of annual fee