CN1075322C - 运动矢量检测装置及方法 - Google Patents

运动矢量检测装置及方法 Download PDF

Info

Publication number
CN1075322C
CN1075322C CN94113730A CN94113730A CN1075322C CN 1075322 C CN1075322 C CN 1075322C CN 94113730 A CN94113730 A CN 94113730A CN 94113730 A CN94113730 A CN 94113730A CN 1075322 C CN1075322 C CN 1075322C
Authority
CN
China
Prior art keywords
mentioned
detection piece
matrix
pixel
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN94113730A
Other languages
English (en)
Other versions
CN1109244A (zh
Inventor
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP24881393A external-priority patent/JP3277417B2/ja
Priority claimed from JP24881593A external-priority patent/JP3277419B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1109244A publication Critical patent/CN1109244A/zh
Application granted granted Critical
Publication of CN1075322C publication Critical patent/CN1075322C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • G06T7/238Analysis of motion using block-matching using non-full search, e.g. three-step search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一个运动矢量是在当前帧的基块和参考帧的检测块之间检测的,它根据来自基块和检测块提取的不变分量和瞬变分量,在参考帧的预定检索范围中移动。不变的(低频)分量可以是该块的象素的平均值,瞬变的(高频)分量可以是该块的象素的标准偏差。基块和检测块分别可以是分段成小块,并且该小块的不变分量可以获得,并进行比较、求和。

Description

运动矢量检测装置及方法
本发明涉及在图象中的块和另一图象中对应的块之间的运动矢量的检测,特别涉及直接减少检测运动矢量需要的运算数目,而同时保持检测运动矢量的精度。
运动矢量在一串数字图象的预测编码中是有用的,它减少了表示一串图象需要的信息总数。例如,活动图象编码专家组(MPEG)国际标准,对于活动图象高效率编码采用正交变换,具体地说,采用离散余弦变换(DCT),和运动补偿的预测编码。
图1表示一个使用运动补偿的预测编码电路的例子。视频当前帧的数字视频数据传送到输入端61,它将数字视频数据提供给运动矢量检测电路62和减法电路63。
运动矢量检测电路62相对于参考帧检测当前帧块的运动矢量,参考帧在时间上可以是当前帧之前的一个帧,并且将运动矢量传送到运动补偿电路64。
帧存储器65适合于贮一个图象,例如前一帧,当运动被补偿时,形成对当前图象的预测,并将这个图象传送到运动补偿电路64。
使用从运动矢量检测电路62加到那里的运动矢量,运动补偿电路64运行到执行从帧存储器65加到那里的图象的运动补偿,并且将运动补偿图象提供给减法电路63和加法电路66。尤其,该电路64将每个图象块移动由相应的运动矢量表示的位置。
减法电路63从当前帧的视频数据中减去由运动补偿电路64接收的运动补偿的前一帧,按照逐个象素,以产生差值数据,并将差值数据加到DCT电路67。
DCT电路67起正交变换差值数据的作用,以产生系数数据,并将系数数据送到量化电路68,量化电路68适合于量化系数数据,并将量化系数数据送到输出端69和反量化电路70。
反量化电路70从量化系数数据中复原系数数据,并将复原的系数数据加到反DCT电路71,反DCT电路71将系数数据变换成解码差值图象数据,并将解码差值图象数据送到加法电路66。
加法电路66把解码差值图象数据加到来自电路64的运动补偿图象数据,以产生解码图象数据,并把解码图象数据加到用于在那里存贮的帧存储器65。
参照图2到4,现在将描述由运动矢量检测电路62执行的运动矢量检测的操作。
运动矢量检测电路62使用一个块匹配方法去检测运动矢量。在块区域方法中,参考帧的检测块在预定检索范围中移动,以识别在预定检索范围中最好匹配当前帧的基块的块。运动矢量是基块的坐标和在参考帧中最好匹配块的坐标之差。
图2A表示包括H水平象素XV垂直行的一个帧的图象,它被分成P象素×Q行的尺寸的块。图2B表示一个块,其中P=5,Q=5,和C表示该块的中心象素。
图3A表示一个具有中心象素C的当前帧的基块和一个具有中心象素C1的参考帧的检测块。检测块配置在最好匹配当前帧的基块的参考帧的块处。如图3A可见,当基块的中心象素C在水平方向移动+1象素和在垂直方向移动+1行,中心象素C与中心象素C1位于同一位置。于是获得运动矢量(+1、+1)。同样地,就相对于图3B和图3C所示的基块的最好匹配块的位置来说,得到各自运动矢量为(+3,+3)和(+2,-1)。运动矢量是对于当前帧的每个基块得到的。
预定检索范围通过在参考帧中移动的检测块,在水平方向可以是±S象素和在垂直方向可以是±T行,也就是说,基块与检测块相比较,对于在水平方向上±S象素和在垂直方向上±T行,检测块具有中心象素C1不同于基块的中心象素C。图4所示,具有当前帧的中心象素C的基块R应与{(2S+1)×(2T+1)}参考帧的检测块相比较。在图4中,S=4和T=3。图4的检索范围是包括每个检测块中心的区域。检索范围的大小包含整个检测块,(2S+P)×(2T+Q),也就是,((P-1)/2+(2S+1)+(P-1)/2)×((Q-1)/2+(2T+1)+(Q-1)/2)。
在预定检索范围的特定位置,基块和检测块比较,包括得到的估算值,例如,帧差值的绝对值的和、帧差值的平方和、或帧差值的绝对值的几次方和,检测最小估算值以识别最好匹配块,和在基块和最好匹配块之间产生一个运动矢量。
图5表示了运动矢量检测电路62的一个例子。
用于当前帧的图象数据加到输入端81,它将图象数据送到用于存贮的当前帧存储器83。用于参考帧的图象数据加到输入端82,它使图象数据送到用于存贮的参考帧存储器84。
控制器85控制当前帧存储器83和参考帧存储器84的读出和写入,当前帧存储器83和参考帧存储器84各自把当前帧的基块的象素数据和参考帧的检测块的象素数据送到差值检测电路87。地址移动电路86与参考帧存储器84相联结。控制器85控制地址移动电路86将读出地址加到参考帧存储器84,存储器84在预定检索范围中检测块的位置按逐个象素移动。
差值检测电路87获得在当前帧存储器83的输出信号和按逐象素的参考帧存储器84之间的差值,并将差值送到绝对值计算电路88,绝对值计算电路88得到差值的绝对值,并且,将该绝对值提供给累加电路89。该累加电路89将每块的差值的绝对值加起来,以产生相对于在预定检索范围中特定位置上的检测块的一个基块的估算值,并且将估算值送到测定电路90。
测定电路90识别在预定检索范围中最小的估算值。在参考帧的预定检索范围中的最好匹配块对应于最小估算值。该电路90也在当前帧的基块和在参考帧的预定检索范围中的最好匹配之间产生一个运动矢量。
普通块匹配的方法需要大量的硬件和大量的算术运算。对于图4所示的情况,(P×Q)差值的绝对值应是总和的{(2S+1)×(2T+1)}倍。于是,对于这个过程的算术运算的数目表示为{(P×Q)×(2S+1)×(2T+1)}。
为了克服普通匹配方法的这些缺点,已经提出了各种各样的方法。
在第一种已公开的方法中,采用减少块单元的数目,已公开了一种在水平方向和垂直方向上将基块和检测块分解成小块和对每个小块提取特征值的方法。该特征值可以是,例如,在小块中象素大小的总和,在每个基块的水平方向上每个小块的特征值与检测块进行比较,和在每个基块的垂直方向上每个小块的特征值与检测块进行比较。比较结果的绝对值都相加。总和结果的加权平均值作为基块和检测块的估算值。在美国专利申请(450100-3050)中已详细描述了这种方法,使算术运算数目减少到水平方向和在垂直方向上的小块的数目。
第二种公开的方法中,用简化检索过程,在第一步骤中,移动检测块的每一个象素以粗略地检测一个运动矢量。在第二步骤中,靠近由粗略的运动矢量表示的位置移动检测块的每个象素以细致地检测一个运动矢量。这个方法被称为两步法。此外,还有已知的三步法,它是用三步获得一个运动矢量。在三步法中,对应于检索范围中的所有象素的算术运算的数目,可以减少到相应于在每个步骤中靠近检测的运动矢量的象素的算运算的数目。
还有另一种已公开的方法,它既采用减少块单元的数目,又采用简化检索过程,被称为变少方法。使用分级结构。在块中象素的数目被取样,并且变少(例如,四个象素变少到一个象素,或二个象素变少到一个象素),比较由变少象素构成的块。因此,块匹配方法的起始位置移到最小检测值的位置。一个运动矢量用块匹配过程一个象素一个象素检测。由于变少方法的结果,既减少了块中单元的数目,又减少了在检索范围中算术运算的数目。
又一种公开的方法,使用低通滤波器,既减少块的单元数目,又简化了检索过程。在这个方法中,分级结构划分为第一分级段、第二分级段和第三分级段。第一分级段提供原始图象,第二分级段,用低通滤波器和次取样电路,把第一分级段中的原始图象信号的象素数目在水平和垂直方向上变少到
Figure C9411373000111
,和第三分级段,用低通滤波器和次取样电路将第二分级段中图象信号的象素数目在水平和垂直方向上变少到 。块匹配过程是对于第三分级段中的图象信号执行的。块匹配过程的起始位置移到相应于检测最小估算值的位置。块匹配过程是对于第二分级段中图象信号执行的。块匹配过程的起始位置移到相应于检测最小值的位置。块匹配过程是对于第一分级段的图象信号执行的。
每个上述提出的用于减少检测运动矢量块匹配方法中算术运行数目的方法,问题在于;由于通过检索过程执行简化而失去了在原始图象中信息量,所以,每一种方法都会产生错误的结果。
尤其,当减少块的单元的数目时,使用了已通过低通滤波器的小块的特征值,当简化检索过程时,由于粗略检测一个运动矢量,精度降低,从而可产生一个错误。在减少单元的数目和简化检索过程时,由于相对于变少的图象或已通过低通滤波器的图象检测一个运动矢量的,所以会产生一个错误。
因此,本发明的目的是提供一种用于检测运动矢量的装置和方法,它避免了先前技术在前面所述的缺点。
本发明的另一个目的是提供一种用于检测运动矢量的装置和方法,它相对于普通块匹配方法减少算运算的数目。
本发明又一个目的是提供一种用于检测运动矢量的装置和方法,它可以用简单的硬件结构来实施。
本发明进一步的目的是提供一种用于检测运动矢量的装置和方法,它减少产生错误结果的可能性。
根据本发明的一个方案,提供一种用于检测运动矢量的装置和方法。它提供了第一图象的基块的图象数据、和获得了基块的不变分量和瞬变分量,提供了响应于表示第二图象不同位置的控制信号的第二图象的检测块的图象数据,得出检测块的不变分量和瞬变分量,然后,比较基块和检测块的不变分量和瞬变分量,以测定在最好匹配基块的第二图象中检测块的位置。
同时,根据本发明,基块和检测块被划分成各自的小块。基块和检测块的小块的不变分量之间的第一差值被得到,并组合以产生第一累积差值。基极和检测块的小块的瞬变分量之间的第二差值被得到,并组合以产生第二累积差值。在第二图象中检查块的最好匹配位置是作为第一和第二累积差值的函数被测定的。
本发明的上述和其它目的、特征和优点,通过下面将结合附图对本发明的优选实施例详细描述变得明显,其中相应部分用同一参考标号表示。
图1是表示一个使用矢量补偿的普通预测编码电路的方框图;
图2A是说明图象的块的示意图;
图2B是说明图2A所示的块的象素和行的示意图。
图3A-3C是说明在当前帧的基块和参考帧的检测块之间的运动矢量的示意图;
图4是说明围绕基块的预定检索范围的示意图;
图5是表示使用块匹配方法用于产生一个运动矢量的普通电路的方框图;
图6A-6C是说明(8×8)区域的象素值、该区域的子范围的平均值和该区域的子范围的标准偏差的图表;
图7A-7C是分别说明图6A区域的象素值,如偏移,偏移区域的子范围的平均值,和偏移区域的子范围的标准偏并的图表;
图8A-8C说明(16×16)区域的象素值、该区域的子范围的平均值和该区域的子范围的标准偏差的图表;
图9是表示根据本发明产生运动矢量的一个电路的方框图;
图10是表示图9所示的具体的实施例的电路的方框图;
图11是表示根据本发明产生运动矢量的另一个电路的方框图;和
图12是表示图11所示的具体实施例的电路的方框图。
现有技术提出了块匹配方法的改进,即当一组象素由表征值,例如特征值表示时,由于失去太多信息而产生错误结果的检测运动矢量的块匹配方法的改进。
本发明中,一组象素,例如由两个值,即一个不变分量和一个瞬变分量表示一个块。这使更多的原始信息被保存,而也允许减少相对于当前帧中基块在参考帧的预定检索范围中最好匹配块需要运算的数目。基块和检测块的不变分量和瞬变分量在预定检索范围的各个位置上进行比较,最好匹配块是作为不变分量和瞬变分量二者的函数来测定的。
由于本发明中块的象素检测点的数目比普通的块匹配方法是明显地减少了,因此,算术运算的数目也能大量减少。
一组象素的不变分量可以是,例如,一个平均值、一个低频分量、一组正交变换系数和低次分量、一个最大值、一个最小值等等。现有技术所公开的是仅用一个不变分量表示一组象素的块匹配方法的改进。
一组象素的瞬变分量可以是,例如,一个标准偏差、一个高频分量、一组正交变换系数的一个高次分量、一个动态范围、一个平均值的差值、一个平均值差值的最大值等等。例如,在一个块中的象素具有值(8,32,0,20),则在该块中平均值为″15″,平均值的差值为:|8-15|+|32-15|+|0-15|+|20-15|=44,和差值的最大值是|32-15|=17。瞬变分量表示图象本身的活动度,即信号电平变化度,或者高频分量的总和。现有技术公开了未能保持有关的一组象素的瞬变分量的信息的块匹配方法的改进。
现有技术公开的过简的改进将作出说明。
图6A的表格表示在(8×8)象素区域中的象素值。这些值表示在范围(0至255)中信号电平(幅度),其中8位表示每个象素。图6B的表格表示对于形成不变分量特征量的每组(2×2=4象素)计算的平均值。图6C的表格表示对于形成瞬变特征量的每组(2×2)计算的准偏差。
在图6B中,平均值″164″和″163″是非常接近的值。如图6C所示,相应于平均值″164″和″163″的标准偏差分别是″0.5″和″7″,相互之间相差很大。这是由于两块(2×2)的电平变化相互相差较大。虽然,现有技术公开的块匹配方法的改进考虑了这些块(2×2)是十分相似的,可见,实际上它们显然是不相同的。
图7A表示(8×8)象素构成的区域,在图6A表格中最左边一列被移去,而新的列被加在图6A表格的右边。图7B和7C分别表示如图6B和6C同样方法计算的平均值和标准偏差。
在图7B中,对应于图6B中″164″和″163″的平均值分别是″164″和″162″,在图7C中,对应于图6C中″164″和″162″的标准偏差分别是″2″和″10.8″。由这个实例可清楚看出,标准偏差的差值比平均值差值很大。
图8A的表格表示在一个区域或(16×16)象素块中的象素值。图8B和8C分别表示,除了用于(4×4)块(而不是2×2块)计算的这些值之外,如图6B和6C的同样方法分别计算平均值和标准偏差。清楚看到,显然在(16×16)块的左上部的两个(4×4)块的平均值是相同的,即″145″,但是,标准偏差是不同的,即″4.91″和″4.05″。
于是,图6-8说明(2×2)象素块或(4×4)象素组图象的本身特征不能用不变分量的特征量适当地表示。
现参看附图,特别是图9,它表示根据本发明的运动矢量检测电路。图9的电路表明,适合于提取当前帧基块的不变分量和瞬时分量和在参考帧的检测块的预定检索范围中的每一位量,以获得基块和检测块的不变分量和瞬变分量之间各自的差;产生作为各自差值的函数的估算值;选择最小估算值,并在基块和最好匹配块之间产生一个运动矢量,也就是,该块对应于与最小估算值相关的检测块的位置。
当前帧的图象数据传送到输入端1,它将图象数据传送到用于存贮的当前帧存储器3,参考帧的图象数据送到输入端2,该端2把图象数据送到用于存贮的参考帧存储器4。
控制器5用于控制当前帧存储器3和参考帧存储器4的读出和写入,当前帧存储器3和参考帧存储器4分别把当前帧的基块的象素数据和参考帧的检测块的象素数据送到不变分量提取电路7a、7b和瞬变分量提取电路8a、8b。地址移动电路6与参考帧存储器4相联结,控制电路5也用于控制地址移动电路6,以使读地址送到参考帧存储器4,存储器4将逐个象素移动在预定检索区域内检测块的中心位置。
不变分量提取电路7a运行以提取来自当前帧象素基块的不变分量,并将该不变分量送到差值检测电路12a,不变分量提取电路7b运行以提取来自参考帧象素的检测块的不变分量,并将该不变分量送到差值检测电路12a。
瞬变分量提取电路8a行以提取当前帧象素基块的瞬变分量,并将该瞬变分量送到差值检测电路12b。瞬变分量提取电路8b运行以提取来自参考帧象素的检测块的瞬变分量,并将该瞬变分量送到差值检测电路12a。
差值检测电路12a。12b的每一个都适用于获得基块和检测块各个分量之间的差值,并将差值分别送到绝对值计算电路14a、14b,该电路14a、14b用作获得差值的绝对值,并把该绝对值送到加权平均计算电路15。
控制器5用于将加权系数W1和W2传送到加权平均值计算电路15,凭经验,系数W1和W2可以是,例如:比值W1/W2=1/(1.5)。如果图象有小范围移动,或者当摄像机在获取图象时被移动了,则系数W2将增加。
加权平均计算电路15运行以加权和组合基块和检测块的不变分量之差的绝对值与基块和检测块的瞬变分量之差的绝对值,以产生对应于预定检索范围内特定位置的检测块的基块的估算值,并且将检测块的每个位置的估算值送到测定电路18。
测定电路18用于识别在预定检索范围内的最小估算值,在参考帧的预定检索范围内的最好匹配块对应于最小计算值,该电路18也用于在当前帧的基块和参考帧在预定检索范围内的最好匹配块之间产生一个运动矢量,并将这个运动矢量传送到输入端27。
控制器5控制测定电路18,由测定电路18产生的运动矢量传送到控制器5。
图10表示图9运动矢量检测电路的具体实施例。
图9的不变分量提取电路7a和7b包括图10的平均值计算电路31a和31b。图9的瞬变分量提取电路8a和8b包括图10的标准偏差((σ)产生电路32a和32b。图9的差值检测电路12a和12b分别包括图10的减法器35a和35b。
图9的加权平均值计算电路15包括图10的乘法器36a和36b及加法器37。乘法器36a和36b将它们的输入值分别乘以加权系数W1和W2。加法器37把乘法器36a和36b的输出相加。
图9的测定电路18包括图10的存储器44和最小值检测电路47。存储器44存贮加权平均值数据(估算值),最小值检测电路47检测存储器44中存贮的最小估算值,并输出一个对应于与最小值有关的检测块位置的运动矢量。存储器44可以从测定电路18中省去。
现在描述图10中运动矢量检测电路的工作。在这个描述中,由存储器3,4提供的每个基块和检测块的大小为(4象素×4行)。在每个(4×4)块中象素用X1至X16来表示。
平均值计算电路31a计算每个基块(4×4)的平均值m如下:
  m=(X1+X2+……X16)/16标准偏差产生电路32a计算每个(4×4)基块的标准偏差σ如下: σ = ( Σ i = 1 16 ( x i - m ) 2 · 1 / 16 ) 1 / 2 平均值计算电路31b和标准偏差产生电路32b产生检测块的每个位置的平均值m′和标准偏差σ′。
减法器35a计算相应的平均值的差值m-m′,减法器35b计算相应的标准偏差的差值σ-σ′。绝对值计算电路14a、14b分别获得这些量的绝对值,并分别乘以加权W1、W2,加法器37求产生产估算值。
估算值=(W1·|m-m′|)+(W2·|σ-σ′|)
假设基块的位置是(X,Y)和检测块的位置是(X+ΔX、Y+ΔY),(这里ΔX和ΔY分别表示4象素和4行的偏差)。上述特征值由下式表示:
Hm(Δx,Δy)=|m′(x+Δx,y+Δy)-m(x,y)|
Hσ(Δx,Δy)=|σ′(x+Δx,y+Δy)-σ(x,y)|加权平均计算电路,包括乘法器36a和36b以及加法器37,产生一个估算值H如下:
H(Δx,Δy)=(w1·Hm(Δx,Δy))+(w2·Hσ(Δx,Δy))
当检测块的变化为ΔX和ΔY(例如4象素和4行)时,一个估算值可获得。该估算值存贮在存储器44中,最小值检测电路47,检测存贮在存储器44中的估算值,相应于最小值位置的ΔX和ΔY的值包括送到输出端27的运动矢量。
图10中所示的电路用平均值和标准偏差来表示每个(4×4)块,此外,由于检索过程由每4个象素执行的,也就是可简化1/16。这样,本发明执行算术运算的数目要比普通全检索块匹配过程大大地减少了。
如果需要的话,可以获得估算值和用软件处理产生运动矢量。
运动矢量可以取得半象素精度,而不是全象素的精度。
本发明也适用于在两个静止图象之间检测运动矢量,或者在不同的分辨率的图象之间检测运动矢量。
图11示出了根据本发明运动矢量检测电路的另一个实施例,除了图11还包括小块分段电路i1a、11b和累加电路16a、16b以外,图11所示的实施例与图9所示的是相似的。
一个尺寸为(16象素×16行)的基块从当前帧存储器3传送到分段电路11a,分段电路11a也适用于将(16×16)块分成四个(4×4)块,并顺序地将这些块送到不变分量和瞬变分量提取电路7a、8a。
一个(16×16)块也可以分成条形块,例如,四个(4×16)和四个(16×4)块,因此,小块可以相互叠加以致运动矢量可以得到例如,半象素的改进精度。
尺寸为(16×16)的检测块从参考帧存储器4传送到分段电路11b,分段电路11b用于将(16×16)块分成四个(4×4)块,并顺序地将这些块送到不变分量和瞬变分量提取电路7b、8b。
差值检测电路12a、12b取得在基块和检测块的小块的不变分量和瞬变分量之间的差值,累加电路16a、16b总和在基块和检测块的小块的不变分量和瞬变分量之间差值的绝对值,加权平均值计算电路15组合其结果,例如,加权在基块和检测块的小块的不变分量之间差的绝对值之和为W1,加权基块和检测块的小块的瞬变分量之间差的绝对值之和为W2,和总和加权的值以产生相对于检测块的一个(16×16)基块的估算值。
图12表示图11的运动矢量检测电路的一个具体实施例。
如相对于图9解释图10,图11的不变分量提取电路7a和7b包括图12中平均值计算电路31a和31b。图11的瞬变分量提取电路8a和8b包括图12标准偏差(σ)产生电路32a和32b。图11中差值检测电路12a和12b包括图12中减法器35a和35b。图11中加权平均值计算电路15包括图12中乘法器36a和36b和加法器37。图11的测定电路18包括图12中存储器44和最小值检测电路47。
图11的累加电路16a、16b分别包括加法器38a和寄存器39a,和加法器38b和寄存器39b。该加法器38a、38b分别组合从绝对值计算电路14a、14b提供的用于小块的特征值,和用于属于小块的另一个特征值。这些另一个特征值之和分别存贮在寄存器39a、39b。
假设在基块中四个小块的平均值表示为m1……m4,在检测块中四个小块的平均值表示为m1′……m4′,在基块中四个小块的标准偏差表示为σ1……σ4,和在检测块中四上小块的标准偏差表示为σ1′……σ4′。相对于送到乘法器36a的检测块的基块(16×16)的不变分量差值特征值由下列给出:Hm=|m1-m1′|+|m2-m2′|+|m3-m3′|+|m4-m4′|相对于送到乘法器36b的检测块的(16×16)基块的瞬变分量差值特征值由下列给出:Hσ=|σ1-σ1′|+|σ2-σ2′|+|σ3-σ3′|+|σ4-σ4′|
虽然,本发明显示的实施例和其各种改型已通过结合附图作详细的描述。可以理解本发明不局限这些具体实施例和所描述的改进,通过本技术领域的普通技术人员可实施各种修改和改进,而不偏离本发明权利要求书所规定的精神和范围。

Claims (20)

1.通过比较当前帧中的一个基块和参考帧的预定搜索区域中的检测块,来检测运动矢量的装置,包括:
用于提供所述当前帧中的所述基块的图象数据的装置,其中所述基块包括具有相应值的象素;
第一提取装置,用于从所述基块提取第一基本分量和第二基本分量;
用于顺序提供所述参考帧的预定搜索区域中每个所述检测块的图象数据的装置,其中所述检测块中的每个象素对应于所述基块中的一个象素;
第二提取装置,用于从每个所述检测块中提取一个第一检测分量和一个第二检测分量,其中所述第一检测分量和所述第二检测分量分别和所述第一基本分量和第二基本分量是同一类型;
比较装置,用于比较所述第一基本分量和从每个所述检测块中提取的所述第一检测分量,比较所述第二基本分量和从每个所述检测块提取的所述第二检测分量,以确定和所述当前帧中的所述基块最匹配的所述参考帧中预定搜索域内的所述检测块的位置。
2.如权利要求1所述的运动矢量检测装置,其中所述第一基本分量是所述基块的所述象素的平均值,和所述基块的所述象素对应的一组正交变换系数的低阶分量,所述基块的所述象素的最大值,所述基块的所述象素的最小值之一,其中所述第二基本分量是所述基块的所述象素的标准偏差,和所述基块的所述象素相对应的一组正交变换系数的高阶分量,所述基块的所述象素的动态范围,所述基块的所述象素的平均值的差,以及所述基块的所述象素的平均值的差的最大值之一;
其中所述第一检测分量是所述检测块的所述象素的平均值,和所述检测块的所述象素对应的一组正交变换系数的低阶分量,所述检测块的所述象素的最大值,所述检测块的所述象素的最小值之一,其中所述第二检测分量是所述检测块的所述象素的标准偏差,和所述检测块的所述象素相对应的一组正交变换系数的高阶分量,所述检测块的所述象素的动态范围,所述检测块的所述象素的平均值的差,以及所述检测块的所述象素的平均值的差的最大值之一。
3.如权利要求1所述的运动矢量检测装置,其中第一基本分量是一个恒定分量而第二基本分量的是一个瞬时分量。
4.根据权利要求1的装置,进一步包括,用于存贮和读出上述基块的第一存储装置和用于存贮上述参考帧的预定检索范围和读出上述检测块的第二存储装置。
5.根据权利要求1的装置,其中上述比较装置包括:用于获得上述基块的上述第一基本分量和上述检测块中单独的一个的上述第一检测分量之间的差的第一差值装置,用于获得上述基块的第二基本分量和上述检测块的上述第二检测分量之间差的第二差值装置,和用于测定在作为上述第一和第二差值的函数的上述参考帧中上述检测块的最佳匹配位置的测定装置。
6.根据权利要求4的装置,其中上述测定装置包括:用于产生上述第一差值的绝对值的第一绝对值装置,用于产生上述第二差值的绝对值的第二绝对值装置和用于相加上述第一和第二差值的绝对值的加法装置。
7.根据权利要求6的装置,其中上述加法装置包括:用于倍乘上述第一差值的绝对值为第一加权值的第一乘法装置和用于倍乘上述第二差值的绝对值为第二加权值的第二乘法装置。
8.根据权利要求1的装置,其中上述比较装置也运行以产生在上述基块和在上述检测块的最佳匹配位置的上述检测块之间的一个运动矢量。
9.根据权利要求1的装置,进一步包括小块形成装置,它用于将上述基块和上述检测块中单独的一个形成各自的小块,用于将上述基块的小块传送到上述第一提取装置、和用于将上述单独检测块的小块传送到上述第二提取装置。
10.根据权利要求9的装置,其中上述比较装置包括:
用于获得在上述基块的上述小块的第一基本分量和上述单个检测块的第一检测分量之间的第一差值的第一差值装置,
用于组合上述第一差值以产生第一累积差值的累加装置,
用于获得在上述基块的上述小块的第二基本分量和上述单个检测块的上述第二检测分量之间第二差值的第二差值装置,
用于组合上述第二差值以产生第二累积差值的第二累积装置,和
用于测定在作为上述第一和第二累积差值的函数的上述参考块中上述检测块的最佳匹配位置的测定装置。
11.通过比较当前帧中的一个基块和参考帧的预定搜索区域中的检测块来检测运动矢量的方法,包括步骤:
提供所述当前帧中所述基块的图象数据,其中所述基块包括具有相应值的象素;
从所述基块提取第一基本分量和第二基本分量;
顺序提供所述参考帧中预定搜索区域中的每个所述检测块的图象数据,其中,所述每个检测块中的一个象素对应于所述基块中的一个象素;
从每个所述检测块中提取一个第一检测分量和一个第二检测分量,其中所述第一检测分量和所述第二检测分量分别和所述第一基本分量和第二基本分量是同一类型;并且
比较所述第一基本分量和从每个所述检测块中提取的所述第一检测分量,比较所述第二基本分量和从每个所述检测块中提取的所述第二检测分量,以确定和所述当前帧中的所述基块最匹配的所述参考帧中的所述检测块的位置。
12.如权利要求11所述的运动矢量检测方法,其中所述第一基本分量是所述基块的所述象素的平均值,和所述基块的所述象素对应的一组正交变换系数的低阶分量,所述基块的所述象素的最大值,所述基块的所述象素的最小值之一,其中所述第二基本分量是所述基块的所述象素的标准偏差,和所述基块的所述象素相对应的一组正交变换系数的高阶分量,所述基块的所述象素的动态范围,所述基块的所述象素的平均值的差,以及所述基块的所述象素的平均值的差的最大值之一;
其中所述第一检测分量是所述检测块的所述象素的平均值,和所述检测块的所述象素对应的一组正交变换系数的低阶分量,所述检测块的所述象素的最大值,所述检测块的所述象素的最小值之一,其中所述第二检测分量是所述检测块的所述象素的标准偏差,和所述检测块的所述象素相对应的一组正交变换系数的高阶分量,所述检测块的所述象素的动态范围,所述检测块的所述象素的平均值的差,以及所述检测块的所述象素的平均值的差的最大值之一;
13.根据权利要求11的一种运动矢量检测方法,其中第一基本分量是一个恒定分量而第二基本分量的是一个瞬时分量。
14.根据权利要求11的方法,进一步包括步骤:存贮和读出上述基块、和存贮上述参考帧的预定检索范围和读出上述检测块。
15.根据权利要求11的方法,其中比较步骤包括:获得上述基块的上述第一基本分量和上述测块中单独一个的上述第一检测分量之间的第一差值,获得上述基块的上述第二基本分量和上述单个检测块的上述第二检测分量之间的第二差值,和测定在作为上述第一和第二差值的函数的上述参考帧的上述检测块的最佳匹配位置。
16.根据权利要求15的方法,其中测定步骤包括:产生上述第一差值的绝对值、产生上述第二差值的绝对值和将上述第一和第二差值的绝对值相加。
17.根据权利要求16的方法,其中相加步骤包括:乘上述第一差值的上述绝对值为第一加权值和倍乘上述第二差值的上述绝对值为第二加权值。
18.根据权利要求11的方法,进一步包括步骤:在上述基块和在上述检测块的最佳匹配位置的上述检测块之间产生一个运动矢量。
19.根据权利要求11的方法,进一步包括步骤:将上述基块和上述检测块形成各自的小块,并且其中提取第一基本分量和第二基本分量的步骤是加到上述基块的小块,和提取第一检测分量和第二检测分量的步骤是加到上述检测块的小块。
20.根据权利要求19的方法,其中比较步骤包括:
获得在上述基块的上述小块的第一基本分量和上述检测块中单独一个的第一检测分量之间的第一差值,
组合上述第一差值以产生第一累积差值,
获得在上述基块的上述小块的第二基本分量和上述单个检测块的第二检测分量之间的第二差值,
组合上述第二差值以产生第二累积差值,和
测定在作为上述第一和第二累积差值的函数的上述参考帧(第二图象)中上述检测块的最佳匹配位置。
CN94113730A 1993-09-09 1994-09-09 运动矢量检测装置及方法 Expired - Fee Related CN1075322C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP248815/1993 1993-09-09
JP248813/1993 1993-09-09
JP24881393A JP3277417B2 (ja) 1993-09-09 1993-09-09 動きベクトル検出装置および方法
JP248813/93 1993-09-09
JP24881593A JP3277419B2 (ja) 1993-09-09 1993-09-09 動きベクトル検出装置および方法
JP248815/93 1993-09-09

Publications (2)

Publication Number Publication Date
CN1109244A CN1109244A (zh) 1995-09-27
CN1075322C true CN1075322C (zh) 2001-11-21

Family

ID=26538958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN94113730A Expired - Fee Related CN1075322C (zh) 1993-09-09 1994-09-09 运动矢量检测装置及方法

Country Status (5)

Country Link
US (1) US6266371B1 (zh)
EP (1) EP0643538B1 (zh)
KR (1) KR100303107B1 (zh)
CN (1) CN1075322C (zh)
DE (1) DE69417127T2 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2751454B1 (fr) * 1996-07-18 1998-12-24 Thomson Multimedia Sa Procede d'estimation de mouvement
JP3667105B2 (ja) * 1997-10-01 2005-07-06 松下電器産業株式会社 動きベクトル検出方法及びその方法を実施する装置
US6591015B1 (en) * 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
US8090730B2 (en) * 2001-12-04 2012-01-03 University Of Southern California Methods for fast progressive evaluation of polynomial range-sum queries on real-time datacubes
KR100453222B1 (ko) * 2001-12-17 2004-10-15 한국전자통신연구원 카메라 움직임 판별 장치 및 방법
WO2004012451A1 (ja) * 2002-07-30 2004-02-05 Sony Corporation 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法
DE10254962B4 (de) * 2002-11-26 2006-04-06 Kometra Kunststoff-Modifikatoren Und -Additiv Ag Funktionalisierte hochmolekulare Styrol/Olefin-Blockcopolymere und Verfahren ihrer Herstellung sowie Verwendung
BRPI0510544A (pt) * 2004-05-07 2007-10-30 Basf Aktiengeeellschaft misturas fungicidas, agente, processo para combater fungos nocivos patogênicos do arroz, semnete, e, uso dos compostos
JP4879558B2 (ja) * 2005-11-02 2012-02-22 パナソニック株式会社 動きベクトル検出装置
JP2009267726A (ja) * 2008-04-24 2009-11-12 Panasonic Corp 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム
KR101064883B1 (ko) * 2009-10-06 2011-09-16 한국과학기술원 왜곡 측정 방법
JP5639444B2 (ja) * 2010-11-08 2014-12-10 キヤノン株式会社 動きベクトル生成装置、動きベクトル生成方法及びコンピュータプログラム
EP2905618A1 (en) * 2014-02-05 2015-08-12 Roche Diagnostics GmbH Use of rare metals as key components
US9658047B2 (en) * 2014-10-23 2017-05-23 Caterpillar Inc. Component measurement system having wavelength filtering
US9879968B2 (en) * 2014-10-23 2018-01-30 Caterpillar Inc. Component measurement system having wavelength filtering
KR101693643B1 (ko) * 2015-09-18 2017-01-17 한림대학교 산학협력단 이미지 복원 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0460997A1 (fr) * 1990-06-06 1991-12-11 Thomson-Csf Procédé d'estimation hiérarchique du mouvement dans une séquence d'images

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2830111B2 (ja) * 1989-07-21 1998-12-02 ソニー株式会社 高能率符号化装置
JPH03117991A (ja) * 1989-09-29 1991-05-20 Victor Co Of Japan Ltd 動きベクトル符号化装置及び復号化装置
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
US5200820A (en) * 1991-04-26 1993-04-06 Bell Communications Research, Inc. Block-matching motion estimator for video coder
EP0520765B1 (en) * 1991-06-25 1999-05-12 Canon Kabushiki Kaisha Movement vector detecting method/apparatus and encoding method/apparatus using such method/apparatus
US5235419A (en) * 1991-10-24 1993-08-10 General Instrument Corporation Adaptive motion compensation using a plurality of motion compensators
GB2264415B (en) * 1992-02-13 1995-09-20 Sony Broadcast & Communication Motion compensation for colour video signals
KR950009699B1 (ko) * 1992-06-09 1995-08-26 대우전자주식회사 움직임벡터 검출방법 및 장치
JP3277418B2 (ja) * 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0460997A1 (fr) * 1990-06-06 1991-12-11 Thomson-Csf Procédé d'estimation hiérarchique du mouvement dans une séquence d'images

Also Published As

Publication number Publication date
KR950010642A (ko) 1995-04-28
KR100303107B1 (ko) 2001-11-22
EP0643538A2 (en) 1995-03-15
DE69417127T2 (de) 1999-10-14
US6266371B1 (en) 2001-07-24
CN1109244A (zh) 1995-09-27
EP0643538B1 (en) 1999-03-17
DE69417127D1 (de) 1999-04-22
EP0643538A3 (en) 1995-07-12

Similar Documents

Publication Publication Date Title
CN1075322C (zh) 运动矢量检测装置及方法
EP0643539B1 (en) Motion vector detection apparatus and method
WO2020003037A1 (en) Motion compensation of geometry information
US8126206B2 (en) Image processing apparatus, image processing method, and program
EP1308879B1 (en) Method and apparatus for determining relative movement in an optical mouse
JP3576987B2 (ja) 画像のテンプレートマッチング方法及び画像処理装置
US20070030396A1 (en) Method and apparatus for generating a panorama from a sequence of video frames
CN1547725A (zh) 图像匹配
CN1212526A (zh) 动作向量检测装置及动作向量检测方法
KR20010043717A (ko) 이미지 인식 및 상관 시스템
CN1685367A (zh) 基于定向边缘的快速二维目标定位
US20090110331A1 (en) Resolution conversion apparatus, method and program
US20130039584A1 (en) Method and apparatus for detecting near-duplicate images using content adaptive hash lookups
CN1627825A (zh) 用于运动图像编码的运动估计方法
CN1636406A (zh) 移动估计的单元和方法以及装备有此类移动估计单元的图像处理设备
CN105263026B (zh) 基于概率统计与图像梯度信息的全局矢量获取方法
CN1766928A (zh) 一种基于动态背景运动视频的运动对象重心轨迹提取方法
US8837595B2 (en) Motion estimation method
CN107369179B (zh) 一种高精度图像定位方法
CN110289861B (zh) 半精度压缩感知采样方法
CN116188826A (zh) 一种复杂光照条件下的模板匹配方法及装置
US7428003B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and recording medium having automatic stabilization control program recorded thereon
CN111192302A (zh) 一种基于运动平滑性和ransac算法的特征匹配方法
KR0123077B1 (ko) 국부 최소치를 이용한 이동량 측정 방법 및 장치
CN1201589C (zh) 运动估计方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20011121

Termination date: 20130909