JP3032852B2 - Motion vector extraction circuit - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【産業上の利用分野】この発明は、映像信号（画像信
号）を使って対象物の動きベクトルを検出する動きベク
トル抽出回路に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion vector extracting circuit for detecting a motion vector of an object using a video signal (image signal).

【０００２】[0002]

【従来の技術】図８は従来の動きベクトルの抽出方式の
動作を説明するための図である。従来動きベクトルを抽
出するのに最も良く使われた方式はブロックマッチング
法と呼ばれる方式であり、図８がその動作をよくあらわ
している。ブロックマッチング法とは、画像（映像）の
一部をブロック化し、そのブロックの内容をずらして減
算することで誤差を得、その誤差が最も小さくなるよう
にずらしたベクトルを求める方法である。図７に例えば
８画素×８画素でブロッキングした場合のブロッキング
画素を示す。ｄは画像データの内容を示し、添字はブロ
ック内でｘ方向に何画素目か、ｙ方向に何画素目かを示
している。このブロックは図８の中央に位置するのと同
じブロックであるとする。この中央のブロックが現フレ
ーム（もしくはフィールド）上であるとすると図８のさ
らに大きい実線のブロックは、動きベクトル探索に必要
な領域（以後サーチウィンドウと称す）であり、現フレ
ームとは異なるフレーム（通常は過去のフレーム）上に
存在するブロックであるが、画面上の配置は図８に示し
たような関係になっている。ブロックマッチング法は、
図８の矢印に示したごとく、図７と同じ大きさのブロッ
クをサーチウィンドウ内で動かしてブロック化し、その
ブロックの中の値と現フレームのブロックの中の値を画
素毎に減算し、ブロック（この場合は64画素）全体にわ
たって２乗和ないし、絶対値和をとる。この値が最も小
さくなるようにずらした矢印のｘ成分とｙ成分を図中Ｍ
ｘ，Ｍｙで示した。Ｍｘ，Ｍｙの物理的意味は、異なる
フレーム間（もしくはフィールド間）で最も相関の高い
データであるということであり、現象的に言えば、動き
によって生じた移動量を（Ｍｘ，Ｍｙ）として検出した
ことになる。この矢印を１画素ずつずらしてベクトルを
求めるものを全探索ブロックマッチング法と呼び、最初
大ざっぱにずらしてベクトルを求め次いで細かく探索す
るようにしたものを多段探索ブロックマッチング法と呼
ぶ。演算回数は全探索ブロックマッチング法では膨大な
ものになるためハードウェアサイズが非常に大きくな
り、多段探索ブロックマッチング法では演算回数は少な
いが、精度的に問題があり、誤検出が多くなる。2. Description of the Related Art FIG . 8 is a diagram for explaining the operation of a conventional motion vector extraction system. Conventionally, the most frequently used method for extracting a motion vector is a method called a block matching method, and FIG. 8 shows the operation well. The block matching method is a method in which a part of an image (video) is divided into blocks, an error is obtained by shifting and subtracting the contents of the block, and a vector shifted so as to minimize the error is obtained. FIG. 7 shows a blocking pixel when blocking is performed with, for example, 8 pixels × 8 pixels. d indicates the content of the image data, and the suffix indicates the number of pixels in the block in the x direction and the number of pixels in the y direction. This block is assumed to be the same block located at the center of FIG . Assuming that this central block is on the current frame (or field), the larger solid line block in FIG. 8 is an area (hereinafter referred to as a search window) necessary for motion vector search, and is different from the current frame ( Usually, the block exists on a past frame), but the arrangement on the screen has a relationship as shown in FIG . The block matching method is
As indicated by an arrow in FIG. 8 , a block having the same size as that in FIG. 7 is moved in the search window to form a block, and the value in the block and the value in the block of the current frame are subtracted for each pixel. The sum of squares or the sum of absolute values is calculated over the entirety (in this case, 64 pixels). Figure M and x and y components of the arrow shifted so that this value is the smallest
Indicated by x and My. The physical meaning of Mx and My is that the data has the highest correlation between different frames (or between fields). In phenomena, the amount of movement caused by the movement is detected as (Mx, My). It will be done. A method in which the arrow is shifted one pixel at a time to obtain a vector is called a full search block matching method, and a method in which the vector is first roughly shifted to obtain a vector and then a fine search is called a multi-step search block matching method. Since the number of operations is enormous in the full search block matching method , the hardware size becomes very large. In the multi-stage search block matching method, the number of operations is small, but there is a problem in accuracy, and erroneous detection increases.

【０００３】ブロックマッチング法についてもう少し具
体的に説明しておく。例えば図１０のように連続したフ
レーム（又はフィールド）でＡという文字が画面上で右
側へ少しずつ動いているという状態をあらわしている。
図９の左側はあるフレーム（またはフィールド）上でそ
のＡという文字を含んだブロックである。図９の右側の
点線は、左側のフレーム（またはフィールド）のあとの
フレーム（またはフィールド）でＡという文字が動かな
かったときの位置と、左側のブロックと同じ位置のブロ
ックであることを示し、実線のＡという文字は動きがあ
った場合の位置と、そのＡという位置が左側のブロック
のＡという文字の包含位相が合うように右側にシフトし
たブロックである。もし、実線のＡを点線のブロックで
ブロッキングして図９左側のブロックと減算したとする
と誤差は非常に大きくなってしまうが、右側のブロック
との減算では、誤差は０に近い値を示す。このとき点線
のブロックをシフトして実線のブロックにしたときのシ
フト量がブロックマッチング法でいう動きベクトルであ
る。[0003] The block matching method will be described more specifically. For example, as shown in FIG. 10 , a character A is gradually moving rightward on the screen in successive frames (or fields).
The left side of FIG. 9 is a block including the letter A on a certain frame (or field). The dotted line on the right side of FIG. 9 indicates the position where the letter A does not move in the frame (or field) after the left frame (or field), and indicates that the block is located at the same position as the left block. The character A in the solid line is a block shifted to the right so that the position where there is a motion and the position A are the same as the inclusion phase of the character A in the left block. If the solid line A is blocked by the dotted line block and subtracted from the block on the left side of FIG. 9 , the error becomes very large. However, the error with the block on the right side shows a value close to 0. At this time, the shift amount when the dotted line block is shifted to a solid line block is a motion vector in the block matching method.

【０００４】[0004]

【発明が解決しようとする課題】従来の動きベクトル抽
出回路は以上のように構成されているので精度を要求し
ようとすると膨大なハードウェア規模となり、ハードウ
ェア規模をおさえようとすると誤検出がふえるといった
問題があった。Since the conventional motion vector extraction circuit is configured as described above, a large hardware scale is required when accuracy is required, and erroneous detections increase when the hardware scale is suppressed. There was such a problem.

【０００５】この発明は上記のような問題点を解消する
ためになされたもので、リーズナブルなハードウェア規
模で精度の高いベクトル検出結果を得る動きベクトル抽
出回路を提供することを目的とする。SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and has as its object to provide a motion vector extraction circuit that can obtain a highly accurate vector detection result with a reasonable hardware scale.

【０００６】[0006]

【課題を解決するための手段】本願の第一発明に係る動
きベクトル抽出回路は、２つの異なるフィールドまたは
フレーム間に生じた動きの量を求める動きベクトル抽出
回路であって、前記２つの異なるフィールドまたはフレ
ームの画像データをブロック化するブロック化手段と、
該ブロック化手段からの出力に対し各１ブロックの出力
の周りを０で埋めてブロックの面積を増大する０補間を
行って周波数領域の関数に変換する変換手段と、前記２
つの異なるフィールドまたはフレームの画像データのう
ち、一方の画像データの１のブロックの変換出力を、他
方の画像データの複数のブロックの変換出力にそれぞれ
成分乗算する成分乗算手段と、該成分乗算手段の複数の
出力から前記２つの異なるフィールドまたはフレームの
対応するブロック間の相関を求める演算手段と、該演算
手段の複数の出力より動きベクトル情報を求める手段を
備えることを特徴とする。 The motion vector extracting circuit according to the first invention of the present application comprises two different fields or
Motion vector extraction to find the amount of motion generated between frames
Circuit, blocking means for blocking the image data of the two different fields or frames ;
Output of one block for each output from the blocking means
0 interpolation to increase the area of the block by filling the area around with 0
Conversion means for performing the conversion into a function in the frequency domain;
Image data from two different fields or frames
That is, the converted output of one block of one image data is
Output of multiple blocks of image data
Component multiplying means for multiplying components, and a plurality of
Output from the two different fields or frames
Calculating means for determining a correlation between corresponding blocks;
Means for obtaining motion vector information from a plurality of outputs of the means
It is characterized by having.

【０００７】本願の第二発明に係る動きベクトル抽出回
路は、前記ブロック化手段の出力を周波数領域の関数に
変換する変換手段としてハートレー変換を用いる変換手
段を備えることを特徴とする。The motion vector extraction circuit according to the second invention of the present application converts the output of the blocking means into a function in the frequency domain.
A converter using Hartley transform as the converting means
It is characterized by having a step .

【０００８】本願の第三発明に係る動きベクトル抽出回
路は、前記変換手段は低域の抑圧された画像データを周
波数変換することを特徴とする。 本願の第四発明に係る
動きベクトル抽出回路は、前記変換手段はノイズリダク
ションをした画像データを周波数変換することを特徴と
する。 In the motion vector extraction circuit according to the third invention of the present application, the conversion means may be configured to circulate the low-frequency suppressed image data.
Wave number conversion is performed. According to the fourth invention of the present application
In the motion vector extraction circuit, the conversion means may include a noise reduction circuit.
The feature is that frequency conversion of the image data
I do.

【０００９】[0009]

【作用】第一発明ではブロックマッチング法のように異
なるフレーム間でのブロック相互の差を求めるのではな
く、ブロック相互間の相関を求め、これにより動きベク
トル情報を得るので、ハードウェア量が少なくても高い
精度で動きベクトル情報を求めることができる。第二発
明のようにハートレー変換の場合、ハードウェア量は少
なくて済む。そして第一発明では１ブロックの出力の周
りを０で埋めるように補間するので繰り返し周期が延長
されることになり、特異な動きパターンの場合であって
も、動き方向を正しく判定できる。 In the first invention, the difference is different as in the block matching method.
Instead of finding the difference between blocks between different frames.
The correlation between the blocks is calculated,
High information even if the amount of hardware is small
Motion vector information can be obtained with high accuracy. Second shot
As can be seen, in the case of Hartley conversion, the amount of hardware is small.
You don't have to. In the first invention, the output of one block
Interpolation is performed to fill the data with 0, so the repetition cycle is extended.
In the case of unusual movement patterns
Also, the movement direction can be correctly determined.

【００１０】第三発明では画像のエッジが抽出されるこ
とになり相互相関関数がシャープになる。 In the third invention, the edge of the image is extracted.
And the cross-correlation function becomes sharp.

【００１１】第四発明ではノイズによる誤検出が防止さ
れる。 In the fourth invention, erroneous detection due to noise is prevented.
It is.

【００１２】[0012]

【実施例】以下、本願発明の動きベクトル抽出回路の一
実施例を図について説明する。図３において１はハート
レー変換器、２は成分乗算器、３はハートレー逆変換
器、４は微分器、５は０補間器である。ハートレー変換
とは、1942年３月のProceeding of the I.R.E.の p144
〜 p150 にR.V.L.ハートレーによって寄稿された「A Mo
re Symmetrical Fourier Analysis Applied to Transmi
ssion Problems」中で提案された変換を1983年12月のOp
tical Society of Americaのp1832 〜p1834 にR.N.Brac
ewell によって寄稿された「Discrete Hartley transfo
rm」中で離散値系に適用した離散ハートレー変換のこと
を指す。その変換とは、ｆ（ｔ）を時間関数として変換
係数をＨ（ν）とするとBRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of a motion vector extracting circuit according to the present invention . In FIG. 3, 1 is a Hartley transformer, 2 is a component multiplier, 3 is a Hartley inverse transformer , 4 is a differentiator, and 5 is a 0 interpolator . The Hartley conversion, p144 of Proceeding of the IRE of March 1942
~ P150 "A Mo contributed by RVL Hartley
re Symmetrical Fourier Analysis Applied to Transmi
ssion Problems ''
RNBrac on p1832 to p1834 of tical Society of America
"Discrete Hartley transfo contributed by ewell
rm ”refers to the discrete Hartley transform applied to the discrete value system. The conversion means that the conversion coefficient is H (ν) using f (t) as a time function.

【００１３】[0013]

【数１】 (Equation 1)

【００１４】で関係づけられた変換で、Ｎはデータ数、
cas θ＝cos θ＋sin θである。 (又、定係数となる1/
N は1/N ^1/2 として逆変換と相互に負担しても良いし、
逆変換側に1/N としてまとめても良い。）また、上記変
換、逆変換式は一次元信号について扱ったもので、画像
データのように二次元信号についてはWhere N is the number of data ,
cas θ = cos θ + sin θ. (Also, the constant coefficient is 1 /
N may be ^{shared with the} inverse transform as 1 / N ^1/2 ,
The values may be combined as 1 / N on the inverse transform side. ) In addition, the above conversion and inverse conversion formulas deal with one-dimensional signals. For two-dimensional signals like image data,

【００１５】[0015]

【数２】 (Equation 2)

【００１６】のように拡張すればよいことは、1986年９
月のProceeding of the IEEEのp1282 〜p1283 に寄稿さ
れた「Fast Two-Dimensinal Hartley Transform 」に示
されている。図３においてハートレー変換器１によって
あるフィールドまたはフレーム内の２次元画像信号の一
部分が例えば図７のように８画素×８画素の単位でブロ
ッキングされたデータを上記に示したような二次元離散
ハートレー変換され周波数領域に変換される。そのとき
の各周波数成分を変換係数と称し、例えば図１のように
変換されたとする。また、もう一つ別のハートレー変換
器１によって別のフィールドまたはフレーム内の２次元
画像信号を変換する。[0016] What should be extended as shown in
This is shown in the "Fast Two-Dimensinal Hartley Transform" contributed to the Proceeding of the IEEE on p1282 to p1283. In FIG. 3, data obtained by blocking a part of a two-dimensional image signal in a certain field or frame by a Hartley converter 1 in a unit of 8 pixels × 8 pixels as shown in FIG. It is transformed and transformed into the frequency domain. Each frequency component at that time is called a conversion coefficient, and is assumed to be converted as shown in FIG. 1, for example. Another Hartley converter 1 converts a two-dimensional image signal in another field or frame.

【００１７】このとき、ブロックマッチング法と大きく
異なるのは、ブロックの位置を一画素ずつずらしてサー
チするような必要がなく、例えばブロックの位置は、画
面上の同じ位置でよいという点である。例えば図２にそ
のブロック位置に関して述べる図面を記す。図２の画像
は図９に示したのと同じ画像である。At this time, a significant difference from the block matching method is that it is not necessary to search the block position by shifting it by one pixel. For example, the block position may be the same position on the screen. For example, FIG. 2 shows a drawing describing the block position. The image in FIG . 2 is the same image as shown in FIG.

【００１８】図９はブロックマッチング法のときのブロ
ッキング状態を示したものであるが、図９ではブロック
の位置を点線のブロックから実線のブロックに移動させ
てブロック内の対応点で減算したときの誤差電力が最も
小さくなるのでこのブロックの移動量が動きベクトルで
あるとして求められるが、このブロックマッチング法の
場合はブロックを移動させてみてその移動量についてい
ちいち誤差を求めなければならず、メモリ制御が非常に
複雑でかつ並列演算を多用しなければ、画像のような膨
大なデータをリアルタイムで処理できなかった。FIG . 9 shows a blocking state in the case of the block matching method . In FIG. 9 , the position of the block is shifted from a dotted line block to a solid line block and subtracted at a corresponding point in the block. Since the error power is minimized, the movement amount of this block is obtained as a motion vector.In the case of this block matching method, however, it is necessary to move the block and obtain an error for the movement amount, and the memory control is performed. However, unless it is very complicated and does not use many parallel operations, it is impossible to process a huge amount of data such as an image in real time.

【００１９】しかし、図２に示したように、本願の発明
ではブロックサイズの半分（８画素でブロッキングした
場合は＋４画素，−３画素分）の動きベクトルについて
は、ブロックの位置をずらして演算する必要はない。つ
まり、図２の右側は、左側のブロックとは異なるフィー
ルドもしくはフレームであることを示しているが、右側
の点線のＡという文字は左側のブロックがあったフィー
ルドもしくはフレームと画面上で同じ位置に示したが右
側のブロックが存在するフィールドもしくはフレームで
はＡという文字は右側へ動いているため点線より右側に
わずかにずれた位置でＡという文字が実線で示されてお
り、この実線で示されたＡという文字がそのフィールド
もしくはフレームで表示されている実際の位置である。However, as shown in FIG. 2, in the present invention, a motion vector having a half of the block size (+4 pixels and -3 pixels for blocking by 8 pixels) is calculated by shifting the position of the block. do not have to. In other words, the right side of FIG. 2 indicates that the field or frame is different from the left block, but the letter A in the right dotted line is in the same position on the screen as the field or frame where the left block was. However, in the field or frame where the block on the right exists, the letter A is moved to the right, so the letter A is shown by a solid line at a position slightly shifted to the right from the dotted line, and is shown by this solid line. The letter A is the actual position displayed in that field or frame.

【００２０】このときの本願のブロッキング位置はブロ
ックマッチング法のようにずらす必要はなく、左側のフ
ィールドもしくはフレームと同じ位置で良い。つまり、
図２右側のブロックの画面上の位置は図２左側のブロッ
クの画面上の位置と同じである（フィールドブロッキン
グの場合はインターレース構造のため、厳密には少しず
れた位置であるが、ほぼ同じ位置であり、同じ位置と表
現できる範囲内である）。すなわち、ブロック内に占め
るＡという文字の位置は図９の如く保たれる必要はな
い。At this time, the blocking position of the present application does not need to be shifted unlike the block matching method, and may be the same position as the left field or frame. That is,
The position on the screen of the block on the right side of FIG. 2 is the same as the position on the screen of the block on the left side of FIG. And within the range that can be expressed as the same position). That is, the position of the letter A in the block does not need to be maintained as shown in FIG .

【００２１】このことはメモリ制御が非常に簡単化され
ることを示唆しており、その演算については高速演算が
種々提案されており、その必要演算回数はＤＣＴよりも
少ない回数で実現されることが1987年10月のIEEEのTran
sactions on Acoustics, Speech, and Signal Processi
ng p1484〜p1485 にH.S.マルバーによって寄稿された
「Fast Computation of the Discrete Cosine Transfor
m and the Discrete Hartley Transform」等によって示
されており、比較的実現可能なハードウェア規模で実現
できる。This suggests that the memory control is greatly simplified, and various high-speed operations have been proposed for the operation, and the required number of operations is less than that of DCT. IEEE Tran in October 1987
sactions on Acoustics, Speech, and Signal Processi
`` Fast Computation of the Discrete Cosine Transfor, '' contributed by HS Malver to ng p1484〜p1485
m and the Discrete Hartley Transform ", etc., and can be realized with a relatively feasible hardware scale.

【００２２】図２の左右の両ブロックをハートレー変換
器１でハートレー変換して、それぞれのブロック内のあ
る法則に従って得られる成分同志を乗算して和をとるの
が、成分乗算器２である。その法則とは、左側のブロッ
クの成分（変換係数）をＣｎｍａというように末尾にａ
の添字をつけ、右側のブロックの成分（変換係数）をＣ
ｎｍｂというように末尾にｂの添字をつけて表し、その
成分乗算器２の成分（変換係数）をＣｎｍｓというよう
に末尾にＳをつけて表すことにすると、その乗算して和
をとる法則は次のように表わせる。A component multiplier 2 performs Hartley transformation on both the left and right blocks in FIG. 2 by a Hartley transformer 1 and multiplies components obtained according to a certain rule in each block to obtain a sum. The rule is that the component (transformation coefficient) of the block on the left is a
And the component (transformation coefficient) of the block on the right
If the suffix “b” is added at the end such as nmb, and the component (transformation coefficient) of the component multiplier 2 is added with S at the end such as Cnms, the rule of multiplication and sum is It can be expressed as follows.

【００２３】[0023]

【数３】 (Equation 3)

【００２４】で表わされる。この２つの式は、どちらを
基準にとって動きベクトルを求めるかの違いであり、図
２の左側のブロックを基準としれば上式、図２の右側の
ブロックを基準とすれば下式である。いずれにせよ求ま
って動きベクトルの正負の符号のみが逆転するだけであ
り、基準をどちらにおいたかをはっきりさせていれば符
号が間違っていればその符号を反転させておけば良いの
で重要な問題ではない。## EQU2 ## These two equations are differences in determining the motion vector based on which reference is used. The above equation is based on the left block in FIG. 2 and the following equation is based on the right block in FIG. In any case, only the positive and negative signs of the motion vector are reversed, and if it is clear which way the criterion was set, it is only necessary to reverse the sign if the sign is wrong, so an important problem is Absent.

【００２５】ただし、上述でＣｎｍはブロックサイズが
ｘ方向にＮｙ方向にＭのうちｘ方向にｎ番目（０〜Ｎ−
１）ｙ方向にｍ番目（０〜Ｍ−１）の変換係数であるこ
とを示しており、Ｃ−ｎ−ｍは上記ハートレー変換式の
場合では−ｎ＝Ｎ−ｎであり−ｍ＝Ｍ−ｍを意味してい
る。また、ハートレー変換式のΣの添字が上式のように
０から始まっているものではなく１から始まっているも
のであれば−ｎ＝Ｎ＋２−ｎ，−ｍ＝Ｍ＋２−ｍである
し、またそれ以外で始まっていてもオフセット（上式で
は２という値）を変更するだけで良い。このようにして
得た成分乗算器２の出力を逆ハートレー変換器３で逆ハ
ートレー変換する。上述の如く、逆ハートレー変換は基
本動作がハートレー変換と同じであるので、ほとんどハ
ートレー変換器１が流用できる。However, in the above, the block size of Cnm is nth in the x direction (0 to N−N) of M in the Ny direction in the x direction.
1) It indicates that the conversion coefficient is the m-th (0 to M-1) conversion coefficient in the y direction, and C-nm is -n = N-n and -m = M in the case of the Hartley conversion formula. Means -m. If the subscript of ハ ー ト in the Hartley transform equation starts from 1 instead of 0 as in the above equation, -n = N + 2-n, -m = M + 2-m, and Even if it starts from other than that, it is only necessary to change the offset (the value of 2 in the above formula). The output of the component multiplier 2 thus obtained is subjected to an inverse Hartley transform by an inverse Hartley transformer 3. As described above, since the basic operation of the inverse Hartley transform is the same as that of the Hartley transform, the Hartley converter 1 can be used almost.

【００２６】このようにして得た逆変換結果の物理的意
味は相互相関関数を得たのと等価であるということであ
る。このことを以下に証明する。なお、以下はアナログ
（連続量）のハートレー変換であり、なおかつ簡単のた
めに一次元のハートレー変換について証明するが、同様
な考え方で二次元の離散値系でも拡張できることはいう
までもない。The physical meaning of the inverse transform result obtained in this way is equivalent to obtaining the cross-correlation function. This is proved below. The following is an analog (continuous amount) Hartley transform, and one-dimensional Hartley transform will be proved for simplicity. However, it goes without saying that a two-dimensional discrete value system can be extended by the same concept.

【００２７】まず時間関数ｘ（ｔ）のハートレー変換を
Ｘ（ｗ）とし、ｙ（ｔ）のハートレー変換をＹ（ｗ）と
する。また、ｘ（ｔ）とｙ（ｔ）の相互相関関数はφｘ
ｙ（ｔ）で表わし、それはFirst, the Hartley transform of the time function x (t) is X (w), and the Hartley transform of y (t) is Y (w). The cross-correlation function between x (t) and y (t) is φx
y (t), which is

【００２８】[0028]

【数４】 (Equation 4)

【００２９】で表わされる。φｘｙ（ｔ）のハートレー
変換をΦｘｙ（ｗ）とすると## EQU1 ## If the Hartley transform of φxy (t) is Φxy (w)

【００３０】[0030]

【数５】 (Equation 5)

【００３１】積分の順序を交換しｘ（τ）がｔに依存し
ないことに注意してSwap the order of integration and note that x (τ) does not depend on t.

【００３２】[0032]

【数６】 (Equation 6)

【００３３】離散値系では有限のサンプル数の変換であ
るため、時間領域で繰り返した信号を作成してハートレ
ー変換したのと等価であるため、変換領域でも繰り返
す。このため Ｘ（−ｗ）＝Ｘ（２π−ｗ） であり、上述の成分乗算器２の乗算法則のＣ−ｎ−ｍが
導き出せる。In the discrete value system, since the conversion is performed with a finite number of samples, it is equivalent to generating a signal repeated in the time domain and performing the Hartley transform, and thus is repeated in the conversion domain. Therefore, X (−w) = X (2π−w), and the above-described Cnm of the multiplication rule of the component multiplier 2 can be derived.

【００３４】さて、相互相関関数から動きベクトルを求
める手法について次に説明する。式の相互相関関数の
ｔは、ずらし量であり、式はｘ（ｔ）とｙ（ｔ）を時
刻ｔだけずらした場合（ｘ（ｔ），ｙ（ｔ）のｔと時刻
ｔのｔは別物）の相関の高さを示したものであることが
式から読みとれるため、相互相関関数値が最も高くな
る位置が最も相関が高いことを意味している。動きベク
トルとは物体の動きであるから、ある時刻ｔだけずらし
てそのずらし量が動きベクトルと一致すると最も高い相
関があるはずであるから、相互相関関数が最大値をとる
ところを探せばその位置の原点からの座標が動きベクト
ルとなる。Now, a method for obtaining a motion vector from the cross-correlation function will be described below. T of the cross-correlation function of the equation is a shift amount, and the equation is that when x (t) and y (t) are shifted by time t (t of x (t), y (t) and t at time t are: Since it can be read from the equation that it indicates the level of correlation of another object, the position where the cross-correlation function value is the highest indicates the highest correlation. Since the motion vector is the motion of the object, the highest correlation should be obtained if the amount of the displacement matches the motion vector after being shifted by a certain time t, so if the position where the cross-correlation function takes the maximum value is found, the position is obtained. Are the motion vectors.

【００３５】このため最大値を研削するのがサーチ回路
６である。本段落でのずらし量は、ブロックマッチング
法のようにブロックの位置を実際にずらすという意味で
はなく、ブロックの位置はそのままだが、ブロック位置
を動かさずに演算しても式１のような演算結果となるた
め、等価的にずらして演算したのと同じ結果が得られ
る。このことでわかるように、本願の発明はブロックを
一画素ずつずらして演算する必要がないのでメモリ制御
が非常に簡単になり、また、フーリエ変換やコサイン変
換と同様に高速演算手段があるため、ハードウェア規模
もそれほど大きくならないという効果がある。なお、逆
変換後求まった相互相関関数はｔが負のときはｔ≧N/2
のところに存在することに注意する必要がある。つまり
ｔ≧N/2 のところではN/2 −ｔを置きかえることに注意
しなければならない。Therefore, the search circuit 6 grinds the maximum value. The amount of shift in this paragraph does not mean that the position of the block is actually shifted as in the block matching method, but the position of the block remains as it is, but even if the operation is performed without moving the block position, the operation result as shown in Equation 1 is obtained. Therefore, the same result as that obtained by performing the operation with an equivalent shift is obtained. As can be seen from the above, the invention of the present application does not need to perform the operation by shifting the block one pixel at a time, so that the memory control is very simple, and since there is a high-speed operation means similar to the Fourier transform or the cosine transform, There is an effect that the hardware scale does not become so large. The cross-correlation function obtained after the inverse transformation is t ≧ N / 2 when t is negative.
Note that it exists at That is, it should be noted that N / 2−t is replaced when t ≧ N / 2.

【００３６】[0036]

【００３７】ハートレー変換で動きベクトルを求める際
に、ブロック化した時間領域での変換をするため、時間
領域での繰り返した信号をハートレー変換したのと同じ
となり、周波数領域でも繰り返しの信号となる。この場
合、ステップ信号の変換をすると、重なり領域が多いた
め、動きベクトルが一意に定まりにくくなる場合があ
る。このためには、例えば画像の特徴抽出を行なってか
らハートレー変換を施せば良い。[0037] When a motion vector is obtained by Hartley transform, to convert the time domain that is blocked, becomes the same as that Hartley transform a repetitive signal in the time domain, a repetition of the signal in the frequency domain . In this case, when the step signal is converted, the motion vector may be difficult to be uniquely determined because there are many overlapping areas. For this, we have good if Hodokose the Hartley transform example after performing the feature extraction image.

【００３８】その１つの具体例が微分器４である。微分
器４は画面の水平方向と垂直方向に微分する（差分をと
る）回路であり、２回微分（２回差分）でも、ハイパス
フィルタでもよいし、高域強調もしくは低域抑圧の周波
数特性のフィルタでも良い。この微分器４により、画像
のエッジが抽出され、画像の特徴が抽出されたことによ
り、ステップ信号はインパルス信号に変換されるため、
ハートレー変換して成分乗算器２を通して逆ハートレー
変換したときの相互相関関数がシャープになり一意に定
まらないという事態がなくなる。One specific example is the differentiator 4. The differentiator 4 is a circuit that differentiates (takes a difference) in the horizontal and vertical directions of the screen. The differentiator 4 may be a two-time derivative (two-time difference), a high-pass filter, or a high-frequency emphasis or low-frequency suppression frequency characteristic. A filter may be used. Since the edge of the image is extracted by the differentiator 4 and the feature of the image is extracted, the step signal is converted into an impulse signal.
When the Hartley transform is performed and the inverse Hartley transform is performed through the component multiplier 2, the cross-correlation function becomes sharp and the situation where it is not uniquely determined is eliminated.

【００３９】また、０補間器５は、図４のように、ブロ
ックの４倍（面積）の大きさのブロックの中の面積の増
大分を０で埋める動作をする。このように処理したの
ち、この図の例では16画素×16画素のブロックサイズと
してハートレー変換器１にてハートレー変換して、16画
素×16画素の成分乗算器２を通して16画素×16画素のハ
ートレー逆変換器３にて逆変換して、最大値をサーチす
ることによって動きベクトルを抽出する。As shown in FIG. 4 , the zero interpolator 5 performs an operation of filling an increase in area in a block having a size four times (area) of the block with zero. After processing in this manner, in the example of this figure, the Hartley transform is performed by the Hartley converter 1 as a block size of 16 pixels × 16 pixels, and the Hartley transform of 16 pixels × 16 pixels is performed through the component multiplier 2 of 16 pixels × 16 pixels. The motion vector is extracted by performing an inverse transform in the inverse transformer 3 and searching for the maximum value.

【００４０】０補間器５の役割は、ハートレー変換等の
直交変換の特徴である区切られた時間関数の繰り返しの
周期をこの実施例の場合は２倍に延ばすという働きがあ
る。ハートレー変換を使って動きベクトルを求める場
合、時間関数が繰り返し状態で変換されると考えられる
ため、ｋがN/2 より大きい場合＋ｋ動いたのかN/2 −ｋ
動いたのか判断がつかないような特異なパターンが存在
する。例えば、８画素×８画素のブロッキングでｘ方向
に６画素右に動いたのか４−６画素右に動いたのかすな
わち２画素左に動いたのか判断がつかないような特異パ
ターンが存在する。このため、０補間をして繰り返し周
期を２倍にすると６画素右に動いた場合は、N/2 −ｋは
負にならないため、上述の特異な誤判定パターンを回避
することができる。The function of the zero interpolator 5 is to extend the repetition period of the divided time function, which is a feature of orthogonal transform such as Hartley transform, to twice in this embodiment. When a motion vector is obtained using the Hartley transform, it is considered that the time function is transformed in a repetitive state. Therefore, if k is larger than N / 2, whether k moves + k or N / 2 −k
There is a peculiar pattern that makes it difficult to judge whether it has moved. For example, there is a peculiar pattern in which it is difficult to determine whether the pixel has moved to the right in the x direction by 6 pixels or 4 to 6 pixels to the right due to the blocking of 8 pixels × 8 pixels, that is, to the left by 2 pixels. For this reason, if the repetition period is doubled by performing 0 interpolation and the pixel moves to the right by 6 pixels, N / 2−k does not become negative, so that the above-described peculiar erroneous determination pattern can be avoided.

【００４１】また、ノイズによって動きベクトルが誤検
出される場合もあり、ハイパスフィルタによって高周波
成分を抽出し、小信号成分のみを抽出するリミッタによ
ってノイズ成分を抽出し、原信号から減算するようなノ
イズ除去処理を行なってから上述のような処理を施すと
なお、いっそう誤検出が少なくなる。In some cases, a motion vector is erroneously detected due to noise, and a high-frequency component is extracted by a high-pass filter, a noise component is extracted by a limiter that extracts only a small signal component, and noise is subtracted from the original signal. If the above-described processing is performed after the removal processing is performed, the erroneous detection is further reduced.

【００４２】また上記処理の順序については不問であ
り、例えばノイズ除去を微分処理後に行なっても良い。
また、微分処理は上述の例に限らず、２次微分やいわゆ
るソーベルのフィルタ等の非線形フィルタでも良いこと
はいうまでもない。The order of the above processing is not questionable. For example, the noise may be removed after the differentiation processing.
Further, it is needless to say that the differentiation processing is not limited to the above-described example, but may be a second-order differentiation or a nonlinear filter such as a so-called Sobel filter.

【００４３】図５は例えば８画素×８画素のブロックが
水平方向に５ブロック垂直方向に３ブロックあるような
状態を表しており、Ｂ_n としてｎがブロックの番号を示
している。今、あるフィールド又はフレームのＢ₈ のブ
ロックの動きベクトルを抽出する場合について説明す
る。このフィールド又はフレームを仮にαＦと称す。そ
れと異なるフィールド又はフレームを仮にβＦと称す。
αＦとβＦの画像間で動きベクトルを求めることを考え
る。FIG . 5 shows a state in which, for example, there are 5 blocks of 8 pixels × 8 pixels in the horizontal direction and 3 blocks in the vertical direction, and n is the block number as B _n . Now, a description will be given of a case of extracting a motion vector of a field or block of a frame of B _8. This field or frame is temporarily referred to as αF. A different field or frame is temporarily referred to as βF.
Consider obtaining a motion vector between images of αF and βF.

【００４４】上述の例ではαＦのＢ₈ というブロックの
動きベクトルを求める際αＦ，βＦそれぞれのＢ₈ とい
うブロックに対してハートレー変換し、成分乗算して、
ハートレー逆変換したが、本願の発明はαＦのＢ₈ のブ
ロックのハートレー変換した結果に対してβＦのＢ₁ 〜
Ｂ₁₅の各ブロックのハートレー変換結果それぞれを成分
乗算して、15ブロックすべてについて逆ハートレー変換
を行い、その結果を図６の点線に示したような位置に配
して、全体の最大値をサーチして動きベクトルを抽出す
る。[0044] When obtaining a motion vector of a block of B ₈ of .alpha.F in the above example .alpha.F, and Hartley transform on blocks of βF each B _8, and component product,
Hartley was reverse conversion, the present invention is βF of B ₁ ~ on the result obtained by Hartley transform of a block of αF of B ₈
Each Hartley transform result of each block B ₁₅ and component product, 15 block performs inverse Hartley transform for all, the results placed in a position as shown in dotted line in FIG. 6, searches the entire maximum value To extract the motion vector.

【００４５】この図６のように配置する際、各ブロック
の中心はｔ＝０に相当するため、ｔ≧N/2 のところをｔ
＜０にスライドさせてから図６に示したように配して合
成する必要がある。このように多ブロックの逆ハートレ
ー変換結果を合成することでブロックサイズより大きい
動きベクトルが求められるため、求める動きベクトルが
ブロックサイズによって制限を受けないというメリット
がある。In the arrangement as shown in FIG. 6 , since the center of each block corresponds to t = 0, the place where t ≧ N / 2 is replaced by t
After sliding to <0, it is necessary to arrange and combine as shown in FIG . Since a motion vector larger than the block size is obtained by combining the inverse Hartley transform results of multiple blocks in this way, there is an advantage that the motion vector to be obtained is not restricted by the block size.

【００４６】本願の発明は、ハートレー変換に限ること
なくフーリエ変換等他の直交変換でも同様の効果がある
ことはいうまでもない。ただし単純なＤＣＴ（離散コサ
イン変換）ではこのようなことはできない。It is needless to say that the present invention is not limited to the Hartley transform but has the same effect in other orthogonal transforms such as Fourier transform. However, this cannot be done with a simple DCT (discrete cosine transform).

【００４７】また、本発明にはブロッキングをする機能
が必要であるが、これらはメモリの書き込みと読み出し
を制御することで容易に実現できることはいうまでもな
い。Although the present invention requires a blocking function, it goes without saying that these functions can be easily realized by controlling the writing and reading of the memory.

【００４８】また、本願は２次元ハートレー変換につい
て示したが１次元ハートレー変換でも同様の効果を奏す
る。[0048] Further, this application also exhibits the same effect at the indicated but one-dimensional Hartley transform two-dimensional Hartley transform.

【００４９】また、上述の説明では、ハートレー変換器
を並列に用いて説明したが、高速動作化して、１つのハ
ートレー変換器で時分割で動作させても良いことはいう
までもない。In the above description, the Hartley converter is used in parallel. However, it is needless to say that the operation may be speeded up and one Hartley converter may be operated in a time division manner.

【００５０】[0050]

【００５１】[0051]

【発明の効果】以上のようにこの発明によれば、１画素
ずつずらしてブロッキングし直すという動作がなく、あ
る定められた位置（例えば８画素毎）でブロッキングし
て動きベクトルを求めることが可能であるため、メモリ
制御が非常に単純であり、また、ハードウェアも高速演
算法により小型化可能であるので簡単に回路化でき、ま
た精度も多段探索ブロックマッチング法に比べて良いと
いう効果がある。また特異な動きパターンであってもブ
ロックサイズより大きな動きがある場合にも高い精度で
動きベクトルを検出できる。 As described above, according to the present invention, there is no operation of shifting and blocking again one pixel at a time, and it is possible to obtain a motion vector by blocking at a predetermined position (for example, every eight pixels). Therefore, there is an effect that the memory control is very simple, the hardware can be miniaturized by the high-speed operation method, so that the circuit can be easily formed, and the accuracy is better than that of the multi-stage search block matching method. . Even if the motion pattern is unique,
High accuracy even when there is movement larger than the lock size
A motion vector can be detected.

【図面の簡単な説明】[Brief description of the drawings]

【図１】画像データのブロッキングしてハートレー変換
した係数を表わす図。FIG. 1 is a diagram showing a Hartley-transformed coefficient obtained by blocking image data.

【図２】本願の第一発明の動作原理を示す図。FIG. 2 is a diagram showing the operation principle of the first invention of the present application.

【図３】本願の第一発明の一実施例。FIG. 3 shows an embodiment of the first invention of the present application.

【図４】０補間動作の一例を示す図。 FIG. 4 is a diagram showing an example of a 0 interpolation operation.

【図５】本願発明の動作説明図。 FIG. 5 is an operation explanatory view of the present invention.

【図６】ブロック間合成の一例を説明する図。 FIG. 6 is a view for explaining an example of inter-block synthesis.

【図７】ブロック化の一例。 FIG. 7 shows an example of blocking.

【図８】ブロックマッチング法の動作を説明する図。 FIG. 8 is a diagram illustrating the operation of the block matching method.

【図９】ブロックマッチング法で動きベクトルを抽出で
きたときに構成されているブロックを示す図。 FIG. 9: Extraction of motion vector by block matching method
The figure which shows the block comprised when it comes.

【図１０】動きに関して説明した図。 FIG. 10 is a diagram illustrating movement.

【符号の説明】[Explanation of symbols]

１ ハートレー変換器 ２ 成分乗算器 ３ ハートレー逆変換器 ４ 微分器 ５ ０補間器 ６ サーチ回路1 Hartley Transformer 2 Component Multiplier 3 Hartley Inverter 4 Differentiator 5 0 Interpolator 6 Search Circuit

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/32 Continuation of front page (58) Field surveyed (Int.Cl. ⁷ , DB name) H04N 7/32

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 ２つの異なるフィールドまたはフレーム
間に生じた動きの量を求める動きベクトル抽出回路であ
って、前記２つの異なるフィールドまたはフレームの画
像データをブロック化するブロック化手段と、該ブロッ
ク化手段からの出力に対し各１ブロックの出力の周りを
０で埋めてブロックの面積を増大する０補間を行って周
波数領域の関数に変換する変換手段と、前記２つの異な
るフィールドまたはフレームの画像データのうち、一方
の画像データの１のブロックの変換出力を、他方の画像
データの複数のブロックの変換出力にそれぞれ成分乗算
する成分乗算手段と、該成分乗算手段の複数の出力から
前記２つの異なるフィールドまたはフレームの対応する
ブロック間の相関を求める演算手段と、該演算手段の複
数の出力より動きベクトル情報を求める手段を備えるこ
とを特徴とした動きベクトル抽出回路。1. A motion vector extraction circuit for obtaining an amount of motion generated between two different fields or frames, comprising : blocking means for blocking image data of the two different fields or frames;
Around the output of each block with respect to the output from the
Zero interpolation to increase the block area by filling with zeros
A conversion means for converting into a function in the wave number domain;
Field or frame image data
The converted output of one block of the image data of
Multiply the transform output of multiple blocks of data by component
And a plurality of outputs of the component multiplying means.
The corresponding of the two different fields or frames
Calculating means for determining the correlation between blocks;
Motion vector extraction circuit was characterized by Rukoto comprising means for obtaining the motion vector information from the output number. 【請求項２】 前記ブロック化手段の出力を周波数領域
の関数に変換する変換手段としてハートレー変換を用い
る変換手段を備えることを特徴とした請求項１に記載の
動きベクトル抽出回路。2. The method according to claim 1, wherein the output of said blocking means is in the frequency domain.
Hartley transform is used as the conversion means
The motion vector extracting circuit according to claim 1, further comprising a converting means . 【請求項３】 前記変換手段は低域の抑圧された画像デ
ータを周波数変換することを特徴とした請求項１または
請求項２に記載の動きベクトル抽出回路。3. The image processing apparatus according to claim 2, wherein said converting means includes a low-frequency suppressed image data.
The frequency conversion of the data is performed,
The motion vector extraction circuit according to claim 2 . 【請求項４】 前記変換手段はノイズリダクションをし
た画像データを周波数変換することを特徴とした請求項
１に記載の動きベクトル抽出回路。 4. The conversion means performs noise reduction.
Wherein the frequency of the image data is converted.
2. The motion vector extraction circuit according to 1.