JPH09121357A - Motion vector detector - Google Patents

Abstract

PROBLEM TO BE SOLVED: To calculate a motion vector by inputting a band signal. SOLUTION: A hierarchical image restoration part 21-i restores an image by inputting a wavelet conversion signal s11-i of a preceding frame and an output signal s21-(i-1) from a hierarchical image restoration part 21-(i-1) on the preceding stage (a wavelet conversion signal in the case of i=0) and outputs that restored image s21-i to a hierarchical image restoration part 21-(i+1) and a motion vector estimation part 23-i on the following stages. The motion vector estimation part 23-i performs block matching for each block of N×M picture elements, finds a motion vector s23-i and outputs it to a motion vector estimation part 23-(i+1) on the next stage. A motion vector s23-n is outputted from a motion vector estimation part 23-n on the final stage.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、動画像の低ビット
レート・高能率符号化・復号化装置、画像伝送装置、画
像処理装置などに用いられる動画像の動きベクトル検出
装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving image motion vector detecting device used in a moving image low bit rate / high efficiency encoding / decoding device, an image transmitting device, an image processing device and the like.

【０００２】[0002]

【従来の技術】従来、このような分野の技術としては、
例えば、次のような文献に記載されるものがあった。 文献；電子情報通信学会論文誌、１９８９年、Ｊ７２−
Ｄ−ＩＩ、富永他著、「階層画素情報を用いた動画像に
おける動き量検出方式」、Ｐ．３９４−４０３ 前記文献には、時間的に連続する２フレームからそれぞ
れ階層画像を生成し、上位階層から逐次的にブロック毎
の動きベクトルを検出する方法が記載されている。図２
は、前記文献に記載された従来の動きベクトル検出装置
の機能ブロック図である。図２に示すように、動きベク
トル検出装置は、ｎ段の前フレーム画像に対する階層画
像生成部１−ｉ（ｉ＝１〜ｎ）、ｎ段の現フレーム画像
に対する階層画像生成部２−ｉ（ｉ＝１〜ｎ）、（ｎ＋
１）段の動きベクトル推定部３−ｉ（ｉ＝０〜ｎ）によ
り構成されている。この動きベクトル検出装置では、前
フレーム信号ｓ１−０は、１段目の階層画像生成部（Ｍ
ＨＩ）１−１及び０段目の動きベクトル推定部（ＭＥ）
３−０に送られる。2. Description of the Related Art Conventionally, techniques in such a field include:
For example, some documents were described in the following documents. Reference: IEICE Transactions , 1989, J72-
D-II , Tominaga et al., "Motion Detection Method in Moving Image Using Hierarchical Pixel Information", P. 394-403 The above-mentioned document describes a method of generating a hierarchical image from two temporally consecutive frames and sequentially detecting a motion vector for each block from an upper hierarchical layer. FIG.
FIG. 4 is a functional block diagram of a conventional motion vector detection device described in the above document. As shown in FIG. 2, the motion vector detection device includes a hierarchical image generation unit 1-i (i = 1 to n) for the nth previous frame image and a hierarchical image generation unit 2-i (n for the nth current frame image. i = 1 to n), (n +
1) stage motion vector estimation unit 3-i (i = 0 to n). In this motion vector detection device, the previous frame signal s1-0 outputs the first-stage hierarchical image generation unit (M
HI) 1-1 and 0-th stage motion vector estimation unit (ME)
Sent to 3-0.

【０００３】１段目の階層画像生成部１−１は、前フレ
ーム信号ｓ１−０から式（１）にしたがって、１つ上位
の階層画像信号ｓ１−１を生成して、２段目の階層画像
生成部１−２及び１段目の動きベクトル推定部３−１に
送る。現フレーム信号ｓ２−０は、１段目の階層画像生
成部２−１及び０段目の動きベクトル推定部３−０に送
られる。１段目の階層画像生成部２−１は、現フレーム
信号ｓ２−０から式（１）にしたがって、１つ上位の階
層画像信号ｓ２−１を生成して、２段目の階層画像生成
部１−２及び１段目の動きベクトル推定部３−１に送
る。ｉ段目の階層画像生成部２−ｉ（ｉ＝２〜ｎ）は、
前フレームの１つ下位の階層画像信号ｓ２−（ｉ−１）
から式（１）にしたがって、１つ上位の階層画像信号ｓ
２−ｉを生成して、（ｉ＋１）段目の階層画像生成部１
−（ｉ＋１）及びｉ段目の動きベクトル推定部３−ｉに
送る。但し、ｎ段目の階層画像生成部２−ｎは、１つ上
位の階層画像信号ｓ２−ｎを生成して、ｎ段目の動きベ
クトル推定部３−ｎに送る。The first-stage hierarchical image generating section 1-1 generates a higher-order hierarchical image signal s1-1 from the previous frame signal s1-0 according to the equation (1), and then generates the second-stage hierarchical image signal. It is sent to the image generation unit 1-2 and the first stage motion vector estimation unit 3-1. The current frame signal s2-0 is sent to the first-stage hierarchical image generation unit 2-1 and the zero-stage motion vector estimation unit 3-0. The first-stage hierarchical image generation unit 2-1 generates a higher-order hierarchical image signal s2-1 from the current frame signal s2-0 according to the equation (1), and the second-stage hierarchical image generation unit 2-1. It is sent to the motion vector estimating unit 3-1 of the first and second stages. The i-th hierarchical image generation unit 2-i (i = 2 to n)
Hierarchical image signal s2- (i-1) one level lower than the previous frame
From the equation (1), the next higher hierarchical image signal s
2-i, and the (i + 1) th stage hierarchical image generation unit 1 is generated.
-(I + 1) and the i-th stage motion vector estimation unit 3-i. However, the n-th hierarchical image generation unit 2-n generates the next higher hierarchical image signal s2-n and sends it to the n-th motion vector estimation unit 3-n.

【数１】 但し、ｆ_h (x,y) は画像信号であり、ｈは階層の番号を
示し、最上位階層ではｈ＝ｎであり、現画像ｈ＝０であ
り、ｘは横方向、ｙは縦方向を示す。上記手順を１度行
うと、出力画像信号は縦横ともに半分の大きさの画像信
号になり、上記手順を前フレーム信号及び現フレーム信
号共にｎ−１回繰り返すことによって、それぞれｎ段の
階層画像信号を得る。(Equation 1) However, f _h (x, y) is an image signal, h indicates a layer number, h = n in the highest layer, the current image h = 0, x is the horizontal direction, and y is the vertical direction. Indicates. When the above procedure is performed once, the output image signal becomes an image signal of half the size in both vertical and horizontal directions. By repeating the above procedure n-1 times for both the previous frame signal and the current frame signal, the hierarchical image signal of n stages respectively. To get

【０００４】ｉ段目の動きベクトル推定部３−ｉは、ｉ
段目の前フレーム信号の階層画像信号ｓ１−ｉ、現フレ
ーム信号の階層画像信号ｓ２−ｉ、（ｉ＋１）段目の動
きベクトル推定部３−（ｉ＋１）から送られてきた動き
ベクトルｓ３−（ｉ＋１）を入力として、ブロックマッ
チング法による動き検出法で動きベクトルを推定し、そ
の出力信号ｓ３−ｉを（ｉ−１）段目の動きベクトル推
定部３−（ｉ−１）に送る。但し、ｎ段目の動きベクト
ル推定部３−ｎは、入力される動きベクトル＝０又はな
いものとして、０段目の動きベクトル推定部３−０の動
きベクトルｓ３−０は、最終的な動きベクトルとする。
ブロックマッチング法では、式（２）により、マッチン
グ誤差を計算する。The i-th stage motion vector estimation unit 3-i
The hierarchical image signal s1-i of the previous frame signal of the stage, the hierarchical image signal s2-i of the current frame signal, the motion vector s3- (sent from the motion vector estimation unit 3- (i + 1) of the (i + 1) th stage i + 1) is input, a motion vector is estimated by the motion detection method by the block matching method, and the output signal s3-i is sent to the (i-1) th stage motion vector estimation unit 3- (i-1). However, the motion vector estimation unit 3-n of the nth stage assumes that the input motion vector = 0 or does not exist, and the motion vector s3-0 of the motion vector estimation unit 3-0 of the 0th stage is the final motion. Vector.
In the block matching method, the matching error is calculated by the equation (2).

【数２】 式（２）において、ブロックの大きさをＮ×Ｎ画素、ｆ
_cur を現フレーム信号、ｆ_pre を前フレーム信号として
いる。式（２）が最小となる（ξ，η）の組を検出動き
ベクトルとする。上記手順をｎ＋１回繰り返すことによ
って、最終的に求める動きベクトルｓ３−０を得る。(Equation 2) In equation (2), the block size is N × N pixels, f
_cur is the current frame signal and f _pre is the previous frame signal. The pair of (ξ, η) that minimizes the equation (2) is set as the detected motion vector. By repeating the above procedure n + 1 times, the finally obtained motion vector s3-0 is obtained.

【０００５】[0005]

【発明が解決しようとする課題】しかしながら、従来の
動きベクトル検出装置においては、次のような課題があ
った。 （ａ） ウェーブレット画像信号などの帯域信号が入力
された場合において、現画像を一旦再生してから、階層
画像を生成しなければならない。従って、フィルタを何
度もかけなければならず、装置を複雑にし、かつ処理の
効率が悪いという問題点があった。 （ｂ） 従来の動きベクトル検出装置はあくまでもブロ
ック単位にしか動きベクトルを求めることができず、か
つブロックサイズが固定される。従って、フレーム画像
全体で、各フレームの画素を表す情報量が少ない低ビッ
トレート動画像符号化では、動き補償後のブロック歪に
よる画像品質の低下が著しいという問題点があった。 （ｃ） 従来の動きベクトル検出装置はブロックベース
での検出であるので、そのブロック内で異なる動きがあ
る場合には、正確な動きベクトルを求めることができな
い。また、ブロックの境界で、同じ動画像上に動きが不
連続な点が生じるという問題点があった。However, the conventional motion vector detecting device has the following problems. (A) When a band signal such as a wavelet image signal is input, the current image must be reproduced once before the hierarchical image is generated. Therefore, the filter has to be applied many times, which complicates the apparatus and has a problem of low processing efficiency. (B) The conventional motion vector detection device can obtain the motion vector only in block units, and the block size is fixed. Therefore, in the low bit rate moving image coding in which the amount of information representing the pixels of each frame is small in the entire frame image, there is a problem that the image quality is significantly deteriorated due to block distortion after motion compensation. (C) Since the conventional motion vector detection device is block-based detection, if there is a different motion in the block, it is not possible to obtain an accurate motion vector. In addition, there is a problem that a discontinuous point occurs on the same moving image at a block boundary.

【０００６】[0006]

【課題を解決するための手段】第１の発明の動きベクト
ル検出装置は、前記課題を解決するために、１段目では
前フレーム画像の帯域分割信号が入力され前記前フレー
ム画像の階層信号を出力し、ｉ（ｉ＝２，３，…，ｎ；
ｎ≧１の整数）段目は前記前フレーム画像の帯域分割信
号及びｉ−１段目から出力される前記前フレーム画像の
階層信号とから前記前フレーム画像の階層信号を出力す
るｎ段の前記第１の階層画像復元部と、１段目では現フ
レーム画像の帯域分割信号が入力され前記現フレーム画
像の階層信号を出力し、ｉ（ｉ＝２，３，…，ｎ；ｎ≧
１の整数）段目は前記現フレーム画像の帯域分割信号及
びｉ−１段目から出力される前記現フレーム画像の階層
信号とから前記現フレーム画像の階層信号を出力するｎ
段の前記第２の階層画像復元部と、０段目では前記前フ
レーム画像の帯域分割信号及び前記現フレーム画像の帯
域信号とが入力され推定動きベクトルを出力し、ｊ（ｊ
＝１，２，…，ｎ）段目では前記第１の階層画像復元部
及び前記第２の階層画像復元部とから出力されるｊ段目
の前記前フレーム画像の階層信号及びｉ段目の前記現フ
レーム画像の階層信号及びｊ−１段目の動きベクトル推
定部から出力される推定動きベクトルとが入力され、新
しく推定動きベクトルを出力するｎ＋１段の動きベクト
ル推定部とを備えている。In order to solve the above-mentioned problems, the motion vector detecting apparatus of the first invention receives the band division signal of the previous frame image at the first stage and outputs the hierarchical signal of the previous frame image. Output, i (i = 2, 3, ..., N;
The (n ≧ 1 integer) stage is the nth stage of outputting the hierarchical signal of the previous frame image from the band division signal of the previous frame image and the hierarchical signal of the previous frame image output from the i−1th stage. The first layer image restoration unit and the band division signal of the current frame image are input in the first stage and the layer signal of the current frame image is output, and i (i = 2, 3, ..., N; n ≧ n
The (integer of 1) stage outputs the hierarchical signal of the current frame image from the band division signal of the current frame image and the hierarchical signal of the current frame image output from the (i-1) th stage n
The second hierarchical image restoration unit of the stage and the band division signal of the previous frame image and the band signal of the current frame image are input at the 0th stage to output an estimated motion vector, and j (j
= 1, 2, ..., N), the j-th hierarchical signal of the previous frame image and the i-th hierarchical signal output from the first hierarchical image restoration unit and the second hierarchical image restoration unit. The hierarchical signal of the current frame image and the estimated motion vector output from the j−1th stage motion vector estimation unit are input, and an n + 1th stage motion vector estimation unit that outputs a new estimated motion vector is provided.

【０００７】[0007]

【発明の実施の形態】第１の実施形態 図１は、本発明の第１の実施形態を示す動きベクトル検
出装置の機能ブロック図である。本第１の実施形態の動
きベクトル検出装置が従来の動きベクトル検出装置と異
なる点は、帯域分割された画像信号を入力して、階層画
像を復元しながら、動きベクトルを検出するようにした
ことである。図１に示すように、ｎ（ｎ≧１の任意の正
整数）段の前フレーム画像を再構成する階層画像復元部
（ＭＨＲ）２１−ｉ（ｉ＝１〜ｎ）、ｎ段の現フレーム
画像を再構成する階層画像復元部（ＭＨＲ）２２−ｉ
（ｉ＝１〜ｎ）、（ｎ＋１）段の動きベクトルを推定す
る動きベクトル推定部（ＭＥ）２３−ｉ（ｉ＝０〜ｎ）
とを備えている。前フレーム信号の０階層目の帯域信号
ｓ１１−０は、１段目の階層画像復元部２１−１、及び
０段目の動きベクトル推定部２３−０に接続されてい
る。現フレーム信号の０階層目の帯域信号ｓ１２−０
は、１段目の階層画像復元部２２−１及び０段目の動き
ベクトル推定部２３−０に接続されている。BEST MODE FOR CARRYING OUT THE INVENTION First Embodiment FIG. 1 is a functional block diagram of a motion vector detecting device showing a first embodiment of the present invention. The motion vector detecting device of the first embodiment is different from the conventional motion vector detecting device in that a band-divided image signal is input and a motion vector is detected while restoring a hierarchical image. Is. As shown in FIG. 1, a hierarchical image restoration unit (MHR) 21-i (i = 1 to n) for reconstructing a previous frame image of n stages (an arbitrary positive integer of n ≧ 1), and a current frame of n stages Hierarchical image restoration unit (MHR) 22-i for reconstructing an image
Motion vector estimation unit (ME) 23-i (i = 0 to n) that estimates motion vectors of (i = 1 to n) and (n + 1) stages
And The band signal s11-0 of the 0th layer of the previous frame signal is connected to the layer image restoration unit 21-1 of the 1st stage and the motion vector estimation unit 23-0 of the 0th stage. Band signal s12-0 of the 0th layer of the current frame signal
Is connected to the first-stage hierarchical image restoration unit 22-1 and the 0-th stage motion vector estimation unit 23-0.

【０００８】前フレーム信号の１階層目の帯域信号ｓ１
１−１は、１階層目の階層画像復元部２１−１に接続さ
れ、階層画像復元部２１−１の出力信号ｓ２１−１は１
段目の動きベクトル推定部２３−１及び２段目の階層画
像復元部２１−２に送られる。現フレーム信号の１階層
目の帯域信号ｓ１２−１は、１階層目の階層画像生成部
２２−１に接続され、階層画像復元部２２−１の出力信
号ｓ２２−１は１段目の動きベクトル推定部２３−１及
び２段目の階層画像復元部２２−２に送られる。ｉ（２
≦ｉ≦ｎ）段目の階層画像復元部２１−ｉは、ｉ階層目
の前フレームの帯域信号ｓ１１−ｉ及び前段の階層画像
復元部２１−（ｉ−１）の出力信号ｓ２１−（ｉ−１）
を入力として、階層画像復元部２１−ｉの出力信号ｓ２
１−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段
の階層画像復元部２１−（ｉ＋１）に送られる。ｉ（２
≦ｉ≦ｎ）段目の階層画像復元部２２−ｉは、ｉ階層目
の現フレームの帯域信号ｓ１２−ｉ及び前段の階層画像
復元部２２−（ｉ−１）の出力信号ｓ２２−（ｉ−１）
を入力として、階層画像復元部２２−ｉの出力信号ｓ２
２−ｉはｉ段目の動きベクトル推定部２３−ｉ及び次段
の階層画像復元部２２−（ｉ＋１）に送られる。Band signal s1 of the first layer of the previous frame signal
1-1 is connected to the hierarchical image restoring unit 21-1 of the first hierarchical layer, and the output signal s21-1 of the hierarchical image restoring unit 21-1 is 1
It is sent to the motion vector estimation unit 23-1 in the second stage and the hierarchical image restoration unit 21-2 in the second stage. The band signal s12-1 of the first layer of the current frame signal is connected to the layer image generation unit 22-1 of the first layer, and the output signal s22-1 of the layer image restoration unit 22-1 is the motion vector of the first stage. It is sent to the estimation unit 23-1 and the second-stage hierarchical image restoration unit 22-2. i (2
≦ i ≦ n) The hierarchical image restoring unit 21-i of the i-th layer is the band signal s11-i of the previous frame of the i-th layer and the output signal s21- (i of the previous hierarchical image restoring unit 21- (i-1). -1)
As an input, the output signal s2 of the hierarchical image restoration unit 21-i
1-i is sent to the i-th stage motion vector estimating unit 23-i and the next-stage hierarchical image restoring unit 21- (i + 1). i (2
≦ i ≦ n) The hierarchical image restoring unit 22-i of the i-th layer is the band signal s12-i of the current frame of the i-th layer and the output signal s22- (i) of the hierarchical image restoring unit 22- (i-1) of the previous stage. -1)
As an input, the output signal s2 of the hierarchical image restoration unit 22-i
2-i is sent to the i-th stage motion vector estimating unit 23-i and the next-stage hierarchical image restoring unit 22- (i + 1).

【０００９】０段目の動きベクトル推定部２３−ｉの出
力信号ｓ２３−ｉは、１段目の動きベクトル推定部２３
−１に送られ、さらに１段目の動きベクトル推定部２３
−ｉの出力信号ｓ２３−１は、２段目の動きベクトル推
定部２３−２に送られる。ｉ（１≦ｉ≦ｎ）段目の動き
ベクトル推定部２３−ｉは、動きベクトルｓ２３−（ｉ
−１）と前フレームの画像信号ｓ２１−ｉと、現フレー
ムの画像信号ｓ２２−ｉとを入力して、その出力信号ｓ
２３−ｉは（ｉ＋１）段目の動きベクトル推定部２３−
ｉに送られる。但し、０段目の動きベクトル推定部２３
−０においては、入力動きベクトル信号をゼロであると
して扱うと、各段の動きベクトル推定部が同一構成にな
る。ｎ段目の動きベクトル推定部２３−ｎの出力信号ｓ
２３−ｎが最終的な検出動きベクトルとなる。The output signal s23-i of the motion vector estimating unit 23-i of the 0th stage is the motion vector estimating unit 23 of the first stage.
-1, and the motion vector estimation unit 23 of the first stage
The output signal s23-1 of −i is sent to the second stage motion vector estimation unit 23-2. The motion vector estimation unit 23-i at the i-th (1 ≦ i ≦ n) stage is the motion vector s23- (i
-1), the image signal s21-i of the previous frame, and the image signal s22-i of the current frame are input, and its output signal s
23-i is the motion vector estimation unit 23- of the (i + 1) th stage
sent to i. However, the motion vector estimation unit 23 of the 0th stage
At −0, if the input motion vector signal is treated as zero, the motion vector estimation unit in each stage has the same configuration. Output signal s of the motion vector estimation unit 23-n at the nth stage
23-n is the final detected motion vector.

【００１０】図３は、帯域信号がウェーブレット信号で
ある場合の図１中の階層画像復元部２２−ｉの機能ブロ
ック図である。図３に示すように、階層画像復元部２２
−ｉは、アップサンプリング部（ＵＰ）５１−ｉ，５２
−ｉ，５３−ｉ，５４−ｉ、高域通過フィルタ（Ｇ）６
１−ｉ、低域通過フィルタ（Ｈ）６２−ｉ、高域通過フ
ィルタ（Ｇ）６３−ｉ、低域通過フィルタ（Ｈ）６４−
ｉ、加算器７１−ｉ，７２−ｉ、アップサンプリング部
（ＵＰ）８１−ｉ，８２−ｉ、加算器９１、乗算器１０
１により構成されている。高域通過フィルタ６１−ｉ，
６３−ｉ，８３−ｉ、低域通過フィルタ６２−ｉ，６４
−ｉ，８４−ｉはウェーブレット変換信号ｓ１１−ｉを
生成する際に使用したフィルタと逆特性のフィルタであ
る。前フレームの帯域信号ｓ１１−ｉは、例えば、帯域
信号ｓ１１−ｉ₁ ，ｓ１１−ｉ₂ ，ｓ１１−ｉ₃ により
構成される。FIG. 3 is a functional block diagram of the hierarchical image restoration unit 22-i in FIG. 1 when the band signal is a wavelet signal. As shown in FIG. 3, the hierarchical image restoration unit 22
-I is an upsampling unit (UP) 51-i, 52
-I, 53-i, 54-i, high-pass filter (G) 6
1-i, low pass filter (H) 62-i, high pass filter (G) 63-i, low pass filter (H) 64-
i, adders 71-i, 72-i, upsampling units (UP) 81-i, 82-i, adder 91, multiplier 10
1. High pass filter 61-i,
63-i, 83-i, low-pass filters 62-i, 64
-I and 84-i are filters having characteristics opposite to those of the filter used when the wavelet transform signal s11-i is generated. Band signals s11-i of the previous frame, for example, a band signal _{s11-i 1, s11-i} 2, s11-i 3.

【００１１】帯域信号ｓ１１−ｉ₁ は、画像信号の行及
び列について高域通過フィルタを掛けられたウェーブレ
ット画像信号、帯域信号ｓ１１−ｉ₂ は、画像信号の行
方向に高域通過フィルタを、列方向に低域通過フィルタ
を掛けられたウェーブレット画像信号である。帯域信号
ｓ１１−ｉ₃ は、画像信号の行方向に低域通過フィルタ
を、列方向に高域通過フィルタを掛けられたウェーブレ
ット画像信号、帯域信号ｓ２１−（ｉ−１）は、行及び
列方向に低域通過フィルタを掛けられた信号である（但
し、ｉ＝０の場合は、行及び列方向に低域通過フィルタ
を掛けられたウェーブレット信号である。）。入力信号
ｓ１１−ｉ₁ は、アップサンプリング部５１−ｉに接続
され、アップサンプリング部５１−ｉの出力信号ｓ５１
−ｉは、高域通過フィルタ６１−ｉに接続されている。
入力信号ｓ１１−ｉ₂ は、アップサンプリング部５２−
ｉに接続され、アップサンプリング部５２−ｉの出力信
号ｓ５２−ｉは、低域通過フィルタ６２−ｉに接続され
ている。[0011] band signal s11-i ₁ includes a wavelet image signals for row and column of the image signal is multiplied by the high pass filter, band signal s11-i ₂ is a high-pass filter in the row direction of the image signal, It is a wavelet image signal that is low-pass filtered in the column direction. Band signals s11-i ₃ is the low-pass filter in the row direction of the image signal, wavelet image signal that has been multiplied by the high pass filter in the column direction, the band signal s21- (i-1), the row and column Is a signal that has been low-pass filtered (where i = 0 is a wavelet signal that has been low-pass filtered in the row and column directions). The input signal s11-i ₁ is connected to the upsampling unit 51-i, and the output signal s51 of the upsampling unit 51-i is
-I is connected to the high pass filter 61-i.
Input signals s11-i ₂ is upsampling unit 52-
The output signal s52-i of the upsampling unit 52-i is connected to the low pass filter 62-i.

【００１２】入力信号ｓ１１−ｉ₃ は、アップサンプリ
ング部５３−ｉに接続され、アップサンプリング部５３
−ｉの出力信号ｓ５３−ｉは、高域通過フィルタ６３−
ｉに接続されている。入力信号ｓ２１−（ｉ−１）（又
は、ｓ１１−０₄ ）は、アップサンプリング部５４−ｉ
に接続され、アップサンプリング部５４−ｉの出力信号
ｓ５４−ｉは、低域通過フィルタ６４−ｉに接続されて
いる。高域通過フィルタ６１−ｉの出力信号ｓ６１−ｉ
及び低域通過フィルタ６２−ｉの出力信号ｓ６２−ｉ
は、加算器７１−ｉに接続され、加算器７１−ｉの出力
信号ｓ７１−ｉは、アップサンプリング部８１−ｉに接
続されている。高域通過フィルタ６３−ｉの出力信号ｓ
６３−ｉ及び低域通過フィルタ６４−ｉの出力信号ｓ６
４−ｉは、加算器７２−ｉに接続され、加算器７２−ｉ
の出力信号ｓ７２−ｉは、アップサンプリング部８２−
ｉに接続されている。アップサンプリング部８１−ｉの
出力信号ｓ８１−ｉは、高域通過フィルタ８３−ｉに接
続され、アップサンプリング部８２−ｉの出力信号ｓ８
２−ｉは、加算器９１に接続されている。加算器９１の
出力信号ｓ９１は、乗算器１０１に接続され、乗算器１
０１の出力信号が階層画像復元部２１−ｉの出力信号ｓ
２１−ｉとなる。階層画像復元部２２−ｉの構成も階層
画像復元部２１−ｉと同様である。The input signal s11-i ₃ is connected to the upsampling unit 53-i, and the upsampling unit 53
-I output signal s53-i is high-pass filter 63-
connected to i. The input signal s21- (i-1) (or s11-0 ₄ ) is supplied to the upsampling unit 54-i.
And the output signal s54-i of the upsampling unit 54-i is connected to the low pass filter 64-i. Output signal s61-i of high pass filter 61-i
And the output signal s62-i of the low pass filter 62-i
Is connected to the adder 71-i, and the output signal s71-i of the adder 71-i is connected to the upsampling unit 81-i. Output signal s of the high pass filter 63-i
63-i and low-pass filter 64-i output signal s6
4-i is connected to the adder 72-i, and the adder 72-i
Output signal s72-i of the upsampling unit 82-
connected to i. The output signal s81-i of the upsampling unit 81-i is connected to the high pass filter 83-i and the output signal s8 of the upsampling unit 82-i is output.
2-i is connected to the adder 91. The output signal s91 of the adder 91 is connected to the multiplier 101, and the multiplier 1
The output signal of 01 is the output signal s of the hierarchical image restoration unit 21-i.
21-i. The structure of the hierarchical image restoring unit 22-i is the same as that of the hierarchical image restoring unit 21-i.

【００１３】以下、図１の動作の説明をする。入力信号
ｓ１１−ｉ（ｉ＝０〜ｎ）は、前フレームのｉ段目のウ
ェーブレット信号であり、入力信号ｓ１２−ｉは、現フ
レームのｉ段目のウェーブレット信号である。ウェーブ
レット信号とは、高符号化信号であり、例えば、前フレ
ーム、現フレームの画像信号の周波数帯域を１／２ずつ
に分割するとともに、半分にダウンサンプリングをした
ものであり、入力信号ｓ１１−ｉは、例えば、以下の通
りである。入力信号ｓ１１−ｉは、信号ｓ１１−ｉ₁ 〜
ｓ１１−ｉ₃ より構成されており、原画像又は前段のウ
ェーブレット変換部より出力される信号に対して、以下
の処理を施した信号である。ウェーブレット信号ｓ１１
−ｉ₁ は、行方向、及び列方向にそれぞれ高域通過フィ
ルタをかけた信号を行方向、及び列方向に半分にダウン
サンプリングした信号である。ウェーブレット信号ｓ１
１−ｉ₂ は、行方向に高域通過フィルタをかけ、列方向
に低域通過フィルタをかけた信号を行方向、及び列方向
に半分にダウンサンプリングした信号である。ウェーブ
レット信号ｓ１１−ｉ₃ は、行方向に低域通過フィルタ
をかけ、列方向に高域通過フィルタをかけた信号を行方
向、及び列方向に半分にダウンサンプリングした信号で
ある。行方向、列方向に低域通過フィルタをかけた信号
を行方向、及び列方向に半分にダウンサンプリングした
信号は、次段のウェーブレット変換部に出力して、最終
段のウェーブレット信号は、信号ｓ１１−０₄ として、
階層画像復元部２１−０に入力される信号である。The operation of FIG. 1 will be described below. The input signal s11-i (i = 0 to n) is the i-th stage wavelet signal of the previous frame, and the input signal s12-i is the i-th stage wavelet signal of the current frame. The wavelet signal is a high coded signal, and is, for example, a signal obtained by dividing the frequency band of the image signal of the previous frame and the current frame into ½ and down-sampling to half, and Is, for example, as follows. The input signal s11-i is the signal s11-i _1-
s11-i ₃ is constituted from the signal output from the wavelet transform unit of the original image or the previous stage, a signal subjected to the following process. Wavelet signal s11
-I ₁ is a signal obtained by down-sampling a signal that has been subjected to a high-pass filter in the row direction and the column direction by half in the row direction and the column direction. Wavelet signal s1
1-i ₂ is a signal obtained by down-sampling a signal that is high-pass filtered in the row direction and low-pass filtered in the column direction by half in the row and column directions. Wavelet signal s11-i ₃ is multiplied by the low-pass filter in the row direction, a signal obtained by down-sampling by half a signal multiplied by the high pass filter in the column direction row direction and the column direction. A signal obtained by down-sampling the signal that has been subjected to the low-pass filter in the row direction and the column direction by half in the row direction and the column direction is output to the wavelet transform unit in the next stage, and the wavelet signal in the last stage is the signal s11. as -0 _4,
This is a signal input to the hierarchical image restoration unit 21-0.

【００１４】まず、前フレームのｉ段目のウェーブレッ
ト変換信号ｓ１１−ｉは、階層画像復元部２１−１に入
力される。アップサンプリング５１−ｉは、ウェーブレ
ット変換信号ｓ１１−ｉ₁ を列方向に０を挿入して、２
倍にアップサンプリングして、出力信号ｓ５１−ｉを高
域通過フィルタ６１−ｉに送る。アップサンプリング５
２−ｉは、ウェーブレット変換信号ｓ１１−ｉ₂ を列方
向に０を挿入して、２倍にアップサンプリングして、出
力信号ｓ５２−ｉを低域通過フィルタ６２−ｉに送る。
アップサンプリング部５３−ｉは、ウェーブレット変換
信号ｓ１１−ｉ₃ を列方向に０を挿入して、２倍にアッ
プサンプリングして、出力信号ｓ５３−ｉを高域通過フ
ィルタ６３−ｉに送る。アップサンプリング部５４−ｉ
は、ウェーブレット変換信号ｓ１１−０₄ 又は前段の階
層画像復元部２１−（ｉ−１）の出力信号ｓ２１−（ｉ
−１）を列方向に０を挿入して、２倍にアップサンプリ
ングして、出力信号ｓ５４−０を低域通過フィルタ６４
−０に送る。First, the i-th stage wavelet transform signal s11-i of the previous frame is input to the hierarchical image restoration unit 21-1. The upsampling 51-i inserts 0 in the column direction of the wavelet transform signal s11-i ₁ and outputs 2
Upsampling is performed twice, and the output signal s51-i is sent to the high pass filter 61-i. Upsampling 5
2-i is a wavelet transform signal s11-i ₂ by inserting 0 in the column direction, and up-sampled two times, and sends an output signal s52-i in a low pass filter 62-i.
Up-sampling unit 53-i is a wavelet transform signal s11-i ₃ by inserting 0 in the column direction, and up-sampled two times, and sends an output signal s53-i in the high-pass filter 63-i. Upsampling unit 54-i
The output signal s21- (i of the wavelet transform signal S11-0 ₄ or preceding hierarchical image restoring section 21- (i-1)
-1) is inserted with 0 in the column direction and upsampled by 2 to output the output signal s54-0 to the low-pass filter 64.
Send to 0.

【００１５】高域通過フィルタ６１−ｉは、信号ｓ５１
−ｉを列方向に高域通過フィルタ処理（アップサンプリ
ング部５１−ｉで０挿入したので、列方向の周波数が変
わりスムージング処理をする必要があるため）をして、
出力信号ｓ６１−ｉを加算器７１−ｉに入力する。低域
通過フィルタ６２−ｉは、信号ｓ５２−ｉを列方向に低
域通過フィルタ処理をして、出力信号ｓ６２−ｉを加算
器７１−ｉに入力する。加算器７１−ｉは、信号ｓ６１
−ｉと信号ｓ６２−ｉとを加算（合波）して、出力信号
ｓ７１−ｉをアップサンプリング８１−ｉに入力する。
アップサンプリング８１−ｉは、行方向に０を挿入し
て、２倍にアップサンプリングして、出力信号ｓ８１−
ｉを高域通過フィルタ８３−ｉに出力する。高域通過フ
ィルタ８３−ｉは、出力信号ｓ８１−ｉを行方向に高域
通過フィルタ処理をして、出力信号ｓ８３−ｉを加算器
９１に出力する。The high-pass filter 61-i outputs the signal s51.
-I is subjected to high-pass filter processing in the column direction (since 0 is inserted in the upsampling unit 51-i, the frequency in the column direction changes and smoothing processing is required),
The output signal s61-i is input to the adder 71-i. The low-pass filter 62-i low-pass filters the signal s52-i in the column direction and inputs the output signal s62-i to the adder 71-i. The adder 71-i outputs the signal s61.
-I and the signal s62-i are added (multiplexed), and the output signal s71-i is input to the upsampling 81-i.
The up-sampling 81-i inserts 0 in the row direction, up-sampling by 2 times, and outputs the output signal s81-
i is output to the high-pass filter 83-i. The high-pass filter 83-i performs high-pass filter processing on the output signal s81-i in the row direction and outputs the output signal s83-i to the adder 91.

【００１６】高域通過フィルタ６３−ｉは、信号ｓ５３
−ｉを列方向に高域通過フィルタ処理をして、出力信号
ｓ６３−ｉを加算器７３−ｉに入力する。低域通過フィ
ルタ６４−ｉは、信号ｓ５４−ｉを列方向に低域通過フ
ィルタ処理をして、出力信号ｓ６４−ｉを加算器７３−
ｉに入力する。加算器７２−ｉは、信号ｓ６３−ｉと信
号ｓ６４−ｉとを加算して、出力信号ｓ７３−ｉをアッ
プサンプリング部８３−ｉに入力する。アップサンプリ
ング部８３−ｉは、行方向に０を挿入して、２倍にアッ
プサンプリングして、出力信号ｓ８３−ｉを低域通過フ
ィルタ８３−ｉに出力する。低域通過フィルタ８４−ｉ
は、出力信号ｓ８４−ｉを列方向に低域通過フィルタ処
理をして、出力信号ｓ８４−ｉに出力する。出力信号ｓ
８４−ｉは、行及び列方向についてウェーブレット変換
部でダウンサンプリングされる前の信号に一致する。加
算器９１は、信号ｓ８３−ｉと信号ｓ８４−ｉを加算
（合波）して、出力信号ｓ９１を乗算器１０１に入力す
る。乗算器１０１は、出力信号ｓ９１を４倍にして、出
力信号ｓ２１−ｉを（ｉ＋１）段目の階層画像復元部２
１−（ｉ＋１）及び動きベクトル推定部２３−ｉに出力
する。The high-pass filter 63-i outputs the signal s53.
The high-pass filter process is applied to -i in the column direction, and the output signal s63-i is input to the adder 73-i. The low-pass filter 64-i low-pass filters the signal s54-i in the column direction, and outputs the output signal s64-i as an adder 73-.
Enter i. The adder 72-i adds the signal s63-i and the signal s64-i and inputs the output signal s73-i to the upsampling unit 83-i. The upsampling unit 83-i inserts 0 in the row direction, upsamples by a factor of 2, and outputs the output signal s83-i to the low-pass filter 83-i. Low pass filter 84-i
Outputs the output signal s84-i to the output signal s84-i by low-pass filter processing in the column direction. Output signal s
84-i corresponds to the signal before being down-sampled by the wavelet transform unit in the row and column directions. The adder 91 adds (combines) the signal s83-i and the signal s84-i and inputs the output signal s91 to the multiplier 101. The multiplier 101 multiplies the output signal s91 by four and outputs the output signal s21-i to the (i + 1) th stage hierarchical image restoration unit 2
1- (i + 1) and the motion vector estimation unit 23-i.

【００１７】この出力信号ｓ２１−ｉは、上述したよう
にウェーブレット変換部での処理を逆方向にしたもので
あるので、前段のウェーブレット変換部より出力された
ウェーブレット信号に復元されることになる。上記処理
が、階層画像復元部２１−ｉ（ｉ＝０〜ｎ）において順
次実行されて、前フレームの画像がウェーブレット逆変
換されて、信号ｓ２１−ｉが、階層画像生成部２１−
（ｉ＋１）及び動きベクトル推定部２３−ｉに入力され
る。階層画像復元部２１−ｎからは、前フレーム画像の
再生画像ｓ２１−ｎが得られる。同様に、階層画像復元
部２２−ｉ（ｉ＝０〜ｎ）において現フレームの画像が
ウェーブレット逆変換されて、このウェーブレット逆変
換された信号ｓ２２−ｉが階層画像復元部２２−（ｉ＋
１）の低帯域成分として、動きベクトル推定部２３−ｉ
に入力される。階層画像復元部２２−ｎからは、現フレ
ーム画像の再生画像ｓ２２−ｎが得られる。上記手順に
より得られた信号ｓ２１−ｉ，ｓ２２−ｉは、ｉが１段
上がる（階層が１つ下がる）につれて、周波数帯域が２
倍、画素数が２×２倍となる階層画像である。Since the output signal s21-i is obtained by reversing the processing in the wavelet transform unit as described above, it is restored to the wavelet signal output from the preceding wavelet transform unit. The above-described processing is sequentially executed in the hierarchical image restoration unit 21-i (i = 0 to n), the image of the previous frame is inversely wavelet-transformed, and the signal s21-i is changed to the hierarchical image generation unit 21-.
(I + 1) and the motion vector estimation unit 23-i. The reproduced image s21-n of the previous frame image is obtained from the hierarchical image restoring unit 21-n. Similarly, in the hierarchical image restoration unit 22-i (i = 0 to n), the image of the current frame is inversely wavelet-transformed, and the wavelet inverse-transformed signal s22-i is hierarchical image restoration unit 22- (i +
As the low band component of 1), the motion vector estimation unit 23-i
Is input to The reproduced image s22-n of the current frame image is obtained from the hierarchical image restoring unit 22-n. The signals s21-i and s22-i obtained by the above procedure have a frequency band of 2 as i increases by one stage (the hierarchy decreases by one).
It is a hierarchical image in which the number of pixels is 2 × and the number of pixels is 2 × 2.

【００１８】動きベクトル推定部２３−ｉは、以下のよ
うにして動きベクトルｓ２３−ｉを検出する。動きベク
トルの検出には、各階層で同じサイズ（Ｎ×Ｎ画素）の
ブロック毎にマッチングを取る。各階層で同じブロック
サイズで動きベクトルの検出を行うので、階層が下がる
につれて画素が行・列について２倍に増えるので、階層
を下げていくことが原画像に対応する検出ブロックサイ
ズを細分化することを意味する。最下位階層まで検出を
続けることにより、Ｎ×Ｎ画素の大きさのブロック毎に
動きベクトルが求まる。０段目の動きベクトル推定部２
３−０は、信号ｓ２１−０と信号ｓ２２−０との間で、
式（２）に示すＮ×Ｎ画素のブロックサイズのブロック
でブロックマッチングを行い、動きベクトルｓ２３−０
を算出して、１段目の動きベクトル推定部２３−１に出
力する。１段目の動きベクトル推定部２３−１は、動き
ベクトル信号ｓ２３−０と前フレームの画像信号ｓ２１
−１と現フレームの画像信号ｓ２２−１とから、式
（２）で示されるＮ×Ｎ画素のブロックサイズのブロッ
クでブロックマッチングを行い、動きベクトルｓ２３−
１を算出して、２段目の動きベクトル推定部２３−２に
出力する。The motion vector estimating unit 23-i detects the motion vector s23-i as follows. To detect a motion vector, matching is performed for each block having the same size (N × N pixels) in each layer. Since the motion vector is detected with the same block size in each layer, the number of pixels in the row and column doubles as the layer decreases, so that decreasing the layer subdivides the detection block size corresponding to the original image. Means that. By continuing the detection up to the lowest layer, the motion vector is obtained for each block of size N × N pixels. Motion vector estimation unit 2 of the 0th stage
3-0 is between the signal s21-0 and the signal s22-0,
Block matching is performed on a block having a block size of N × N pixels shown in Expression (2), and a motion vector s23-0
Is calculated and output to the first stage motion vector estimation unit 23-1. The first-stage motion vector estimation unit 23-1 uses the motion vector signal s23-0 and the image signal s21 of the previous frame.
−1 and the image signal s22-1 of the current frame, block matching is performed with a block having a block size of N × N pixels represented by Expression (2), and a motion vector s23−
1 is calculated and output to the second stage motion vector estimation unit 23-2.

【００１９】同様に、ｉ段目の動きベクトル推定部２３
−ｉ（ｉ＝２〜ｎ）は、動きベクトル信号ｓ２３−（ｉ
−１）と前フレームの画像信号ｓ２１−ｉと現フレーム
の画像信号ｓ２２−ｉとから、式（２）で示されるＮ×
Ｎ画素のブロックサイズのブロックでブロックマッチン
グを行い、動きベクトル信号ｓ２３−ｉを算出して、
（ｉ＋１）段目の動きベクトル推定部２３−（ｉ＋１）
に出力する。動きベクトル推定部２３−ｎからは、最終
的な動きベクトルｓ２３−ｎが得られることになる。以
上説明したように、第１の実施形態によれば、帯域分割
信号が入力された場合に、従来技術では、一旦、画像を
再生してから階層画像を生成しなければならないが、帯
域分割信号から直接階層画像を復元しながら動きベクト
ル推定を行うことができる。従って、画像を再生する部
分が必要でなくなり、システムを簡単に構築することが
できる。Similarly, the i-th stage motion vector estimating unit 23
-I (i = 2 to n) is the motion vector signal s23- (i
−1), the image signal s21-i of the previous frame, and the image signal s22-i of the current frame, N × shown in Expression (2).
Block matching is performed on a block having a block size of N pixels to calculate a motion vector signal s23-i,
(I + 1) th stage motion vector estimation unit 23- (i + 1)
Output to A final motion vector s23-n is obtained from the motion vector estimation unit 23-n. As described above, according to the first embodiment, when a band-divided signal is input, in the conventional technique, it is necessary to reproduce the image once and then generate the hierarchical image. It is possible to perform motion vector estimation while directly reconstructing a hierarchical image. Therefore, the part for reproducing the image is not required, and the system can be easily constructed.

【００２０】第２の実施形態 図４は、本発明の第２の実施形態を示す動きベクトル検
出装置の機能ブロック図であり、図１中の要素に共通す
る要素には共通の符号を付してある。本第２の実施形態
の動きベクトル検出装置が第１の実施形態の動きベクト
ル検出装置と異なる点は、ｎ段の階層画像復元部２１−
ｉ、階層画像復元部２２−ｉの代わりに簡易フィルタを
用いて、階層画像簡易復元部（ＳＨＲ）１２１−ｉ、階
層画像簡易生成部（ＳＨＲ）１２２−ｉで構成したこと
である。図４に示すように、ｎ（ｎ≧１の任意の正整
数）段の前フレーム画像を再構成する階層画像簡易復元
部（ＳＨＲ）１２１−ｉ（ｉ＝１〜ｎ）、ｎ段の現フレ
ーム画像を再構成する階層画像簡易復元部（ＳＨＲ）１
２２−ｉ（ｉ＝１〜ｎ）、ｎ＋１段の動きベクトル推定
部２３−ｉ（ｉ＝０〜ｎ）とを備えている。 Second Embodiment FIG. 4 is a functional block diagram of a motion vector detecting device showing a second embodiment of the present invention. Elements common to those in FIG. 1 are designated by common reference numerals. There is. The difference between the motion vector detection device of the second exemplary embodiment and the motion vector detection device of the first exemplary embodiment is that the n-stage hierarchical image restoration unit 21-
i, a simple filter is used instead of the hierarchical image restoring unit 22-i, and the hierarchical image simple restoring unit (SHR) 121-i and the hierarchical image simple generating unit (SHR) 122-i are configured. As shown in FIG. 4, a hierarchical image simple restoration unit (SHR) 121-i (i = 1 to n) for reconstructing a previous frame image of n stages (an arbitrary positive integer of n ≧ 1), the current stage of n stages. Hierarchical image simple restoration unit (SHR) 1 for reconstructing frame images
22-i (i = 1 to n), and n + 1 stage motion vector estimation unit 23-i (i = 0 to n).

【００２１】前フレーム信号の０階層目の帯域信号ｓ１
１−０は、１段目の階層画像生成部２１−１、及び０段
目の動きベクトル推定部２３−０に接続されている。現
フレーム信号の０階層目の帯域信号ｓ１２−０は、１段
目の階層画像生成部２２−１及び０段目の動きベクトル
推定部２３−０に接続されている。前フレーム信号の１
階層目の帯域信号ｓ１１−１は、１階層目の階層画像簡
易復元部１２１−１に接続され、階層画像簡易復元部１
２１−１の出力信号ｓ２１−１は１段目の動きベクトル
推定部２３−１及び２段目の階層画像簡易復元部１２１
−２に送られる。現フレーム信号の１階層目の帯域信号
ｓ１２−１は、１階層目の階層画像簡易復元部１２２−
１に接続され、階層画像簡易復元部１２２−１の出力信
号ｓ１２２−１は１段目の動きベクトル推定部２３−１
及び２段目の階層画像簡易復元部１２２−２に送られ
る。Band signal s1 of the 0th layer of the previous frame signal
1-0 is connected to the first-stage hierarchical image generation unit 21-1 and the 0-th stage motion vector estimation unit 23-0. The band signal s12-0 of the 0th layer of the current frame signal is connected to the layer image generation unit 22-1 of the first stage and the motion vector estimation unit 23-0 of the 0th stage. Previous frame signal 1
The band signal s11-1 of the layer is connected to the layer image simple restoration unit 121-1 of the first layer, and the layer image simple restoration unit 1 is connected.
The output signal s21-1 of 21-1 is the motion vector estimation unit 23-1 of the first stage and the hierarchical image simple restoration unit 121 of the second stage.
-2. The band signal s12-1 of the first layer of the current frame signal is the layer image simple restoration unit 122- of the first layer.
1 and the output signal s122-1 of the hierarchical image simple restoration unit 122-1 is the first stage motion vector estimation unit 23-1.
And to the second-stage hierarchical image simple restoration unit 122-2.

【００２２】ｉ（２≦ｉ≦ｎ）段目の階層画像簡易復元
部１２１−ｉは、ｉ階層目の前フレームの帯域信号ｓ１
１−ｉ及び前段の階層画像簡易復元部１２１−（ｉ−
１）の出力信号ｓ１２１−（ｉ−１）を入力して、階層
画像簡易復元部１２１−ｉの出力信号ｓ１２１−ｉはｉ
段目の動きベクトル推定部２３−ｉ及び次段の階層画像
簡易復元部１２１−（ｉ＋１）に送られる。ｉ（２≦ｉ
≦ｎ）段目の階層画像簡易復元部１２２−ｉは、ｉ階層
目の現フレームの帯域信号ｓ１２−ｉ及び前段の階層画
像簡易復元部１２２−（ｉ−１）の出力信号ｓ１２２−
（ｉ−１）を入力として、階層画像簡易復元部１２２−
ｉの出力信号ｓ１２２−ｉはｉ段目の動きベクトル推定
部２３−ｉ及び次段の階層画像簡易復元部１２２−（ｉ
＋１）に送られる。０段目の動きベクトル推定部２３−
ｉの出力信号ｓ２３−ｉは、１段目の動きベクトル推定
部２３−１に送られ、さらに１段目の動きベクトル推定
部２３−ｉの出力信号ｓ２３−１は、２段目の動きベク
トル推定部２３−２に送られる。ｉ（１≦ｉ≦ｎ）段目
の動きベクトル推定部２３−ｉは、動きベクトル信号ｓ
２３−（ｉ−１）と前フレームの画像信号ｓ１２１−ｉ
と現フレームの画像信号ｓ１２２−ｉとを入力して、そ
の出力信号ｓ２３−ｉは（ｉ＋１）段目の動きベクトル
推定部２３−ｉに送られる。但し、０段目の動きベクト
ル推定部２３−０においては、入力動きベクトル信号を
ゼロであるとして扱うと、各段の動きベクトル推定部動
きベクトル推定部が同一構成になる。ｎ段目の動きベク
トル推定部２３−ｎの出力信号ｓ２３−ｎが最終的な検
出動きベクトルとなる。The i-th (2≤i≤n) -th hierarchical image simple restoration section 121-i has the band signal s1 of the i-th previous frame.
1-i and the preceding hierarchical image simple restoration unit 121- (i-
The output signal s121- (i-1) of 1) is input, and the output signal s121-i of the hierarchical image simple restoration unit 121-i is i.
It is sent to the motion vector estimation unit 23-i of the second stage and the hierarchical image simple restoration unit 121- (i + 1) of the next stage. i (2 ≦ i
≦ n) The hierarchical image simple restoration unit 122-i of the tier is the band signal s12-i of the current frame of the i layer and the output signal s122- of the previous hierarchical image simple restoration unit 122- (i-1).
Using (i-1) as input, the hierarchical image simple restoration unit 122-
The output signal s122-i of i is the motion vector estimation unit 23-i of the i-th stage and the hierarchical image simple restoration unit 122- (i of the next stage.
+1). 0-th stage motion vector estimation unit 23-
The output signal s23-i of i is sent to the motion vector estimating unit 23-1 of the first stage, and the output signal s23-1 of the motion vector estimating unit 23-i of the first stage is the motion vector of the second stage. It is sent to the estimation unit 23-2. The motion vector estimation unit 23-i at the i-th (1 ≦ i ≦ n) stage detects the motion vector signal s.
23- (i-1) and the image signal s121-i of the previous frame
And the image signal s122-i of the current frame are input, and the output signal s23-i is sent to the (i + 1) th stage motion vector estimation unit 23-i. However, in the 0-th stage motion vector estimating section 23-0, if the input motion vector signal is treated as zero, the motion vector estimating section of each stage has the same configuration. The output signal s23-n of the n-th stage motion vector estimation unit 23-n becomes the final detected motion vector.

【００２３】図５は、図４中の階層画像簡易復元部の機
能ブロック図であり、図３中の要素に共通する要素には
共通の符号を付してある。階層画像簡易復元部が階層画
像復元部と異なる点は、高域通過フィルタ、低域通過フ
ィルタを簡易フィルタで置き換えたことである。図５に
示すように、図４中の階層画像簡易復元部１２１−ｉ
は、アップサンプリング部５１−ｉ，５２−ｉ，５３−
ｉ，５４−ｉ，簡易フィルタ（ＳＦ）１２１−ｉ，１２
２−ｉ，１２３−ｉ，１２４−ｉ、加算器７１−ｉ，７
２−ｉ、アップサンプリング部８１−ｉ，８２−ｉ，簡
易フィルタ（ＳＦ）１８３−ｉ，１８４−ｉにより構成
されている。FIG. 5 is a functional block diagram of the hierarchical image simple restoration unit in FIG. 4, and elements common to those in FIG. 3 are designated by common reference numerals. The hierarchical image simple restoration unit is different from the hierarchical image restoration unit in that the high-pass filter and the low-pass filter are replaced with simple filters. As shown in FIG. 5, the hierarchical image simple restoration unit 121-i in FIG.
Are up-sampling units 51-i, 52-i, 53-
i, 54-i, simple filter (SF) 121-i, 12
2-i, 123-i, 124-i, adder 71-i, 7
2-i, up-sampling units 81-i and 82-i, and simple filters (SF) 183-i and 184-i.

【００２４】入力信号ｓ１１−ｉ₁ はアップサンプリン
グ部５１−ｉに接続され、アップサンプリング部５１−
ｉの出力信号ｓ５１−ｉは、簡易フィルタ１６１−ｉに
接続されている。入力信号ｓ１１−ｉ₂ はアップサンプ
リング５２−ｉに接続され、アップサンプリング５２−
ｉの出力信号ｓ５２−ｉは、簡易フィルタ１６２−ｉに
接続されている。入力信号ｓ１１−ｉ₃ はアップサンプ
リング５３−ｉに接続され、アップサンプリング５３−
ｉの出力信号ｓ５３−ｉは、簡易フィルタ１６３−ｉに
接続されている。入力信号ｓ２１−（ｉ−１）（又は、
ｓ１１−０₄ ）は、アップサンプリング５４−ｉに接続
され、アップサンプリング５４−ｉの出力信号ｓ５４−
ｉは、簡易フィルタ１６４−ｉに接続されている。簡易
フィルタ１６１−ｉの出力信号ｓ１６１−ｉ及び簡易フ
ィルタ１６２−ｉの出力信号ｓ１６２−ｉは、加算器７
１−ｉに接続され、加算器７１−ｉの出力信号ｓ７１−
ｉは、アップサンプリング部８１−ｉに接続されてい
る。簡易フィルタ１６３−ｉの出力信号ｓ１６３−ｉ及
び簡易フィルタ１６４−ｉの出力信号ｓ１６４−ｉは、
加算器７２−ｉに接続され、加算器７２−ｉの出力信号
ｓ７２−ｉは、アップサンプリング部８２−ｉに接続さ
れている。アップサンプリング部８１−ｉの出力信号ｓ
８１−ｉは、簡易フィルタ１８３−ｉに接続され、アッ
プサンプリング部８２−ｉの出力信号ｓ８２−ｉは、加
算器９１に接続されている。The input signal s11-i ₁ is connected to the upsampling unit 51-i, and the upsampling unit 51-i
The output signal s51-i of i is connected to the simple filter 161-i. The input signal s11-i ₂ is connected to the upsampling 52-i, and the upsampling 52-i
The output signal s52-i of i is connected to the simple filter 162-i. Input signals s11-i ₃ is connected to the up-sampling 53-i, upsampling 53-
The output signal s53-i of i is connected to the simple filter 163-i. Input signal s21- (i-1) (or
s11-0 ₄ ) is connected to the upsampling 54-i, and the output signal s54- of the upsampling 54-i is
i is connected to the simple filter 164-i. The adder 7 outputs the output signal s161-i of the simple filter 161-i and the output signal s162-i of the simple filter 162-i.
1-i and output signal s71- of the adder 71-i
i is connected to the upsampling unit 81-i. The output signal s163-i of the simple filter 163-i and the output signal s164-i of the simple filter 164-i are
It is connected to the adder 72-i, and the output signal s72-i of the adder 72-i is connected to the upsampling unit 82-i. Output signal s of upsampling unit 81-i
81-i is connected to the simple filter 183-i, and the output signal s82-i of the upsampling unit 82-i is connected to the adder 91.

【００２５】加算器９１の出力信号ｓ９１は、乗算器１
０１に接続され、乗算器１０１の出力信号ｓ１０１が階
層画像生成部１２１−ｉの出力信号ｓ１２１−ｉとな
る。階層画像簡易復元部１２２−ｉの構成も階層画像簡
易復元部１２１−ｉと同様である。簡易フィルタ１６１
−ｉ，１６２−ｉ，１６３−ｉ，１６４−ｉ，１８３−
ｉ，１８４−ｉのフィルタ係数は、（１／８，３／８，
３／８，１／８）である。このようなフィルタ係数を持
つ簡易フィルタ１６１−ｉ，１６２−ｉ，１６３−ｉ，
１６４−ｉ，１８３−ｉ，１８４−ｉは、シフタ及び３
倍の乗算器で構成される。簡易フィルタ１６１−ｉ，１
６２−ｉ，１６３−ｉ，１６４−ｉは、次式（４）で示
される列方向のフィルタ処理を施し、簡易フィルタ１８
３−ｉ，１８４−ｉは、次式（５）で示される行方向の
フィルタ処理を施すスムージングフィルタである。 ｙ(x,y) ＝f(x,y-1)×3/8+f(x,y)×3/8+f(x,y-2)×1/8+f(x,y+1)×1/8 ・・・（４） ｙ(x,y) ＝f(x-1,y)×3/8+f(x,y)×3/8+f(x-2,y)×1/8+f(x+1,y)×1/8 ・・・（５） f(*,*)は画像信号であり、ｘは横方向、ｙは縦方向の座
標である。The output signal s91 of the adder 91 is the multiplier 1
01, and the output signal s101 of the multiplier 101 becomes the output signal s121-i of the hierarchical image generation unit 121-i. The structure of the hierarchical image simple restoration unit 122-i is the same as that of the hierarchical image simple restoration unit 121-i. Simple filter 161
-I, 162-i, 163-i, 164-i, 183-
The filter coefficients of i, 184-i are (1/8, 3/8,
3/8, 1/8). Simple filters 161-i, 162-i, 163-i having such filter coefficients,
164-i, 183-i and 184-i are shifters and 3
It is composed of double multiplier. Simple filter 161-i, 1
62-i, 163-i, and 164-i perform filter processing in the column direction represented by the following expression (4), and the simple filter 18
3-i and 184-i are smoothing filters that perform filter processing in the row direction represented by the following equation (5). y (x, y) = f (x, y-1) x 3/8 + f (x, y) x 3/8 + f (x, y-2) x 1/8 + f (x, y + 1) × 1/8 ・ ・ ・ (4) y (x, y) = f (x-1, y) × 3/8 + f (x, y) × 3/8 + f (x-2, y ) × 1/8 + f (x + 1, y) × 1/8 (5) f (*, *) is an image signal, x is a horizontal coordinate, and y is a vertical coordinate.

【００２６】以下、図４の動作の説明をする。アップサ
ンプリング５１−ｉ〜５４−ｉより行方向に０が挿入さ
れ２倍にアップサンプリングされた信号ｓ５１−ｉ〜ｓ
５４−ｉは、簡易フィルタ１６１−ｉ〜１６４−ｉにそ
れぞれ入力される。簡易フィルタ１６１−ｉは、信号ｓ
５２−ｉに対して、式（４）によって示される列方向の
フィルタ処理を施して、信号ｓ５１−ｉの０を挿入した
画素をスムーズにして、出力信号ｓ１６１−ｉを加算器
７１−ｉに出力する。簡易フィルタ１６２−ｉは、信号
ｓ５２−ｉに対して、式（４）によって示される列方向
のフィルタ処理を施して、信号ｓ５２−ｉの０を挿入し
た画素をスムーズにして、出力信号ｓ１６２−ｉを加算
器７２−ｉに出力する。簡易フィルタ１６３−ｉは、信
号ｓ５３−ｉに対して、式（４）によって示される列方
向のフィルタ処理を施して、信号ｓ５３−ｉの０を挿入
された画素をスムーズにして、出力信号ｓ１６３−ｉを
加算器７２−ｉに出力する。簡易フィルタ１６４−ｉ
は、信号ｓ５４−ｉに対して、式（４）によって示され
る列方向のフィルタ処理を施して、信号ｓ５４−ｉの０
を挿入された画素をスムーズにして、出力信号ｓ１６４
−ｉを加算器７２−ｉに出力する。The operation of FIG. 4 will be described below. Signals s51-i to s up-sampled by inserting 0 in the row direction from up-sampling 51-i to 54-i
54-i is input to each of the simple filters 161-i to 164-i. The simple filter 161-i outputs the signal s
52-i is filtered in the column direction represented by the equation (4) to smooth the pixel in which 0 of signal s51-i is inserted, and output signal s161-i is added to adder 71-i. Output. The simple filter 162-i subjects the signal s52-i to the filtering process in the column direction represented by the equation (4) to smooth the pixel in which 0 of the signal s52-i is inserted, and the output signal s162-i. i is output to the adder 72-i. The simple filter 163-i performs the filter processing in the column direction shown by the equation (4) on the signal s53-i to smooth the pixel in which 0 of the signal s53-i is inserted, and to output the output signal s163. -I is output to the adder 72-i. Simple filter 164-i
Performs the column-direction filtering process represented by the equation (4) on the signal s54-i to obtain 0 of the signal s54-i.
Smooths the inserted pixels and outputs the output signal s164
-I is output to the adder 72-i.

【００２７】信号ｓ１６１−ｉ〜ｓ１６４−ｉは、列方
向について、スムージング処理したので、ウェーブレッ
ト変換部で高域通過フィルタをかけられた信号、又は低
域通過フィルタをかけられた信号にほぼ一致する。加算
器７１−ｉは、信号ｓ１６１−ｉと信号ｓ１６２−ｉを
加算して、合波して、アップサンプリング部８１−ｉに
信号ｓ７１−ｉを出力する。加算器７２−ｉは、信号ｓ
１６３−ｉと信号ｓ１６４−ｉを加算して、合波して、
アップサンプリング８２−ｉに信号ｓ７２−ｉを出力す
る。アップサンプリング部８１−ｉは、０を挿入して行
方向に２倍にアップサンプリングして、出力信号ｓ８１
−ｉを簡易フィルタ１８１−ｉに出力する。簡易フィル
タ１８１−ｉは、信号ｓ８１−ｉを式（５）によって示
される行方向のフィルタ処理を施して、信号ｓ８１−ｉ
の０を挿入した画素をスムーズにして、出力信号ｓ１６
２−ｉを加算器９１に出力する。アップサンプリング部
８２−ｉは、０を挿入して行方向に２倍にアップサンプ
リングして、出力信号ｓ８２−ｉを簡易フィルタ１８４
−ｉに出力する。簡易フィルタ１８４−ｉは、信号ｓ８
２−ｉを式（５）によって示される行方向のフィルタ処
理を施して、信号ｓ８２−ｉの０を挿入した画素をスム
ーズにして、出力信号ｓ１６２−ｉを加算器９１に出力
する。Since the signals s161-i to s164-i have been smoothed in the column direction, they almost match the high-pass filtered signal or the low-pass filtered signal in the wavelet transform unit. . The adder 71-i adds the signal s161-i and the signal s162-i, multiplexes them, and outputs the signal s71-i to the upsampling unit 81-i. The adder 72-i outputs the signal s
163-i and the signal s164-i are added and combined,
The signal s72-i is output to the upsampling 82-i. The upsampling unit 81-i inserts 0, upsamples to double in the row direction, and outputs the output signal s81.
-I is output to the simple filter 181-i. The simple filter 181-i subjects the signal s81-i to the filtering process in the row direction represented by the equation (5) to obtain the signal s81-i.
Pixels in which 0 is inserted are smoothed and output signal s16
2-i is output to the adder 91. The up-sampling unit 82-i inserts 0 and up-samples by a factor of 2 in the row direction to output the output signal s82-i by the simple filter 184.
Output to -i. The simple filter 184-i outputs the signal s8.
2-i is subjected to the row-direction filter processing shown by the equation (5) to smooth the pixel in which 0 of the signal s82-i is inserted and output the output signal s162-i to the adder 91.

【００２８】信号ｓ１６２−ｉ〜１６４−ｉは、行方向
について、スムージング処理したので、ウェーブレット
変換部での行方向の高域通過フィルタ、低域通過フィル
タをかけられた信号にほぼ一致する。信号ｓ１８３−ｉ
とｓ１８４−ｉとを加算器９１で合波して、信号ｓ９１
を乗算器１０１に出力する。乗算器１０１は、画素を４
倍して、信号ｓ１２１−ｉを出力する。上記処理が、階
層画像簡易復元部１２１−ｉ（ｉ＝０〜ｎ）において順
次実行されて、前フレームの画像がウェーブレット逆変
換されて、信号ｓ１２１−ｉが階層画像簡易復元部１２
１−（ｉ＋１）及び動きベクトル推定部２３−ｉに入力
される。階層画像簡易復元部１２１−ｎからは、前フレ
ーム画像の再生画像ｓ１２１−ｎが得られる。Since the signals s162-i to 164-i have undergone the smoothing process in the row direction, they substantially match the signals subjected to the high-pass filter and the low-pass filter in the row direction in the wavelet transform unit. Signal s183-i
And s184-i are multiplexed by the adder 91 to obtain the signal s91.
Is output to the multiplier 101. The multiplier 101 divides the pixel by 4
The signal is multiplied and the signal s121-i is output. The above processing is sequentially executed in the hierarchical image simple restoration unit 121-i (i = 0 to n), the image of the previous frame is subjected to the wavelet inverse transform, and the signal s121-i is converted into the hierarchical image simple restoration unit 12.
1- (i + 1) and the motion vector estimation unit 23-i. A reproduced image s121-n of the previous frame image is obtained from the hierarchical image simple restoration unit 121-n.

【００２９】同様に、階層画像簡易復元部１２２−ｉ
（ｉ＝０〜ｎ）において順次実行されて、現フレームの
画像がウェーブレット逆変換されて、信号ｓ１２２−ｉ
が階層画像簡易復元部１２２−（ｉ＋１）及び動きベク
トル推定部２３−ｉに入力される。階層画像簡易復元部
１２２−ｎからは、現フレーム画像の再生画像ｓ１２１
−ｎが得られる。動きベクトルの検出には、各階層で同
じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチングを取
る。各階層で同じブロックサイズで動きベクトルの検出
を行うので、階層を下げていくことが原画像に対応する
検出ブロックサイズを細分化することを意味する。最下
位階層まで検出を続けることにより、Ｎ×Ｎ画素の大き
さのブロック毎に動きベクトルが求まる。ｉ段目の動き
ベクトル推定部２３−ｉ（ｉ＝０〜ｎ）は、動きベクト
ル信号ｓ２３−（ｉ−１）（但し、ｉ＝０の時は、入力
信号を０またはないものとする）と前フレームの画像信
号ｓ１２１−ｉと現フレームの画像信号ｓ１２２−ｉと
から、式（２）で示されるＮ×Ｎ画素のブロックサイズ
のブロックでブロックマッチングを行い、動きベクトル
ｓ２３−ｉを算出して、（ｉ＋１）段目の動きベクトル
推定部２３−（ｉ＋１）に出力する。動きベクトル推定
部２３−ｎからは、最終的な動きベクトルｓ２３−ｎが
得られることになる。Similarly, the hierarchical image simple restoration unit 122-i
(I = 0 to n), the image of the current frame is inversely wavelet transformed to obtain the signal s122-i.
Is input to the hierarchical image simple restoration unit 122- (i + 1) and the motion vector estimation unit 23-i. From the hierarchical image simple restoration unit 122-n, the reproduced image s121 of the current frame image is displayed.
-N is obtained. To detect a motion vector, matching is performed for each block having the same size (N × N pixels) in each layer. Since motion vectors are detected with the same block size in each layer, lowering the layer means subdividing the detected block size corresponding to the original image. By continuing the detection up to the lowest layer, the motion vector is obtained for each block of size N × N pixels. The i-th stage motion vector estimation unit 23-i (i = 0 to n) has a motion vector signal s23- (i-1) (however, when i = 0, the input signal is 0 or not). From the image signal s121-i of the previous frame and the image signal s122-i of the current frame, block matching is performed with a block having a block size of N × N pixels shown in Expression (2) to calculate a motion vector s23-i. And outputs it to the motion vector estimating unit 23- (i + 1) at the (i + 1) th stage. A final motion vector s23-n is obtained from the motion vector estimation unit 23-n.

【００３０】以上説明したように、本第２の実施形態に
よれば、第１の実施形態の階層画像復元部を、フィルタ
係数の簡単なスムージングフィルタを用いた階層画像簡
易復元部に置き換えたので、第１の実施形態の利点に加
えて、以下の利点がある。 （ａ） フィルタがシフタと乗算器によって構成できる
のでウェーブレット逆変換部の構成が簡単になる。 （ｂ） シフタと乗算器によるフィルタ処理のため、復
元される階層画像がどのシステムにおいても、システム
の精度による差がないため、完全に一致させることがで
きる。 （ｃ） ウェーブレット信号を生成するために使用した
フィルタに関わらず、フィルタを固定するので、フィル
タの種類を１種類に減らすことができて、構成が簡単に
なる。 （ｄ） フィルタの係数を簡単にすることにより、計算
機システムの浮動少数点演算の精度に関わらず、再生画
像をほぼ完全に一致させることができるので、どの計算
機上における検出動きベクトルも同じであると保証され
る。ここで行われる再生は、簡易再生であり、動きベク
トルの検出の時のみに用いられるものであるので、最終
的な再生画像に影響を及ぼさない。As described above, according to the second embodiment, the hierarchical image restoration unit of the first embodiment is replaced with the hierarchical image simple restoration unit using a smoothing filter having a simple filter coefficient. In addition to the advantages of the first embodiment, there are the following advantages. (A) Since the filter can be composed of the shifter and the multiplier, the structure of the wavelet inverse transform unit is simplified. (B) Since the hierarchical images to be restored have no difference in system accuracy due to the filtering process by the shifter and the multiplier, they can be perfectly matched. (C) Since the filter is fixed regardless of the filter used to generate the wavelet signal, the number of types of filters can be reduced to one and the configuration is simplified. (D) By simplifying the filter coefficient, the reproduced images can be almost completely matched regardless of the precision of the floating point calculation of the computer system, so that the detected motion vector on any computer is the same. Guaranteed. The reproduction performed here is simple reproduction and is used only when the motion vector is detected, and therefore does not affect the final reproduced image.

【００３１】第３の実施形態 図６は、本発明の第３の実施形態を示す動きベクトル検
出装置の機能ブロック図であり、図１中の要素に共通す
る要素には共通の符号を付してある。本第３の実施形態
の動きベクトル検出装置が第１の実施形態の動きベクト
ル検出装置と異なる点は、動きベクトル推定部２３−ｉ
と動きベクトル推定部２３−（ｉ＋１）との間に、動き
ベクトル探索を打ち切るか否かを判定するｎ段の動き探
索打ち切り判定部（ＪＴ）１２４−ｉを設けたことであ
る。図１に示すように、ｎ（ｎ≧１の任意の正整数）段
の前フレーム画像を再構成する階層画像復元部（ＭＨ
Ｒ）２１−ｉ（ｉ＝１〜ｎ）、ｎ段の現フレーム画像を
再構成する階層画像復元部（ＭＨＲ）２２−ｉ（ｉ＝１
〜ｎ）、ｎ＋１段の動きベクトル推定部２３−ｉ（ｉ＝
０〜ｎ）、動きベクトル探索を打ち切るか否かを判定す
るｎ段の動き探索打ち切り判定部（ＪＴ）２２４−ｉ
（ｉ＝０〜ｎ−１）とを備えている。動きベクトル推定
部２３−ｉ（ｉ＝０〜ｎ−１）の出力信号ｓ２３−ｉ
は、ＪＴ２２４−ｉに接続され、動き探索打ち切り判定
部２２４−ｉの出力信号ｓ２２４−ｉは、動きベクトル
推定部２３−（ｉ＋１）に接続されている。 Third Embodiment FIG. 6 is a functional block diagram of a motion vector detecting device showing a third embodiment of the present invention. Elements common to those in FIG. 1 are designated by common reference numerals. There is. The motion vector estimation device of the third embodiment differs from the motion vector estimation device of the first embodiment in that the motion vector estimation unit 23-i
Between the motion vector estimation unit 23- (i + 1) and the motion vector estimation unit 23- (i + 1), an n-stage motion search abort determination unit (JT) 124-i for determining whether or not to abort the motion vector search is provided. As shown in FIG. 1, a hierarchical image restoration unit (MH) that reconstructs n (n ≧ 1 arbitrary positive integer) stages of previous frame images.
R) 21-i (i = 1 to n), a hierarchical image restoration unit (MHR) 22-i (i = 1) that reconstructs the current frame image of n stages.
~ N), n + 1 stage motion vector estimation unit 23-i (i =
0 to n), an n-stage motion search termination determination unit (JT) 224-i for determining whether or not to terminate the motion vector search.
(I = 0 to n-1). Output signal s23-i of the motion vector estimation unit 23-i (i = 0 to n-1)
Is connected to the JT 224-i, and the output signal s224-i of the motion search termination determination unit 224-i is connected to the motion vector estimation unit 23- (i + 1).

【００３２】図７は、図６中の動き探索打ち切り判定部
の構成図である。図７に示すように、信号ｓ２３−ｉ
は、動きベクトル信号ｓ２３−ｉ₁ と推定誤差信号ｓ２
３−ｉ₂ とからなり、これらの信号ｓ２３−ｉ₁ とｓ２
３−ｉ₂ が動き探索打ち切り判定部２２４−ｉに入力さ
れて、動き探索打ち切り判定部２２４−ｉからは出力信
号ｓ２２４−ｉより出力される。出力信号ｓ２２４−ｉ
は、動きベクトルｓ２３−ｉ₁ と動き探索の打ち切りあ
るいは継続を示す識別信号ｓ２２４−ｉ₂ とからなる。FIG. 7 is a block diagram of the motion search termination decision unit in FIG. As shown in FIG. 7, the signal s23-i
Is the motion vector signal s23-i ₁ and the estimation error signal s2
3-i ₂ and these signals s 23-i ₁ and s 2
3-i ₂ is input to the motion search termination determination unit 224-i, and the motion search termination determination unit 224-i outputs the output signal s224-i. Output signal s224-i
Consists identification signal s224-i ₂ Metropolitan showing an abort or continue the motion vector s23-i ₁ and the motion estimation.

【００３３】以下、図６の動作の説明をする。入力信号
ｓ１１−０は、前フレーム画像の０段目の帯域信号であ
り、ｓ１２−０は現フレーム画像の０段目の帯域信号で
あり、最上位階層（ｈ＝ｎ）画像信号である。信号ｓ１
１−ｉ（ｉ＝１〜ｎ）は前フレーム画像のｎ−ｉ（＝
ｈ）階層目の階層画像信号である。信号ｓ１２−ｉ（ｉ
＝１〜ｎ）は現フレーム画像のｎ−ｉ（＝ｈ）階層目の
階層画像信号である。動きベクトルの検出には、各階層
で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチング
を取る。ウェーブレット画像信号などの帯域分割された
信号では、階層が１つ下がると行及び列方向にそれぞれ
半分に間引き処理されている。そのため、階層ｈについ
ては、原画像の画素数で見れば、そのＮ×Ｎ画素のブロ
ックは、（Ｎ×２^h ）×（Ｎ×２^h ）画素となるので、
可変ブロックサイズとなっている。The operation of FIG. 6 will be described below. The input signal s11-0 is the band signal of the 0th stage of the previous frame image, s12-0 is the band signal of the 0th stage of the current frame image, and is the highest-level (h = n) image signal. Signal s1
1-i (i = 1 to n) is n-i (= i of the previous frame image
h) It is a hierarchical image signal of the hierarchical layer. Signal s12-i (i
= 1 to n) are hierarchical image signals of the n-i (= h) hierarchical layer of the current frame image. To detect a motion vector, matching is performed for each block having the same size (N × N pixels) in each layer. For a band-divided signal such as a wavelet image signal, when the hierarchy is lowered by one, it is decimated to half in the row and column directions. Therefore, for the layer h, the N × N pixel block is (N × 2 ^h ) × (N × 2 ^h ) pixels in terms of the number of pixels of the original image.
It has a variable block size.

【００３４】動きベクトル推定部２３−ｉは、前フレー
ムの階層画像信号ｓ２１−ｉと現フレームの階層画像信
号ｓ２２−ｉと動きベクトル信号ｓ２３−（ｉ−１）と
を入力して、Ｎ×Ｎ画素のブロックでブロックマッチン
グにより、各ブロック毎の動きベクトル信号ｓ２３−ｉ
_j1（ｊは、ｊ＝１〜Ｍ_i であり、（ｎ−ｉ）階層目の階
層画像信号について動きベクトルが算出されたブロック
に対応）を求める。動きベクトル信号ｓ２３−ｉ_j1が算
出された式（２）の左辺の値を推定誤差信号ｓ２３−ｉ
_j2として、動きベクトルｓ２３−ｉ_j1（ｓ２３−ｉ₁ ＝
｛ｓ２３−ｉ_j1，ｊ＝１〜Ｍ_i ｝）及び推定誤差信号ｓ
２３−ｉ_j2（ｓ２３−ｉ₂ ＝｛ｓ２３−ｉ_j2，ｊ＝１〜
Ｍ_i ｝）を動き探索打ち切り判定部２２４−ｉに出力す
る。動き探索打ち切り判定部２２４−ｉは、各ブロック
についての推定誤差信号ｓ２３−ｉ_j2が閾値よりも小さ
ければ、そのブロックについては、動き探索の打ち切り
を、推定誤差信号ｓ２３−ｉ_j2が閾値よりも大きけれ
ば、動き探索の継続を示す識別信号ｓ２２４−ｉ_j2を動
きベクトルｓ２３−ｉ_j1に付加した信号ｓ２２４−ｉ_j
を動きベクトル推定部２３−（ｉ＋１）に出力する。The motion vector estimation unit 23-i inputs the hierarchical image signal s21-i of the previous frame, the hierarchical image signal s22-i of the current frame and the motion vector signal s23- (i-1), and N × By performing block matching on a block of N pixels, the motion vector signal s23-i for each block
_j1 (j is j = 1 to M _i and corresponds to the block for which the motion vector is calculated for the (n−i) -th hierarchical image signal). The value on the left side of the equation (2) from which the motion vector signal s23-i _j1 is calculated is estimated error signal s23-i.
As _j2, motion vector _{s23-i j1 (s23-i} 1 =
{S23-i _j1 , j = 1 to M _i }) and the estimated error signal s
23-i _j2 (s23-i ₂ = {s23-i _j2 , j = 1 to
M _i }) is output to the motion search termination determination unit 224-i. If the estimated error signal s23-i _j2 for each block is smaller than the threshold value, the motion search termination determination unit 224-i aborts the motion search for that block, and the estimated error signal s23-i _j2 is less than the threshold value. If it is larger, the signal s224-i _j obtained by adding the identification signal s224-i _j2 indicating the continuation of the motion search to the motion vector s23-i _j1.
Is output to the motion vector estimation unit 23- (i + 1).

【００３５】動きベクトル推定部２３−（ｉ＋１）は、
識別信号２２４−ｉ_j2が動き探索の打ち切りを示す場合
は、そのブロックについての動きベクトルの探索を打ち
切り、識別信号２２４−ｉ_j2が動き探索の継続を示す場
合は、そのブロックを細分化したブロックで、上述した
ブロックマッチングにより動きベクトルを推定する。こ
れにより、各ブロック毎に動きベクトルの探索の継続、
打ち切りが判定されて、画像のブロックに応じた最適な
ブロック（例えば、動きのない背景画像などのブロック
領域については、ｎ階層目でブロックの探索が打ち切ら
れ、細かな動きのブロック領域についはより下位の細分
化されたブロックで動きベクトルが探索されることにな
る）で動きベクトルが探索される。The motion vector estimation unit 23- (i + 1)
When the identification signal 224-i _j2 indicates the termination of the motion search, the motion vector search for the block is terminated, and when the identification signal 224-i _j2 indicates the continuation of the motion search, the block is subdivided. Then, the motion vector is estimated by the block matching described above. By this, the search of the motion vector is continued for each block,
The termination is determined, and the optimum block corresponding to the block of the image (for example, for a block area such as a background image with no motion, the search for the block is terminated at the nth layer, and a block area with fine motion is more The motion vector is searched for in the subdivided blocks).

【００３６】以上説明したように、第３の実施形態によ
れば、動き探索打ち切り判定部を設けたので、動き推定
を途中で打ち切り可変ブロックサイズでの動きベクトル
検出を可能としたため、以下の利点がある。 （ａ） 帯域分割信号が入力された場合において、簡単
なシステムで可変ブロックサイズでの動きベクトル検出
を行うことができる。 （ｂ） 途中で打ち切ることにより、効率の良い動きベ
クトル検出を行うことができる。そのため、上位階層で
真の動きベクトルが求まっても、最後まで検出まを行う
従来の方法により処理時間が少なくてすむ。また、削減
された処理時間を動きが複雑な部分の動きベクトルの検
出の処理に割り当てることができる。As described above, according to the third embodiment, since the motion search termination determination unit is provided, it is possible to detect the motion vector in the variable block size of the termination of the motion estimation. There is. (A) When a band-divided signal is input, motion vector detection with a variable block size can be performed with a simple system. (B) Efficient motion vector detection can be performed by cutting off in the middle. Therefore, even if the true motion vector is obtained in the upper layer, the processing time can be shortened by the conventional method of performing the detection to the end. In addition, the reduced processing time can be assigned to the processing of detecting the motion vector of the part where the motion is complicated.

【００３７】第４の実施形態 図８は、本発明の第４の実施形態を示す動きベクトル検
出装置の機能ブロック図であり、図６中の要素に共通す
る要素には共通の符号を付してある。本第４の実施形態
の動きベクトル検出装置が第３の実施形態の動きベクト
ル検出装置と異なる点は、ｍ段の動きベクトル推定部２
３−（ｎ＋ｊ）（ｊ＝１〜ｍ）とｍ段の動きベクトル探
索打ち切り部２２４−（ｎ＋ｊ）（ｊ＝１〜ｍ）とｍ段
の前フレーム画像信号の内挿画像生成部（ＩＰ）２２５
−ｊ（ｊ＝１〜ｍ）とｍ段の現フレームの内挿画像生成
部（ＩＰ）２２６−ｊ（ｊ＝１〜ｍ）とを設けたことで
ある。図８に示すように、この動きベクトル検出装置
は、ｎ段の前フレーム画像を再構成する階層画像復元部
２１−ｉ（ｉ＝１〜ｎ）とｎ段の現フレーム画像を再構
成する階層画像復元部２２−ｉ（ｉ＝１〜ｎ）とｎ＋ｍ
＋１段の動きベクトル推定部（ＭＥ）２３−ｉ（ｉ＝０
〜ｎ＋ｍ）とｎ＋ｍ段の動きベクトル探索打ち切り部
（ＪＴ）２２４−ｉ（ｉ＝０〜ｎ＋ｍ−１）とｍ段の前
フレームの内挿画像生成部（ＩＰ）２２５−ｊ（ｊ＝１
〜ｍ）とｍ段の現フレームの内挿画像生成部（ＩＰ）２
２６−ｊとにより構成されている。 Fourth Embodiment FIG. 8 is a functional block diagram of a motion vector detecting device showing a fourth embodiment of the present invention. Elements common to those in FIG. 6 are designated by common reference numerals. There is. The motion vector detection device of the fourth embodiment differs from the motion vector detection device of the third embodiment in that the motion vector estimation unit 2 of m stages is used.
3- (n + j) (j = 1 to m) and m stages of motion vector search censoring unit 224- (n + j) (j = 1 to m) and m stages of interpolated image generation unit (IP) of the previous frame image signal 225
-J (j = 1 to m) and the interpolated image generation unit (IP) 226-j (j = 1 to m) of the current frame of m stages are provided. As shown in FIG. 8, the motion vector detecting apparatus includes a hierarchical image restoration unit 21-i (i = 1 to n) for reconstructing n-stage previous frame images and a hierarchy for reconstructing n-stage current frame images. Image restoration units 22-i (i = 1 to n) and n + m
+1 stage motion vector estimation unit (ME) 23-i (i = 0
~ N + m) and n + m stages of motion vector search censoring unit (JT) 224-i (i = 0 to n + m-1) and m stages of interpolated image generation unit (IP) 225-j (j = 1).
~ M) and an m-th interpolated image generation unit (IP) 2 of the current frame
26-j.

【００３８】ｎ段目の前フレームの画像信号ｓ２１−ｎ
は、１段目の前フレームの内挿画像生成部２２５−１に
接続されている。ｊ段目の前フレームの内挿画像生成部
２２５−ｉの出力信号ｓ２２５−ｉは、（ｊ＋１）段目
の前フレームの内挿画像生成部２２５−（ｊ＋１）及び
（ｎ＋ｊ）段目の動きベクトル推定部２３−（ｎ＋ｊ）
に接続されている。ｎ段目の現フレームの画像信号ｓ２
２−ｎは、１段目の前フレームの内挿画像生成部２２６
−１に接続されている。ｊ段目の前フレームの内挿画像
生成部２２５−ｉの出力信号ｓ２２５−ｊは、（ｊ＋
１）段目の現フレームの内挿画像生成部２２６−（ｊ＋
１）及び（ｎ＋ｊ）段目の動きベクトル推定部２３−
（ｎ＋ｊ）に接続されている。（ｎ＋ｊ）段目の動きベ
クトル推定部２３−（ｎ＋ｊ）の出力信号ｓ２３−（ｎ
＋ｊ）は、（ｎ＋ｊ）段目の動き探索打ち切り部２２４
−（ｎ＋ｊ）に接続されている。The image signal s21-n of the previous frame at the nth stage
Is connected to the interpolated image generation unit 225-1 of the previous frame of the first stage. The output signal s225-i of the interpolated image generation unit 225-i of the j-th previous frame is the movement of the interpolated image generation unit 225- (j + 1) and (n + j) -th stage of the (j + 1) th previous frame. Vector estimation unit 23- (n + j)
It is connected to the. The image signal s2 of the current frame in the nth stage
2-n is the interpolated image generation unit 226 of the previous frame of the first stage.
It is connected to -1. The output signal s225-j of the interpolated image generator 225-i of the j-th previous frame is (j +
1) Interpolated image generation unit 226- (j +) of the current frame in the second stage
1) and (n + j) th stage motion vector estimation unit 23-
It is connected to (n + j). The output signal s23- (n of the (n + j) th stage motion vector estimation unit 23- (n + j)
+ J) is the motion search censoring unit 224 at the (n + j) th stage.
It is connected to-(n + j).

【００３９】以下、図８の動作の説明をする。入力信号
ｓ１１−０は、前フレーム画像の０段目の帯域信号であ
り、ｓ１２−０は現フレーム画像の０段目の帯域信号で
あり、最上位階層（ｈ＝ｎ）画像信号である。信号ｓ１
１−ｉ（ｉ＝１〜ｎ）は前フレーム画像のｎ−ｉ（＝
ｈ）階層目の階層画像信号である。信号ｓ１２−ｉ（ｉ
＝１〜ｎ）は現フレーム画像のｎ−ｉ（＝ｈ）階層目の
階層画像信号である。動きベクトルの検出には、各階層
で同じサイズ（Ｎ×Ｎ画素）のブロック毎にマッチング
を取る。上述したように、ウェーブレット変換画像信号
などの帯域制限信号では、階層が１つ下がると画素数が
行及び列方向にそれぞれ半分に間引き処理されている。
そのため、階層ｈについては、原画像の画素数で見れ
ば、そのＮ×Ｎ画素のブロックは、（Ｎ×２^h ）×（Ｎ
×２^h ）画素となるので、可変ブロックサイズとなって
いる。この方法により、動きベクトルを求めるための最
適なブロックサイズを決定することができる。The operation of FIG. 8 will be described below. The input signal s11-0 is the band signal of the 0th stage of the previous frame image, s12-0 is the band signal of the 0th stage of the current frame image, and is the highest-level (h = n) image signal. Signal s1
1-i (i = 1 to n) is n-i (= i of the previous frame image
h) It is a hierarchical image signal of the hierarchical layer. Signal s12-i (i
= 1 to n) are hierarchical image signals of the n-i (= h) hierarchical layer of the current frame image. To detect a motion vector, matching is performed for each block having the same size (N × N pixels) in each layer. As described above, in a band-limited signal such as a wavelet-transformed image signal, the number of pixels is decimated by half in the row and column directions when the hierarchy is lowered by one.
Therefore, for the layer h, the N × N pixel block is (N × 2 ^h ) × (N
× 2 ^h ) pixels, which is a variable block size. By this method, the optimum block size for obtaining the motion vector can be determined.

【００４０】動き量が変化する境界では画素毎の動きベ
クトルを求める必要があるが、そのために検出ブロック
サイズをそのまま小さくして、行及び列方向に半分のブ
ロックサイズで動きベクトルを検出して行くと、隣接ブ
ロックとの関係が分からなくなり、正確な動きベクトル
が検出できない。従って、ブロックを細分化する代わり
に、階層をｈ＜０の方向に拡張し、ブロックの画素数は
Ｎ×Ｎで、画素毎の動きベクトルが求められるようにす
る。階層ｈで動きベクトルを打ち切るとブロックサイズ
は（Ｎ×２^h ）×（Ｎ×２^h ）画素なので、求められた
１つ動きベクトルに属する原画像の画素数は以下のよう
になる。 Ｇ_h ＝４^h Ｎ² ・・・（６） 各画素に対する動きベクトルを求めるためには、Ｇ_h ＝
１にならなければならない。式（６）でＧ_h ＝１として
解くと、ｈ＝-log₂ Ｎとなり、ｈは負になるが、原画像
の間を線形内挿によって埋めることによって、ブロック
の画素の数はＮ×Ｎとして、そのブロック内に含まれる
原画像の画素の数を（Ｎ×２^h ）×（Ｎ×２^h ）とする
ことができる。この線形内挿によって得られた画像は、
原画像のＮ×Ｎ画素を反映したものであり、単純にブロ
ックを半分ずつに順次小さくしてゆく方法に比べて、隣
接ブロックの関係を反映したものとなり、正確な画素単
位の動きベクトルが求められることになる。At the boundary where the amount of motion changes, it is necessary to obtain the motion vector for each pixel. For that purpose, the detection block size is reduced as it is, and the motion vector is detected with a half block size in the row and column directions. , The relationship with the adjacent block is unknown, and an accurate motion vector cannot be detected. Therefore, instead of subdividing the block, the hierarchy is expanded in the direction of h <0 so that the number of pixels in the block is N × N and the motion vector for each pixel is obtained. When the motion vector is cut off in the hierarchy h, the block size is (N × 2 ^h ) × (N × 2 ^h ) pixels, and thus the number of pixels of the original image belonging to the obtained one motion vector is as follows. G _h = 4 ^h N ² (6) To obtain the motion vector for each pixel, G _h =
Must be 1. When solving with G _h = 1 in the equation (6), h = −log ₂ N and h becomes negative, but the number of pixels of the block is N × N by filling the space between the original images by linear interpolation. As a result, the number of pixels of the original image included in the block can be (N × 2 ^h ) × (N × 2 ^h ). The image obtained by this linear interpolation is
Since it reflects N × N pixels of the original image, the relationship between adjacent blocks is reflected in comparison with a method in which blocks are successively reduced in size by half, and an accurate pixel-based motion vector is obtained. Will be done.

【００４１】図９は、画素内挿方法を説明するための図
であり、図中の●は、内挿画素、○は上位階層の画素で
ある。以下、図９を参照しつつ、内挿画像生成部２２５
−ｊ、２２６−ｊの動作の説明をする。内挿画像生成部
２２５−ｊ、２２６−ｊは、図９に示すように、内挿画
像生成部２２５−（ｊ−１）、２２６−（ｊ−１）の画
素○から行及び列について２倍ずつの画素●を線形内挿
によって補間する。例えば、上位画素の３０１の位置に
ある画素から縦横１／４画素の位置４０１，４０２，４
０３，４０４に１つ下の階層の画素がくるように内挿を
する。具体的には、例えば、画素４０１を生成するため
に、画素４０１を囲む４個の画素３０１〜３０４を用い
て、以下の式により計算する。 f(401)=(1-0.25)((1-0.25)f(301)+(1-0.75)f(304))+(1-
0.75)((1-0.25)f(302)+(1-0.75)f(303) 但し、f(*)は* の画素値を表す。画素４０１〜４０４が
一つ上の階層では画素３０１となるので、画素３０１が
画素４０１〜４０４の中心になるようにしている。これ
によって、線形内挿によって得られた画素は、一つ上の
階層の画素に比べて、列と行についてそれぞれ２倍の画
素の数になり、しかもその階層のＮ×Ｎ画素のブロック
サイズは、一つ上の階層のＮ×Ｎ画素のブロックサイズ
の半分となる。FIG. 9 is a diagram for explaining the pixel interpolation method. In the figure, ● represents an interpolated pixel, and ∘ represents an upper layer pixel. Hereinafter, with reference to FIG. 9, the interpolated image generation unit 225
The operation of -j and 226-j will be described. As shown in FIG. 9, the interpolated image generators 225-j and 226-j start from pixel ◯ of the interpolated image generators 225- (j-1) and 226- (j-1) to 2 for rows and columns. Interpolate double pixel ● by linear interpolation. For example, the positions 401, 402, 4 of the vertical and horizontal quarter pixels from the pixel at the position 301 of the upper pixel
Interpolation is performed so that the pixels of the next lower layer come to 03 and 404. Specifically, for example, in order to generate the pixel 401, four pixels 301 to 304 surrounding the pixel 401 are used and the calculation is performed by the following formula. f (401) = (1-0.25) ((1-0.25) f (301) + (1-0.75) f (304)) + (1-
0.75) ((1-0.25) f (302) + (1-0.75) f (303) where f (*) represents the pixel value of *. The pixels 401 to 404 are the pixel 301 in the upper hierarchy. Therefore, the pixel 301 is located at the center of the pixels 401 to 404. As a result, the pixel obtained by the linear interpolation is twice as large for each of the column and the row as compared with the pixel of the next higher layer. And the block size of N × N pixels in the layer is half the block size of N × N pixels in the layer immediately above.

【００４２】したがって、ｈ＝-log₂ Ｎまで上位階層に
なると、その階層においてＮ×Ｎ画素のブロックには、
原画像の画素が１個のみ含まれる。これによって、画素
毎の動きベクトルが得られることになる。内挿画像生成
部２２５−ｊ、２２６−ｊで生成された画像ｓ２２５−
ｊ、ｓ２２６−ｊは、動きベクトル検出部２３−（ｎ＋
ｊ）で動きベクトルｓ２３−（ｎ＋ｊ）が検出される。
この動きベクトルｓ２３−（ｎ＋ｊ）が、動き探索打ち
切り部２２４−（ｎ＋ｊ）に入力されて、ブロック毎に
動き探索打ち切り部２２４−（ｎ＋ｊ）で動きベクトル
の探索の打ち切りが判断されて、最終的な画素毎の動き
ベクトルが得られる。これにより、画像の動きに応じた
最適なブロックで動きベクトルを推定することが可能と
なり、例えば、動きの境界などにおいては、画素ごとに
動きベクトルが推定されるとともに、この画素毎の動き
ベクトルは周囲の画像を考慮したものとなる。Therefore, when the upper layer is reached up to h = -log ₂ N, a block of N × N pixels in that layer is
Only one pixel of the original image is included. As a result, a motion vector for each pixel can be obtained. Image s225-generated by the interpolated image generator 225-j, 226-j
j and s226-j are motion vector detection units 23- (n +
In j), the motion vector s23- (n + j) is detected.
The motion vector s23- (n + j) is input to the motion search censoring unit 224- (n + j), and the motion search censoring unit 224- (n + j) determines whether to stop the motion vector search, and finally A motion vector for each pixel is obtained. This makes it possible to estimate the motion vector in an optimal block according to the motion of the image. For example, at the boundary of motion, the motion vector is estimated for each pixel, and the motion vector for each pixel is The surrounding image is taken into consideration.

【００４３】以上説明したように、第４の実施形態によ
れば、画素毎の動きベクトルを検出することができる。
推定誤差が小さい部分は、動きベクトル検出を打ち切
り、その処理の削減部分を小さいブロックでの動きベク
トルの検出の部分に割り当てることにより、処理量を若
干増やすだけで画素毎の動きベクトル検出に対応するこ
とができる。帯域分割信号が入力され、動画像の境界部
分などで画素毎の動きベクトルを必要とする場合に有効
である。As described above, according to the fourth embodiment, the motion vector for each pixel can be detected.
Motion vector detection is canceled for a portion with a small estimation error, and the reduced portion of the processing is assigned to the motion vector detection portion in a small block, so that motion vector detection for each pixel can be achieved by slightly increasing the processing amount. be able to. This is effective when a band-divided signal is input and a motion vector for each pixel is required at the boundary of a moving image.

【００４４】なお、本発明は、上記実施形態に限定され
ず種々の変形が可能である。その変形例としては、例え
ば次のようなものがある。 （１） 第２の実施形態のフィルタ係数は、シフタと整
数の乗算器で実現できるスムージングフィルタを示すも
のものであれば、別のフィルタ係数であってもよい。 （２） 図４及び図６中のアップサンプリング部５１−
ｉ〜５４−ｉは線形補間によってアップサンプリングす
るものであれば、フィルタは必ずしも必要としない。 （３） 入力信号の帯域分割された信号はウェーブレッ
ト信号に限定されない。 （４） 図４及び図６は、ウェーブレット逆変換の一例
を示すにすぎず他の逆変換であってもよい。The present invention is not limited to the above embodiment, and various modifications can be made. For example, there are the following modifications. (1) The filter coefficient of the second embodiment may be another filter coefficient as long as it shows a smoothing filter that can be realized by a shifter and an integer multiplier. (2) Up-sampling unit 51- in FIG. 4 and FIG.
If i to 54-i are up-sampled by linear interpolation, the filter is not necessarily required. (3) The band-divided signal of the input signal is not limited to the wavelet signal. (4) FIGS. 4 and 6 merely show an example of the inverse wavelet transform, and other inverse transforms may be used.

【００４５】[0045]

【発明の効果】以上詳細に説明したように、第１〜第７
の発明によれば、前フレーム画像を再構成するｎ段の階
層画像復元部と現フレーム画像を再構成するｎ段の階層
画像復元部とｎ＋１段の動きベクトル推定部とを設けた
ので、画像を再構成する部分が不要になり、動きベクト
ル検出装置を簡単に構築することができる。As described in detail above, the first to seventh aspects
According to the invention, since the n-stage hierarchical image restoration unit that reconstructs the previous frame image, the n-stage hierarchical image restoration unit that reconstructs the current frame image, and the n + 1-stage motion vector estimation unit are provided, A part for reconfiguring is unnecessary, and a motion vector detecting device can be easily constructed.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の第１の実施形態を示す動きベクトル検
出装置の機能ブロック図である。FIG. 1 is a functional block diagram of a motion vector detection device showing a first embodiment of the present invention.

【図２】従来の動きベクトル検出装置の機能ブロック図
である。FIG. 2 is a functional block diagram of a conventional motion vector detection device.

【図３】図１中の階層画像復元部の機能ブロック図であ
る。3 is a functional block diagram of a hierarchical image restoration unit in FIG.

【図４】本発明の第２の実施形態を示す動きベクトル検
出装置の機能ブロック図である。FIG. 4 is a functional block diagram of a motion vector detection device showing a second embodiment of the present invention.

【図５】図４中の階層画像簡易復元部の機能ブロック図
である。FIG. 5 is a functional block diagram of a hierarchical image simple restoration unit in FIG.

【図６】本発明の第３の実施形態を示す動きベクトル検
出装置の機能ブロック図である。FIG. 6 is a functional block diagram of a motion vector detection device showing a third embodiment of the present invention.

【図７】図６中の動き探索打ち切り判定部を示す図であ
る。FIG. 7 is a diagram showing a motion search termination determination unit in FIG. 6;

【図８】本発明の第４の実施形態を示す動きベクトル検
出装置の機能ブロック図である。FIG. 8 is a functional block diagram of a motion vector detection device showing a fourth embodiment of the present invention.

【図９】画素内挿方法を示す図である。FIG. 9 is a diagram showing a pixel interpolation method.

【符号の説明】[Explanation of symbols]

２１−ｉ，２２−ｉ（ｉ＝１〜ｎ） 階層画
像復元部 ２３−ｉ（ｉ＝０〜ｎ） 動きベ
クトル探索部 １２１−ｉ，１２２−ｉ（ｉ＝１〜ｎ） 階層画
像簡易復元部 ２２４−ｉ（ｉ＝１〜ｎ＋ｍ） 動き探
索打ち切り判定部 ２２５−ｉ，２２６−ｉ（ｉ＝１〜ｍ） 内挿画
像生成部21-i, 22-i (i = 1 to n) hierarchical image restoration unit 23-i (i = 0 to n) motion vector search unit 121-i, 122-i (i = 1 to n) hierarchical image simple restoration Part 224-i (i = 1 to n + m) Motion search termination determination part 225-i, 226-i (i = 1 to m) Interpolated image generation part

Claims (7)

【特許請求の範囲】[Claims] 【請求項１】 １段目では前フレーム画像の帯域分割信
号が入力され前記前フレーム画像の階層信号を出力し、
ｉ（ｉ＝２，３，…，ｎ；ｎ≧１の整数）段目は前記前
フレーム画像の帯域分割信号及びｉ−１段目から出力さ
れる前記前フレーム画像の階層信号とから前記前フレー
ム画像の階層信号を出力するｎ段の前記第１の階層画像
復元部と、 １段目では現フレーム画像の帯域分割信号が入力され前
記現フレーム画像の階層信号を出力し、ｉ（ｉ＝２，
３，…，ｎ；ｎ≧１の整数）段目は前記現フレーム画像
の帯域分割信号及びｉ−１段目から出力される前記現フ
レーム画像の階層信号とから前記現フレーム画像の階層
信号を出力するｎ段の前記第２の階層画像復元部と、 ０段目では前記前フレーム画像の帯域分割信号及び前記
現フレーム画像の帯域信号とが入力され推定動きベクト
ルを出力し、ｊ（ｊ＝１，２，…，ｎ）段目では前記第
１の階層画像復元部及び前記第２の階層画像復元部とか
ら出力されるｊ段目の前記前フレーム画像の階層信号及
びｉ段目の前記現フレーム画像の階層信号及びｊ−１段
目の動きベクトル推定部から出力される推定動きベクト
ルとが入力され、新しく推定動きベクトルを出力するｎ
＋１段の動きベクトル推定部とを、 備えたことを特徴とする動きベクトル検出装置。1. In the first stage, a band division signal of the previous frame image is input and a hierarchical signal of the previous frame image is output,
The i-th (i = 2, 3, ..., N; integer of n ≧ 1) stage is based on the band division signal of the previous frame image and the hierarchical signal of the previous frame image output from the i−1th stage. The first hierarchical image restoration unit of n stages that outputs a hierarchical signal of a frame image; and the first stage receives a band division signal of the current frame image and outputs a hierarchical signal of the current frame image, i (i = Two
3, ..., N; (integer of n ≧ 1) stage, the hierarchical signal of the current frame image from the band division signal of the current frame image and the hierarchical signal of the current frame image output from the i−1 stage. The n-th second hierarchical image restoration unit to be output and the 0th stage are input with the band-divided signal of the previous frame image and the band signal of the current frame image, and output an estimated motion vector, and j (j = 1, 2, ..., N), the hierarchical signal of the j-th previous frame image and the i-th hierarchical signal output from the first hierarchical image restoration unit and the second hierarchical image restoration unit. The hierarchical signal of the current frame image and the estimated motion vector output from the j-1th stage motion vector estimation unit are input, and a new estimated motion vector is output n
A motion vector detecting device comprising: a +1 stage motion vector estimating unit; 【請求項２】 １段目では前フレーム画像の帯域分割信
号が入力され前記前フレーム画像の階層信号を出力し、
ｉ（ｉ＝２，３，…，ｎ；ｎ≧１の整数）段目は前記前
フレーム画像の帯域分割信号及びｉ−１段目から出力さ
れる前記前フレーム画像の階層信号とから前記前フレー
ム画像の階層信号を出力するｎ段の前記第１の階層画像
復元部と、 １段目では現フレーム画像の帯域分割信号が入力され前
記現フレーム画像の階層信号を出力し、ｉ（ｉ＝２，
３，…，ｎ；ｎ≧１の整数）段目は前記現フレーム画像
の帯域分割信号及びｉ−１段目から出力される前記現フ
レーム画像の階層信号とから前記現フレーム画像の階層
信号を出力するｎ段の前記第２の階層画像復元部と、 ０段目では前記前フレーム画像の帯域分割信号及び前記
現フレーム画像の帯域信号とが入力され推定動きベクト
ルと該推定動きベクトルの推定誤差とを出力し、ｉ（ｉ
＝１，２，…，ｎ−１）段目では前記第１の階層画像復
元部及び前記第２の階層画像復元部とから出力されるｉ
段目の前記前フレーム画像の階層信号及びｉ段目の前記
現フレーム画像の階層信号及びｉ−１段目の動きベクト
ル推定部から出力される推定動きベクトルとが入力さ
れ、新しく推定動きベクトルと該推定動きベクトルの推
定誤差とを出力し、ｎ段目では前記第１の階層画像復元
部及び前記第２の階層画像復元部とから出力されるｎ段
目の前記前フレーム画像の階層信号及びｎ段目の前記現
フレーム画像の階層信号及びｎ−１段目の動きベクトル
推定部から出力される推定動きベクトルとが入力され、
新しく推定動きベクトルを出力するｎ＋１段の動きベク
トル推定部と、 ｊ段目（ｊ＝０，１，２，…，ｎ−１）の前記動きベク
トル推定部から前記推定動きベクトルの推定誤差が入力
され、この推定動きベクトルの推定誤差と閾値とを比較
して、その推定動きベクトルを推定した画像領域につい
て、前記（ｊ＋１）段目以降の動きベクトル推定部での
推定動きベクトルの推定を打ち切るか否かを判定するｎ
段の動き探索打ち切り判定部とを、 備えたことを特徴とする動きベクトル検出装置。2. In the first stage, the band division signal of the previous frame image is input and the hierarchical signal of the previous frame image is output,
The i-th (i = 2, 3, ..., N; integer of n ≧ 1) stage is based on the band division signal of the previous frame image and the hierarchical signal of the previous frame image output from the i−1th stage. The first hierarchical image restoration unit of n stages that outputs a hierarchical signal of a frame image; and the first stage receives a band division signal of the current frame image and outputs a hierarchical signal of the current frame image, i (i = Two
3, ..., N; (integer of n ≧ 1) stage, the hierarchical signal of the current frame image from the band division signal of the current frame image and the hierarchical signal of the current frame image output from the i−1 stage. The n-th second hierarchical image restoration unit for output and the band division signal of the previous frame image and the band signal of the current frame image are input at the 0th stage, and an estimated motion vector and an estimated error of the estimated motion vector are input. And output i (i
= 1, 2, ..., N−1) th stage, i is output from the first hierarchical image restoration unit and the second hierarchical image restoration unit.
The hierarchical signal of the previous frame image of the stage, the hierarchical signal of the current frame image of the i stage and the estimated motion vector output from the motion vector estimation unit of the i−1 stage are input, and a new estimated motion vector is input. The estimated error of the estimated motion vector is output, and in the n-th stage, the n-th stage hierarchical signal of the previous frame image output from the first hierarchical image restoration unit and the second hierarchical image restoration unit, The hierarchical signal of the current frame image at the nth stage and the estimated motion vector output from the motion vector estimation unit at the (n-1) th stage are input,
The estimation error of the estimated motion vector is input from the motion vector estimation unit of the n + 1th stage which newly outputs the estimated motion vector and the motion vector estimation unit of the jth stage (j = 0, 1, 2, ..., N-1). Whether the estimation error of the estimated motion vector is compared with a threshold value, and the estimation of the estimated motion vector in the motion vector estimation unit after the (j + 1) th stage is terminated for the image area in which the estimated motion vector is estimated. N to determine whether or not
A motion vector detection device comprising: a stepped motion search termination determination unit. 【請求項３】 １段目では前フレーム画像の帯域分割信
号が入力され前記前フレーム画像の階層信号を出力し、
ｉ（ｉ＝２，３，…，ｎ；ｎ≧１の整数）段目は前記前
フレーム画像の帯域分割信号及びｍ−１段目から出力さ
れる前記前フレーム画像の階層信号とから前記前フレー
ム画像の階層信号を出力するｎ段の前記第１の階層画像
復元部と、 １段目では現フレーム画像の帯域分割信号が入力され前
記現フレーム画像の階層信号を出力し、ｍ（ｍ＝２，
３，…，ｎ；ｎ≧１の整数）段目は前記現フレーム画像
の帯域分割信号及びｍ−１段目から出力される前記現フ
レーム画像の階層信号とから前記現フレーム画像の階層
信号を出力するｎ段の前記第２の階層画像復元部と、 ０段目では前記前フレーム画像の帯域分割信号及び前記
現フレーム画像の帯域信号とが入力され第１の推定動き
ベクトルを出力し、ｉ（ｉ＝１，２，…，ｎ）段目では
前記第１の階層画像復元部及び前記第２の階層画像復元
部とから出力されるｉ段目の前記前フレーム画像の階層
信号及びｉ段目の前記現フレーム画像の階層信号及びｉ
−１段目の動きベクトル推定部から出力される第１の推
定動きベクトルとが入力され、新しく推定動きベクトル
を出力するｎ＋１段の第１の動きベクトル推定部と、 １段目では前記ｎ段目の第１の階層画像復元部から前フ
レームの階層信号が入力され前フレーム画像の内挿画像
信号を拡張して出力し、ｊ（ｊ＝２，３，…，ｍ；ｍ≧
１の整数）段目ではｊ−１段目の第１の内挿画像生成部
から前フレームの内挿画像信号が入力され前フレーム画
像の内挿画像信号を拡張して出力するｍ段の第１の内挿
画像生成部と、 １段目では前記ｎ段目の第２の階層画像復元部から現フ
レームの階層信号が入力され現フレーム画像の内挿画像
信号を拡張して出力し、ｊ（ｊ＝２，３，…，ｍ；ｍ≧
１の整数）段目ではｊ−１段目の第２の内挿画像生成部
から現フレームの内挿画像信号が入力され現フレーム画
像の内挿画像信号を拡張して出力するｍ段の第２の内挿
画像生成部と、 １段目では前記第１の内挿画像生成部及び前記第２の内
挿画像生成部とから出力される１段目の前記前フレーム
画像の内挿画像信号及び１段目の前記現フレーム画像の
内挿画像信号及び前記ｎ段目の第１の動きベクトル推定
部から出力される前記第１の推定動きベクトルが入力さ
れ、新しく第２の推定動きベクトルを出力し、ｊ（ｊ＝
２，３，…，ｍ）段目では前記第１の内挿画像生成部及
び前記第２の内挿画像生成部とから出力されるｊ段目の
前記前フレーム画像の内挿画像信号及びｊ段目の前記現
フレーム画像の内挿画像信号及びｊ−１段目の第２の動
きベクトル推定部から出力される第２の推定動きベクト
ルが入力され、新しく第２の推定動きベクトルを出力す
る第２の動きベクトル推定部とを、 備えたことを特徴とする動きベクトル検出装置。3. In the first stage, the band division signal of the previous frame image is input and the hierarchical signal of the previous frame image is output,
The i-th (i = 2, 3, ..., N; an integer of n ≧ 1) stage is the previous from the band division signal of the previous frame image and the hierarchical signal of the previous frame image output from the (m−1) th stage. The n-th first hierarchical image restoration unit that outputs a hierarchical signal of a frame image, and the first stage receives a band division signal of the current frame image and outputs the hierarchical signal of the current frame image. Two
3, ..., N; an integer of n ≧ 1), the hierarchical signal of the current frame image from the band-split signal of the current frame image and the hierarchical signal of the current frame image output from the m−1th stage. The n-th second hierarchical image restoration unit to be output, and the 0th stage are input with the band division signal of the previous frame image and the band signal of the current frame image, and output a first estimated motion vector, i In the (i = 1, 2, ..., N) -th stage, the i-th stage hierarchical signal and the i-th stage of the previous frame image output from the first hierarchical image restoration unit and the second hierarchical image restoration unit The hierarchical signal of the current frame image of the eye and i
A first motion vector estimation unit of (n + 1) th stage, which receives the first estimated motion vector output from the motion vector estimation unit of the −1st stage and outputs a new estimated motion vector; The hierarchical signal of the previous frame is input from the first hierarchical image restoring unit of the eye, the interpolated image signal of the previous frame image is expanded and output, and j (j = 2, 3, ..., m; m ≧
(Integer of 1) stage, the interpolated image signal of the previous frame is input from the first interpolated image generation unit of the j−1th stage, and the interpolated image signal of the previous frame image is expanded and output. No. 1 interpolated image generation unit, and in the first stage, the hierarchical signal of the current frame is input from the second hierarchical image restoration unit of the n-th stage, the interpolated image signal of the current frame image is expanded and output, and j (J = 2, 3, ..., m; m ≧
(An integer of 1) stage, the interpolated image signal of the current frame is input from the second interpolated image generation unit of the j−1th stage, and the interpolated image signal of the current frame image is expanded and output. No. 2 interpolated image generation unit, and the first interpolated image signal of the previous frame image output from the first interpolated image generation unit and the second interpolated image generation unit in the first stage And the interpolated image signal of the current frame image of the first stage and the first estimated motion vector output from the first motion vector estimation unit of the n-th stage are input, and a new second estimated motion vector is input. Output and j (j =
2, 3, ..., M), the jth step of the interpolated image signal and j of the previous frame image output from the first interpolated image generation section and the second interpolated image generation section. The interpolated image signal of the current frame image in the second stage and the second estimated motion vector output from the second motion vector estimation section in the (j-1) th stage are input, and a new second estimated motion vector is output. And a second motion vector estimation unit. 【請求項４】 １段目では前フレーム画像の帯域分割信
号が入力され前記前フレーム画像の階層信号を出力し、
ｉ（ｉ＝２，３，…，ｎ；ｎ≧１の整数）段目は前記前
フレーム画像の帯域分割信号及びｍ−１段目から出力さ
れる前記前フレーム画像の階層信号とから前記前フレー
ム画像の階層信号を出力するｎ段の前記第１の階層画像
復元部と、 １段目では現フレーム画像の帯域分割信号が入力され前
記現フレーム画像の階層信号を出力し、ｍ（ｍ＝２，
３，…，ｎ；ｎ≧１の整数）段目は前記現フレーム画像
の帯域分割信号及びｍ−１段目から出力される前記現フ
レーム画像の階層信号とから前記現フレーム画像の階層
信号を出力するｎ段の前記第２の階層画像復元部と、 ０段目では前記前フレーム画像の帯域分割信号及び前記
現フレーム画像の帯域信号とが入力され第１の推定動き
ベクトルと該第１の推定動きベクトルの推定誤差とを出
力し、ｉ（ｉ＝１，２，…，ｎ）段目では前記第１の階
層画像復元部及び前記第２の階層画像復元部とから出力
されるｉ段目の前記前フレーム画像の階層信号及びｉ段
目の前記現フレーム画像の階層信号及びｉ−１段目の第
１の動きベクトル推定部から出力される第１の推定動き
ベクトルとが入力され、新しく第１の推定動きベクトル
と該第１の推定動きベクトルの推定誤差とを出力するｎ
＋１段の第１の動きベクトル推定部と、 ｊ段目（ｊ＝０，１，２，…，ｎ−１）の第１の動きベ
クトル推定部から前記第１の推定動きベクトルの推定誤
差が入力され、この第１の推定動きベクトルの推定誤差
と閾値とを比較して、その第１の推定動きベクトルを推
定した画像領域について、前記（ｊ＋１）段目以降の第
１の動きベクトル推定部での第１の推定動きベクトルの
推定を打ち切るか否かを判定するｎ段の第１の動き探索
打ち切り判定部と、 １段目では前記最終段の第１の階層画像復元部から前フ
レームの階層信号が入力され前フレーム画像の内挿画像
信号を拡張して出力し、ｊ（ｊ＝２，３，…，ｍ；ｍ≧
１の整数）段目ではｊ−１段目の第１の内挿画像生成部
から前フレームの内挿画像信号が入力され前フレーム画
像の内挿画像信号を拡張して出力するｍ段の第１の内挿
画像生成部と、 １段目では前記最終段の第２の階層画像復元部から現フ
レームの階層信号が入力され現フレーム画像の内挿画像
信号を拡張して出力し、ｊ（ｊ＝２，３，…，ｍ；ｍ≧
１の整数）段目ではｊ−１段目の第２の内挿画像生成部
から現フレームの内挿画像信号が入力され現フレーム画
像の内挿画像信号を拡張して出力するｍ段の第２の内挿
画像生成部と、 １段目では前記第１の内挿画像生成部及び前記第２の内
挿画像生成部とから出力される１段目の前記前フレーム
画像の内挿画像及び１段目の前記現フレーム画像の内挿
画像信号及び前記第１の動きベクトル推定部から出力さ
れる最終段の前記推定動きベクトルが入力され、第２の
推定動きベクトルを出力し、ｊ（ｊ＝２，３，…，ｍ−
１）段目では前記第１の内挿画像生成部及び前記第２の
内挿画像生成部とから出力されるｊ段目の前記前フレー
ム画像の内挿画像及びｊ段目の前記現フレーム画像の内
挿画像信号及びｊ−１段目の第２の動きベクトル推定部
から出力される第２の推定動きベクトルが入力され、新
しく第２の推定動きベクトルと該第２の推定動きベクト
ルの推定誤差とを出力し、ｍ段目では前記第１の内挿画
像生成部及び前記第２の内挿画像生成部とから出力され
るｍ段目の前記前フレーム画像の内挿画像信号及びｍ段
目の前記現フレーム画像の内挿画像信号及びｍ−１段目
の第２の動きベクトル推定部から出力される第２の推定
動きベクトルが入力され、新しく第２の推定動きベクト
ルを出力するｍ段の第２の動きベクトル推定部と、 １段目では前記ｎ段目の第１の動きベクトル推定部から
第１の推定動きベクトルの推定誤差が入力され、ｊ段目
（ｊ＝２，…，ｍ−１）ではｊ−１段目の第２の動きベ
クルト推定部より出力される第２の推定動きベクトルの
推定誤差が入力され、その推定誤差と閾値とを比較し
て、その第１の推定動きベクトル又は第２の推定動きベ
クトルを推定した画像領域について、前記（ｊ＋１）段
目以降の第２の動きベクトル推定部での第２の推定動き
ベクトルの推定を打ち切るか否かを判定するｍ段の第２
の動き探索打ち切り判定部とを、 備えたことを特徴とする動きベクトル検出装置。4. In the first stage, the band division signal of the previous frame image is input and the hierarchical signal of the previous frame image is output,
The i-th (i = 2, 3, ..., N; an integer of n ≧ 1) stage is the previous from the band division signal of the previous frame image and the hierarchical signal of the previous frame image output from the (m−1) th stage. The n-th first hierarchical image restoration unit that outputs a hierarchical signal of a frame image, and the first stage receives a band division signal of the current frame image and outputs the hierarchical signal of the current frame image. Two
3, ..., N; an integer of n ≧ 1), the hierarchical signal of the current frame image from the band-split signal of the current frame image and the hierarchical signal of the current frame image output from the m−1th stage. The n-th second hierarchical image restoration unit for outputting and the band division signal of the previous frame image and the band signal of the current frame image are input at the 0th stage and the first estimated motion vector and the first estimated motion vector are input. The estimated error of the estimated motion vector is output, and in the i (i = 1, 2, ..., N) -th stage, the i-th stage is output from the first hierarchical image restoration unit and the second hierarchical image restoration unit. The hierarchical signal of the previous frame image of the eye, the hierarchical signal of the current frame image of the i-th stage, and the first estimated motion vector output from the first motion vector estimation unit of the (i-1) th stage are input, New first estimated motion vector and the first estimated motion N which outputs the vector estimation error and
From the + 1st stage first motion vector estimation unit and the jth stage (j = 0, 1, 2, ..., N−1) first motion vector estimation unit, the estimation error of the first estimated motion vector is calculated. The first motion vector estimation unit at and after the (j + 1) th stage is input for the image region in which the first estimated motion vector is estimated by comparing the estimation error of the first estimated motion vector with the threshold value. In the first stage, the first motion search cutoff determination unit that determines whether or not to cancel the estimation of the first estimated motion vector in When the hierarchical signal is input, the interpolated image signal of the previous frame image is expanded and output, and j (j = 2, 3, ..., M; m ≧
(Integer of 1) stage, the interpolated image signal of the previous frame is input from the first interpolated image generation unit of the j−1th stage, and the interpolated image signal of the previous frame image is expanded and output. 1 interpolated image generation unit, and in the first stage, the hierarchical signal of the current frame is input from the second hierarchical image restoration unit of the final stage, the interpolated image signal of the current frame image is expanded and output, and j ( j = 2, 3, ..., m; m ≧
(An integer of 1) stage, the interpolated image signal of the current frame is input from the second interpolated image generation unit of the j−1th stage, and the interpolated image signal of the current frame image is expanded and output. Two interpolated image generation units, and the first interpolated image of the previous frame image output from the first interpolated image generation unit and the second interpolated image generation unit in the first stage, and The interpolated image signal of the current frame image of the first stage and the estimated motion vector of the final stage output from the first motion vector estimation unit are input, and a second estimated motion vector is output, j (j = 2,3, ..., m-
1) In the 1st stage, the interpolated image of the previous frame image in the jth stage and the current frame image in the jth stage output from the first interpolated image generation unit and the second interpolated image generation unit Of the interpolated image signal and the second estimated motion vector output from the second motion vector estimation unit in the j−1th stage are newly input, and the second estimated motion vector and the estimation of the second estimated motion vector are newly obtained. Error, and at the m-th stage, the interpolated image signal of the previous frame image at the m-th stage and the m-th stage output from the first interpolated image generation unit and the second interpolated image generation unit. The interpolated image signal of the current frame image of the eye and the second estimated motion vector output from the second motion vector estimation unit in the (m-1) th stage are input, and a new second estimated motion vector is output. A second motion vector estimation unit of a stage, and the nth stage in the first stage The estimation error of the first estimated motion vector is input from the first motion vector estimation unit of the second motion vector estimation unit, and at the j-th stage (j = 2, ..., M−1), the second motion vector estimation unit of the j−1-th stage. The estimated error of the second estimated motion vector output from the above is input, the estimated error is compared with a threshold, and the first estimated motion vector or the second estimated motion vector is estimated for the image area, The second of the m-th stage that determines whether or not the estimation of the second estimated motion vector in the second motion vector estimation unit after the (j + 1) th stage is terminated
A motion vector detection device including: 【請求項５】 前記第１及び第２の階層画像復元部は、 シフタと整数倍の乗算器とで構成したスムージングフィ
ルタを備えた、 ことを特徴とする請求項１、２、３、又は４記載の動き
ベクトル検出装置。5. The first and second hierarchical image restoration units are provided with a smoothing filter composed of a shifter and a multiplier of an integer multiple. The motion vector detection device described. 【請求項６】 前記帯域分割された画像信号は、 上位階層へと順次、間引きされた階層画像であり、 前記動きベクトル推定部は、 Ｍ×Ｎ（Ｍ，Ｎ≧２の任意の整数）の画素のブロックで
ブロックマッチングを行うことにより前記動きベクトル
を推定することを特徴とする請求項１、又は２記載の動
きベクトル検出装置。6. The band-divided image signal is a hierarchical image that is sequentially thinned out to an upper layer, and the motion vector estimation unit is M × N (M, any integer of N ≧ 2) 3. The motion vector detection device according to claim 1, wherein the motion vector is estimated by performing block matching on a block of pixels. 【請求項７】 前記帯域分割された画像信号は、 ウェーブレット信号であり、 前記第１及び第２の階層画像復元部は、 前記ウェーブレット信号を生成する際に用いたフィルタ
の種類に依らず、固定フィルタで構成したことを特徴と
する請求項５記載の動きベクトル検出装置。7. The band-divided image signal is a wavelet signal, and the first and second hierarchical image restoration units are fixed regardless of a type of a filter used when the wavelet signal is generated. The motion vector detecting device according to claim 5, wherein the motion vector detecting device comprises a filter.