JPH07177517A - Method for detecting motion vector and method for coding image data - Google Patents

Method for detecting motion vector and method for coding image data

Info

Publication number
JPH07177517A
JPH07177517A JP31794393A JP31794393A JPH07177517A JP H07177517 A JPH07177517 A JP H07177517A JP 31794393 A JP31794393 A JP 31794393A JP 31794393 A JP31794393 A JP 31794393A JP H07177517 A JPH07177517 A JP H07177517A
Authority
JP
Japan
Prior art keywords
image data
block
data
motion vector
absolute value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP31794393A
Other languages
Japanese (ja)
Other versions
JP3433489B2 (en
Inventor
Akihiro Muto
明宏 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP31794393A priority Critical patent/JP3433489B2/en
Publication of JPH07177517A publication Critical patent/JPH07177517A/en
Application granted granted Critical
Publication of JP3433489B2 publication Critical patent/JP3433489B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PURPOSE:To improve the detection accuracy of a motion vector entirely by compensating detection accuracy of a motion vector in a lower sampling frequency. CONSTITUTION:A reference block is set to a current frame, a check block having the same picture element number as that of the reference block is set to a preceding frame, the block matching processing between the check block and the reference block is implemented while moving the check block and a motion vector is detected while gradually narrowering a moving range of the check block in multi-steps. When a motion vector of picture data with a lower vertical sampling frequency than a horizontal sampling frequency is detected, a 1st moving range SV1 is set so that the check block is moved densely more in the vertical direction than in the horizontal direction (for example, the check block is moved at an interval of 4 picture elements in the horizontal direction and at an interval of 3 picture elements in the vertical direction) in the 1st step.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、画像の動きに応じて画
像データの圧縮符号化処理を行う、例えば動画像圧縮処
理装置(MPEG装置)等に用いて好適な動きベクトル
検出方法及び画像データの符号化方法に関し、特に、最
初は大きく、徐々に範囲を狭めながら画像の動きベクト
ルの検出を多段階に亘って行うマルチステップサーチに
おける動きベクトルの検出精度の向上等を図った動きベ
クトル検出方法、及び、この動きベクトル検出方法を用
いて画像データの圧縮符号化を行うことにより、圧縮符
号化の精度の向上等を図った画像データの符号化方法に
関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion vector detecting method and image data which are suitable for use in, for example, a moving image compression processing device (MPEG device), which performs compression coding of image data according to the motion of the image. Particularly, the present invention relates to a coding method of a motion vector detection method that is large at first, and improves the motion vector detection accuracy in a multi-step search in which the motion vector of an image is detected in multiple stages while gradually narrowing the range. The present invention also relates to an image data encoding method for improving the accuracy of compression encoding by performing compression encoding of image data using this motion vector detection method.

【0002】[0002]

【従来の技術】今日において、動画の高能率圧縮符号化
の国際標準方式としてMPEG(Moving Picture Codin
g Transform )方式が知られている。このMPEG方式
は、画像データに直交変換処理を施す、例えばDCT
(Discrete Cosine Transform )変換と、動き補償とを
組み合わせた画像の高能率圧縮技術である。
2. Description of the Related Art Today, MPEG (Moving Picture Coding) is used as an international standard method for high-efficiency compression encoding of moving images.
g Transform) method is known. In this MPEG method, orthogonal transformation processing is performed on image data, for example, DCT.
(Discrete Cosine Transform) A high-efficiency image compression technology that combines motion compensation and transformation.

【0003】このMPEG方式は、例えば前フレームの
画像と現在フレームの画像との相関性を利用して画像デ
ータを圧縮符号化する、図7に示すような画像データの
符号化装置に適用することができる。
The MPEG system can be applied to an image data encoding apparatus as shown in FIG. 7, which compresses and encodes image data by utilizing the correlation between the image of the previous frame and the image of the current frame. You can

【0004】上記図7に示す画像データの符号化装置
は、入力端子201を介して現在フレームの画像データ
が供給される。この現在フレームの画像データは、動き
ベクトル検出回路202及び減算器203に供給され
る。
The image data encoding apparatus shown in FIG. 7 is supplied with the image data of the current frame through the input terminal 201. The image data of the current frame is supplied to the motion vector detection circuit 202 and the subtractor 203.

【0005】上記動きベクトル検出回路202には、上
記現在フレームの画像データの他、以下に説明するフレ
ームメモリ205からの前フレームの画像データが供給
されている。上記動きベクトル検出回路202は、上記
現在フレームの画像データ及び前フレームの画像データ
に基づいて画像の動きを検出することにより動きベクト
ルを形成し、これを動き補償回路204に供給する。
The motion vector detection circuit 202 is supplied with the image data of the current frame and the image data of the previous frame from the frame memory 205 described below. The motion vector detection circuit 202 forms a motion vector by detecting the motion of the image based on the image data of the current frame and the image data of the previous frame, and supplies this to the motion compensation circuit 204.

【0006】上記動き補償回路204には、フレームメ
モリ205から前フレームの画像データが供給されてい
る。上記動き補償回路204は、上記動きベクトル検出
回路202からの動きベクトルに基づいて、上記前フレ
ームの画像データに動き補償処理を施し、これを上記減
算器203及び加算器206に供給する。
Image data of the previous frame is supplied from the frame memory 205 to the motion compensation circuit 204. The motion compensation circuit 204 performs motion compensation processing on the image data of the previous frame based on the motion vector from the motion vector detection circuit 202, and supplies this to the subtractor 203 and the adder 206.

【0007】上記減算器203は、上記現在フレームの
画像データと、上記動き補償処理の施された前フレーム
の画像データとを減算処理することにより、現在フレー
ムの画像データと前フレームの画像データとの差分を示
す差分データを形成し、これをDCT回路207に供給
する。
The subtractor 203 subtracts the current frame image data and the motion-compensated previous frame image data to obtain the current frame image data and the previous frame image data. Difference data indicating the difference between the two is formed and supplied to the DCT circuit 207.

【0008】上記DCT回路207は、上記差分データ
を所定画素数のブロック毎に周波数軸上に変換してDC
Tブロックを形成し、これを量子化回路208に供給す
る。上記量子化回路208は、上記DCTブロックのレ
ベルに応じて量子化ステップ可変し、この量子化ステッ
プにより上記DCTブロックに量子化処理を施すことに
より圧縮画像データを形成し、これを出力端子209を
介して例えばディスク記録装置等の外部機器に供給する
とともに、逆量子化回路210に供給する。
The DCT circuit 207 transforms the difference data on the frequency axis for each block of a predetermined number of pixels to generate a DC signal.
A T block is formed and is supplied to the quantization circuit 208. The quantization circuit 208 changes the quantization step in accordance with the level of the DCT block, forms the compressed image data by performing the quantization process on the DCT block by this quantization step, and outputs this to the output terminal 209. For example, it is supplied to an external device such as a disk recording device and the like to the dequantization circuit 210.

【0009】上記逆量子化回路210は、上記量子化回
路208で選択された量子化ステップで、上記圧縮画像
データに逆量子化処理を施すことにより、量子化処理さ
れる前のDCTブロックを再生し、これを逆DCT回路
211に供給する。上記逆DCT回路211は、上記再
生されたDCTブロックに逆DCT処理を施すことによ
り、DCTブロック化される前の差分データを形成し、
これを上記加算器206に供給する。
The dequantization circuit 210 reproduces the DCT block before the quantization process by performing the dequantization process on the compressed image data in the quantization step selected by the quantization circuit 208. Then, this is supplied to the inverse DCT circuit 211. The inverse DCT circuit 211 forms difference data before being converted into a DCT block by performing an inverse DCT process on the reproduced DCT block,
This is supplied to the adder 206.

【0010】上記加算器206には、上記動き補償回路
204からの動き補償された前フレームの画像データが
別に供給されている。上記加算器206は、上記動き補
償された前フレームの画像データと、上記逆DCT回路
211からの差分データとを加算処理することにより、
現在フレームの画像データを再生し、これをフレームメ
モリ205に供給する。
The adder 206 is separately supplied with the motion-compensated previous frame image data from the motion compensation circuit 204. The adder 206 adds the motion-compensated previous frame image data and the difference data from the inverse DCT circuit 211 to obtain
The image data of the current frame is reproduced, and this is supplied to the frame memory 205.

【0011】上記フレームメモリ205に供給された現
在フレームの画像データは、1フレーム分の遅延が施さ
れ読み出される。これにより、上記現在フレームの画像
データは、読み出しの段階で前フレームの画像データと
され、上記動き補償回路204及び動きベクトル検出回
路202に供給される。上述のように、上記動き補償回
路204は、上記動きベクトル検出回路202からの動
きベクトルに応じて上記前フレームの画像データに動き
補償処理を施し、これを上記減算器203及び加算器2
06に供給する。以後、各回路において、上述の動作が
繰り返される。
The image data of the current frame supplied to the frame memory 205 is delayed by one frame and read. As a result, the image data of the current frame is converted to the image data of the previous frame at the reading stage and supplied to the motion compensation circuit 204 and the motion vector detection circuit 202. As described above, the motion compensation circuit 204 performs motion compensation processing on the image data of the previous frame according to the motion vector from the motion vector detection circuit 202, and the motion compensation processing is performed on the image data of the previous frame.
Supply to 06. Thereafter, the above operation is repeated in each circuit.

【0012】このように、上記画像データの符号化装置
は、動きベクトルに基づいて動きベクトル補償された前
フレームの画像データと、現在フレームの画像データと
の差分を符号化して出力する。これにより、画像データ
の高能率圧縮を行うことができる。
As described above, the image data encoding device encodes and outputs the difference between the image data of the previous frame and the image data of the current frame, which are motion vector compensated based on the motion vector. This enables highly efficient compression of image data.

【0013】ここで、上記動きベクトル検出回路202
は、図8に示すように現在フレーム221の所定位置の
複数画素(N画素×Mライン)から形成される基準ブロ
ック223が、前フレーム222内の所定位置の複数画
素(N画素×Mライン)から形成される検査ブロックの
うち、どの検査ブロック224と一致するかを検出する
ブロックマッチングにより動きベクトルを検出してい
る。
Here, the motion vector detection circuit 202 described above.
8, the reference block 223 formed from a plurality of pixels (N pixels × M lines) at a predetermined position of the current frame 221 is a plurality of pixels (N pixels × M line) at a predetermined position in the previous frame 222. The motion vector is detected by block matching that detects which inspection block 224 matches the inspection block formed by

【0014】すなわち、上記動きベクトル検出回路20
2は、前フレーム222の検査ブロック224を所定の
移動範囲内において移動し、該移動する毎に検査ブロッ
ク224と上記現在フレーム221の基準ブロック22
3とを比較する。そして、上記基準ブロック223に最
も合致する検査ブロック224をマッチングブロックと
して検出し、このマッチングブロックに基づいて動きベ
クトルの検出を行う。
That is, the motion vector detection circuit 20 described above.
2 moves the inspection block 224 of the previous frame 222 within a predetermined movement range, and every time the inspection block 224 and the reference block 22 of the current frame 221 are moved.
Compare with 3. Then, the inspection block 224 that most matches the reference block 223 is detected as a matching block, and the motion vector is detected based on this matching block.

【0015】このようなブロックマッチング法として
は、フルサーチと呼ばれるブロックマッチング法と、マ
ルチステップサーチと呼ばれるブロックマッチング法と
が知られている。
As such a block matching method, a block matching method called a full search and a block matching method called a multi-step search are known.

【0016】上記フルサーチのブロックマッチング法が
適用された動きベクトル検出回路は、例えば図9に示す
ような構成を有している。この図9において、現フレー
ムメモリ231には入力端子233を介して現在フレー
ムの画像データが供給され、前フレームメモリ232に
は入力端子234を介して前フレームの画像データが供
給される。上記各フレームメモリ231,232に供給
された各画像データは、それぞれコントローラ235の
書き込み制御により、該各フレームメモリ231,23
2内に一旦書き込まれる。
The motion vector detection circuit to which the full search block matching method is applied has a configuration as shown in FIG. 9, for example. In FIG. 9, the current frame memory 231 is supplied with the image data of the current frame via the input terminal 233, and the previous frame memory 232 is supplied with the image data of the previous frame via the input terminal 234. The image data supplied to the frame memories 231 and 232 are written under control of the controller 235, respectively.
It is written once in 2.

【0017】このように上記各フレームメモリ231,
232内に各画像データが書き込まれると、上記コント
ローラ235は、上記図8に示した現在フレーム221
の基準ブロックの画像データを読み出すように上記現フ
レームメモリ231を読み出し制御するとともに、前フ
レーム222の検査ブロック224の画像データを読み
出すようにアドレス移動回路236を介して前フレーム
メモリ232を読み出し制御する。また、上記コントロ
ーラ235は、上記検査ブロック224が、図10に示
すように1画素毎に所定の移動範囲SV内を移動するよ
うに、1画素ずつ上記前フレームメモリ232の読み出
しアドレスをアドレス移動回路236を介して可変制御
する。
In this way, each frame memory 231,
When each image data is written in 232, the controller 235 causes the current frame 221 shown in FIG.
The current frame memory 231 is read out so as to read out the image data of the reference block of the reference frame, and the previous frame memory 232 is read out through the address moving circuit 236 so as to read out the image data of the inspection block 224 of the previous frame 222. . Further, the controller 235 moves the read address of the previous frame memory 232 by one pixel so that the inspection block 224 moves within a predetermined moving range SV for each pixel as shown in FIG. Variable control is performed via 236.

【0018】これにより、上記現フレームメモリ231
から上記基準ブロック223の画像データが差分検出回
路237に供給されるとともに、上記前フレームメモリ
232から上記移動範囲SV内において1画素ずつ移動
された検査位置の検査ブロック224の画像データが上
記差分検出回路237に供給される。
As a result, the current frame memory 231 is
The image data of the reference block 223 is supplied from the above to the difference detection circuit 237, and the image data of the inspection block 224 at the inspection position moved one pixel by one pixel from the previous frame memory 232 within the movement range SV is subjected to the difference detection. It is supplied to the circuit 237.

【0019】上記差分検出回路237は、上記基準ブロ
ック223の画像データと、上記検査ブロック224の
画像データとを1画素毎に減算処理して差分データを形
成し、これを絶対値和検出回路238に供給する。
The difference detection circuit 237 subtracts the image data of the reference block 223 and the image data of the inspection block 224 pixel by pixel to form difference data, and the difference data is detected by the absolute value sum detection circuit 238. Supply to.

【0020】上記絶対値和検出回路238は、1回のブ
ロックの比較により形成された差分データの絶対値を検
出し、この絶対値を全て加算処理することにより絶対値
和データを形成し、これを判断回路239に供給する。
The absolute value sum detection circuit 238 detects the absolute value of the difference data formed by one block comparison and adds all the absolute values to form the absolute value sum data. Is supplied to the determination circuit 239.

【0021】上記判断回路239は、例えば上記移動範
囲SV内を上記検査ブロック224を1画素ずつ移動し
てブロックマッチングを行う1回のブロックマッチング
処理により形成される全ての絶対値和データを記憶でき
るメモリを有している。上記判断回路239は、上記絶
対値和検出回路238から供給される絶対値和データ
を、その絶対値和データが形成された上記移動範囲SV
の検査位置に対応するアドレスに一旦記憶する。そし
て、上記メモリの全てのアドレスに上記絶対値和データ
が記憶されると、この絶対値和データの中から値が最小
のものが記憶されているアドレスを検出し、このアドレ
スに基づいて動きベクトルを検出する。そして、この動
きベクトルを出力端子240を介して、上記図7に示し
た動き補償回路204に供給する。
The determination circuit 239 can store all the absolute value sum data formed by one block matching process in which the inspection block 224 is moved pixel by pixel within the movement range SV to perform block matching. It has a memory. The determination circuit 239 converts the absolute value sum data supplied from the absolute value sum detection circuit 238 into the movement range SV in which the absolute value sum data is formed.
It is temporarily stored in the address corresponding to the inspection position of. Then, when the absolute value sum data is stored in all the addresses of the memory, the address in which the smallest value is stored is detected from the absolute value sum data, and the motion vector is calculated based on this address. To detect. Then, this motion vector is supplied to the motion compensation circuit 204 shown in FIG. 7 via the output terminal 240.

【0022】上記値が最小の絶対値和データは、前フレ
ームの検査ブロック224の画像データと現在フレーム
の基準ブロック223の画像データとの差分が最小であ
ること、すなわち、その検査ブロック224の画像デー
タと基準ブロック223の画像データとが一致すること
を示している。また、上述のように上記絶対値和データ
は、ブロックマッチングを行った位置に対応した上記メ
モリ上のアドレスに記憶される。
In the absolute value sum data having the minimum value, the difference between the image data of the inspection block 224 of the previous frame and the image data of the reference block 223 of the current frame is the minimum, that is, the image of the inspection block 224. This indicates that the data and the image data of the reference block 223 match. Further, as described above, the absolute value sum data is stored in the address on the memory corresponding to the position where the block matching is performed.

【0023】従って、上記値が最小の絶対値和データが
記憶されている上記メモリ上のアドレスを検出すること
により、上記値が最小の絶対値和データが形成された検
査ブロック224に対する上記基準ブロック223の動
き分(動きベクトル)を検出することができる。
Therefore, the reference block for the inspection block 224 in which the absolute value sum data having the minimum value is formed by detecting the address on the memory in which the absolute value sum data having the minimum value is stored. It is possible to detect 223 motion components (motion vectors).

【0024】なお、このように1回のブロックマッチン
グで動きベクトルの検出がなされると、上記判断回路2
59は、コントローラ235に該動きベクトルの検出が
なされたことを示すデータを供給する。上記コントロー
ラ235は、上記動きベクトルの検出がなされたことを
示すデータが供給されると、新たな現在フレームの画像
データ及び前フレームの画像データが上記各フレームメ
モリ231,232に書き込まれるように該各フレーム
メモリ231,232を書き込み制御する。これによ
り、新たに上述のブロックマッチング処理が行われる。
When the motion vector is detected by one block matching in this way, the decision circuit 2
59 supplies the controller 235 with data indicating that the motion vector has been detected. When the data indicating that the motion vector has been detected is supplied, the controller 235 writes new image data of the current frame and image data of the previous frame into the frame memories 231 and 232, respectively. The frame memories 231 and 232 are write-controlled. As a result, the block matching process described above is newly performed.

【0025】しかし、このようなフルサーチを行うと、
上記検査ブロック224を、上記移動範囲SVにおいて
1画素毎に移動させながら動きベクトルの検出を行う必
要があるため、演算量が膨大なものとなり画像データの
高速処理に支障をきたす。このため、現在では、最初は
大きな移動範囲で動きベクトルの検出を行い、この検出
結果に応じて徐々に移動範囲を小さくするように、多段
階に亘ってブロックマッチング処理を行うことにより、
演算量の軽減を図るマルチステップサーチが多く行われ
ている。
However, when such a full search is performed,
Since it is necessary to detect the motion vector while moving the inspection block 224 for each pixel in the moving range SV, the amount of calculation becomes enormous, which hinders high-speed processing of image data. Therefore, at present, at first, the motion vector is detected in a large moving range, and the moving range is gradually reduced according to the detection result, by performing the block matching process in multiple stages,
Many multi-step searches are performed to reduce the amount of calculation.

【0026】上記マルチステップサーチとしては、3段
階に亘って動きベクトルの検出を行う3ステップサー
チ、2段階に分けて動きベクトルの検出を行う2ステッ
プサーチ等が知られている。
As the multi-step search, there is known a three-step search for detecting a motion vector in three steps, a two-step search for detecting a motion vector in two steps, and the like.

【0027】まず、上記3ステップサーチが適用される
動きベクトル検出回路は、例えば図11に示すような構
成を有している。この図11において、現フレームメモ
リ251には入力端子253を介して現在フレームの画
像データが供給され、前フレームメモリ252には入力
端子254を介して前フレームの画像データが供給され
る。上記各フレームメモリ251,252に供給された
各画像データは、それぞれコントローラ255の書き込
み制御により、該各フレームメモリ251,252内に
一旦書き込まれる。
First, the motion vector detection circuit to which the above-mentioned three-step search is applied has a structure as shown in FIG. 11, for example. In FIG. 11, the current frame image data of the current frame is supplied to the current frame memory 251 via the input terminal 253, and the image data of the previous frame is supplied to the previous frame memory 252 via the input terminal 254. The image data supplied to the frame memories 251 and 252 are temporarily written in the frame memories 251 and 252 under the write control of the controller 255.

【0028】このように上記各フレームメモリ251,
252内に各画像データが書き込まれると、上記コント
ローラ255は、例えば上記現フレームメモリ251の
中央の記憶領域の所定数の画像データから形成される基
準ブロックの画像データが読み出されるように上記現フ
レームメモリ251を読み出し制御する。この基準ブロ
ックの画像データは、差分検出回路257に供給され
る。
As described above, each frame memory 251,
When each image data is written in 252, the controller 255 causes the current frame so that the image data of the reference block formed from a predetermined number of image data in the central storage area of the current frame memory 251 is read out. The memory 251 is read out and controlled. The image data of this reference block is supplied to the difference detection circuit 257.

【0029】また、上記コントローラ255は、これと
ともに、まず、第1ステップとして図12に示すように
上記前フレームメモリ252に記憶された画像データの
うち、例えば上記基準ブロックの中心のアドレスに対応
するアドレスの画像データを原点の画像データ270と
し、この原点の画像データ270に対して左斜め上方向
に4画素分ずれた画像データ271を中心とする上記基
準ブロックの画像データと同数の画像データを有する検
査ブロックの画像データが読み出されるようにi画素ス
テップアドレス移動回路256Aを介して上記前フレー
ムメモリ252を読み出し制御する。
At the same time, the controller 255 first corresponds to, for example, the central address of the reference block in the image data stored in the previous frame memory 252 as shown in FIG. 12 as the first step. The image data of the address is used as the origin image data 270, and the same number of image data as the image data of the reference block centering on the image data 271 which is displaced by 4 pixels in the left diagonally upward direction with respect to the origin image data 270. The preceding frame memory 252 is read out and controlled via the i-pixel step address moving circuit 256A so that the image data of the inspection block that it has is read out.

【0030】また、上記コントローラ255は、これに
続いて、上記画像データ271から右方向に4画素分離
れた画像データ272を中心とする検査ブロック,上記
画像データ272から右方向に4画素分離れた画像デー
タ273を中心とする検査ブロック,上記原点の画像デ
ータ270から左方向に4画素分離れた画像データ27
4を中心とする検査ブロック,上記原点の画像データ2
70を中心とする検査ブロック,上記原点の画像データ
270から右方向に4画素分離れた画像データ275を
中心とする検査ブロック,上記原点の画像データ270
から左斜め下方向に4画素分離れた画像データ276を
中心とする検査ブロック,上記画像データ276から右
方向に4画素分離れた画像データ277を中心とする検
査ブロック,上記画像データ277から右方向に4画素
分離れた画像データ278を中心とする検査ブロックの
各画像データが順に読み出されるように上記i画素ステ
ップアドレス移動回路256Aを介して上記前フレーム
メモリ252を読み出し制御する。
Further, the controller 255 is followed by an inspection block centered on the image data 272, which is separated from the image data 271 by 4 pixels in the right direction, and separated from the image data 272 by 4 pixels in the right direction. Image data 273 separated by 4 pixels to the left from the image data 270 at the origin.
Inspection block centered at 4, image data 2 at the origin
An inspection block centered on 70, an inspection block centered on image data 275 obtained by separating four pixels to the right from the image data 270 at the origin, and image data 270 at the origin.
From the image data 276 centered on the image data 276 which is separated from the image data 276 by 4 pixels in the diagonally downward left direction from the image data 277. The preceding frame memory 252 is read out and controlled via the i pixel step address moving circuit 256A so that each image data of the inspection block centered on the image data 278 separated by 4 pixels in the direction is sequentially read out.

【0031】この前フレームメモリ252から読み出さ
れた各検査ブロックの画像データは、それぞれ上記差分
検出回路257に供給される。
The image data of each inspection block read from the previous frame memory 252 is supplied to the difference detection circuit 257.

【0032】すなわち、この第1ステップでは、上記図
12に示す各画像データ271〜278をそれぞれ中心
として4画素毎に検査ブロックを移動することにより、
同図中太線で示す第1の移動範囲SV1でブロックマッ
チング処理が行われることとなる。
That is, in this first step, the inspection block is moved by every 4 pixels with the image data 271 to 278 shown in FIG.
The block matching process is performed in the first movement range SV1 indicated by the thick line in the figure.

【0033】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。これにより、上記検
査ブロックの移動を行った分である計9個の絶対値和デ
ータが形成されることとなる。この絶対値和データは、
それぞれ判断回路259に供給される。
The difference detection circuit 257 compares the image data of the reference block with the image data of each of the inspection blocks to detect the difference, and supplies this difference data to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block comparison to form absolute value sum data. As a result, a total of nine pieces of absolute value sum data corresponding to the movement of the inspection block are formed. This sum of absolute data is
Each is supplied to the determination circuit 259.

【0034】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロックを4画素ずつ移動
してブロックマッチングを行う1回のブロックマッチン
グ処理により形成される全ての絶対値和データを記憶で
きるメモリを有している。上記判断回路259は、上記
絶対値和検出回路258から供給される絶対値和データ
を、その絶対値和データが形成された上記第1の移動範
囲SV1の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
The determination circuit 259 moves all the absolute value sum data formed by one block matching process in which the inspection block is moved by four pixels in the first movement range SV1 to perform block matching, for example. It has a memory that can be stored. The determination circuit 259 temporarily stores the absolute value sum data supplied from the absolute value sum detection circuit 258 at an address corresponding to the inspection position of the first movement range SV1 where the absolute value sum data is formed. . When the absolute value sum data is stored in all the addresses of the memory, the absolute value sum data having the smallest value is detected, and the absolute value sum data having the smallest value is detected by the controller 255. Supply to.

【0035】上記絶対値和データの値が最小であるとい
うことは、前フレームにおける検査ブロックと現在フレ
ームにおける基準ブロックとの相関性が高いことを示し
ている。このため、上記コントローラ255は、上記絶
対値和データに基づいて、その絶対値和データが検出さ
れた検査ブロックの中心に位置する、上記前フレームメ
モリ252上のアドレスの画像データを検出する。そし
て、第2のステップとして、上記画像データを中心とし
て移動範囲を狭めてブロックマッチング処理を行う。
The fact that the value of the sum of absolute value data is minimum indicates that the correlation between the check block in the previous frame and the reference block in the current frame is high. Therefore, the controller 255 detects, based on the absolute value sum data, the image data of the address on the previous frame memory 252 located at the center of the inspection block in which the absolute value sum data is detected. Then, as a second step, a block matching process is performed by narrowing the moving range around the image data.

【0036】すなわち、上記値が最小の絶対値和データ
が検出された検査ブロックの中心の画像データが図12
に×点で示す画像データ276であったとすると、上記
コントローラ255は、第2ステップとして図13
(a)に示すように、上記画像データ276から左斜め
上に2画素分離れた画像データ281を中心とする検査
ブロック,上記画像データ281から右方向に2画素分
離れた画像データ282を中心とする検査ブロック,上
記画像データ282から右方向に2画素分離れた画像デ
ータ283を中心とする検査ブロック,上記画像データ
276から左方向に2画素分離れた画像データ284を
中心とする検査ブロック,上記画像データ276を中心
とする検査ブロック,上記画像データ276から右方向
に2画素分離れた画像データ285を中心とする検査ブ
ロック,上記画像データ276から左斜め下方向に2画
素分離れた画像データ286を中心とする検査ブロッ
ク,上記画像データ286から右方向に2画素分離れた
画像データ287を中心とする検査ブロック,上記画像
データ287から2画素分離れた画像データ288を中
心とする検査ブロックの各画像データが順に読み出され
るように上記i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
That is, the image data at the center of the inspection block in which the absolute value sum data having the minimum value is detected is shown in FIG.
If the image data 276 is indicated by a cross mark, the controller 255 executes the second step shown in FIG.
As shown in (a), the inspection block centered on the image data 281 that is separated by 2 pixels diagonally to the left from the image data 276, and the image data 282 that is separated by 2 pixels to the right from the image data 281 is centered. Inspection block, an inspection block centered on image data 283 separated by 2 pixels to the right from the image data 282, an inspection block centered on image data 284 separated by 2 pixels on the left from the image data 276 , An inspection block centered on the image data 276, an inspection block centered on the image data 285 which is separated from the image data 276 by 2 pixels in the right direction, and an inspection block centered on the image data 276 in the left diagonally downward direction by 2 pixels An inspection block centered on the image data 286, and image data 287 obtained by separating two pixels to the right from the image data 286. Test blocks, the i pixel step address moving circuit 256A as the image data of the inspection blocks around the image data 288 apart two pixels from the image data 287 are read out in order of the heart
The previous frame memory 252 is read out and controlled via.

【0037】この前フレームメモリ252から読み出さ
れた各検査ブロックの画像データは、それぞれ上記差分
検出回路257に供給される。
The image data of each inspection block read from the previous frame memory 252 is supplied to the difference detection circuit 257.

【0038】すなわち、この第2ステップでは、上記図
13(a)に示す各画像データ281〜288及び画像
データ276をそれぞれ中心として2画素毎に検査ブロ
ックを移動することにより、同図(a)中太線で示す第
2の移動範囲SV2でブロックマッチング処理が行われ
ることとなる。
That is, in the second step, the inspection block is moved every two pixels with the image data 281 to 288 and the image data 276 shown in FIG. The block matching process is performed in the second movement range SV2 indicated by the thick line.

【0039】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。これにより、上記検
査ブロックの移動を行った分である計9個の絶対値和デ
ータが形成されることとなる。この絶対値和データは、
それぞれ判断回路259に供給される。
The difference detection circuit 257 compares the image data of the reference block with the image data of each of the inspection blocks to detect the difference, and supplies this difference data to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block comparison to form absolute value sum data. As a result, a total of nine pieces of absolute value sum data corresponding to the movement of the inspection block are formed. This sum of absolute data is
Each is supplied to the determination circuit 259.

【0040】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9つの絶対値和データ
を、その絶対値和データが形成された上記第2の移動範
囲SV2の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
The determination circuit 259 corresponds the nine pieces of absolute value sum data supplied from the absolute value sum detection circuit 258 to the inspection position of the second movement range SV2 where the absolute value sum data is formed. Once stored at the address to be used. When the absolute value sum data is stored in all the addresses of the memory, the absolute value sum data having the smallest value is detected, and the absolute value sum data having the smallest value is detected by the controller 255. Supply to.

【0041】上述のように、上記絶対値和データの値が
最小であるということは、前フレームにおける検査ブロ
ックと現在フレームにおける基準ブロックとの相関性が
高いことを示している。このため、上記コントローラ2
55は、上記絶対値和データに基づいて、その絶対値和
データが検出された検査ブロックの中心に位置する、上
記前フレームメモリ252上のアドレスの画像データを
検出する。そして、第3のステップとして、上記画像デ
ータを中心として移動範囲をさらに狭めてブロックマッ
チング処理を行う。
As described above, the minimum value of the absolute value sum data indicates that the check block in the previous frame and the reference block in the current frame have a high correlation. Therefore, the controller 2
55 detects the image data of the address on the previous frame memory 252 located at the center of the inspection block in which the absolute value sum data is detected, based on the absolute value sum data. Then, as a third step, the block matching process is performed by further narrowing the movement range around the image data.

【0042】すなわち、上記値が最小の絶対値和データ
が検出された検査ブロックの中心の画像データが図13
(a)に△点で示す画像データ283であったとする
と、上記コントローラ255は、第3ステップとして同
図(b)に示すように、上記画像データ283から左斜
め上に1画素分離れた画像データ291を中心とする検
査ブロック,上記画像データ291から右方向に1画素
分離れた画像データ292を中心とする検査ブロック,
上記画像データ292から右方向に1画素分離れた画像
データ293を中心とする検査ブロック,上記画像デー
タ283から左方向に1画素分離れた画像データ294
を中心とする検査ブロック,上記画像データ283を中
心とする検査ブロック,上記画像データ283から右方
向に1画素分離れた画像データ295を中心とする検査
ブロック,上記画像データ283から左斜め下方向に1
画素分離れた画像データ296を中心とする検査ブロッ
ク,上記画像データ296から右方向に1画素分離れた
画像データ297を中心とする検査ブロック,上記画像
データ297から1画素分離れた画像データ298を中
心とする検査ブロックの各画像データが順に読み出され
るように1画素ステップアドレス移動回路256Bを介
して上記前フレームメモリ252を読み出し制御する。
That is, the image data at the center of the inspection block in which the absolute value sum data having the minimum value is detected is shown in FIG.
Assuming that the image data 283 indicated by a point in (a) is the image data 283 shown as (b) in the same figure as the third step, the controller 255 separates the image data 283 by one pixel in the upper left direction. An inspection block centered on the data 291; an inspection block centered on the image data 292, which is one pixel separated to the right from the image data 291;
An inspection block centered on the image data 293, which is one pixel to the right from the image data 292, and an image data 294, which is one pixel to the left from the image data 283.
, An inspection block centered on the image data 283, an inspection block centered on the image data 295, which is separated by one pixel to the right from the image data 283, and an oblique downward left direction from the image data 283. To 1
Inspection block centered on image data 296 separated by pixels, inspection block centered on image data 297 separated by 1 pixel to the right from the image data 296, image data 298 separated by 1 pixel from the image data 297 The preceding frame memory 252 is read out and controlled via the 1-pixel step address moving circuit 256B so that each image data of the inspection block centered on is read out in order.

【0043】この前フレームメモリ252から読み出さ
れた各検査ブロックの画像データは、それぞれ上記差分
検出回路257に供給される。
The image data of each inspection block read from the previous frame memory 252 is supplied to the difference detection circuit 257.

【0044】すなわち、この第3ステップでは、上記図
13(b)に示す各画像データ291〜298及び画像
データ283をそれぞれ中心として1画素毎に検査ブロ
ックを移動することにより、同図(b)中太線で示す第
3の移動範囲SV3でブロックマッチング処理が行われ
ることとなる。
That is, in the third step, the inspection block is moved pixel by pixel with each of the image data 291-298 and the image data 283 shown in FIG. The block matching process is performed in the third movement range SV3 indicated by the thick line.

【0045】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。これにより、上記検
査ブロックの移動を行った分である計9個の絶対値和デ
ータが形成されることとなる。この絶対値和データは、
それぞれ判断回路259に供給される。
The difference detection circuit 257 compares the image data of the reference block with the image data of each inspection block, detects the difference, and supplies this difference data to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block comparison to form absolute value sum data. As a result, a total of nine pieces of absolute value sum data corresponding to the movement of the inspection block are formed. This sum of absolute data is
Each is supplied to the determination circuit 259.

【0046】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9つの絶対値和データ
を、その絶対値和データが形成された上記第3の移動範
囲SV3の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
The judgment circuit 259 corresponds the nine pieces of absolute value sum data supplied from the absolute value sum detection circuit 258 to the inspection position of the third movement range SV3 where the absolute value sum data is formed. Once stored at the address to be used. When the absolute value sum data is stored in all the addresses of the memory, the absolute value sum data having the smallest value is detected, and the absolute value sum data having the smallest value is detected by the controller 255. Supply to.

【0047】上記コントローラ255は、上記値が最小
の絶対値和データが形成された検査ブロックを検出し、
この検査ブロックの中心に位置する画像データを検出す
る。具体的には、例えば上記値が最小の絶対値和データ
が形成された検査ブロックの中心に位置する画像データ
が図13(b)に斜線で示す画像データ296であった
とすると、上記コントローラ255は、上記画像データ
296の前フレームメモリ252上のアドレスを検出す
る。そして、この検査ブロックの中心の画像データの前
フレームメモリ252上のアドレスと、上記現在フレー
ムメモリ251上の基準ブロックの中心の画像データの
アドレスとの差分を検出することにより、上記値が最小
の絶対値和データが形成された検査ブロックに対する上
記基準ブロックの動き分(動きベクトル)を検出し、こ
の動きベクトルを出力端子260を介して上記図7に示
した動き補償回路204に供給する。
The controller 255 detects the inspection block in which the absolute value sum data having the minimum value is formed,
The image data located at the center of this inspection block is detected. Specifically, for example, if the image data located at the center of the inspection block in which the absolute value sum data having the minimum value is formed is the image data 296 indicated by hatching in FIG. , The address of the image data 296 on the previous frame memory 252 is detected. Then, by detecting the difference between the address of the image data at the center of the inspection block on the previous frame memory 252 and the address of the image data at the center of the reference block on the current frame memory 251, the above-mentioned value becomes the minimum. The motion amount (motion vector) of the reference block with respect to the inspection block in which the sum of absolute value data is formed is detected, and this motion vector is supplied to the motion compensation circuit 204 shown in FIG. 7 via the output terminal 260.

【0048】これにより、上記図7に示した画像データ
の符号化装置において、上述のように画像データの圧縮
符号化処理を行うことができる。
As a result, the image data encoding apparatus shown in FIG. 7 can perform the image data compression encoding processing as described above.

【0049】次に、2ステップサーチが適用される動き
ベクトル検出回路は、構成的には上記図11に示した回
路と同じであるが、この場合、上記コントローラ255
は、第1ステップで2画素毎に検査ブロックを移動させ
るように上記i画素ステップアドレス移動回路256を
制御し、第2ステップで1画素毎に検査ブロックを移動
させるように上記1画素ステップアドレス移動回路を制
御するようになっている。
Next, the motion vector detection circuit to which the two-step search is applied is structurally the same as the circuit shown in FIG. 11, but in this case, the controller 255 is used.
Controls the i-pixel step address moving circuit 256 to move the inspection block every 2 pixels in the first step, and moves the 1 pixel step address movement to move the inspection block in every 1 pixel in the second step. It is designed to control the circuit.

【0050】すなわち、上記図11において、上記現フ
レームメモリ251に現在フレームの画像データが記憶
され、前フレームメモリ252に前フレームの画像デー
タが記憶されると、上記コントローラ255は、例えば
上記現フレームメモリ251の中央の記憶領域の所定数
の画像データから形成される基準ブロックの画像データ
が読み出されるように上記現フレームメモリ251を読
み出し制御する。この基準ブロックの画像データは、差
分検出回路257に供給される。
That is, in FIG. 11, when the image data of the current frame is stored in the current frame memory 251 and the image data of the previous frame is stored in the previous frame memory 252, the controller 255 causes, for example, the current frame. The current frame memory 251 is read out and controlled so that the image data of the reference block formed from a predetermined number of image data in the central storage area of the memory 251 is read out. The image data of this reference block is supplied to the difference detection circuit 257.

【0051】また、上記コントローラ255は、これと
ともに、まず、第1ステップとして図14(a)に示す
ように上記前フレームメモリ252に記憶された画像デ
ータのうち、例えば上記基準ブロックの中心のアドレス
に対応するアドレスの画像データを原点の画像データ3
00とし、同図(a)中太線で示すように上記原点の画
像データ300を中心とする第1の移動範囲SV1内を
2画素毎に検査ブロックが移動するように上記i画素ス
テップアドレス移動回路256Aを介して上記前フレー
ムメモリ252を読み出し制御する。この各検査ブロッ
クの画像データは、それぞれ上記差分検出回路257に
供給される。
At the same time, the controller 255, as a first step, first selects, for example, the address of the center of the reference block among the image data stored in the previous frame memory 252 as shown in FIG. The image data of the address corresponding to
00, the i-pixel step address moving circuit is arranged so that the inspection block moves every two pixels within the first moving range SV1 centered on the image data 300 at the origin as shown by the thick line in FIG. The preceding frame memory 252 is read out and controlled via 256A. The image data of each inspection block is supplied to the difference detection circuit 257.

【0052】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。例えば、図14
(a)の○点及び●点に示すように49回に亘って、上
記検査ブロックの移動が行われたとすると、計49個の
絶対値和データが形成されることとなる。この絶対値和
データは、それぞれ判断回路259に供給される。
The difference detection circuit 257 compares the image data of the reference block with the image data of each of the inspection blocks to detect the difference, and supplies this difference data to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block comparison to form absolute value sum data. For example, in FIG.
Assuming that the inspection block has been moved 49 times as indicated by points (a) and (●) in (a), a total of 49 pieces of absolute value sum data will be formed. The absolute value sum data is supplied to the determination circuit 259.

【0053】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロックを2画素ずつ移動
してブロックマッチングを行う1回のブロックマッチン
グ処理により形成される全ての絶対値和データを記憶で
きるメモリを有している。上記判断回路259は、上記
絶対値和検出回路258から供給される絶対値和データ
を、その絶対値和データが形成された上記第1の移動範
囲SV1の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
The determination circuit 259 moves all the absolute value sum data formed by one block matching process in which the inspection block is moved by two pixels in the first movement range SV1 to perform block matching, for example. It has a memory that can be stored. The determination circuit 259 temporarily stores the absolute value sum data supplied from the absolute value sum detection circuit 258 at an address corresponding to the inspection position of the first movement range SV1 where the absolute value sum data is formed. . When the absolute value sum data is stored in all the addresses of the memory, the absolute value sum data having the smallest value is detected, and the absolute value sum data having the smallest value is detected by the controller 255. Supply to.

【0054】上記絶対値和データの値が最小であるとい
うことは、前フレームにおける検査ブロックと現在フレ
ームにおける基準ブロックとの相関性が高いことを示し
ている。このため、上記コントローラ255は、上記絶
対値和データに基づいて、その絶対値和データが検出さ
れた検査ブロックの中心に位置する、上記前フレームメ
モリ252上のアドレスの画像データを検出する。そし
て、第2のステップとして、上記画像データを中心とし
て移動範囲を狭めてブロックマッチング処理を行う。
The minimum value of the absolute value sum data indicates that the correlation between the inspection block in the previous frame and the reference block in the current frame is high. Therefore, the controller 255 detects, based on the absolute value sum data, the image data of the address on the previous frame memory 252 located at the center of the inspection block in which the absolute value sum data is detected. Then, as a second step, a block matching process is performed by narrowing the moving range around the image data.

【0055】すなわち、上記値が最小の絶対値和データ
が検出された検査ブロックの中心の画像データが図14
(a)に斜線で示す画像データ301であったとする
と、上記コントローラ255は、第2ステップとして同
図(b)中太線で示すように、上記画像データ301を
中心とする第2の移動範囲SV2内を1画素毎に検査ブ
ロックが移動するように上記1画素ステップアドレス移
動回路256Bを介して上記前フレームメモリ252を
読み出し制御する。この各検査ブロックの画像データ
は、それぞれ上記差分検出回路257に供給される。
That is, the image data at the center of the inspection block in which the absolute value sum data having the minimum value is detected is shown in FIG.
Assuming that the image data 301 is hatched in (a), the controller 255 performs the second movement range SV2 centered on the image data 301 as the second step, as indicated by the thick line in FIG. The preceding frame memory 252 is read out and controlled through the 1-pixel step address moving circuit 256B so that the inspection block moves in each pixel inside. The image data of each inspection block is supplied to the difference detection circuit 257.

【0056】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロックどおしの比較により検出される差分データを全て
加算して絶対値和データを形成する。これにより、図1
4(b)に示すように上記検査ブロックの移動を行った
分の計9個の絶対値和データが形成されることとなる。
この絶対値和データは、それぞれ判断回路259に供給
される。
The difference detection circuit 257 compares the image data of the reference block with the image data of each inspection block to detect the difference, and supplies this difference data to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block-to-block comparison to form absolute value sum data. As a result,
As shown in FIG. 4 (b), a total of nine pieces of absolute value sum data corresponding to the movement of the inspection block are formed.
The absolute value sum data is supplied to the determination circuit 259.

【0057】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9つの絶対値和データ
を、その絶対値和データが形成された上記第2の移動範
囲SV2の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
The judging circuit 259 corresponds the nine pieces of absolute value sum data supplied from the absolute value sum detecting circuit 258 to the inspection position of the second moving range SV2 where the absolute value sum data is formed. Once stored at the address to be used. When the absolute value sum data is stored in all the addresses of the memory, the absolute value sum data having the smallest value is detected, and the absolute value sum data having the smallest value is detected by the controller 255. Supply to.

【0058】上記コントローラ255は、上記値が最小
の絶対値和データが形成された検査ブロックが上記基準
ブロックと一致しているとし、その絶対値和データが形
成された検査ブロックの例えば中心の画像データのアド
レスを検出する。そして、この検査ブロックの中心の画
像データのアドレスと、上記基準ブロックの中心の画像
データのアドレスとの差分を検出することにより、上記
値が最小の絶対値和データが形成された検査ブロックに
対する上記基準ブロックの動き分(動きベクトル)を検
出し、この動きベクトルを出力端子260を介して上記
図7に示した動き補償回路204に供給する。
The controller 255 determines that the inspection block in which the absolute value sum data having the minimum value is formed matches the reference block, and assumes, for example, the central image of the inspection block in which the absolute value sum data is formed. Detect data address. Then, the difference between the address of the image data at the center of the inspection block and the address of the image data at the center of the reference block is detected to detect the difference between the inspection block for which the absolute value sum data having the minimum value is formed. The motion amount (motion vector) of the reference block is detected, and this motion vector is supplied to the motion compensation circuit 204 shown in FIG. 7 via the output terminal 260.

【0059】このように、マルチステップサーチでは、
第1ステップ〜第3ステップの計3段階に分けて、或い
は、第1ステップ及び第2ステップの計2段階に分けて
動きベクトルの検出を行うようにしているため、最初は
粗く徐々に細かく動きベクトルの検出を行うことがで
き、上述のフルサーチよりも演算量を削減することがで
き、画像データの高速処理化を図ることができる。
Thus, in the multi-step search,
Since the motion vector is detected by dividing the first step to the third step into a total of three stages, or by dividing the first step and the second step into a total of two stages, the movement is coarse and gradually fine at first. Vectors can be detected, the amount of calculation can be reduced compared to the above-described full search, and high-speed processing of image data can be achieved.

【0060】[0060]

【発明が解決しようとする課題】ここで、上記画像デー
タとしては、例えばいわゆる422の画像データ(輝度
データ=4,2つの色データ2,2)と、420の画像
データ(輝度データ=4,2つの色データ1,1)等が
あり、上記422の画像データの輝度データは、水平サ
ンプリング周波数が垂直サンプリング周波数よりも低
く、また、逆に、上記420の画像データの輝度データ
は、垂直サンプリング周波数が水平サンプリング周波数
よりも低くなっている。
As the image data, so-called 422 image data (luminance data = 4, two color data 2, 2) and 420 image data (luminance data = 4, for example) are used. There is two color data 1, 1), etc., and the luminance data of the image data of 422 has a horizontal sampling frequency lower than the vertical sampling frequency, and conversely, the luminance data of the image data of 420 has vertical sampling frequency. The frequency is lower than the horizontal sampling frequency.

【0061】しかし、従来の3ステップサーチは、第1
ステップにおいて、垂直方向及び水平方向に4画素間隔
で検査ブロック224を移動しながらブロックマッチン
グ処理を行い、また、2ステップサーチは、第1ステッ
プにおいて、垂直方向及び水平方向に2画素間隔で検査
ブロック224を移動しながらブロックマッチング処理
を行う等のように、上記検査ブロック224を移動する
間隔が垂直方向及び水平方向とも同じ間隔であった。こ
のため、上記422の画像データの輝度データに基づい
て動きベクトルの検出を行う場合、サンプリング周波数
の低い水平方向の動きベクトルの検出精度が低下し、ま
た、上記420の画像データの輝度データに基づいて動
きベクトルの検出を行う場合、サンプリング周波数の低
い垂直方向の動きベクトルの検出精度が低下する問題が
あった。
However, the conventional three-step search is
In the step, the block matching processing is performed while moving the inspection block 224 at intervals of 4 pixels in the vertical and horizontal directions, and in the 2-step search, the inspection block is arranged at intervals of 2 pixels in the vertical and horizontal directions in the first step. The intervals at which the inspection blocks 224 are moved are the same in the vertical direction and the horizontal direction, such as performing block matching processing while moving the 224. Therefore, when the motion vector is detected based on the brightness data of the image data 422, the detection accuracy of the horizontal motion vector having a low sampling frequency is lowered, and based on the brightness data of the image data 420. When the motion vector is detected by the above method, there is a problem that the detection accuracy of the vertical motion vector having a low sampling frequency is lowered.

【0062】また、従来のマルチステップサーチは、画
像データを形成する輝度データ及び色データのうち、該
輝度データのみに基づいて動きベクトルの検出を行って
おり、この輝度データの動きベクトルを、輝度データ及
び色データの両方の動きベクトルとして検出するように
していたため、該色データについて動きベクトルの検出
を行わない分、動きベクトルの検出精度が低下する問題
があった。
Further, in the conventional multi-step search, the motion vector is detected based on only the brightness data of the brightness data and the color data forming the image data. Since the motion vector is detected as both the motion vector of the data and the color data, there is a problem that the motion vector detection accuracy is reduced because the motion vector is not detected for the color data.

【0063】また、従来のマルチステップサーチは、上
記検査ブロック224を移動範囲内において、垂直方向
及び水平方向に移動させてブロックマッチング処理を行
っていたため、斜め方向に対する動きベクトルの検出精
度が低下する問題があった。
Further, in the conventional multi-step search, since the block matching processing is performed by moving the inspection block 224 in the vertical and horizontal directions within the moving range, the accuracy of detecting the motion vector in the oblique direction is lowered. There was a problem.

【0064】本発明は上述の問題点に鑑みてなされたも
のであり、画像データの垂直サンプリング周波数及び水
平サンプリング周波数に応じて検査ブロック224の移
動範囲を可変し、また、輝度データ及び色データの両方
について動きベクトルの検出を行い、また、上記検査ブ
ロック224を水平方向,垂直方向及び斜め方向にも移
動させて動きベクトルの検出を行うことにより、検出精
度の向上を図ることができるような動きベクトル検出方
法、及び、この動きベクトル検出方法で形成された正確
な動きベクトルを用いることにより、画像データに応じ
た正確な圧縮符号化を行うことができるような画像デー
タの符号化方法の提供を目的とする。
The present invention has been made in view of the above-mentioned problems. The moving range of the inspection block 224 is changed according to the vertical sampling frequency and the horizontal sampling frequency of the image data, and the luminance data and the color data are changed. A motion that can improve the detection accuracy by detecting the motion vector for both of them and moving the inspection block 224 in the horizontal direction, the vertical direction, and the diagonal direction to detect the motion vector. (EN) Provided are a vector detection method and an image data encoding method capable of performing accurate compression encoding according to image data by using an accurate motion vector formed by this motion vector detection method. To aim.

【0065】[0065]

【課題を解決するための手段】本発明に係る動きベクト
ル検出方法は、時間的に前後する現在画像或いは前画像
の所定位置に所定画素からなる基準ブロックを設定し、
上記基準ブロックと同じ画素数からなる検査ブロック
を、上記基準ブロックが設定された画像以外の画像の所
定の移動範囲内で移動し、該検査ブロックを移動する毎
に、検査ブロックの各画素と基準ブロックの各画素の差
分の絶対値和を検出し、上記検査ブロックの移動に対応
して得られた各絶対和の中から最小値の絶対値和を検出
し、この最小値の絶対値和が形成された移動範囲内の所
定位置の画素に基づいて上記検査ブロックの次の移動範
囲を所定分狭め、再度、上記最小値の絶対値和を検出す
る動作を、上記検査ブロックの最小限度の移動範囲とな
るまで繰り返し行い、この最小限度の移動範囲で検出さ
れた、最小値の絶対値和に基づいて動きベクトルを検出
する動きベクトル検出方法において、画像データの水平
サンプリング周波数及び垂直サンプリング周波数のう
ち、サンプリング周波数の低い方向に対して、上記検査
ブロックの移動を密に行うことを特徴として上述の課題
を解決する。
A motion vector detecting method according to the present invention sets a reference block composed of a predetermined pixel at a predetermined position of a current image or a previous image that is temporally preceding and following,
An inspection block having the same number of pixels as the reference block is moved within a predetermined movement range of an image other than the image in which the reference block is set, and each time the inspection block is moved, each pixel of the inspection block and the reference The absolute value sum of the differences of each pixel of the block is detected, and the absolute value sum of the minimum values is detected from among the absolute sums obtained corresponding to the movement of the inspection block. Based on the pixel at the predetermined position within the formed movement range, the next movement range of the inspection block is narrowed by a predetermined amount, and the operation of detecting the sum of the absolute values of the minimum values is performed again by the minimum movement of the inspection block. The horizontal sampling frequency of the image data in the motion vector detection method that detects the motion vector based on the sum of the absolute values of the minimum values detected in this minimum movement range Among the fine vertical sampling frequency, for low direction of the sampling frequency, to solve the problems described above as a feature to make dense the movement of the test block.

【0066】また、本発明に係る動きベクトル検出方法
は、画像データを形成する輝度データ及び色データに基
づいてそれぞれ動きベクトル検出を行う場合、上記輝度
データについては、水平方向の移動よりも垂直方向の移
動が密となるように上記検査ブロックの移動を行い、上
記色データについては、垂直方向の移動よりも水平方向
の移動が密となるように上記検査ブロックの移動を行う
ことを特徴として上述の課題を解決する。
Further, in the motion vector detecting method according to the present invention, when the motion vector is detected based on the luminance data and the color data forming the image data, the luminance data should be moved in the vertical direction rather than in the horizontal direction. The above-mentioned inspection block is moved so as to be moved densely, and the above-mentioned color image data is moved so that the inspection block is moved more horizontally than vertically. Solve the problem of.

【0067】また、本発明に係る動きベクトル検出方法
は、上記検査ブロックの移動を斜め方向に密に行うこと
を特徴として上述の課題を解決する。
Further, the motion vector detecting method according to the present invention solves the above-mentioned problems by being characterized in that the inspection blocks are densely moved in an oblique direction.

【0068】次に、本発明に係る画像データの符号化方
法は、時間的に前後する現在画像及び前画像から画像の
動きベクトルを検出し、この動きベクトルに応じて前画
像の動き補償を行い、上記現在画像と動き補償を行った
前画像との差分を直交変換処理し量子化することによ
り、圧縮符号化した画像データを形成する画像データの
符号化方法であって、上記動きベクトルを検出する際
に、上記現在画像或いは前画像の所定位置に所定画素数
からなる基準ブロックを設定し、上記基準ブロックと同
じ画素数からなる検査ブロックを、上記基準ブロックが
設定された画像以外の画像の所定の移動範囲内で、画像
データの水平サンプリング周波数及び垂直サンプリング
周波数のうち、サンプリング周波数の低い方向に対して
密に移動し、上記検査ブロックを移動する毎に、検査ブ
ロックの各画素と基準ブロックの各画素の差分の絶対値
和を検出し、上記移動範囲で検査ブロックを移動させる
ことにより検出された各絶対値和のうち、最小値の絶対
値和を検出し、上記最小値の絶対値和が形成された検査
ブロックの所定位置の画素に基づいて、上記検査ブロッ
クの次の移動範囲を所定分狭めて設定し、上記所定分狭
めて設定された移動範囲で上記検査ブロックの移動を行
って最小値の絶対値和を検出する動作を、上記検査ブロ
ックの最小限度の移動範囲となるまで繰り返し行い、上
記最小限度の移動範囲で検査ブロックを移動した際に得
られた、最小値の絶対値和に基づいて動きベクトルの検
出を行うことを特徴として上述の課題を解決する。
Next, the image data encoding method according to the present invention detects the motion vector of the image from the current image and the previous image that are temporally before and after, and performs the motion compensation of the previous image according to this motion vector. A method for encoding image data for forming compression-encoded image data by orthogonally transforming and quantizing the difference between the current image and a motion-compensated previous image, wherein the motion vector is detected. In doing so, a reference block having a predetermined number of pixels is set at a predetermined position of the current image or the previous image, and an inspection block having the same number of pixels as the reference block is set in an image other than the image in which the reference block is set. Within the predetermined movement range, of the horizontal sampling frequency and the vertical sampling frequency of the image data, it moves densely in the direction of the lower sampling frequency, and the above inspection Each time the lock is moved, the absolute value sum of the difference between each pixel of the inspection block and each pixel of the reference block is detected, and the minimum of the absolute value sums detected by moving the inspection block within the above moving range is the minimum. The absolute value sum of the values is detected, and based on the pixel at the predetermined position of the inspection block in which the minimum value absolute value sum is formed, the next movement range of the inspection block is set to be narrowed by a predetermined amount and set to the predetermined amount. The operation of moving the inspection block in the narrowed moving range and detecting the sum of the absolute values of the minimum values is repeated until the minimum moving range of the inspection block is reached. The above problem is solved by the feature that the motion vector is detected based on the sum of the absolute values of the minimum values obtained when the inspection block is moved.

【0069】[0069]

【作用】本発明に係る動きベクトル検出方法は、まず、
時間的に前後する現在画像或いは前画像の所定位置に所
定画素からなる基準ブロックを設定し、上記基準ブロッ
クと同じ画素数からなる検査ブロックを、上記基準ブロ
ックが設定された画像以外の画像に設定する。
The motion vector detecting method according to the present invention is as follows.
A reference block consisting of a predetermined pixel is set at a predetermined position of the current image or the previous image that is temporally preceding and succeeding, and an inspection block having the same number of pixels as the reference block is set to an image other than the image in which the reference block is set. To do.

【0070】具体的には、例えば上記現在画像として現
在フレームの画像を、また、前画像として前フレームの
画像を用い、上記現在フレームの画像の中央の所定領域
に上記基準ブロックを設定し、上記前フレームの画像の
所定位置に上記検査ブロックを設定する。
Specifically, for example, the image of the current frame is used as the current image and the image of the previous frame is used as the previous image, and the reference block is set in a predetermined area in the center of the image of the current frame. The inspection block is set at a predetermined position of the image of the previous frame.

【0071】上記基準ブロックを現在フレームの中央の
領域に設定するのは、主とする被写体は画像の中央部分
に位置しているであろうとの考えに基づいているためで
あり、以下に説明するように、当該検出方法は、前フレ
ームの所定の移動範囲内において上記検査ブロックを移
動し、この検査ブロックの移動を行う毎に、該検査ブロ
ックの画像と上記基準ブロックの画像とを比較して、該
基準ブロックの画像に一致する画像の検査ブロックを検
出する(ブロックマッチング処理)。そして、この検査
ブロックに対して上記基準ブロックがどれだけ移動して
いるかを検出することにより、動きベクトルの検出を行
う。
The reason why the reference block is set in the central area of the current frame is that the main subject is supposed to be located in the central portion of the image, and will be described below. As described above, the detection method moves the inspection block within the predetermined movement range of the previous frame, and compares the image of the inspection block with the image of the reference block every time the inspection block is moved. , The inspection block of the image that matches the image of the reference block is detected (block matching process). Then, the motion vector is detected by detecting how much the reference block moves with respect to this inspection block.

【0072】すなわち、上記基準ブロック及び検査ブロ
ックが設定されると、画像データの水平サンプリング周
波数及び垂直サンプリング周波数のうち、サンプリング
周波数の低い方向に対して、上記検査ブロックの移動を
密に行う。
That is, when the reference block and the inspection block are set, the inspection block is moved densely in the direction in which the sampling frequency is the lower of the horizontal sampling frequency and the vertical sampling frequency of the image data.

【0073】例えば、画像データとしては、いわゆる4
22の画像データ(輝度データ=4,2つの色データ=
2,2)と、上記422の画像データのうち、色データ
の垂直方向の画素数を半分とした420の画像データ
(輝度データ=4,2つの色データ=1,1)等があ
る。
For example, as image data, so-called 4
22 image data (luminance data = 4, two color data =
2, 2) and 420 image data (luminance data = 4, two color data = 1, 1) in which the number of pixels of the color data in the vertical direction is halved among the image data of 422.

【0074】上記420の画像データの輝度データに基
づいて動きベクトルの検出を行うとすると、該画像デー
タの画枠は、垂直方向が3に対して水平方向が4の比率
となっており、また、画素数は、垂直方向が480個に
対して水平方向が720個となっており、輝度データの
サンプリング周波数は、水平方向のサンプリング周波数
よりも垂直方向のサンプリング周波数の方が低い。
If the motion vector is detected based on the luminance data of the image data of 420, the image frame of the image data has a ratio of 3 in the vertical direction to 4 in the horizontal direction, and The number of pixels is 480 in the vertical direction and 720 in the horizontal direction, and the sampling frequency of the luminance data is lower in the vertical sampling frequency than in the horizontal sampling frequency.

【0075】このため、当該動きベクトル検出方法は、
上記検査ブロックを、水平方向よりも垂直方向に密に移
動させて上記ブロックマッチング処理を行う。
Therefore, the motion vector detecting method is
The block matching process is performed by moving the inspection block more densely in the vertical direction than in the horizontal direction.

【0076】また、上記422の画像データの輝度デー
タに基づいて動きベクトル検出を行うとすると、この輝
度データのサンプリング周波数は、垂直方向のサンプリ
ング周波数よりも水平方向のサンプリング周波数の方が
低い。このため、当該動きベクトル検出方法は、上記検
査ブロックを、垂直方向よりも水平方向に密に移動させ
て上記ブロックマッチング処理を行う。
If motion vector detection is performed based on the brightness data of the image data 422, the sampling frequency of this brightness data is lower in the horizontal sampling frequency than in the vertical sampling frequency. Therefore, in the motion vector detecting method, the block matching process is performed by moving the inspection block more densely in the horizontal direction than in the vertical direction.

【0077】次に、当該動きベクトル検出方法は、この
ような検査ブロックの移動を行う毎に該検査ブロックの
各画素と上記基準ブロックの各画素との差分の絶対値和
を検出する。これにより、上記移動回数分の絶対値和が
検出されることとなる。そして、上記各絶対値和の中か
ら値が最小の絶対値和を検出する。
Next, the motion vector detecting method detects the sum of absolute differences between the pixels of the inspection block and the pixels of the reference block each time the inspection block is moved. As a result, the absolute value sum for the number of movements is detected. Then, the absolute value sum having the smallest value is detected from the above absolute value sums.

【0078】上記絶対値和の値が最小であるということ
は、その絶対値和が検出された位置の検査ブロックの画
像と、上記基準ブロックの画像との相関性が高いことを
示している。このため、当該検出方法では上記最小値の
絶対値和を検出し、この絶対値和に基づいて次の移動範
囲を設定するようにしている。
The minimum value of the sum of absolute values means that the image of the inspection block at the position where the sum of absolute values is detected has a high correlation with the image of the reference block. Therefore, in the detection method, the sum of absolute values of the minimum values is detected, and the next movement range is set based on the sum of absolute values.

【0079】次に、上記最小値の絶対値和が検出される
と、該最小値の絶対値和が検出された検査ブロックの例
えば中央に位置する画素を中心として上記検査ブロック
の最初の移動範囲以下の移動範囲を設定し、この移動範
囲に沿って上記検査ブロックを移動させてブロックマッ
チング処理を行い、最小値の絶対値和データを検出す
る。
Next, when the absolute value sum of the minimum values is detected, the first moving range of the inspection block is centered on, for example, the pixel located in the center of the inspection block in which the absolute value sum of the minimum values is detected. The following movement range is set, the inspection block is moved along the movement range, and block matching processing is performed to detect the absolute value sum data of the minimum value.

【0080】当該動きベクトル検出方法は、このよう
な、検査ブロックの移動により検出された最小値の絶対
値和に基づいて、該検査ブロックの移動範囲を徐々に狭
めながらブロックマッチング処理を行う動作を、該検査
ブロックの最小限度の移動範囲となるまで繰り返し行
う。そして、上記最小限度の移動範囲で検出された、複
数の絶対値和のうち、値が最小の絶対値和に基づいて動
きベクトルの検出を行う。
The motion vector detecting method performs the block matching process while gradually narrowing the movement range of the inspection block based on the sum of the absolute values of the minimum values detected by the movement of the inspection block. , Is repeated until the inspection block reaches the minimum movement range. Then, the motion vector is detected based on the absolute value sum having the smallest value among the plurality of absolute value sums detected in the minimum movement range.

【0081】水平サンプリング周波数よりも垂直サンプ
リング周波数の方が低い画像データに対して、上記検査
ブロックを垂直方向及び水平方向にそれぞれ同じ分だけ
移動させて動きベクトルの検出を行うと、上記垂直方向
の検出精度が低下し、逆に、垂直サンプリング周波数よ
りも水平サンプリング周波数の方が低い画像データに対
して、上記検査ブロックを垂直方向及び水平方向にそれ
ぞれ同じ分だけ移動させて動きベクトルの検出を行う
と、上記水平方向の検出精度が低下する。
When the inspection block is moved by the same amount in the vertical direction and the horizontal direction with respect to the image data having the vertical sampling frequency lower than the horizontal sampling frequency, the motion vector is detected. The detection accuracy decreases, and conversely, for the image data whose horizontal sampling frequency is lower than the vertical sampling frequency, the inspection block is moved in the vertical direction and the horizontal direction by the same amount to detect the motion vector. Then, the detection accuracy in the horizontal direction is reduced.

【0082】しかし、当該動きベクトル検出方法では、
上述のように、水平サンプリング周波数及び垂直サンプ
リング周波数のうち、サンプリング周波数の低い方向に
対して検査ブロックの移動を密に行うようにしているた
め、上記垂直サンプリング周波数が低い画像データに対
しては垂直方向の移動を密にし、また、上記水平サンプ
リング周波数が低い画像データに対しては水平方向の移
動を密にすることができ、該垂直方向或いは水平方向の
動きベクトルの検出精度を向上させることができる。
However, in the motion vector detecting method,
As described above, the inspection block is moved densely in the direction of the lower sampling frequency of the horizontal sampling frequency and the vertical sampling frequency. The movement in the direction can be made dense, and the movement in the horizontal direction can be made dense for the image data having a low horizontal sampling frequency, and the detection accuracy of the vertical or horizontal motion vector can be improved. it can.

【0083】ここで、一般的には、動きベクトルの検出
は、画像データを形成する輝度データ及び色データのう
ち、該輝度データのみに対して行われ、色データに対し
ては行われない。そして、上記輝度データに対して求め
た動きベクトルを、該輝度データ及び色データで共用す
るようにしていたため、該色データの動きベクトルの検
出をしていない分、検出精度が低下する。
Here, in general, the detection of the motion vector is performed only on the luminance data of the luminance data and the color data forming the image data, and not on the color data. Since the motion vector obtained for the brightness data is shared by the brightness data and the color data, the motion vector of the color data is not detected, so that the detection accuracy decreases.

【0084】このため、当該動きベクトル検出方法は、
上記輝度データ及び色データの両方についてそれぞれ上
述の動きベクトルの検出を行うようにした。
Therefore, the motion vector detecting method is
The motion vector is detected for each of the luminance data and the color data.

【0085】具体的には、例えば上記420の画像デー
タの輝度データは、水平サンプリング周波数よりも垂直
サンプリング周波数の方が低い。このため、上記検査ブ
ロックを、水平方向よりも垂直方向に密に移動させて動
きベクトルの検出を行う。また、上記色データは、垂直
サンプリング周波数よりも水平サンプリング周波数の方
が低い。このため、上記検査ブロックを、垂直方向より
も水平方向に密に移動させて動きベクトルの検出を行
う。
Specifically, for example, the luminance data of the image data of 420 has a lower vertical sampling frequency than the horizontal sampling frequency. Therefore, the inspection block is moved more densely in the vertical direction than in the horizontal direction to detect the motion vector. Further, the color data has a horizontal sampling frequency lower than a vertical sampling frequency. Therefore, the inspection block is moved more densely in the horizontal direction than in the vertical direction to detect the motion vector.

【0086】これにより、上記輝度データ及び色データ
に基づいて、それぞれ動きベクトルを検出することがで
きるため、全体的な動きベクトルの検出精度を向上させ
ることができる。
As a result, the motion vector can be detected based on the brightness data and the color data, so that the overall motion vector detection accuracy can be improved.

【0087】次に、このように上記検査ブロックの垂直
方向及び水平方向のみに移動させて動きベクトルの検出
を行うと、斜め方向の動きベクトルの検出精度が低下す
る。このため、当該動きベクトル検出方法は、画像デー
タのサンプリング周波数に応じて、上記検査ブロックを
垂直方向或いは水平方向に密に移動させるうえ、該検査
ブロックを斜め方向にも移動させて動きベクトルの検出
を行うようにした。
Next, when the motion vector is detected by moving the inspection block only in the vertical direction and the horizontal direction as described above, the accuracy of detecting the motion vector in the oblique direction is lowered. Therefore, the motion vector detecting method moves the inspection block densely in the vertical direction or the horizontal direction according to the sampling frequency of the image data, and also moves the inspection block diagonally to detect the motion vector. To do.

【0088】これにより、上記画像データに応じて垂直
方向或いは水平方向の検出精度の劣化を補うことができ
るうえ、上記斜め方向の検出精度の向上を図ることがで
き、全体的な動きベクトルの検出精度をさらに向上させ
ることができる。
As a result, the deterioration of the detection accuracy in the vertical direction or the horizontal direction can be compensated for according to the image data, and the detection accuracy in the oblique direction can be improved to detect the entire motion vector. The accuracy can be further improved.

【0089】なお、このような検査ブロックの移動範囲
の制御は、例えば3ステップサーチのうち、第1ステッ
プのみに適用し、第2ステップのみに適用し、第3ステ
ップのみに適用し、選択的に第1〜第3ステップに適用
し、又は、全部のステップに適用し、或いは、2ステッ
プサーチのうち、第1ステップのみに適用し、第2ステ
ップのみに適用し、第1,第2のステップに適用する等
のように、多段階的な移動範囲の制御を行ううち、全部
の段階に適用するようにしてもよいし、所望の段階に適
用するようにしてもよく、その選択は自由である。
The control of the movement range of the inspection block as described above is applied to only the first step, only the second step, only the third step, for example, of the three-step search. Applied to the first to third steps, or applied to all the steps, or applied to only the first step of the two-step search and applied only to the second step. Among the multi-step movement range control such as applying to steps, it may be applied to all steps or may be applied to desired steps, and the selection is free. Is.

【0090】次に、本発明に係る画像データの符号化方
法は、動きベクトルに応じて画像データの圧縮符号化を
行う画像データの符号化方法であって、上記動きベクト
ルの検出の際に、上述のように、画像データの垂直サン
プリング周波数及び水平サンプリング周波数に応じて検
査ブロックの移動制御を行い、該検査ブロックを移動さ
せることにより検出された複数の絶対値和の中から、最
小値の絶対値和を検出し、この絶対値和に基づいて検査
ブロックの移動範囲を徐々に狭めながら最小値の該絶対
値和の検出を行う動作を、上記検査ブロックの最小限度
の移動範囲となるまで繰り返し行い、上記最小限度の移
動範囲で検出された、最小値の絶対値和に基づいて動き
ベクトルの検出を行う、本発明に係る動きベクトル検出
方法を用いる。
Next, the image data encoding method according to the present invention is an image data encoding method in which image data is compression-encoded in accordance with a motion vector. As described above, the movement of the inspection block is controlled according to the vertical sampling frequency and the horizontal sampling frequency of the image data, and the absolute value of the minimum value is selected from the plurality of absolute value sums detected by moving the inspection block. The operation of detecting the sum of values and gradually narrowing the movement range of the inspection block based on the sum of absolute values to detect the minimum sum of absolute values is repeated until the movement range of the inspection block reaches the minimum. The motion vector detecting method according to the present invention is used, in which the motion vector is detected based on the sum of the absolute values of the minimum values detected in the minimum moving range.

【0091】上述のように、本発明に係る動きベクトル
検出方法は、精度よく動きベクトルを検出することがで
きるため、正確な動きベクトルを検出することができ
る。従って、当該画像データの符号化方法は、画像デー
タの圧縮符号化に正確な動きベクトルを用いることがで
き、画像の動きに応じて正確に画像データを圧縮符号化
することができる。
As described above, since the motion vector detecting method according to the present invention can detect a motion vector with high accuracy, an accurate motion vector can be detected. Therefore, in the image data encoding method, an accurate motion vector can be used for the compression encoding of the image data, and the image data can be accurately compression encoded according to the motion of the image.

【0092】なお、上記現在画像として現在フレームの
画像を、また、前画像として前フレームの画像を用いる
こととしたが、これは、上記現在画像として現在フレー
ムの画像を、また、前画像として2フレーム前の画像,
3フレーム前の画像・・・を用いるようにしてもよい。
同じく、上記現在画像として現在フィールドの画像を、
また、前画像として前フィールドの画像、或いは、2フ
ィールド前の画像,3フィールド前の画像・・・を用い
るようにしてもよい。
Although the image of the current frame is used as the current image and the image of the previous frame is used as the previous image, the image of the current frame is used as the current image and the image of the previous frame is used as the previous image. Image before frame,
It is also possible to use the image three frames before ...
Similarly, the image of the current field as the above current image,
Further, as the previous image, the image of the previous field, the image of two fields before, the image of three fields before, ... May be used.

【0093】また、上記基準ブロックを現在フレームの
画像の中央の所定領域に設定することとしたが、これ
は、現在フレーム(或いは現在フィールド)内であれば
どの位置に設定してもよい。同じく、上記検査ブロック
も前フレーム(或いは前フィールド)内であればどの位
置に設定してもよい。
Although the reference block is set in a predetermined area in the center of the image of the current frame, it may be set at any position in the current frame (or current field). Similarly, the inspection block may be set at any position within the previous frame (or the previous field).

【0094】さらに、上記基準ブロックを現在画像内に
設定し、上記検査ブロックを前画像内に設定することと
したが、これは、逆に、前画像内に基準ブロックを設定
し、現在画像内に検査ブロックを設定して、該現在画像
内において検査ブロックを移動させて動きベクトルの検
出を行うようにしてもよい。
Further, the reference block is set in the current image, and the inspection block is set in the previous image. Conversely, the reference block is set in the previous image and the inspection block is set in the current image. Alternatively, the inspection block may be set to, and the inspection block may be moved in the current image to detect the motion vector.

【0095】[0095]

【実施例】以下、本発明に係る動きベクトル検出方法及
び画像データの符号化方法の好ましい実施例について図
面を参照しながら詳細に説明する。本発明に係る動きベ
クトル検出方法は、現在画像中の所定の領域に所定画素
数からなる基準ブロックを設定し、該基準ブロックと同
画素の検査ブロックを、最初のステップでは大きく移動
させて基準ブロックと検査ブロックとの相関性を検出し
(ブロックマッチング処理)、続くステップでは検出さ
れた相関性に応じて移動範囲の位置を設定するととも
に、該移動範囲を徐々に狭めながら相関性を検出し、最
終的なステップで検出された検査ブロックの位置に対す
る上記基準ブロックの位置に基づいて動きベクトルの検
出を行うマルチステップサーチ法である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A preferred embodiment of a motion vector detecting method and image data encoding method according to the present invention will be described in detail below with reference to the drawings. A motion vector detecting method according to the present invention sets a reference block having a predetermined number of pixels in a predetermined area in a current image, and moves an inspection block having the same pixels as the reference block by moving the reference block largely in the first step. Detecting the correlation with the inspection block (block matching processing), and in the subsequent step, while setting the position of the movement range according to the detected correlation, detecting the correlation while gradually narrowing the movement range, This is a multi-step search method in which a motion vector is detected based on the position of the reference block with respect to the position of the inspection block detected in the final step.

【0096】上記マルチステップサーチとしては、上記
検査ブロックの移動範囲を2段階に分けて徐々に狭めて
いく2ステップサーチ、及び、上記検査ブロックの移動
範囲を3段階に分けて徐々に狭めていく3ステップサー
チ等がある。
The multi-step search is a two-step search in which the movement range of the inspection block is divided into two stages and gradually narrowed, and the movement range of the inspection block is divided into three stages and gradually narrowed. There are 3 step search and so on.

【0097】本発明の第1の実施例に係る動きベクトル
検出方法は、上記3ステップサーチに適用したものであ
り、図1に示すように第1ステップとして、前フレーム
の中心に位置する画素(図中●=原点)1を中心とする
第1の移動範囲SV1を設定し、この第1の移動範囲S
V1内において上記ブロックマッチング処理を行って相
関性の一番高い検査ブロックを検出する。次に、図2
(a)に示すように、第2ステップにおいて、上記相関
性の一番高い検査ブロックに基づいて、移動範囲の狭め
られた第2の移動範囲SV2を設定して上記ブロックマ
ッチング処理を行う。そして、図2(b)に示すよう
に、第3ステップにおいて、上記相関性の一番高い検査
ブロックに基づいて、移動範囲の狭められた第3の移動
範囲SV3を設定して上記ブロックマッチング処理を行
い、この第3ステップで検出された相関性の一番高い検
査ブロックに基づいて動きベクトルの検出を行うもので
ある。
The motion vector detecting method according to the first embodiment of the present invention is applied to the above-mentioned three-step search. As shown in FIG. 1, as the first step, the pixel located at the center of the previous frame ( The first movement range SV1 centered on 1 is set, and this first movement range S is set.
The block matching process is performed in V1 to detect the inspection block having the highest correlation. Next, FIG.
As shown in (a), in the second step, the block matching processing is performed by setting the second moving range SV2 having the narrowed moving range based on the inspection block having the highest correlation. Then, as shown in FIG. 2B, in the third step, the block matching processing is performed by setting the third moving range SV3 having the narrowed moving range based on the inspection block having the highest correlation. And the motion vector is detected based on the inspection block having the highest correlation detected in the third step.

【0098】すなわち、当該第1の実施例に係る動きベ
クトル検出方法は、図7に示す画像データの符号化装置
の動きベクトル検出回路202に適用することができ
る。
That is, the motion vector detecting method according to the first embodiment can be applied to the motion vector detecting circuit 202 of the image data encoding apparatus shown in FIG.

【0099】上記図7に示す画像データの符号化装置
は、入力端子201を介して現在フレームの画像データ
が供給される。この現在フレームの画像データは、動き
ベクトル検出回路202及び減算器203に供給され
る。
The image data encoding apparatus shown in FIG. 7 is supplied with the image data of the current frame through the input terminal 201. The image data of the current frame is supplied to the motion vector detection circuit 202 and the subtractor 203.

【0100】上記動きベクトル検出回路202には、上
記現在フレームの画像データの他、以下に説明するフレ
ームメモリ205からの前フレームの画像データが供給
されている。上記動きベクトル検出回路202は、上記
現在フレームの画像データ及び前フレームの画像データ
に基づいて画像の動きを検出することにより動きベクト
ルを形成し、これを動き補償回路204に供給する。
The motion vector detection circuit 202 is supplied with the image data of the current frame and the image data of the previous frame from the frame memory 205 described below. The motion vector detection circuit 202 forms a motion vector by detecting the motion of the image based on the image data of the current frame and the image data of the previous frame, and supplies this to the motion compensation circuit 204.

【0101】上記動き補償回路204には、フレームメ
モリ205から前フレームの画像データが供給されてい
る。上記動き補償回路204は、上記動きベクトル検出
回路202からの動きベクトルに基づいて、上記前フレ
ームの画像データに動き補償処理を施し、これを上記減
算器203及び加算器206に供給する。
The motion compensation circuit 204 is supplied with the image data of the previous frame from the frame memory 205. The motion compensation circuit 204 performs motion compensation processing on the image data of the previous frame based on the motion vector from the motion vector detection circuit 202, and supplies this to the subtractor 203 and the adder 206.

【0102】上記減算器203は、上記現在フレームの
画像データと、上記動き補償処理の施された前フレーム
の画像データとを減算処理することにより、現在フレー
ムの画像データと前フレームの画像データとの差分を示
す差分データを形成し、これを直交変換回路(DCT:
Discrete Cosine Transform 回路)207に供給する。
The subtractor 203 subtracts the image data of the current frame from the image data of the previous frame subjected to the motion compensation process to obtain the image data of the current frame and the image data of the previous frame. Difference data indicating the difference between the orthogonal transform circuit (DCT:
Discrete Cosine Transform circuit) 207.

【0103】上記DCT回路207は、上記差分データ
を所定画素数のブロック毎に周波数軸上に変換してDC
Tブロックを形成し、これを量子化回路208に供給す
る。上記量子化回路208は、上記DCTブロックのレ
ベルに応じて量子化ステップ可変し、この量子化ステッ
プにより上記DCTブロックに量子化処理を施すことに
より圧縮画像データを形成し、これを出力端子209を
介して例えばディスク記録装置等の外部機器に供給する
とともに、逆量子化回路210に供給する。
The DCT circuit 207 transforms the difference data on the frequency axis for each block of a predetermined number of pixels to generate a DC signal.
A T block is formed and is supplied to the quantization circuit 208. The quantization circuit 208 changes the quantization step in accordance with the level of the DCT block, forms the compressed image data by performing the quantization process on the DCT block by this quantization step, and outputs this to the output terminal 209. For example, it is supplied to an external device such as a disk recording device and the like to the dequantization circuit 210.

【0104】上記逆量子化回路210は、上記量子化回
路208で選択された量子化ステップとは逆の量子化ス
テップで、上記圧縮画像データに逆量子化処理を施すこ
とにより、量子化処理される前のDCTブロックを再生
し、これを逆DCT回路211に供給する。上記逆DC
T回路211は、上記再生されたDCTブロックに逆D
CT処理を施すことにより、DCTブロック化される前
の差分データを形成し、これを上記加算器206に供給
する。
The dequantization circuit 210 performs a quantization process by performing a dequantization process on the compressed image data at a quantization step opposite to the quantization step selected by the quantization circuit 208. The DCT block before reproduction is reproduced, and this is supplied to the inverse DCT circuit 211. Inverse DC above
The T circuit 211 applies an inverse D to the reproduced DCT block.
By performing CT processing, difference data before being DCT blocked is formed, and this is supplied to the adder 206.

【0105】上記加算器206には、上記動き補償回路
204からの動き補償された前フレームの画像データが
別に供給されている。上記加算器206は、上記動き補
償された前フレームの画像データと、上記逆DCT回路
211からの差分データとを加算処理することにより、
現在フレームの画像データを再生し、これをフレームメ
モリ205に供給する。
The adder 206 is separately supplied with the motion-compensated previous frame image data from the motion compensation circuit 204. The adder 206 adds the motion-compensated previous frame image data and the difference data from the inverse DCT circuit 211 to obtain
The image data of the current frame is reproduced, and this is supplied to the frame memory 205.

【0106】上記フレームメモリ205に供給された現
在フレームの画像データは、1フレーム分の遅延が施さ
れ読み出される。これにより、上記現在フレームの画像
データは、読み出しの段階で前フレームの画像データと
され、上記動き補償回路204及び動きベクトル検出回
路202に供給される。上述のように、上記動き補償回
路204は、上記動きベクトル検出回路202からの動
きベクトルに応じて上記前フレームの画像データに動き
補償処理を施し、これを上記減算器203及び加算器2
06に供給する。以後、各回路において、上述の動作が
繰り返される。
The image data of the current frame supplied to the frame memory 205 is delayed by one frame and read. As a result, the image data of the current frame is converted to the image data of the previous frame at the reading stage and supplied to the motion compensation circuit 204 and the motion vector detection circuit 202. As described above, the motion compensation circuit 204 performs motion compensation processing on the image data of the previous frame according to the motion vector from the motion vector detection circuit 202, and the motion compensation processing is performed on the image data of the previous frame.
Supply to 06. Thereafter, the above operation is repeated in each circuit.

【0107】このように、上記画像データの符号化装置
は、動きベクトルに基づいて動きベクトル補償された前
フレームの画像データと、現在フレームの画像データと
の差分を符号化して出力する。これにより、画像データ
の高能率圧縮を行うことができる。
As described above, the image data encoding apparatus encodes and outputs the difference between the image data of the current frame and the image data of the previous frame whose motion vector is compensated based on the motion vector. This enables highly efficient compression of image data.

【0108】ここで、上記動きベクトル検出回路202
は、図11に示すような構成を有しており、上記図7に
示す入力端子201からの現在フレームの画像データが
入力端子253を介して現フレームメモリ251に供給
され、上記図7に示すフレームメモリ205からの前フ
レームの画像データが入力端子254を介して前フレー
ムメモリ252に供給されるようになっている。コント
ローラ255は、上記各フレームメモリ251,252
に一旦記憶されるように該各フレームメモリ251,2
52を書き込み制御する。
Here, the motion vector detecting circuit 202
11 has a configuration as shown in FIG. 11, and the image data of the current frame from the input terminal 201 shown in FIG. 7 is supplied to the current frame memory 251 through the input terminal 253 and shown in FIG. The image data of the previous frame from the frame memory 205 is supplied to the previous frame memory 252 via the input terminal 254. The controller 255 uses the frame memories 251, 252 described above.
Each frame memory 251, 25
52 is write-controlled.

【0109】次に、上記コントローラ255は、図8に
示すように上記現フレームメモリ251に記憶された現
在フレームの画像221の中央部分の画像データ(N画
素×Mライン)からなる基準ブロック223の画像デー
タを読み出すように該現フレームメモリ251を読み出
し制御する。この現フレームメモリ251から読み出さ
れた基準ブロック223は、差分検出回路257に供給
される。
Next, as shown in FIG. 8, the controller 255 controls the reference block 223 consisting of image data (N pixels × M lines) of the central portion of the image 221 of the current frame stored in the current frame memory 251. The current frame memory 251 is read out and controlled so as to read out image data. The reference block 223 read from the current frame memory 251 is supplied to the difference detection circuit 257.

【0110】また、上記コントローラ255は、これと
ともに、上記前フレームメモリ252に記憶された上記
図8に示す前フレームの画像データ222のうち、第1
ステップとして図1に示すように上記基準ブロック22
3の中心画素に対応する図中●で示す該前フレームの画
像データ222の中心画素(原点)1を検出するととも
に、図中太線で示す上記原点1を中心とした略々正方形
状の第1の移動範囲SV1を設定する。
Further, the controller 255, together with this, selects the first one of the image data 222 of the previous frame shown in FIG. 8 stored in the previous frame memory 252.
As a step, as shown in FIG.
The center pixel (origin) 1 of the image data 222 of the previous frame corresponding to the center pixel 3 of FIG. 3 is detected, and a substantially square first centered on the origin 1 indicated by a thick line in the drawing The moving range SV1 of is set.

【0111】ここで、上記画像データとしていわゆる4
22の画像データ(輝度データ=4,2つの色データ=
2,2)と、上記422の画像データのうち、色データ
の垂直方向の画素数を半分とした420の画像データ
(輝度データ=4,2つの色データ=1,1)等があ
る。
Here, a so-called 4 is used as the image data.
22 image data (luminance data = 4, two color data =
2, 2) and 420 image data (luminance data = 4, two color data = 1, 1) in which the number of pixels of the color data in the vertical direction is halved among the image data of 422.

【0112】例えば、上記420の画像データの輝度デ
ータの画枠は、垂直方向が3に対して水平方向が4の比
率となっており、画素数は、垂直方向が480個に対し
て水平方向が720個となっており、サンプリング周波
数は、水平方向のサンプリング周波数よりも垂直方向の
サンプリング周波数の方が低い。
For example, the image frame of the brightness data of the image data of 420 has a ratio of 3 in the vertical direction to 4 in the horizontal direction, and the number of pixels is 480 in the vertical direction and in the horizontal direction. 720, and the sampling frequency in the vertical direction is lower than the sampling frequency in the horizontal direction.

【0113】このため、上記画像データとして420の
画像データ(輝度データ)が供給された場合、この第1
の実施例に係る動きベクトル検出方法が適用された上記
動きベクトル検出回路202は、上記第1の移動範囲S
V1を設定する際に、上記基準ブロック223と同画素
数の図8に示す検査ブロック224を、水平方向よりも
垂直方向に密に移動させてブロックマッチング処理を行
う。
Therefore, when 420 image data (luminance data) is supplied as the image data, the first
The motion vector detection circuit 202 to which the motion vector detection method according to the embodiment of
When setting V1, the inspection block 224 shown in FIG. 8 having the same number of pixels as the reference block 223 is moved more densely in the vertical direction than in the horizontal direction to perform the block matching process.

【0114】すなわち、上記第1の移動範囲SV1は、
図1に示すように4つの角部に画素2〜画素5が位置す
るようになっている。また、水平方向に4画素間隔で5
つの検索点を有しており、垂直方向に上記水平方向より
も密となるように3画素間隔で5つの検索点を有してい
る。すなわち、上記第1の移動範囲SV1は、計25点
の検索点で構成されている。なお、この各検索点は、上
記検査ブロック224が移動する際に、該検査ブロック
224の中心画素となる画素である。従って、上記検査
ブロック224は、各検索点に沿って水平方向には4画
素間隔で移動し、垂直方向には3画素間隔で移動するこ
ととなる。
That is, the first movement range SV1 is
As shown in FIG. 1, pixels 2 to 5 are located at four corners. In addition, the horizontal direction is 5 at 4 pixel intervals.
There are five search points, and five search points are arranged at intervals of 3 pixels so as to be denser in the vertical direction than in the horizontal direction. That is, the first movement range SV1 is composed of a total of 25 search points. It should be noted that each of these search points is a pixel that becomes a central pixel of the inspection block 224 when the inspection block 224 moves. Therefore, the inspection block 224 moves along each search point in the horizontal direction at intervals of 4 pixels and in the vertical direction at intervals of 3 pixels.

【0115】このような第1の移動範囲SV1が設定さ
れると、上記コントローラ255は、上記各検索点に沿
って上記検査ブロック224を次々と設定し、この検査
ブロック224の移動を行う毎に、該検査ブロック22
4の画像データを読み出すように、i画素ステップアド
レス移動回路256Aを介して上記前フレームメモリ2
52を読み出し制御する。
When such a first movement range SV1 is set, the controller 255 sets the inspection blocks 224 one after another along each of the search points, and every time the inspection block 224 is moved. , The inspection block 22
4 through the i-pixel step address moving circuit 256A so that the image data of No. 4 is read out.
52 is read out and controlled.

【0116】上記移動を行う毎に形成される検査ブロッ
ク224の各画像データは、それぞれ上記差分検出回路
257に供給される。
Each image data of the inspection block 224 formed every time the above movement is performed is supplied to the difference detection circuit 257.

【0117】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを同位置の画素毎に比較してその差分を
検出し、この各差分データを絶対値和検出回路258に
供給する。
The difference detecting circuit 257 detects the image data of the reference block 223 and the inspection blocks 224.
Image data is compared for each pixel at the same position to detect the difference, and each difference data is supplied to the absolute value sum detection circuit 258.

【0118】上記絶対値和検出回路258は、上記差分
データの絶対値を検出し、1回のブロックどおしの比較
(ブロックマッチング処理)により検出される差分デー
タの絶対値を全て加算して絶対値和データを形成する。
これにより、上記検査ブロック224の移動を行った分
である計25個の絶対値和データが形成されることとな
る。この絶対値和データは、それぞれ判断回路259に
供給される。
The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the absolute values of the difference data detected by one block-to-block comparison (block matching processing). Form sum of absolute values data.
As a result, a total of 25 pieces of absolute value sum data corresponding to the movement of the inspection block 224 are formed. The absolute value sum data is supplied to the determination circuit 259.

【0119】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロック224を移動して
得られた25個の絶対値和データを、その絶対値和デー
タが検出された検査ブロック224の位置(検索点)に
対応して記憶できるメモリを有している。上記コントロ
ーラ255は、上記絶対値和検出回路258から判断回
路259に供給される絶対値和データを、その絶対値和
データが形成された上記検査ブロック224の位置に対
応して記憶されるように、上記メモリを書き込み制御す
る。
The judgment circuit 259 detects, for example, 25 pieces of absolute value sum data obtained by moving the inspection block 224 within the first movement range SV1, and the inspection block in which the absolute value sum data is detected. It has a memory that can store data corresponding to 224 positions (search points). The controller 255 stores the absolute value sum data supplied from the absolute value sum detection circuit 258 to the determination circuit 259 in correspondence with the position of the inspection block 224 where the absolute value sum data is formed. , Write control the memory.

【0120】上記コントローラ255は、上記判断回路
259のメモリに上記25個の絶対値和データが記憶さ
れると、この絶対値和データの中から最小値の絶対値和
データを検出する。
When the 25 pieces of absolute value sum data are stored in the memory of the judgment circuit 259, the controller 255 detects the minimum absolute value sum data from the absolute value sum data.

【0121】上記最小値の絶対値和データは、上記検査
ブロック224と基準ブロック223との間の各画像の
相関性が高いことを示している。このため、上記コント
ローラ255は、上記最小値の絶対値和データを検出す
ると、この最小値の絶対値和データが検出された検査ブ
ロック224の中心の検索点を検出し、この検索点に基
づいて第2ステップの移動範囲を設定する。
The absolute value sum data of the minimum value indicates that the correlation between each image between the inspection block 224 and the reference block 223 is high. Therefore, when the controller 255 detects the minimum value absolute value sum data, it detects the search point at the center of the inspection block 224 in which the minimum value absolute value sum data is detected, and based on this search point. Set the movement range for the second step.

【0122】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図1中△で示す検索点6で
あったとすると、次に、上記コントローラ255は、図
2(a)に示すように上記検索点6を中心とする略々正
方形状の第2の移動範囲SV2を設定する。
Specifically, for example, assuming that the search point at which the minimum sum of absolute value data is detected is the search point 6 indicated by Δ in FIG. 1, then the controller 255 causes the controller 255 in FIG. ), A substantially square-shaped second movement range SV2 centered on the search point 6 is set.

【0123】上記第2の移動範囲SV2は、4つの角部
に検索点10〜13が位置するようになっている。ま
た、水平方向に2画素間隔で3つの検索点を有してお
り、垂直方向にも上記水平方向と同じく2画素間隔で3
つの検索点を有している。すなわち、上記第2の移動範
囲SV2は、上記第1ステップの第1の移動範囲SV1
よりも狭くなるように計9点の検索点(上記第1ステッ
プにおいて選択された検索点6を含む。)で構成されて
いる。このため、この第2ステップにおいては、上記検
査ブロック224は、2画素間隔で垂直方向及び水平方
向に移動することとなる。
In the second movement range SV2, the search points 10 to 13 are located at four corners. Further, it has three search points in the horizontal direction at intervals of 2 pixels, and also has 3 search points in the vertical direction at intervals of 2 pixels as in the horizontal direction.
It has one search point. That is, the second movement range SV2 is the first movement range SV1 of the first step.
It is composed of a total of 9 search points (including the search point 6 selected in the first step) so as to be narrower than the above. Therefore, in the second step, the inspection block 224 moves in the vertical direction and the horizontal direction at intervals of 2 pixels.

【0124】このような第2の移動範囲SV2が設定さ
れると、上記コントローラ255は、該移動範囲SV2
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
When such a second moving range SV2 is set, the controller 255 causes the moving range SV2 to move.
Of the i pixel step address moving circuit 256A so that the inspection block 224 is moved along each search point of
The previous frame memory 252 is read out and controlled via.

【0125】なお、この第2ステップでは、上記移動範
囲SV2の中心となる検索点6に係る絶対値和データ
は、上記第1ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV2におい
て、上記検索点6をぬかして検査ブロック224を移動
するように、上記i画素ステップアドレス移動回路25
6Aを介して上記前フレームメモリ252を読み出し制
御する。
In this second step, the absolute value sum data relating to the search point 6 which is the center of the moving range SV2 has already been detected in the first step.
In the movement range SV2, the controller 255 skips the search point 6 and moves the inspection block 224 so as to move the i-pixel step address movement circuit 25.
The preceding frame memory 252 is read out and controlled via 6A.

【0126】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
The image data read by the movement of the inspection block 224 is the difference detection circuit 25.
7 is supplied.

【0127】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックどおしの比較により検出される差分
データを全て加算して絶対値和データを形成する。
The difference detection circuit 257 detects the image data of the reference block 223 and the inspection blocks 224.
Of the image data and the difference is detected, and the difference data is supplied to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block-to-block comparison to form absolute value sum data.

【0128】これにより、上記移動範囲SV2に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点6に係る絶対値和データも含む。)の絶対値和
データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
As a result, a total of nine pieces of absolute value sum data (including the absolute value sum data concerning the search point 6) corresponding to the movement of the inspection block 224 along the movement range SV2 are formed. The Rukoto. The absolute value sum data is supplied to the determination circuit 259.

【0129】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV2上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。そして、上記9個の絶対値和データが上記メモリに
記憶されると、この絶対値和データの中から最小値の絶
対値和データを検出し、この最小値の絶対値和データを
上記コントローラ255に供給する。
The judgment circuit 259 sets the nine pieces of absolute value sum data supplied from the absolute value sum detection circuit 258 to the position (search point) on the moving range SV2 where the absolute value sum data is formed. Correspondingly, it is temporarily stored in the memory. When the nine pieces of absolute value sum data are stored in the memory, the minimum absolute value sum data is detected from the absolute value sum data, and the minimum absolute value sum data is detected by the controller 255. Supply to.

【0130】次に、上記コントローラ255は、上記最
小値の絶対値和データが検出された検査ブロック224
の中心の検索点を検出し、この検索点に基づいて第3ス
テップの移動範囲を設定する。
Next, the controller 255 causes the inspection block 224 in which the absolute value sum data of the minimum value is detected.
The search point at the center of is detected, and the movement range of the third step is set based on this search point.

【0131】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図2(a)中×で示す検索
点13であったとすると、上記コントローラ255は、
図2(b)に示すように上記検索点13を中心とする略
々正方形状の第3の移動範囲SV3を設定する。
Specifically, for example, assuming that the search point at which the minimum absolute value sum data is detected is the search point 13 shown by x in FIG. 2A, the controller 255 is
As shown in FIG. 2B, a substantially square-shaped third movement range SV3 centered on the search point 13 is set.

【0132】上記第3の移動範囲SV3は、4つの角部
に検索点15〜18が位置するようになっている。ま
た、水平方向に1画素間隔で3つの検索点を有してお
り、垂直方向にも上記水平方向と同じく1画素間隔で3
つの検索点を有している。すなわち、上記第3の移動範
囲SV3は、上記第2ステップの移動範囲SV2よりも
狭くなるように計9点の検索点(上記第2ステップにお
いて選択された検索点13を含む。)で構成されてい
る。このため、この第3ステップにおいては、上記検査
ブロック224は、1画素間隔で垂直方向及び水平方向
に移動することとなる。
Search points 15 to 18 are located at four corners of the third movement range SV3. Further, it has three search points in the horizontal direction at intervals of one pixel, and in the vertical direction, three search points in the same direction as in the horizontal direction.
It has one search point. That is, the third moving range SV3 is composed of a total of 9 search points (including the search point 13 selected in the second step) so as to be narrower than the moving range SV2 in the second step. ing. Therefore, in the third step, the inspection block 224 is moved in the vertical direction and the horizontal direction at intervals of one pixel.

【0133】このような第3の移動範囲SV3が設定さ
れると、上記コントローラ255は、該移動範囲SV3
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
When such a third movement range SV3 is set, the controller 255 causes the movement range SV3.
Of the i pixel step address moving circuit 256A so that the inspection block 224 is moved along each search point of
The previous frame memory 252 is read out and controlled via.

【0134】なお、この第3ステップでは、上記移動範
囲SV3の中心となる検索点13に係る絶対値和データ
は、上記第2ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV3におい
て、上記検索点13をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
In this third step, the absolute value sum data relating to the search point 13 which is the center of the moving range SV3 has already been detected in the second step.
The controller 255 moves the inspection block 224 by skipping the search point 13 in the movement range SV3 so as to move the i-pixel step address movement circuit 2
The preceding frame memory 252 is read out and controlled via 56A.

【0135】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
The image data read by the movement of the inspection block 224 is the difference detection circuit 25, respectively.
7 is supplied.

【0136】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックマッチング処理により検出される差
分データを全て加算して絶対値和データを形成する。
The difference detecting circuit 257 detects the image data of the reference block 223 and the inspection blocks 224.
Of the image data and the difference is detected, and the difference data is supplied to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block matching process to form the absolute value sum data.

【0137】これにより、上記移動範囲SV3に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点13に係る絶対値和データも含む。)の絶対値
和データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
As a result, a total of nine pieces of absolute value sum data (including the absolute value sum data relating to the search point 13) corresponding to the movement of the inspection block 224 along the movement range SV3 are formed. The Rukoto. The absolute value sum data is supplied to the determination circuit 259.

【0138】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV3上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。そして、上記9個の絶対値和データが上記メモリに
記憶されると、この絶対値和データの中から最小値の絶
対値和データを検出し、この最小値の絶対値和データを
上記コントローラ255に供給する。
The judgment circuit 259 sets the nine pieces of absolute value sum data supplied from the absolute value sum detection circuit 258 to the position (search point) on the moving range SV3 where the absolute value sum data is formed. Correspondingly, it is temporarily stored in the memory. When the nine pieces of absolute value sum data are stored in the memory, the minimum absolute value sum data is detected from the absolute value sum data, and the minimum absolute value sum data is detected by the controller 255. Supply to.

【0139】上記絶対値和データの値が最小であるとい
うことは、上記検査ブロック224と基準ブロック22
3との間の各画像の相関性が高いことを示している。従
って、上記基準ブロック223に対して、上記最小値の
絶対値和データが検出された検査ブロック224がどれ
だけ離れているかを検出することにより、画像の動きベ
クトルを検出することができる。
The fact that the value of the sum of absolute value data is the minimum means that the inspection block 224 and the reference block 22.
It is shown that the correlation between each image and 3 is high. Therefore, the motion vector of the image can be detected by detecting how far the inspection block 224 in which the minimum absolute value sum data is detected is far from the reference block 223.

【0140】このため、上記コントローラ255は、上
記最小値の絶対値和データに基づいて、その絶対値和デ
ータが検出された検査ブロック224の中心に位置す
る、上記前フレームメモリ252上の検索点のアドレス
を検出する。そして、この検索点のアドレスと、上記基
準ブロック223の現フレームメモリ251上の中心画
素のアドレスとの差分を検出することにより、上記最小
値の絶対値和データが検出された検査ブロック224に
対する上記基準ブロック223の動き分(動きベクト
ル)を検出し、この動きベクトルを出力端子260を介
して上記図7に示す動き補償回路204に供給する。
For this reason, the controller 255, based on the absolute value sum data of the minimum value, locates the search point on the previous frame memory 252 located at the center of the inspection block 224 in which the absolute value sum data is detected. Detect the address of. Then, by detecting the difference between the address of this search point and the address of the center pixel on the current frame memory 251 of the reference block 223, the above-mentioned check block 224 for the minimum absolute value sum data is detected. The motion amount (motion vector) of the reference block 223 is detected, and this motion vector is supplied to the motion compensation circuit 204 shown in FIG. 7 via the output terminal 260.

【0141】これにより、上記図7に示した画像データ
の符号化装置において、画像データの圧縮符号化処理を
行うことができる。
As a result, the image data encoding apparatus shown in FIG. 7 can perform image data compression encoding processing.

【0142】上述のように、この第1の実施例に係る動
きベクトル検出方法では、上記420の画像データの輝
度データが供給された場合、3ステップサーチにおける
第1ステップにおいて、上記検査ブロック224を水平
方向よりも垂直方向に密に移動させてブロックマッチン
グ処理を行うようにしている。上記420の画像データ
の輝度データのサンプリング周波数は、水平方向のサン
プリング周波数よりも垂直方向のサンプリング周波数の
方が低いが、このように上記検査ブロック224を水平
方向よりも垂直方向に密に移動させてブロックマッチン
グ処理を行うことにより、垂直方向の動きベクトルの検
出精度を補償することができ、全体的な動きベクトルの
検出精度の向上を図ることができる。
As described above, in the motion vector detecting method according to the first embodiment, when the luminance data of the image data of 420 is supplied, the inspection block 224 is set in the first step of the 3-step search. The block matching process is performed by moving closer to the vertical direction than to the horizontal direction. The sampling frequency of the luminance data of the image data of 420 is lower in the vertical sampling frequency than in the horizontal sampling frequency, and thus the inspection block 224 is moved more densely in the vertical direction than in the horizontal direction. By performing the block matching process in accordance with the above, it is possible to compensate the detection accuracy of the motion vector in the vertical direction, and it is possible to improve the overall detection accuracy of the motion vector.

【0143】なお、上述の第1の実施例の説明では、3
ステップサーチの第1ステップでのみ、上記検査ブロッ
ク224の移動制御を行うようにしたが、これは、例え
ば2ステップサーチの第1ステップでのみ、上記検査ブ
ロック224の移動制御を行うようにしてもよい。
In the above description of the first embodiment, 3
Although the movement control of the inspection block 224 is performed only in the first step of the step search, for example, the movement control of the inspection block 224 may be performed only in the first step of the two-step search. Good.

【0144】また、2ステップサーチ或いは3ステップ
サーチの所望のステップでのみ、上記検査ブロック22
4の移動制御を行うようにしてもよい。
Further, the inspection block 22 is executed only in a desired step of the two-step search or the three-step search.
The movement control of 4 may be performed.

【0145】次に、上述の第1の実施例に係る動きベク
トル検出方法では、3ステップサーチの第1ステップの
み、上記検査ブロック224の垂直方向の移動を密に行
うように移動制御したが、本発明の第2の実施例に係る
動きベクトル検出方法では、2ステップサーチにおける
2つのステップで、上記垂直方向の移動を密に行うよう
にした。なお、動きベクトルの検出を行う画像データと
しては、上述の第1の実施例と同じく420の画像デー
タの輝度データに対して行うものとする。
Next, in the motion vector detecting method according to the above-described first embodiment, the movement control is performed only in the first step of the three-step search so that the inspection block 224 is densely moved in the vertical direction. In the motion vector detecting method according to the second embodiment of the present invention, the movement in the vertical direction is densely performed in two steps in the two-step search. As the image data for detecting the motion vector, it is assumed that the luminance data of the image data of 420 is used as in the first embodiment.

【0146】この第2の実施例に係る動きベクトル検出
方法は、上述の第1の実施例に係る動きベクトル検出方
法と同様に、図11に示す動きベクトル検出回路202
に適用することができる。
The motion vector detecting method according to the second embodiment is similar to the motion vector detecting method according to the first embodiment described above, and the motion vector detecting circuit 202 shown in FIG.
Can be applied to.

【0147】すなわち、上記コントローラ255は、2
ステップサーチの第1ステップとなると、図3(a)に
示すように上記基準ブロック223の中心画素と対応す
る前フレームの画素(原点)20を中心とする、同図
(a)中太線で示す略々正方形状の第1の移動範囲SV
1を設定する。
That is, the controller 255 is
In the first step of the step search, as shown in FIG. 3A, the pixel (origin) 20 of the previous frame corresponding to the center pixel of the reference block 223 is centered and shown by the thick line in FIG. First moving range SV having a substantially square shape
Set 1.

【0148】上記図3(a)において、上記第1の移動
範囲SV1は、4つの角部に画素21〜画素24が位置
するようになっている。また、水平方向に2画素間隔で
7個の検索点を有しており、垂直方向に上記水平方向よ
りも密となるように1画素間隔で13個の検索点を有し
ている。すなわち、上記第1の移動範囲SV1は、計9
1点の検索点で構成されており、上記検査ブロック22
4は、各検索点に沿って水平方向には2画素間隔で移動
し、垂直方向には1画素間隔で移動することとなる。
In FIG. 3A, the first moving range SV1 is arranged so that the pixels 21 to 24 are located at four corners. Further, it has 7 search points in the horizontal direction at intervals of 2 pixels and 13 search points in the vertical direction at intervals of 1 pixel so as to be denser than in the horizontal direction. That is, the first movement range SV1 is 9
The inspection block 22 is composed of one search point.
4 moves along each search point in the horizontal direction at intervals of 2 pixels and in the vertical direction at intervals of 1 pixel.

【0149】このような第1の移動範囲SV1が設定さ
れると、上記コントローラ255は、上記各検索点に沿
って上記検査ブロック224を次々と設定し、この検査
ブロック224の移動を行う毎に、該検査ブロック22
4の画像データを読み出すように、i画素ステップアド
レス移動回路256Aを介して上記前フレームメモリ2
52を読み出し制御する。
When the first movement range SV1 is set as described above, the controller 255 sets the inspection blocks 224 one after another along each of the search points, and every time the inspection block 224 is moved. , The inspection block 22
4 through the i-pixel step address moving circuit 256A so that the image data of No. 4 is read out.
52 is read out and controlled.

【0150】上記移動を行う毎に形成される検査ブロッ
ク224の各画像データは、それぞれ上記差分検出回路
257に供給される。
The image data of the inspection block 224 formed each time the above movement is performed is supplied to the difference detection circuit 257.

【0151】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを同位置の画素毎に比較してその差分を
検出し、この各差分データを絶対値和検出回路258に
供給する。
The difference detection circuit 257 detects the image data of the reference block 223 and the inspection blocks 224.
Image data is compared for each pixel at the same position to detect the difference, and each difference data is supplied to the absolute value sum detection circuit 258.

【0152】上記絶対値和検出回路258は、上記差分
データの絶対値を検出し、1回のブロックマッチング処
理により検出される差分データの絶対値を全て加算して
絶対値和データを形成する。これにより、上記検査ブロ
ック224の移動を行った分である計91個の絶対値和
データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the absolute values of the difference data detected by one block matching processing to form the absolute value sum data. As a result, a total of 91 pieces of absolute value sum data corresponding to the movement of the inspection block 224 are formed. The absolute value sum data is supplied to the determination circuit 259.

【0153】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロック224を移動して
得られた91個の絶対値和データを、その絶対値和デー
タが検出された検査ブロック224の位置(検索点)に
対応して記憶できるメモリを有している。上記コントロ
ーラ255は、上記絶対値和検出回路258から判断回
路259に供給される絶対値和データを、その絶対値和
データが形成された上記検査ブロック224の位置に対
応して記憶されるように、上記メモリを書き込み制御す
る。
The judgment circuit 259 detects, for example, 91 pieces of absolute value sum data obtained by moving the inspection block 224 within the first movement range SV1, and the inspection block in which the absolute value sum data is detected. It has a memory that can store data corresponding to 224 positions (search points). The controller 255 stores the absolute value sum data supplied from the absolute value sum detection circuit 258 to the determination circuit 259 in correspondence with the position of the inspection block 224 where the absolute value sum data is formed. , Write control the memory.

【0154】上記コントローラ255は、上記判断回路
259のメモリに上記91個の絶対値和データが記憶さ
れると、この絶対値和データの中から最小値の絶対値和
データを検出するとともに、この最小値の絶対値和デー
タが検出された検査ブロック224の中心の検索点を検
出し、この検索点に基づいて第2ステップの移動範囲を
設定する。
When the 91 pieces of absolute value sum data are stored in the memory of the judging circuit 259, the controller 255 detects the minimum absolute value sum data from the absolute value sum data, and The search point at the center of the inspection block 224 in which the absolute value sum data of the minimum value is detected is detected, and the moving range of the second step is set based on this search point.

【0155】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図3(a)中△で示す検索
点25であったとすると、次に、上記コントローラ25
5は、図3(b)に示すように上記検索点25を中心と
する略々正方形状の第2の移動範囲SV2を設定する。
Specifically, for example, assuming that the search point at which the minimum sum of absolute value data is detected is the search point 25 indicated by Δ in FIG. 3A, then the controller 25
As shown in FIG. 3B, 5 sets a substantially square second movement range SV2 centered on the search point 25.

【0156】上記第2の移動範囲SV2は、4つの角部
に検索点26〜29が位置するようになっている。ま
た、水平方向に1画素間隔で3つの検索点を有してお
り、垂直方向に1/2画素間隔で3つの検索点を有して
いる。すなわち、上記第2の移動範囲SV2は、上記第
1ステップの第1の移動範囲SV1よりも狭くなるよう
に計9点の検索点(上記第1ステップにおいて選択され
た検索点25を含む。)で構成されている。このため、
この第2ステップにおいては、上記検査ブロック224
は、水平方向には1画素間隔で、また、垂直方向には1
/2画素間隔で移動することとなる。
In the second movement range SV2, the search points 26 to 29 are located at the four corners. Further, it has three search points at 1-pixel intervals in the horizontal direction and has three search points at 1 / 2-pixel intervals in the vertical direction. That is, the second moving range SV2 is narrower than the first moving range SV1 in the first step, so that a total of nine search points (including the search point 25 selected in the first step). It is composed of. For this reason,
In the second step, the inspection block 224 is used.
Is 1 pixel in the horizontal direction and 1 in the vertical direction.
It will move at an interval of / 2 pixels.

【0157】このような第2の移動範囲SV2が設定さ
れると、上記コントローラ255は、該移動範囲SV2
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
When such a second movement range SV2 is set, the controller 255 causes the movement range SV2 to be set.
Of the i pixel step address moving circuit 256A so that the inspection block 224 is moved along each search point of
The previous frame memory 252 is read out and controlled via.

【0158】なお、この第2ステップでは、上記移動範
囲SV2の中心となる検索点25に係る絶対値和データ
は、上記第1ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV2におい
て、上記検索点25をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
In this second step, since the absolute value sum data relating to the search point 25 which is the center of the moving range SV2 has already been detected in the first step,
The controller 255 moves the i-pixel step address moving circuit 2 so as to move the inspection block 224 by skipping the search point 25 in the moving range SV2.
The preceding frame memory 252 is read out and controlled via 56A.

【0159】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
The image data read out by the movement of the inspection block 224 is the difference detection circuit 25.
7 is supplied.

【0160】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックマッチング処理により検出される差
分データを全て加算して絶対値和データを形成する。
The difference detection circuit 257 detects the image data of the reference block 223 and the inspection blocks 224.
Of the image data and the difference is detected, and the difference data is supplied to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block matching process to form the absolute value sum data.

【0161】これにより、上記移動範囲SV2に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点25に係る絶対値和データも含む。)の絶対値
和データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
As a result, a total of nine pieces of absolute value sum data (including the absolute value sum data relating to the search point 25) corresponding to the movement of the inspection block 224 along the movement range SV2 are formed. The Rukoto. The absolute value sum data is supplied to the determination circuit 259.

【0162】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV2上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。そして、上記9個の絶対値和データが上記メモリに
記憶されると、この絶対値和データの中から最小値の絶
対値和データを検出し、この最小値の絶対値和データを
上記コントローラ255に供給する。
The judgment circuit 259 sets the nine pieces of absolute value sum data supplied from the absolute value sum detection circuit 258 to the position (search point) on the moving range SV2 where the absolute value sum data is formed. Correspondingly, it is temporarily stored in the memory. When the nine pieces of absolute value sum data are stored in the memory, the minimum absolute value sum data is detected from the absolute value sum data, and the minimum absolute value sum data is detected by the controller 255. Supply to.

【0163】上記コントローラ255は、上述のように
上記絶対値和データに基づいて動きベクトルを検出し、
この動きベクトルを出力端子260を介して上記図7に
示す動き補償回路204に供給する。これにより、上記
図7に示した画像データの符号化装置において、画像デ
ータの圧縮符号化処理を行うことができる。
The controller 255 detects a motion vector based on the absolute value sum data as described above,
This motion vector is supplied to the motion compensation circuit 204 shown in FIG. 7 via the output terminal 260. As a result, the image data encoding apparatus shown in FIG. 7 can perform image data compression encoding processing.

【0164】この第2の実施例に係る動きベクトル検出
方法では、2ステップサーチにおける全てのステップに
おいて、上記検査ブロック224を水平方向よりも垂直
方向に密に移動させてブロックマッチング処理を行うよ
うにしているため、水平方向のサンプリング周波数より
も垂直方向のサンプリング周波数の方が低い、上記42
0の画像データの輝度データが供給された場合における
垂直方向の動きベクトルの検出精度を全ステップにおい
て補償することができ、上述の第1の実施例に係る動き
ベクトル検出方法よりも、全体的な動きベクトルの検出
精度のさらなる向上を図ることができる。
In the motion vector detecting method according to the second embodiment, the block matching processing is performed by moving the inspection block 224 more densely in the vertical direction than in the horizontal direction in all steps of the two-step search. Therefore, the vertical sampling frequency is lower than the horizontal sampling frequency.
The detection accuracy of the motion vector in the vertical direction when the luminance data of the image data of 0 is supplied can be compensated in all steps, and the overall motion vector detection method can be more comprehensive than the motion vector detection method according to the first embodiment. It is possible to further improve the detection accuracy of the motion vector.

【0165】なお、上述の第2の実施例の説明では、2
ステップサーチの第1ステップ及び第2ステップで、上
記検査ブロック224の移動制御を行うようにしたが、
これは、例えば3ステップサーチの第1〜第3のステッ
プで、上記検査ブロック224の移動制御を行うように
してもよい。
In the above description of the second embodiment, 2
The movement control of the inspection block 224 is performed in the first step and the second step of the step search.
For example, the movement control of the inspection block 224 may be performed in the first to third steps of the three-step search.

【0166】次に、上述の第1,第2の実施例に係る動
きベクトル検出方法では、上記検査ブロックを垂直方向
及び水平方向にのみ移動させてブロックマッチング処理
を行うようにしたが、本発明の第3の実施例に係る動き
ベクトル検出方法では、3ステップサーチにおいて、上
記検査ブロックを垂直方向及び水平方向の他に斜めにも
移動させてブロックマッチング処理を行うようにした。
なお、動きベクトルの検出を行う画像データとしては、
上述の第1,第2の実施例と同じく420の画像データ
の輝度データに対して行うものとする。
Next, in the motion vector detecting method according to the first and second embodiments, the block matching processing is performed by moving the inspection block only in the vertical direction and the horizontal direction. In the motion vector detecting method according to the third embodiment, the block matching process is performed in the three-step search by moving the inspection block not only vertically and horizontally but also diagonally.
In addition, as the image data for detecting the motion vector,
Similar to the first and second embodiments described above, it is assumed that the luminance data of the image data of 420 is used.

【0167】この第3の実施例に係る動きベクトル検出
方法は、上述の第1の実施例に係る動きベクトル検出方
法と同様に、図11に示す動きベクトル検出回路202
に適用することができる。
The motion vector detecting method according to the third embodiment is similar to the motion vector detecting method according to the first embodiment described above, and the motion vector detecting circuit 202 shown in FIG.
Can be applied to.

【0168】すなわち、上記コントローラ255は、3
ステップサーチの第1ステップとなると、図4に示すよ
うに上記基準ブロック223の中心画素と対応する前フ
レームの画素(原点)30を中心とする、同図中太線で
示す略々正方形状の第1の移動範囲SV1を設定する。
That is, the controller 255 is set to 3
In the first step of the step search, as shown in FIG. 4, a substantially square-shaped first centered on the pixel (origin) 30 of the previous frame corresponding to the central pixel of the reference block 223 and indicated by a thick line in FIG. The movement range SV1 of 1 is set.

【0169】上記図4において、上記第1の移動範囲S
V1は、4つの角部に検索点31〜検索点34が位置す
るようになっている。また、水平方向に4画素間隔で5
個の検索点を有しており、垂直方向に上記水平方向より
も密となるように3画素間隔で5個の検索点を有してい
る。さらに、上記第1の移動範囲SV1は、上記検査ブ
ロック224の斜めの移動を行えるように、図4中◇で
示すように16個の検索点35を有している。すなわ
ち、上記第1の移動範囲SV1は、計41点の検索点で
構成されている。従って、上記検査ブロック224は、
上記各検索点に沿って水平方向には4画素間隔で移動
し、垂直方向には3画素間隔で移動するとともに、斜め
方向にも移動することとなる。
In FIG. 4, the first moving range S
In V1, the search points 31 to 34 are located at four corners. In addition, the horizontal direction is 5 at 4 pixel intervals.
The number of search points is 5 and the number of search points is 5 at intervals of 3 pixels so as to be denser in the vertical direction than in the horizontal direction. Further, the first movement range SV1 has 16 search points 35 as indicated by ⋄ in FIG. 4 so that the inspection block 224 can be moved obliquely. That is, the first movement range SV1 is composed of a total of 41 search points. Therefore, the inspection block 224 is
Along the respective search points, the pixels move horizontally at intervals of 4 pixels, vertically at intervals of 3 pixels, and also move diagonally.

【0170】このような第1の移動範囲SV1が設定さ
れると、上記コントローラ255は、上記各検索点に沿
って上記検査ブロック224を次々と設定し、この検査
ブロック224の水平方向,垂直方向及び斜め方向の移
動を行う毎に、該検査ブロック224の画像データを読
み出すように、i画素ステップアドレス移動回路256
Aを介して上記前フレームメモリ252を読み出し制御
する。
When the first moving range SV1 is set, the controller 255 sets the inspection blocks 224 one after another along each of the search points, and the inspection blocks 224 are set in the horizontal and vertical directions. And the i-pixel step address moving circuit 256 so that the image data of the inspection block 224 is read out every time when moving in the diagonal direction.
The preceding frame memory 252 is read and controlled via A.

【0171】上記移動を行う毎に形成される検査ブロッ
ク224の各画像データは、それぞれ上記差分検出回路
257に供給される。
The image data of the inspection block 224 formed each time the above movement is performed is supplied to the difference detection circuit 257.

【0172】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを同位置の画素毎に比較してその差分を
検出し、この各差分データを絶対値和検出回路258に
供給する。
The difference detection circuit 257 detects the image data of the reference block 223 and the inspection blocks 224.
Image data is compared for each pixel at the same position to detect the difference, and each difference data is supplied to the absolute value sum detection circuit 258.

【0173】上記絶対値和検出回路258は、上記差分
データの絶対値を検出し、1回のブロックマッチング処
理により検出される差分データの絶対値を全て加算して
絶対値和データを形成する。これにより、上記検査ブロ
ック224の移動を行った分である計41個の絶対値和
データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the absolute values of the difference data detected by one block matching processing to form the absolute value sum data. As a result, a total of 41 pieces of absolute value sum data corresponding to the movement of the inspection block 224 are formed. The absolute value sum data is supplied to the determination circuit 259.

【0174】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロック224を移動して
得られた41個の絶対値和データを、その絶対値和デー
タが検出された検査ブロック224の位置(検索点)に
対応して記憶できるメモリを有している。上記コントロ
ーラ255は、上記絶対値和検出回路258から判断回
路259に供給される絶対値和データを、その絶対値和
データが形成された上記検査ブロック224の位置に対
応して記憶されるように、上記メモリを書き込み制御す
る。
The judgment circuit 259 detects, for example, 41 pieces of absolute value sum data obtained by moving the inspection block 224 within the first movement range SV1 from the inspection block in which the absolute value sum data is detected. It has a memory that can store data corresponding to 224 positions (search points). The controller 255 stores the absolute value sum data supplied from the absolute value sum detection circuit 258 to the determination circuit 259 in correspondence with the position of the inspection block 224 where the absolute value sum data is formed. , Write control the memory.

【0175】上記コントローラ255は、上記判断回路
259のメモリに上記41個の絶対値和データが記憶さ
れると、この絶対値和データの中から最小値の絶対値和
データを検出するとともに、この最小値の絶対値和デー
タが検出された検査ブロック224の中心の検索点を検
出し、この検索点に基づいて第2ステップの移動範囲を
設定する。
When the 41 absolute value sum data are stored in the memory of the judging circuit 259, the controller 255 detects the minimum absolute value sum data from the absolute value sum data, and The search point at the center of the inspection block 224 in which the absolute value sum data of the minimum value is detected is detected, and the moving range of the second step is set based on this search point.

【0176】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図4中△で示す検索点36
であったとすると、次に、上記コントローラ255は、
図5に示すように上記検索点36を中心とする略々正方
形状の第2の移動範囲SV2を設定する。
Specifically, for example, the search point where the minimum sum absolute value data is detected is the search point 36 indicated by Δ in FIG.
Then, the controller 255,
As shown in FIG. 5, a substantially square second movement range SV2 centered on the search point 36 is set.

【0177】上記第2の移動範囲SV2は、4つの角部
に検索点40〜43が位置するようになっている。ま
た、水平方向に1画素間隔で3つの検索点を有してお
り、垂直方向にも1画素間隔で3つの検索点を有してい
る。すなわち、上記第2の移動範囲SV2は、上記第1
ステップの第1の移動範囲SV1よりも狭くなるように
計9点の検索点(上記第1ステップにおいて選択された
検索点36を含む。)で構成されている。このため、こ
の第2ステップにおいては、上記検査ブロック224
は、水平方向及び垂直方向にそれぞれ1画素間隔で移動
することとなる。
In the second moving range SV2, the search points 40 to 43 are located at the four corners. Further, it has three search points at 1-pixel intervals in the horizontal direction and also has three search points at 1-pixel intervals in the vertical direction. That is, the second movement range SV2 is equal to the first movement range SV2.
It is composed of a total of 9 search points (including the search point 36 selected in the first step) so as to be narrower than the first movement range SV1 of the step. Therefore, in this second step, the inspection block 224 is
Moves in the horizontal and vertical directions at intervals of one pixel.

【0178】このような第2の移動範囲SV2が設定さ
れると、上記コントローラ255は、該移動範囲SV2
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
When such a second movement range SV2 is set, the controller 255 causes the movement range SV2 to be set.
Of the i pixel step address moving circuit 256A so that the inspection block 224 is moved along each search point of
The previous frame memory 252 is read out and controlled via.

【0179】なお、この第2ステップでは、上記移動範
囲SV2の中心となる検索点36に係る絶対値和データ
は、上記第1ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV2におい
て、上記検索点36をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
In this second step, the absolute value sum data relating to the search point 36 which is the center of the moving range SV2 has already been detected in the first step,
The controller 255 moves the i-pixel step address moving circuit 2 so as to move the inspection block 224 by skipping the search point 36 in the moving range SV2.
The preceding frame memory 252 is read out and controlled via 56A.

【0180】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
The image data read out by the movement of the inspection block 224 is the difference detection circuit 25.
7 is supplied.

【0181】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックマッチング処理により検出される差
分データを全て加算して絶対値和データを形成する。
The difference detection circuit 257 detects the image data of the reference block 223 and the inspection blocks 224.
Of the image data and the difference is detected, and the difference data is supplied to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block matching process to form the absolute value sum data.

【0182】これにより、上記移動範囲SV2に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点36に係る絶対値和データも含む。)の絶対値
和データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
As a result, a total of nine pieces of absolute value sum data (including the absolute value sum data relating to the search point 36) corresponding to the movement of the inspection block 224 along the movement range SV2 are formed. The Rukoto. The absolute value sum data is supplied to the determination circuit 259.

【0183】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV2上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。
The judgment circuit 259 sets the nine pieces of absolute value sum data supplied from the absolute value sum detection circuit 258 to the position (search point) on the moving range SV2 where the absolute value sum data is formed. Correspondingly, it is temporarily stored in the memory.

【0184】上記コントローラ255は、上記判断回路
259のメモリに上記9個の絶対値和データが記憶され
ると、この絶対値和データの中から最小値の絶対値和デ
ータを検出するとともに、この最小値の絶対値和データ
が検出された検査ブロック224の中心の検索点を検出
し、この検索点に基づいて第2ステップの移動範囲を設
定する。
When the nine absolute value sum data are stored in the memory of the judging circuit 259, the controller 255 detects the minimum absolute value sum data from the absolute value sum data, and The search point at the center of the inspection block 224 in which the absolute value sum data of the minimum value is detected is detected, and the moving range of the second step is set based on this search point.

【0185】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図5中×で示す検索点44
であったとすると、次に、上記コントローラ255は、
図6に示すように上記検索点44を中心とする略々正方
形状の第3の移動範囲SV3を設定する。
Specifically, for example, the search point at which the absolute value sum data of the minimum value is detected is the search point 44 indicated by x in FIG.
Then, the controller 255,
As shown in FIG. 6, a substantially square-shaped third movement range SV3 centering on the search point 44 is set.

【0186】上記第3の移動範囲SV3は、4つの角部
に検索点45〜48が位置するようになっている。ま
た、水平方向に1画素間隔で3つの検索点を有してお
り、垂直方向にも1画素間隔で3つの検索点を有してい
る。すなわち、上記第3の移動範囲SV3は、上記第2
ステップの第2の移動範囲SV2と同じ移動範囲となる
ように計9点の検索点(上記第2ステップにおいて選択
された検索点44を含む。)で構成されている。このた
め、この第3ステップにおいては、上記検査ブロック2
24は、水平方向及び垂直方向にそれぞれ1画素間隔で
移動することとなる。
Search points 45 to 48 are located at four corners of the third movement range SV3. Further, it has three search points at 1-pixel intervals in the horizontal direction and also has three search points at 1-pixel intervals in the vertical direction. That is, the third movement range SV3 is equal to the second movement range SV3.
It is composed of a total of 9 search points (including the search point 44 selected in the second step) so as to be in the same movement range as the second movement range SV2 of the step. Therefore, in this third step, the inspection block 2
24 moves in the horizontal and vertical directions at intervals of one pixel.

【0187】このような第3の移動範囲SV3が設定さ
れると、上記コントローラ255は、該移動範囲SV3
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
When such a third movement range SV3 is set, the controller 255 causes the movement range SV3.
Of the i pixel step address moving circuit 256A so that the inspection block 224 is moved along each search point of
The previous frame memory 252 is read out and controlled via.

【0188】なお、この第2ステップでは、上記移動範
囲SV3の中心となる検索点44に係る絶対値和データ
は、上記第2ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV3におい
て、上記検索点44をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
In this second step, since the absolute value sum data relating to the search point 44 which is the center of the moving range SV3 has already been detected in the second step,
The controller 255 moves the inspection block 224 by skipping the search point 44 in the movement range SV3, and moves the i-pixel step address movement circuit 2
The preceding frame memory 252 is read out and controlled via 56A.

【0189】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
The image data read by the movement of the inspection block 224 is the difference detection circuit 25.
7 is supplied.

【0190】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックマッチング処理により検出される差
分データを全て加算して絶対値和データを形成する。
The difference detection circuit 257 detects the image data of the reference block 223 and the inspection blocks 224.
Of the image data and the difference is detected, and the difference data is supplied to the absolute value sum detection circuit 258. The absolute value sum detection circuit 258 detects the absolute value of the difference data and adds all the difference data detected by one block matching process to form the absolute value sum data.

【0191】これにより、上記移動範囲SV3に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点44に係る絶対値和データも含む。)の絶対値
和データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
As a result, a total of nine pieces of absolute value sum data (including the absolute value sum data relating to the search point 44) corresponding to the movement of the inspection block 224 along the movement range SV3 are formed. The Rukoto. The absolute value sum data is supplied to the determination circuit 259.

【0192】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV3上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。そして、上記9個の絶対値和データが上記メモリに
記憶されると、この絶対値和データの中から最小値の絶
対値和データを検出し、この最小値の絶対値和データを
上記コントローラ255に供給する。
The judgment circuit 259 sets the nine pieces of absolute value sum data supplied from the absolute value sum detection circuit 258 to the position (search point) on the moving range SV3 where the absolute value sum data is formed. Correspondingly, it is temporarily stored in the memory. When the nine pieces of absolute value sum data are stored in the memory, the minimum absolute value sum data is detected from the absolute value sum data, and the minimum absolute value sum data is detected by the controller 255. Supply to.

【0193】上記コントローラ255は、上述のように
上記第3ステップで検出された絶対値和データに基づい
て動きベクトルを検出し、この動きベクトルを出力端子
260を介して上記図7に示す動き補償回路204に供
給する。これにより、上記図7に示した画像データの符
号化装置において、画像データの圧縮符号化処理を行う
ことができる。
The controller 255 detects a motion vector based on the absolute value sum data detected in the third step as described above, and the motion vector shown in FIG. Supply to the circuit 204. As a result, the image data encoding apparatus shown in FIG. 7 can perform image data compression encoding processing.

【0194】この第3の実施例に係る動きベクトル検出
方法では、3ステップサーチにおける第1ステップにお
いて、上記検査ブロック224を水平方向よりも垂直方
向に密に移動させてブロックマッチング処理を行うよう
にしているうえ、上記検索点35に沿って斜め方向にも
移動させてブロックマッチング処理を行うようにしてい
るため、水平方向のサンプリング周波数よりも垂直方向
のサンプリング周波数の方が低い、上記420の画像デ
ータの輝度データが供給された場合における垂直方向の
動きベクトルの検出精度を補償することができるうえ、
斜め方向に対する動きベクトルの検出精度を補償するこ
とができる。このため、上述の第1,第2の実施例に係
る動きベクトル検出方法よりも、全体的な動きベクトル
の検出精度のさらなる向上を図ることができる。
In the motion vector detecting method according to the third embodiment, in the first step of the three-step search, the inspection block 224 is moved more densely in the vertical direction than in the horizontal direction to perform the block matching processing. In addition, since the block matching processing is performed by moving the search point 35 in an oblique direction as well, the sampling frequency in the vertical direction is lower than the sampling frequency in the horizontal direction. In addition to being able to compensate the detection accuracy of the vertical motion vector when the luminance data of the data is supplied,
It is possible to compensate the detection accuracy of the motion vector in the diagonal direction. Therefore, it is possible to further improve the overall detection accuracy of the motion vector as compared with the motion vector detection method according to the first and second embodiments.

【0195】なお、上述の第3の実施例の説明では、3
ステップサーチの第1ステップのみ上記検査ブロック2
24の斜め方向の移動を行うようにしたが、これは、第
2,第3ステップにおいても該斜め方向の移動を行って
ブロックマッチング処理を行うようにしてもよい。
Incidentally, in the above description of the third embodiment, 3
Only the first step of the step search is the above-mentioned inspection block 2
Although the diagonal movement of 24 is performed, the diagonal matching may be performed in the second and third steps to perform the block matching process.

【0196】また、3ステップサーチに適用することと
したが、これは、2ステップサーチに適用して、上記垂
直方向及び水平方向の移動に加え斜め方向の移動を行う
ようにしてもよい。
Although it is applied to the three-step search, it may be applied to the two-step search to perform the diagonal movement in addition to the vertical and horizontal movements.

【0197】次に、上述の第1〜第3の実施例の説明で
は、420の画像データのうち、輝度データにのみ基づ
いて動きベクトルの検出を行うようにしたが、本発明の
第4の実施例の係る動きベクトル検出方法では、上記輝
度データのみならず色データの動きベクトル検出も行う
ようにした。
Next, in the above description of the first to third embodiments, the motion vector is detected based on only the luminance data of the 420 image data, but the fourth embodiment of the present invention is used. In the motion vector detecting method according to the embodiment, not only the above-mentioned luminance data but also the motion vector of color data is detected.

【0198】すなわち、上記420の画像データのう
ち、上記輝度データに対しては、水平サンプリング周波
数よりも垂直サンプリング周波数の方が低いため、上述
の各実施例で説明したように上記検査ブロック224の
垂直方向の移動を密に行って動きベクトルの検出を行
い、上記色データに対しては、垂直サンプリング周波数
よりも水平サンプリング周波数の方が低いため、上述の
各実施例とは逆に、上記検査ブロック224の垂直方向
の移動よりも水平方向の移動を密に行って動きベクトル
の検出を行うようにした。
That is, of the 420 image data, the vertical sampling frequency is lower than the horizontal sampling frequency with respect to the luminance data, so that the inspection block 224 of the inspection block 224 is described as described in each of the above embodiments. The movement in the vertical direction is densely performed to detect the motion vector. Since the horizontal sampling frequency is lower than the vertical sampling frequency with respect to the color data, the above-described inspection is performed contrary to the above-described embodiments. The block 224 is moved in the horizontal direction more densely than in the vertical direction to detect the motion vector.

【0199】これにより、輝度データ及び色データの各
サンプリング特性に応じた検査ブロック224の移動を
行うことができるうえ、該輝度データ及び色データの動
きベクトルをそれぞれ検出することができるため、画像
データの動きベクトルの検出精度をさらに向上させるこ
とができる。
As a result, the inspection block 224 can be moved according to the respective sampling characteristics of the luminance data and the color data, and the motion vectors of the luminance data and the color data can be respectively detected, so that the image data can be detected. It is possible to further improve the detection accuracy of the motion vector of the.

【0200】このような輝度データと色データの両方の
動きベクトルの検出は、例えばいわゆる高品位テレビジ
ョンの画像データに対して行うと効果的である。
It is effective to detect the motion vectors of both the luminance data and the color data in the image data of so-called high-definition television, for example.

【0201】そして、当該画像データの符号化装置は、
上述の各実施例に係る動きベクトル検出方法により検出
された正確な動きベクトルに基づいて画像データの圧縮
符号化を行うようにしているため、画像データの正確な
圧縮符号化を行うことができる。
Then, the image data encoding device is
Since the image data is compressed and encoded based on the accurate motion vector detected by the motion vector detecting method according to each of the above-described embodiments, the image data can be accurately compressed and encoded.

【0202】なお、上述の各実施例の説明では、画像デ
ータとして420の画像データに基づいて動きベクトル
の検出を行うこととしたが、これは、上記422の画像
データに基づいて動きベクトルの検出を行うようにして
もよい。この場合、上記422の画像データは、垂直サ
ンプリング周波数よりも水平サンプリング周波数の方が
低いため、上述の各実施例の説明とは逆に、上記検査ブ
ロック224の垂直方向の移動よりも水平方向の移動を
密に行うようにする。これにより、上記422の画像デ
ータの水平方向の動きベクトルの検出精度を補償するこ
とができ、全体的な動きベクトルの検出精度の向上を図
ることができる。
In the description of each of the above embodiments, the motion vector is detected based on the image data of 420 as the image data, but the motion vector is detected based on the image data of 422. May be performed. In this case, since the horizontal sampling frequency of the image data 422 is lower than the vertical sampling frequency, contrary to the description of each of the above-described embodiments, the inspection block 224 is moved in the horizontal direction rather than in the vertical direction. Try to move closely. As a result, it is possible to compensate for the detection accuracy of the horizontal motion vector of the image data 422, and it is possible to improve the overall detection accuracy of the motion vector.

【0203】また、上述の各実施例の説明では、上記現
在画像として現在フレームの画像を、また、前画像とし
て前フレームの画像を用いることとしたが、これは、上
記現在画像として現在フレームの画像を、また、前画像
として2フレーム前の画像,3フレーム前の画像・・・
を用いるようにしてもよい。同じく、上記現在画像とし
て現在フィールドの画像を、また、前画像として前フィ
ールドの画像、或いは、2フィールド前の画像,3フィ
ールド前の画像・・・を用いるようにしてもよい。
In the above description of each embodiment, the image of the current frame is used as the current image, and the image of the previous frame is used as the previous image. The image, the image before 2 frames as the previous image, the image before 3 frames ...
May be used. Similarly, the current field image may be used as the current image, and the previous field image may be used as the previous image, or the image of two fields before, the image of three fields before ...

【0204】また、上記基準ブロックを現在フレームの
画像の中央の所定領域に設定することとしたが、これ
は、現在フレーム(或いは現在フィールド)内であれば
どの位置に設定してもよい。同じく、上記検査ブロック
も前フレーム(或いは前フィールド)内であればのどの
位置に設定してもよい。
Although the reference block is set in a predetermined area in the center of the image of the current frame, it may be set at any position in the current frame (or current field). Similarly, the inspection block may be set at any position within the previous frame (or the previous field).

【0205】また、上記基準ブロックを現在画像内に設
定し、上記検査ブロックを前画像内に設定することとし
たが、これは、逆に、前画像内に基準ブロックを設定
し、現在画像内に検査ブロックを設定して、該現在画像
内において検査ブロックを移動させて動きベクトルの検
出を行うようにしてもよい。
Although the reference block is set in the current image and the inspection block is set in the previous image, the reference block is set in the previous image and the inspection block is set in the current image. Alternatively, the inspection block may be set to, and the inspection block may be moved in the current image to detect the motion vector.

【0206】また、本発明に係る動きベクトル検出方法
及び画像データの符号化方法を、直交変換手段として上
記DCT回路207を用いた画像データの圧縮符号化装
置に適用することとしたが、これは、いわゆるフーリエ
変換,アダマール変換,K−L変換等の他の直交変換手
段を有する画像データの圧縮符号化装置に適用してもよ
い。
The motion vector detecting method and the image data encoding method according to the present invention are applied to the image data compression encoding apparatus using the DCT circuit 207 as the orthogonal transformation means. It may be applied to a compression coding apparatus for image data having other orthogonal transforming means such as so-called Fourier transform, Hadamard transform and KL transform.

【0207】さらに、本発明に係る動きベクトル検出方
法及び画像データの符号化方法を、2ステップサーチ及
び3ステップサーチに適用した場合について説明した
が、これは、検査ブロックの移動範囲を4段階に分けて
徐々に狭めていく4ステップサーチや、該検査ブロック
の移動範囲を5段階に分けて徐々に狭めていく5ステッ
プサーチ等、多段階に分けて検査ブロックの移動範囲を
狭めながら動きベクトルの検出を行う方法であれば何に
でも適用可能であり、その他、本発明に係る技術的思想
を逸脱しない範囲であれば種々の変更が可能であること
は勿論である。
Further, the case where the motion vector detecting method and the image data encoding method according to the present invention are applied to the two-step search and the three-step search has been described. For example, a four-step search that gradually narrows the moving range of the inspection block, or a five-step search that gradually narrows the moving range of the inspection block in five steps, etc. It can be applied to any method as long as it is a detection method, and in addition, various modifications can be made without departing from the technical idea of the present invention.

【0208】[0208]

【発明の効果】本発明に係る動きベクトル検出方法は、
画像データの垂直サンプリング周波数及び水平サンプリ
ング周波数に応じて検査ブロックの移動範囲を制御し
て、動きベクトルの垂直方向の検出精度或いは水平方向
の検出精度を補うことができ、また、画像データの輝度
データ及び色データに応じて検査ブロックの移動範囲を
制御してそれぞれ動きベクトルを検出することができ、
また、垂直方向及び水平方向のみならず斜め方向にも検
査ブロックを移動させて動きベクトルの検出を行うこと
ができるため、全体的な動きベクトルの検出精度の向上
を図ることができる。
According to the motion vector detecting method of the present invention,
By controlling the moving range of the inspection block according to the vertical sampling frequency and the horizontal sampling frequency of the image data, it is possible to supplement the vertical direction detection accuracy or the horizontal direction detection accuracy of the motion vector, and the brightness data of the image data. And it is possible to detect the motion vector by controlling the moving range of the inspection block according to the color data,
Moreover, since the motion vector can be detected by moving the inspection block not only in the vertical direction and the horizontal direction but also in the diagonal direction, it is possible to improve the accuracy of detecting the motion vector as a whole.

【0209】また、本発明に係る画像データの符号化方
法は、動きベクトルの検出の際に、本発明に係る動きベ
クトル検出方法を用いているため、正確な動きベクトル
を用いて、画像データに応じた正確な圧縮符号化を行う
ことができる。
Further, the image data coding method according to the present invention uses the motion vector detection method according to the present invention when detecting a motion vector. Therefore, an accurate motion vector is used for image data conversion. Accurate compression encoding can be performed accordingly.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施例に係る動きベクトル検出
方法を3ステップサーチに適用した場合における、第1
ステップでの動きベクトル検出動作を説明するための図
である。
FIG. 1 shows a first example of a case where a motion vector detecting method according to a first embodiment of the present invention is applied to a three-step search.
It is a figure for demonstrating the motion vector detection operation in a step.

【図2】上記第1の実施例に係る動きベクトル検出方法
を3ステップサーチに適用した場合における、第2,第
3ステップでの動きベクトル検出動作を説明するための
図である。
FIG. 2 is a diagram for explaining a motion vector detecting operation in second and third steps when the motion vector detecting method according to the first embodiment is applied to a three-step search.

【図3】本発明の第2の実施例に係る動きベクトル検出
方法を2ステップサーチに適用した場合における、動き
ベクトル検出動作を説明するための図である。
FIG. 3 is a diagram for explaining a motion vector detecting operation when the motion vector detecting method according to the second embodiment of the present invention is applied to a two-step search.

【図4】本発明の第3の実施例に係る動きベクトル検出
方法を3ステップサーチに適用した場合における、第1
ステップでの動きベクトル検出動作を説明するための図
である。
FIG. 4 is a first diagram when the motion vector detecting method according to the third embodiment of the present invention is applied to a three-step search.
It is a figure for demonstrating the motion vector detection operation in a step.

【図5】上記第3の実施例に係る動きベクトル検出方法
を3ステップサーチに適用した場合における、第2ステ
ップでの動きベクトル検出動作を説明するための図であ
る。
FIG. 5 is a diagram for explaining a motion vector detecting operation in a second step when the motion vector detecting method according to the third embodiment is applied to a three-step search.

【図6】上記第3の実施例に係る動きベクトル検出方法
を3ステップサーチに適用した場合における、第3ステ
ップでの動きベクトル検出動作を説明するための図であ
る。
FIG. 6 is a diagram for explaining a motion vector detecting operation in a third step when the motion vector detecting method according to the third embodiment is applied to a three-step search.

【図7】画像の動きベクトルを検出して画像データの圧
縮符号化処理を行う画像データの圧縮符号化装置のブロ
ック図である。
FIG. 7 is a block diagram of an image data compression encoding apparatus that performs image data compression encoding processing by detecting a motion vector of the image.

【図8】上記画像データの圧縮符号化装置に設けられて
いる動きベクトル検出回路で行われるブロックマッチン
グ処理を説明するための図である。
FIG. 8 is a diagram for explaining a block matching process performed by a motion vector detection circuit provided in the image data compression encoding apparatus.

【図9】フルサーチにより動きベクトル検出を行う動き
ベクトル検出回路のブロック図である。
FIG. 9 is a block diagram of a motion vector detection circuit that detects a motion vector by full search.

【図10】上記フルサーチによる動きベクトルの検出の
仕方を説明するための図である。
FIG. 10 is a diagram for explaining a method of detecting a motion vector by the full search.

【図11】2ステップサーチ或いは3ステップサーチに
より動きベクトルの検出を行う動きベクトル検出回路の
ブロック図である。
FIG. 11 is a block diagram of a motion vector detection circuit that detects a motion vector by a two-step search or a three-step search.

【図12】従来の3ステップサーチの第1ステップにお
ける動きベクトルの検出の仕方を説明するための図であ
る。
FIG. 12 is a diagram for explaining how to detect a motion vector in the first step of the conventional 3-step search.

【図13】従来の3ステップサーチの第2,第3ステッ
プにおける動きベクトルの検出の仕方を説明するための
図である。
FIG. 13 is a diagram for explaining a method of detecting a motion vector in second and third steps of a conventional 3-step search.

【図14】従来の2ステップサーチによる動きベクトル
の検出の仕方を説明するための図である。
FIG. 14 is a diagram for explaining a method of detecting a motion vector by a conventional two-step search.

【符号の説明】[Explanation of symbols]

SV1・・・・・3ステップサーチにおける第1ステッ
プでの検査ブロックの移動範囲 1・・・・・・・第1ステップの移動範囲の中心に位置
する画素(原点) 2〜5・・・・・第1ステップの移動範囲の角部に位置
する画素 6・・・・・・・第1ステップの絶対値和の最小値に係
る画素 SV2・・・・・第2ステップでの検査ブロックの移動
範囲 10〜13・・・第2ステップの移動範囲の角部に位置
する画素 13・・・・・・第2ステップの絶対値和の最小値に係
る画素 SV3・・・・・第3ステップでの検査ブロックの移動
範囲 15〜18・・・第3ステップの移動範囲の角部に位置
する画素 21〜24・・・2ステップサーチにおける第1ステッ
プでの検査ブロックの移動範囲の角部に位置する画素 25・・・・・・第1ステップの絶対値和の最小値に係
る画素 26〜29・・・2ステップサーチにおける第2ステッ
プでの検査ブロックの移動範囲の角部に位置する画素 31〜34・・・3ステップサーチにおける第1ステッ
プでの検査ブロックの移動範囲の角部に位置する画素 30・・・・・・第1ステップのの移動範囲の中心に位
置する画素 35・・・・・・第1ステップに追加された斜め方向の
検索点 36・・・・・・第1ステップの絶対値和の最小値に係
る画素 40〜43・・・第2ステップの移動範囲の角部に位置
する画素 44・・・・・・第2ステップの絶対値和の最小値に係
る画素 45〜48・・・第3ステップの移動範囲の角部に位置
する画素 201・・・・・画像データの入力端子 202・・・・・動きベクトル検出回路 203・・・・・減算器 204・・・・・動き補償回路 205・・・・・フレームメモリ 206・・・・・加算器 207・・・・・直交変換回路 208・・・・・量子化器 209・・・・・圧縮符号化された画像データの出力端
子 210・・・・・逆量子化器 211・・・・・逆直交変換回路 251・・・・・現フレームメモリ 252・・・・・前フレームメモリ 253・・・・・現フレームの画像データの入力端子 254・・・・・前フレームの画像データの入力端子 255・・・・・コントローラ 256A・・・・i画素ステップアドレス移動回路 256B・・・・1画素ステップアドレス移動回路 257・・・・・差分検出回路 258・・・・・絶対値和検出回路 259・・・・・判断回路 260・・・・・動きベクトルの出力端子
SV1 ... Movement range of inspection block at the first step in 3-step search 1 ... Pixel (origin) located at the center of the movement range of the first step 2-5 ... Pixels located at corners of the moving range of the first step 6 ... Pixel related to the minimum sum of absolute values of the first step SV2 ... Movement of the inspection block in the second step Range 10 to 13 ... Pixel located at corner of moving range of second step 13 ... Pixel related to minimum value of sum of absolute value of second step SV3 ... At third step Moving range of inspection block 15 to 18 ... Pixels located at corners of moving range of third step 21 to 24 ... Positioning at corner of moving range of inspection block in first step in two-step search Pixel 25 ... Pixels related to the minimum value of the sum of absolute values of the pixels 26 to 29 ... Pixels located at the corners of the moving range of the inspection block in the second step in the two-step search 31 to 34 ... Three-step search Pixel located at the corner of the moving range of the inspection block in one step 30 ..... Pixel located in the center of the moving range of the first step 35 ........ Added to the first step Diagonal search points 36 ..... Pixels relating to the minimum sum of absolute values in the first step 40-43 ... Pixels located at corners of the moving range in the second step 44. Pixels relating to the minimum value of the sum of absolute values in the second step 45 to 48 ... Pixels located at the corners of the moving range in the third step 201 ... Image data input terminal 202. Motion vector detection circuit 203 ... Subtractor 204 ... Motion compensation circuit 205 ... Frame memory 206 ... Adder 207 ... Orthogonal transformation circuit 208 ... Quantizer 209 ... Output terminal for compression-coded image data 210 Inverse quantizer 211 Inverse orthogonal transform circuit 251 Current frame memory 252 Previous frame memory 253・ ・ ・ ・ ・ Current frame image data input terminal 254 ・ ・ ・ Previous frame image data input terminal 255 ・ ・ ・ ・ ・ Controller 256A ・ ・ ・ ・ i-pixel step address moving circuit 256B ・ ・ ・1-pixel step address moving circuit 257 ... Difference detecting circuit 258 ... Absolute value sum detecting circuit 259 ... Judgment circuit 260 ... Motion vector output terminal

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 時間的に前後する現在画像或いは前画像
の所定位置に所定画素からなる基準ブロックを設定し、
上記基準ブロックと同じ画素数からなる検査ブロック
を、上記基準ブロックが設定された画像以外の画像の所
定の移動範囲内で移動し、該検査ブロックを移動する毎
に、検査ブロックの各画素と基準ブロックの各画素の差
分の絶対値和を検出し、上記検査ブロックの移動に対応
して得られた各絶対和の中から最小値の絶対値和を検出
し、この最小値の絶対値和が形成された移動範囲内の所
定位置の画素に基づいて上記検査ブロックの次の移動範
囲を所定分狭め、再度、上記最小値の絶対値和を検出す
る動作を、上記検査ブロックの最小限度の移動範囲とな
るまで繰り返し行い、この最小限度の移動範囲で検出さ
れた、最小値の絶対値和に基づいて動きベクトルを検出
する動きベクトル検出方法において、 画像データの水平サンプリング周波数及び垂直サンプリ
ング周波数のうち、サンプリング周波数の低い方向に対
して、上記検査ブロックの移動を密に行うことを特徴と
する動きベクトル検出方法。
1. A reference block composed of a predetermined pixel is set at a predetermined position of a current image or a previous image that is temporally before and after,
An inspection block having the same number of pixels as the reference block is moved within a predetermined movement range of an image other than the image in which the reference block is set, and each time the inspection block is moved, each pixel of the inspection block and the reference The absolute value sum of the differences of each pixel of the block is detected, and the absolute value sum of the minimum values is detected from among the absolute sums obtained corresponding to the movement of the inspection block. Based on the pixel at the predetermined position within the formed movement range, the next movement range of the inspection block is narrowed by a predetermined amount, and the operation of detecting the sum of the absolute values of the minimum values is performed again by the minimum movement of the inspection block. The horizontal sampling frequency of the image data in the motion vector detection method that detects the motion vector based on the sum of the absolute values of the minimum values detected in this minimum movement range And a motion vector detecting method, wherein the inspection block is moved densely in a direction having a lower sampling frequency among the vertical sampling frequencies.
【請求項2】 画像データを形成する輝度データ及び色
データに基づいてそれぞれ動きベクトル検出を行う場
合、 上記輝度データについては、水平方向の移動よりも垂直
方向の移動が密となるように上記検査ブロックの移動を
行い、 上記色データについては、垂直方向の移動よりも水平方
向の移動が密となるように上記検査ブロックの移動を行
うことを特徴とする請求項1記載の動きベクトル検出方
法。
2. When the motion vector is detected based on the luminance data and the color data forming the image data, the inspection is performed so that the movement of the luminance data in the vertical direction is denser than that in the horizontal direction. 2. The motion vector detecting method according to claim 1, wherein the block is moved, and with respect to the color data, the inspection block is moved so that the horizontal movement is denser than the vertical movement.
【請求項3】 上記検査ブロックの移動を斜め方向に密
に行うことを特徴とする請求項1又は請求項2記載の動
きベクトル検出方法。
3. The motion vector detection method according to claim 1, wherein the inspection blocks are densely moved in an oblique direction.
【請求項4】 時間的に前後する現在画像及び前画像か
ら画像の動きベクトルを検出し、この動きベクトルに応
じて前画像の動き補償を行い、上記現在画像と動き補償
を行った前画像との差分を直交変換処理し量子化するこ
とにより、圧縮符号化した画像データを形成する画像デ
ータの符号化方法であって、 上記動きベクトルを検出する際に、 上記現在画像或いは前画像の所定位置に所定画素数から
なる基準ブロックを設定し、上記基準ブロックと同じ画
素数からなる検査ブロックを、上記基準ブロックが設定
された画像以外の画像の所定の移動範囲内で、画像デー
タの水平サンプリング周波数及び垂直サンプリング周波
数のうち、サンプリング周波数の低い方向に対して密に
移動し、 上記検査ブロックを移動する毎に、検査ブロックの各画
素と基準ブロックの各画素の差分の絶対値和を検出し、 上記移動範囲で検査ブロックを移動させることにより検
出された各絶対値和のうち、最小値の絶対値和を検出
し、 上記最小値の絶対値和が形成された検査ブロックの所定
位置の画素に基づいて、上記検査ブロックの次の移動範
囲を所定分狭めて設定し、 上記所定分狭めて設定された移動範囲で上記検査ブロッ
クの移動を行って最小値の絶対値和を検出する動作を、
上記検査ブロックの最小限度の移動範囲となるまで繰り
返し行い、 上記最小限度の移動範囲で検査ブロックを移動した際に
得られた、最小値の絶対値和に基づいて動きベクトルの
検出を行うことを特徴とする画像データの符号化方法。
4. A motion vector of an image is detected from a current image and a previous image that are temporally before and after, and the motion compensation of the previous image is performed according to the motion vector, and the current image and the previous image subjected to the motion compensation. An image data encoding method for forming compression-encoded image data by orthogonally transforming and quantizing the difference of, and detecting a motion vector at a predetermined position of the current image or the previous image. A reference block consisting of a predetermined number of pixels, and an inspection block consisting of the same number of pixels as the reference block, and a horizontal sampling frequency of image data Of the vertical sampling frequencies, the image moves densely in the direction of the lower sampling frequency, and each time the inspection block is moved, each image of the inspection block is moved. Detect the sum of absolute values of the differences between each pixel of the base and the reference block, and detect the sum of absolute values of the minimum value among the sums of absolute values detected by moving the inspection block within the moving range, The next movement range of the inspection block is set to be narrowed by a predetermined amount based on the pixel at the predetermined position of the inspection block in which the absolute value sum is formed, and the inspection block is set in the movement range narrowed by the predetermined amount. The operation to detect the sum of absolute minimum values by moving
It is repeated until the inspection block reaches the minimum movement range, and the motion vector is detected based on the sum of the absolute values of the minimum values obtained when the inspection block is moved in the minimum movement range. A method for encoding characteristic image data.
JP31794393A 1993-12-17 1993-12-17 Motion vector detection method and image data encoding method Expired - Fee Related JP3433489B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31794393A JP3433489B2 (en) 1993-12-17 1993-12-17 Motion vector detection method and image data encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31794393A JP3433489B2 (en) 1993-12-17 1993-12-17 Motion vector detection method and image data encoding method

Publications (2)

Publication Number Publication Date
JPH07177517A true JPH07177517A (en) 1995-07-14
JP3433489B2 JP3433489B2 (en) 2003-08-04

Family

ID=18093755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31794393A Expired - Fee Related JP3433489B2 (en) 1993-12-17 1993-12-17 Motion vector detection method and image data encoding method

Country Status (1)

Country Link
JP (1) JP3433489B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189102B2 (en) 2008-06-27 2012-05-29 Panasonic Corporation Image processing apparatus using interpolation direction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189102B2 (en) 2008-06-27 2012-05-29 Panasonic Corporation Image processing apparatus using interpolation direction

Also Published As

Publication number Publication date
JP3433489B2 (en) 2003-08-04

Similar Documents

Publication Publication Date Title
JP4528441B2 (en) Hierarchical motion estimation processing and apparatus using block matching method and integrated projection method
US6385244B1 (en) Video encoding device
US20110228853A1 (en) Moving image encoding and decoding system
KR101683434B1 (en) Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder
EP0181215A1 (en) Apparatus for detecting motion of television images
JPH0750773A (en) Apparatus and method for video compression
JPH06205386A (en) Picture reproduction device
JPH0787495A (en) Method and device for detecting motion vector
RU2182727C2 (en) Method for searching motion vectors of parts in amplitude images
US8243804B2 (en) Hierarchical motion estimation for images with varying horizontal and/or vertical dimensions
US20040190616A1 (en) Segmented motion estimation with no search for smalll block sizes
US7151799B2 (en) Transcoder for coded video
JP3152765B2 (en) Image coding device
EP0893924B1 (en) Method and apparatus for motion estimation using block matching
JPH0918782A (en) Video signal processing method and device
JPWO2006006489A1 (en) Motion detection device
KR20040071159A (en) Image data retrieval
JP3433489B2 (en) Motion vector detection method and image data encoding method
JPH07203462A (en) Motion vector detection method and image data coding method
JPH08294129A (en) Motion vector detector and detection method
US6925125B2 (en) Enhanced aperture problem solving method using displaced center quadtree adaptive partitioning
JPH10327416A (en) Dynamic image coder
JP4734239B2 (en) Spatial signal conversion
JP3277419B2 (en) Apparatus and method for detecting motion vector
US6219455B1 (en) Method and apparatus for detecting motion vectors

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030430

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090530

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees