JPH07177517A - 動きベクトル検出方法及び画像データの符号化方法 - Google Patents

動きベクトル検出方法及び画像データの符号化方法

Info

Publication number
JPH07177517A
JPH07177517A JP31794393A JP31794393A JPH07177517A JP H07177517 A JPH07177517 A JP H07177517A JP 31794393 A JP31794393 A JP 31794393A JP 31794393 A JP31794393 A JP 31794393A JP H07177517 A JPH07177517 A JP H07177517A
Authority
JP
Japan
Prior art keywords
image data
block
data
motion vector
absolute value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP31794393A
Other languages
English (en)
Other versions
JP3433489B2 (ja
Inventor
Akihiro Muto
明宏 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP31794393A priority Critical patent/JP3433489B2/ja
Publication of JPH07177517A publication Critical patent/JPH07177517A/ja
Application granted granted Critical
Publication of JP3433489B2 publication Critical patent/JP3433489B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 【構成】 現在フレームに基準ブロックを設定し、前フ
レームに上記基準ブロックと同画素数の検査ブロックを
設定し、この検査ブロックを移動しながら、該検査ブロ
ックと基準ブロックとのブロックマッチング処理を行
い、上記検査ブロックの移動範囲を多段階的に徐々に狭
めながら動きベクトルの検出を行う動きベクトル検出方
法であって、水平サンプリング周波数よりも垂直サンプ
リング周波数の低い画像データの動きベクトル検出を行
う場合、第1ステップにおいて、上記検査ブロックが、
水平方向よりも垂直方向に密に移動するように(例え
ば、水平方向は4画素間隔に、垂直方向は3画素間隔に
上記検査ブロックが移動するように)、第1の移動範囲
SV1を設定する。 【効果】 サンプリング周波数の低い方向の動きベクト
ルの検出精度を補って、全体的な動きベクトルの検出精
度の向上を図ることができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像の動きに応じて画
像データの圧縮符号化処理を行う、例えば動画像圧縮処
理装置(MPEG装置)等に用いて好適な動きベクトル
検出方法及び画像データの符号化方法に関し、特に、最
初は大きく、徐々に範囲を狭めながら画像の動きベクト
ルの検出を多段階に亘って行うマルチステップサーチに
おける動きベクトルの検出精度の向上等を図った動きベ
クトル検出方法、及び、この動きベクトル検出方法を用
いて画像データの圧縮符号化を行うことにより、圧縮符
号化の精度の向上等を図った画像データの符号化方法に
関する。
【0002】
【従来の技術】今日において、動画の高能率圧縮符号化
の国際標準方式としてMPEG(Moving Picture Codin
g Transform )方式が知られている。このMPEG方式
は、画像データに直交変換処理を施す、例えばDCT
(Discrete Cosine Transform )変換と、動き補償とを
組み合わせた画像の高能率圧縮技術である。
【0003】このMPEG方式は、例えば前フレームの
画像と現在フレームの画像との相関性を利用して画像デ
ータを圧縮符号化する、図7に示すような画像データの
符号化装置に適用することができる。
【0004】上記図7に示す画像データの符号化装置
は、入力端子201を介して現在フレームの画像データ
が供給される。この現在フレームの画像データは、動き
ベクトル検出回路202及び減算器203に供給され
る。
【0005】上記動きベクトル検出回路202には、上
記現在フレームの画像データの他、以下に説明するフレ
ームメモリ205からの前フレームの画像データが供給
されている。上記動きベクトル検出回路202は、上記
現在フレームの画像データ及び前フレームの画像データ
に基づいて画像の動きを検出することにより動きベクト
ルを形成し、これを動き補償回路204に供給する。
【0006】上記動き補償回路204には、フレームメ
モリ205から前フレームの画像データが供給されてい
る。上記動き補償回路204は、上記動きベクトル検出
回路202からの動きベクトルに基づいて、上記前フレ
ームの画像データに動き補償処理を施し、これを上記減
算器203及び加算器206に供給する。
【0007】上記減算器203は、上記現在フレームの
画像データと、上記動き補償処理の施された前フレーム
の画像データとを減算処理することにより、現在フレー
ムの画像データと前フレームの画像データとの差分を示
す差分データを形成し、これをDCT回路207に供給
する。
【0008】上記DCT回路207は、上記差分データ
を所定画素数のブロック毎に周波数軸上に変換してDC
Tブロックを形成し、これを量子化回路208に供給す
る。上記量子化回路208は、上記DCTブロックのレ
ベルに応じて量子化ステップ可変し、この量子化ステッ
プにより上記DCTブロックに量子化処理を施すことに
より圧縮画像データを形成し、これを出力端子209を
介して例えばディスク記録装置等の外部機器に供給する
とともに、逆量子化回路210に供給する。
【0009】上記逆量子化回路210は、上記量子化回
路208で選択された量子化ステップで、上記圧縮画像
データに逆量子化処理を施すことにより、量子化処理さ
れる前のDCTブロックを再生し、これを逆DCT回路
211に供給する。上記逆DCT回路211は、上記再
生されたDCTブロックに逆DCT処理を施すことによ
り、DCTブロック化される前の差分データを形成し、
これを上記加算器206に供給する。
【0010】上記加算器206には、上記動き補償回路
204からの動き補償された前フレームの画像データが
別に供給されている。上記加算器206は、上記動き補
償された前フレームの画像データと、上記逆DCT回路
211からの差分データとを加算処理することにより、
現在フレームの画像データを再生し、これをフレームメ
モリ205に供給する。
【0011】上記フレームメモリ205に供給された現
在フレームの画像データは、1フレーム分の遅延が施さ
れ読み出される。これにより、上記現在フレームの画像
データは、読み出しの段階で前フレームの画像データと
され、上記動き補償回路204及び動きベクトル検出回
路202に供給される。上述のように、上記動き補償回
路204は、上記動きベクトル検出回路202からの動
きベクトルに応じて上記前フレームの画像データに動き
補償処理を施し、これを上記減算器203及び加算器2
06に供給する。以後、各回路において、上述の動作が
繰り返される。
【0012】このように、上記画像データの符号化装置
は、動きベクトルに基づいて動きベクトル補償された前
フレームの画像データと、現在フレームの画像データと
の差分を符号化して出力する。これにより、画像データ
の高能率圧縮を行うことができる。
【0013】ここで、上記動きベクトル検出回路202
は、図8に示すように現在フレーム221の所定位置の
複数画素(N画素×Mライン)から形成される基準ブロ
ック223が、前フレーム222内の所定位置の複数画
素(N画素×Mライン)から形成される検査ブロックの
うち、どの検査ブロック224と一致するかを検出する
ブロックマッチングにより動きベクトルを検出してい
る。
【0014】すなわち、上記動きベクトル検出回路20
2は、前フレーム222の検査ブロック224を所定の
移動範囲内において移動し、該移動する毎に検査ブロッ
ク224と上記現在フレーム221の基準ブロック22
3とを比較する。そして、上記基準ブロック223に最
も合致する検査ブロック224をマッチングブロックと
して検出し、このマッチングブロックに基づいて動きベ
クトルの検出を行う。
【0015】このようなブロックマッチング法として
は、フルサーチと呼ばれるブロックマッチング法と、マ
ルチステップサーチと呼ばれるブロックマッチング法と
が知られている。
【0016】上記フルサーチのブロックマッチング法が
適用された動きベクトル検出回路は、例えば図9に示す
ような構成を有している。この図9において、現フレー
ムメモリ231には入力端子233を介して現在フレー
ムの画像データが供給され、前フレームメモリ232に
は入力端子234を介して前フレームの画像データが供
給される。上記各フレームメモリ231,232に供給
された各画像データは、それぞれコントローラ235の
書き込み制御により、該各フレームメモリ231,23
2内に一旦書き込まれる。
【0017】このように上記各フレームメモリ231,
232内に各画像データが書き込まれると、上記コント
ローラ235は、上記図8に示した現在フレーム221
の基準ブロックの画像データを読み出すように上記現フ
レームメモリ231を読み出し制御するとともに、前フ
レーム222の検査ブロック224の画像データを読み
出すようにアドレス移動回路236を介して前フレーム
メモリ232を読み出し制御する。また、上記コントロ
ーラ235は、上記検査ブロック224が、図10に示
すように1画素毎に所定の移動範囲SV内を移動するよ
うに、1画素ずつ上記前フレームメモリ232の読み出
しアドレスをアドレス移動回路236を介して可変制御
する。
【0018】これにより、上記現フレームメモリ231
から上記基準ブロック223の画像データが差分検出回
路237に供給されるとともに、上記前フレームメモリ
232から上記移動範囲SV内において1画素ずつ移動
された検査位置の検査ブロック224の画像データが上
記差分検出回路237に供給される。
【0019】上記差分検出回路237は、上記基準ブロ
ック223の画像データと、上記検査ブロック224の
画像データとを1画素毎に減算処理して差分データを形
成し、これを絶対値和検出回路238に供給する。
【0020】上記絶対値和検出回路238は、1回のブ
ロックの比較により形成された差分データの絶対値を検
出し、この絶対値を全て加算処理することにより絶対値
和データを形成し、これを判断回路239に供給する。
【0021】上記判断回路239は、例えば上記移動範
囲SV内を上記検査ブロック224を1画素ずつ移動し
てブロックマッチングを行う1回のブロックマッチング
処理により形成される全ての絶対値和データを記憶でき
るメモリを有している。上記判断回路239は、上記絶
対値和検出回路238から供給される絶対値和データ
を、その絶対値和データが形成された上記移動範囲SV
の検査位置に対応するアドレスに一旦記憶する。そし
て、上記メモリの全てのアドレスに上記絶対値和データ
が記憶されると、この絶対値和データの中から値が最小
のものが記憶されているアドレスを検出し、このアドレ
スに基づいて動きベクトルを検出する。そして、この動
きベクトルを出力端子240を介して、上記図7に示し
た動き補償回路204に供給する。
【0022】上記値が最小の絶対値和データは、前フレ
ームの検査ブロック224の画像データと現在フレーム
の基準ブロック223の画像データとの差分が最小であ
ること、すなわち、その検査ブロック224の画像デー
タと基準ブロック223の画像データとが一致すること
を示している。また、上述のように上記絶対値和データ
は、ブロックマッチングを行った位置に対応した上記メ
モリ上のアドレスに記憶される。
【0023】従って、上記値が最小の絶対値和データが
記憶されている上記メモリ上のアドレスを検出すること
により、上記値が最小の絶対値和データが形成された検
査ブロック224に対する上記基準ブロック223の動
き分(動きベクトル)を検出することができる。
【0024】なお、このように1回のブロックマッチン
グで動きベクトルの検出がなされると、上記判断回路2
59は、コントローラ235に該動きベクトルの検出が
なされたことを示すデータを供給する。上記コントロー
ラ235は、上記動きベクトルの検出がなされたことを
示すデータが供給されると、新たな現在フレームの画像
データ及び前フレームの画像データが上記各フレームメ
モリ231,232に書き込まれるように該各フレーム
メモリ231,232を書き込み制御する。これによ
り、新たに上述のブロックマッチング処理が行われる。
【0025】しかし、このようなフルサーチを行うと、
上記検査ブロック224を、上記移動範囲SVにおいて
1画素毎に移動させながら動きベクトルの検出を行う必
要があるため、演算量が膨大なものとなり画像データの
高速処理に支障をきたす。このため、現在では、最初は
大きな移動範囲で動きベクトルの検出を行い、この検出
結果に応じて徐々に移動範囲を小さくするように、多段
階に亘ってブロックマッチング処理を行うことにより、
演算量の軽減を図るマルチステップサーチが多く行われ
ている。
【0026】上記マルチステップサーチとしては、3段
階に亘って動きベクトルの検出を行う3ステップサー
チ、2段階に分けて動きベクトルの検出を行う2ステッ
プサーチ等が知られている。
【0027】まず、上記3ステップサーチが適用される
動きベクトル検出回路は、例えば図11に示すような構
成を有している。この図11において、現フレームメモ
リ251には入力端子253を介して現在フレームの画
像データが供給され、前フレームメモリ252には入力
端子254を介して前フレームの画像データが供給され
る。上記各フレームメモリ251,252に供給された
各画像データは、それぞれコントローラ255の書き込
み制御により、該各フレームメモリ251,252内に
一旦書き込まれる。
【0028】このように上記各フレームメモリ251,
252内に各画像データが書き込まれると、上記コント
ローラ255は、例えば上記現フレームメモリ251の
中央の記憶領域の所定数の画像データから形成される基
準ブロックの画像データが読み出されるように上記現フ
レームメモリ251を読み出し制御する。この基準ブロ
ックの画像データは、差分検出回路257に供給され
る。
【0029】また、上記コントローラ255は、これと
ともに、まず、第1ステップとして図12に示すように
上記前フレームメモリ252に記憶された画像データの
うち、例えば上記基準ブロックの中心のアドレスに対応
するアドレスの画像データを原点の画像データ270と
し、この原点の画像データ270に対して左斜め上方向
に4画素分ずれた画像データ271を中心とする上記基
準ブロックの画像データと同数の画像データを有する検
査ブロックの画像データが読み出されるようにi画素ス
テップアドレス移動回路256Aを介して上記前フレー
ムメモリ252を読み出し制御する。
【0030】また、上記コントローラ255は、これに
続いて、上記画像データ271から右方向に4画素分離
れた画像データ272を中心とする検査ブロック,上記
画像データ272から右方向に4画素分離れた画像デー
タ273を中心とする検査ブロック,上記原点の画像デ
ータ270から左方向に4画素分離れた画像データ27
4を中心とする検査ブロック,上記原点の画像データ2
70を中心とする検査ブロック,上記原点の画像データ
270から右方向に4画素分離れた画像データ275を
中心とする検査ブロック,上記原点の画像データ270
から左斜め下方向に4画素分離れた画像データ276を
中心とする検査ブロック,上記画像データ276から右
方向に4画素分離れた画像データ277を中心とする検
査ブロック,上記画像データ277から右方向に4画素
分離れた画像データ278を中心とする検査ブロックの
各画像データが順に読み出されるように上記i画素ステ
ップアドレス移動回路256Aを介して上記前フレーム
メモリ252を読み出し制御する。
【0031】この前フレームメモリ252から読み出さ
れた各検査ブロックの画像データは、それぞれ上記差分
検出回路257に供給される。
【0032】すなわち、この第1ステップでは、上記図
12に示す各画像データ271〜278をそれぞれ中心
として4画素毎に検査ブロックを移動することにより、
同図中太線で示す第1の移動範囲SV1でブロックマッ
チング処理が行われることとなる。
【0033】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。これにより、上記検
査ブロックの移動を行った分である計9個の絶対値和デ
ータが形成されることとなる。この絶対値和データは、
それぞれ判断回路259に供給される。
【0034】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロックを4画素ずつ移動
してブロックマッチングを行う1回のブロックマッチン
グ処理により形成される全ての絶対値和データを記憶で
きるメモリを有している。上記判断回路259は、上記
絶対値和検出回路258から供給される絶対値和データ
を、その絶対値和データが形成された上記第1の移動範
囲SV1の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
【0035】上記絶対値和データの値が最小であるとい
うことは、前フレームにおける検査ブロックと現在フレ
ームにおける基準ブロックとの相関性が高いことを示し
ている。このため、上記コントローラ255は、上記絶
対値和データに基づいて、その絶対値和データが検出さ
れた検査ブロックの中心に位置する、上記前フレームメ
モリ252上のアドレスの画像データを検出する。そし
て、第2のステップとして、上記画像データを中心とし
て移動範囲を狭めてブロックマッチング処理を行う。
【0036】すなわち、上記値が最小の絶対値和データ
が検出された検査ブロックの中心の画像データが図12
に×点で示す画像データ276であったとすると、上記
コントローラ255は、第2ステップとして図13
(a)に示すように、上記画像データ276から左斜め
上に2画素分離れた画像データ281を中心とする検査
ブロック,上記画像データ281から右方向に2画素分
離れた画像データ282を中心とする検査ブロック,上
記画像データ282から右方向に2画素分離れた画像デ
ータ283を中心とする検査ブロック,上記画像データ
276から左方向に2画素分離れた画像データ284を
中心とする検査ブロック,上記画像データ276を中心
とする検査ブロック,上記画像データ276から右方向
に2画素分離れた画像データ285を中心とする検査ブ
ロック,上記画像データ276から左斜め下方向に2画
素分離れた画像データ286を中心とする検査ブロッ
ク,上記画像データ286から右方向に2画素分離れた
画像データ287を中心とする検査ブロック,上記画像
データ287から2画素分離れた画像データ288を中
心とする検査ブロックの各画像データが順に読み出され
るように上記i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
【0037】この前フレームメモリ252から読み出さ
れた各検査ブロックの画像データは、それぞれ上記差分
検出回路257に供給される。
【0038】すなわち、この第2ステップでは、上記図
13(a)に示す各画像データ281〜288及び画像
データ276をそれぞれ中心として2画素毎に検査ブロ
ックを移動することにより、同図(a)中太線で示す第
2の移動範囲SV2でブロックマッチング処理が行われ
ることとなる。
【0039】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。これにより、上記検
査ブロックの移動を行った分である計9個の絶対値和デ
ータが形成されることとなる。この絶対値和データは、
それぞれ判断回路259に供給される。
【0040】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9つの絶対値和データ
を、その絶対値和データが形成された上記第2の移動範
囲SV2の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
【0041】上述のように、上記絶対値和データの値が
最小であるということは、前フレームにおける検査ブロ
ックと現在フレームにおける基準ブロックとの相関性が
高いことを示している。このため、上記コントローラ2
55は、上記絶対値和データに基づいて、その絶対値和
データが検出された検査ブロックの中心に位置する、上
記前フレームメモリ252上のアドレスの画像データを
検出する。そして、第3のステップとして、上記画像デ
ータを中心として移動範囲をさらに狭めてブロックマッ
チング処理を行う。
【0042】すなわち、上記値が最小の絶対値和データ
が検出された検査ブロックの中心の画像データが図13
(a)に△点で示す画像データ283であったとする
と、上記コントローラ255は、第3ステップとして同
図(b)に示すように、上記画像データ283から左斜
め上に1画素分離れた画像データ291を中心とする検
査ブロック,上記画像データ291から右方向に1画素
分離れた画像データ292を中心とする検査ブロック,
上記画像データ292から右方向に1画素分離れた画像
データ293を中心とする検査ブロック,上記画像デー
タ283から左方向に1画素分離れた画像データ294
を中心とする検査ブロック,上記画像データ283を中
心とする検査ブロック,上記画像データ283から右方
向に1画素分離れた画像データ295を中心とする検査
ブロック,上記画像データ283から左斜め下方向に1
画素分離れた画像データ296を中心とする検査ブロッ
ク,上記画像データ296から右方向に1画素分離れた
画像データ297を中心とする検査ブロック,上記画像
データ297から1画素分離れた画像データ298を中
心とする検査ブロックの各画像データが順に読み出され
るように1画素ステップアドレス移動回路256Bを介
して上記前フレームメモリ252を読み出し制御する。
【0043】この前フレームメモリ252から読み出さ
れた各検査ブロックの画像データは、それぞれ上記差分
検出回路257に供給される。
【0044】すなわち、この第3ステップでは、上記図
13(b)に示す各画像データ291〜298及び画像
データ283をそれぞれ中心として1画素毎に検査ブロ
ックを移動することにより、同図(b)中太線で示す第
3の移動範囲SV3でブロックマッチング処理が行われ
ることとなる。
【0045】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。これにより、上記検
査ブロックの移動を行った分である計9個の絶対値和デ
ータが形成されることとなる。この絶対値和データは、
それぞれ判断回路259に供給される。
【0046】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9つの絶対値和データ
を、その絶対値和データが形成された上記第3の移動範
囲SV3の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
【0047】上記コントローラ255は、上記値が最小
の絶対値和データが形成された検査ブロックを検出し、
この検査ブロックの中心に位置する画像データを検出す
る。具体的には、例えば上記値が最小の絶対値和データ
が形成された検査ブロックの中心に位置する画像データ
が図13(b)に斜線で示す画像データ296であった
とすると、上記コントローラ255は、上記画像データ
296の前フレームメモリ252上のアドレスを検出す
る。そして、この検査ブロックの中心の画像データの前
フレームメモリ252上のアドレスと、上記現在フレー
ムメモリ251上の基準ブロックの中心の画像データの
アドレスとの差分を検出することにより、上記値が最小
の絶対値和データが形成された検査ブロックに対する上
記基準ブロックの動き分(動きベクトル)を検出し、こ
の動きベクトルを出力端子260を介して上記図7に示
した動き補償回路204に供給する。
【0048】これにより、上記図7に示した画像データ
の符号化装置において、上述のように画像データの圧縮
符号化処理を行うことができる。
【0049】次に、2ステップサーチが適用される動き
ベクトル検出回路は、構成的には上記図11に示した回
路と同じであるが、この場合、上記コントローラ255
は、第1ステップで2画素毎に検査ブロックを移動させ
るように上記i画素ステップアドレス移動回路256を
制御し、第2ステップで1画素毎に検査ブロックを移動
させるように上記1画素ステップアドレス移動回路を制
御するようになっている。
【0050】すなわち、上記図11において、上記現フ
レームメモリ251に現在フレームの画像データが記憶
され、前フレームメモリ252に前フレームの画像デー
タが記憶されると、上記コントローラ255は、例えば
上記現フレームメモリ251の中央の記憶領域の所定数
の画像データから形成される基準ブロックの画像データ
が読み出されるように上記現フレームメモリ251を読
み出し制御する。この基準ブロックの画像データは、差
分検出回路257に供給される。
【0051】また、上記コントローラ255は、これと
ともに、まず、第1ステップとして図14(a)に示す
ように上記前フレームメモリ252に記憶された画像デ
ータのうち、例えば上記基準ブロックの中心のアドレス
に対応するアドレスの画像データを原点の画像データ3
00とし、同図(a)中太線で示すように上記原点の画
像データ300を中心とする第1の移動範囲SV1内を
2画素毎に検査ブロックが移動するように上記i画素ス
テップアドレス移動回路256Aを介して上記前フレー
ムメモリ252を読み出し制御する。この各検査ブロッ
クの画像データは、それぞれ上記差分検出回路257に
供給される。
【0052】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロック同士の比較により検出される差分データを全て加
算して絶対値和データを形成する。例えば、図14
(a)の○点及び●点に示すように49回に亘って、上
記検査ブロックの移動が行われたとすると、計49個の
絶対値和データが形成されることとなる。この絶対値和
データは、それぞれ判断回路259に供給される。
【0053】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロックを2画素ずつ移動
してブロックマッチングを行う1回のブロックマッチン
グ処理により形成される全ての絶対値和データを記憶で
きるメモリを有している。上記判断回路259は、上記
絶対値和検出回路258から供給される絶対値和データ
を、その絶対値和データが形成された上記第1の移動範
囲SV1の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
【0054】上記絶対値和データの値が最小であるとい
うことは、前フレームにおける検査ブロックと現在フレ
ームにおける基準ブロックとの相関性が高いことを示し
ている。このため、上記コントローラ255は、上記絶
対値和データに基づいて、その絶対値和データが検出さ
れた検査ブロックの中心に位置する、上記前フレームメ
モリ252上のアドレスの画像データを検出する。そし
て、第2のステップとして、上記画像データを中心とし
て移動範囲を狭めてブロックマッチング処理を行う。
【0055】すなわち、上記値が最小の絶対値和データ
が検出された検査ブロックの中心の画像データが図14
(a)に斜線で示す画像データ301であったとする
と、上記コントローラ255は、第2ステップとして同
図(b)中太線で示すように、上記画像データ301を
中心とする第2の移動範囲SV2内を1画素毎に検査ブ
ロックが移動するように上記1画素ステップアドレス移
動回路256Bを介して上記前フレームメモリ252を
読み出し制御する。この各検査ブロックの画像データ
は、それぞれ上記差分検出回路257に供給される。
【0056】上記差分検出回路257は、上記基準ブロ
ックの画像データと、上記各検査ブロックの画像データ
とを比較してその差分を検出し、この差分データを絶対
値和検出回路258に供給する。上記絶対値和検出回路
258は、上記差分データの絶対値を検出し、1回のブ
ロックどおしの比較により検出される差分データを全て
加算して絶対値和データを形成する。これにより、図1
4(b)に示すように上記検査ブロックの移動を行った
分の計9個の絶対値和データが形成されることとなる。
この絶対値和データは、それぞれ判断回路259に供給
される。
【0057】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9つの絶対値和データ
を、その絶対値和データが形成された上記第2の移動範
囲SV2の検査位置に対応するアドレスに一旦記憶す
る。そして、上記メモリの全てのアドレスに上記絶対値
和データが記憶されると、この絶対値和データの中から
値が最小のものを検出し、この値が最小の絶対値和デー
タを上記コントローラ255に供給する。
【0058】上記コントローラ255は、上記値が最小
の絶対値和データが形成された検査ブロックが上記基準
ブロックと一致しているとし、その絶対値和データが形
成された検査ブロックの例えば中心の画像データのアド
レスを検出する。そして、この検査ブロックの中心の画
像データのアドレスと、上記基準ブロックの中心の画像
データのアドレスとの差分を検出することにより、上記
値が最小の絶対値和データが形成された検査ブロックに
対する上記基準ブロックの動き分(動きベクトル)を検
出し、この動きベクトルを出力端子260を介して上記
図7に示した動き補償回路204に供給する。
【0059】このように、マルチステップサーチでは、
第1ステップ〜第3ステップの計3段階に分けて、或い
は、第1ステップ及び第2ステップの計2段階に分けて
動きベクトルの検出を行うようにしているため、最初は
粗く徐々に細かく動きベクトルの検出を行うことがで
き、上述のフルサーチよりも演算量を削減することがで
き、画像データの高速処理化を図ることができる。
【0060】
【発明が解決しようとする課題】ここで、上記画像デー
タとしては、例えばいわゆる422の画像データ(輝度
データ=4,2つの色データ2,2)と、420の画像
データ(輝度データ=4,2つの色データ1,1)等が
あり、上記422の画像データの輝度データは、水平サ
ンプリング周波数が垂直サンプリング周波数よりも低
く、また、逆に、上記420の画像データの輝度データ
は、垂直サンプリング周波数が水平サンプリング周波数
よりも低くなっている。
【0061】しかし、従来の3ステップサーチは、第1
ステップにおいて、垂直方向及び水平方向に4画素間隔
で検査ブロック224を移動しながらブロックマッチン
グ処理を行い、また、2ステップサーチは、第1ステッ
プにおいて、垂直方向及び水平方向に2画素間隔で検査
ブロック224を移動しながらブロックマッチング処理
を行う等のように、上記検査ブロック224を移動する
間隔が垂直方向及び水平方向とも同じ間隔であった。こ
のため、上記422の画像データの輝度データに基づい
て動きベクトルの検出を行う場合、サンプリング周波数
の低い水平方向の動きベクトルの検出精度が低下し、ま
た、上記420の画像データの輝度データに基づいて動
きベクトルの検出を行う場合、サンプリング周波数の低
い垂直方向の動きベクトルの検出精度が低下する問題が
あった。
【0062】また、従来のマルチステップサーチは、画
像データを形成する輝度データ及び色データのうち、該
輝度データのみに基づいて動きベクトルの検出を行って
おり、この輝度データの動きベクトルを、輝度データ及
び色データの両方の動きベクトルとして検出するように
していたため、該色データについて動きベクトルの検出
を行わない分、動きベクトルの検出精度が低下する問題
があった。
【0063】また、従来のマルチステップサーチは、上
記検査ブロック224を移動範囲内において、垂直方向
及び水平方向に移動させてブロックマッチング処理を行
っていたため、斜め方向に対する動きベクトルの検出精
度が低下する問題があった。
【0064】本発明は上述の問題点に鑑みてなされたも
のであり、画像データの垂直サンプリング周波数及び水
平サンプリング周波数に応じて検査ブロック224の移
動範囲を可変し、また、輝度データ及び色データの両方
について動きベクトルの検出を行い、また、上記検査ブ
ロック224を水平方向,垂直方向及び斜め方向にも移
動させて動きベクトルの検出を行うことにより、検出精
度の向上を図ることができるような動きベクトル検出方
法、及び、この動きベクトル検出方法で形成された正確
な動きベクトルを用いることにより、画像データに応じ
た正確な圧縮符号化を行うことができるような画像デー
タの符号化方法の提供を目的とする。
【0065】
【課題を解決するための手段】本発明に係る動きベクト
ル検出方法は、時間的に前後する現在画像或いは前画像
の所定位置に所定画素からなる基準ブロックを設定し、
上記基準ブロックと同じ画素数からなる検査ブロック
を、上記基準ブロックが設定された画像以外の画像の所
定の移動範囲内で移動し、該検査ブロックを移動する毎
に、検査ブロックの各画素と基準ブロックの各画素の差
分の絶対値和を検出し、上記検査ブロックの移動に対応
して得られた各絶対和の中から最小値の絶対値和を検出
し、この最小値の絶対値和が形成された移動範囲内の所
定位置の画素に基づいて上記検査ブロックの次の移動範
囲を所定分狭め、再度、上記最小値の絶対値和を検出す
る動作を、上記検査ブロックの最小限度の移動範囲とな
るまで繰り返し行い、この最小限度の移動範囲で検出さ
れた、最小値の絶対値和に基づいて動きベクトルを検出
する動きベクトル検出方法において、画像データの水平
サンプリング周波数及び垂直サンプリング周波数のう
ち、サンプリング周波数の低い方向に対して、上記検査
ブロックの移動を密に行うことを特徴として上述の課題
を解決する。
【0066】また、本発明に係る動きベクトル検出方法
は、画像データを形成する輝度データ及び色データに基
づいてそれぞれ動きベクトル検出を行う場合、上記輝度
データについては、水平方向の移動よりも垂直方向の移
動が密となるように上記検査ブロックの移動を行い、上
記色データについては、垂直方向の移動よりも水平方向
の移動が密となるように上記検査ブロックの移動を行う
ことを特徴として上述の課題を解決する。
【0067】また、本発明に係る動きベクトル検出方法
は、上記検査ブロックの移動を斜め方向に密に行うこと
を特徴として上述の課題を解決する。
【0068】次に、本発明に係る画像データの符号化方
法は、時間的に前後する現在画像及び前画像から画像の
動きベクトルを検出し、この動きベクトルに応じて前画
像の動き補償を行い、上記現在画像と動き補償を行った
前画像との差分を直交変換処理し量子化することによ
り、圧縮符号化した画像データを形成する画像データの
符号化方法であって、上記動きベクトルを検出する際
に、上記現在画像或いは前画像の所定位置に所定画素数
からなる基準ブロックを設定し、上記基準ブロックと同
じ画素数からなる検査ブロックを、上記基準ブロックが
設定された画像以外の画像の所定の移動範囲内で、画像
データの水平サンプリング周波数及び垂直サンプリング
周波数のうち、サンプリング周波数の低い方向に対して
密に移動し、上記検査ブロックを移動する毎に、検査ブ
ロックの各画素と基準ブロックの各画素の差分の絶対値
和を検出し、上記移動範囲で検査ブロックを移動させる
ことにより検出された各絶対値和のうち、最小値の絶対
値和を検出し、上記最小値の絶対値和が形成された検査
ブロックの所定位置の画素に基づいて、上記検査ブロッ
クの次の移動範囲を所定分狭めて設定し、上記所定分狭
めて設定された移動範囲で上記検査ブロックの移動を行
って最小値の絶対値和を検出する動作を、上記検査ブロ
ックの最小限度の移動範囲となるまで繰り返し行い、上
記最小限度の移動範囲で検査ブロックを移動した際に得
られた、最小値の絶対値和に基づいて動きベクトルの検
出を行うことを特徴として上述の課題を解決する。
【0069】
【作用】本発明に係る動きベクトル検出方法は、まず、
時間的に前後する現在画像或いは前画像の所定位置に所
定画素からなる基準ブロックを設定し、上記基準ブロッ
クと同じ画素数からなる検査ブロックを、上記基準ブロ
ックが設定された画像以外の画像に設定する。
【0070】具体的には、例えば上記現在画像として現
在フレームの画像を、また、前画像として前フレームの
画像を用い、上記現在フレームの画像の中央の所定領域
に上記基準ブロックを設定し、上記前フレームの画像の
所定位置に上記検査ブロックを設定する。
【0071】上記基準ブロックを現在フレームの中央の
領域に設定するのは、主とする被写体は画像の中央部分
に位置しているであろうとの考えに基づいているためで
あり、以下に説明するように、当該検出方法は、前フレ
ームの所定の移動範囲内において上記検査ブロックを移
動し、この検査ブロックの移動を行う毎に、該検査ブロ
ックの画像と上記基準ブロックの画像とを比較して、該
基準ブロックの画像に一致する画像の検査ブロックを検
出する(ブロックマッチング処理)。そして、この検査
ブロックに対して上記基準ブロックがどれだけ移動して
いるかを検出することにより、動きベクトルの検出を行
う。
【0072】すなわち、上記基準ブロック及び検査ブロ
ックが設定されると、画像データの水平サンプリング周
波数及び垂直サンプリング周波数のうち、サンプリング
周波数の低い方向に対して、上記検査ブロックの移動を
密に行う。
【0073】例えば、画像データとしては、いわゆる4
22の画像データ(輝度データ=4,2つの色データ=
2,2)と、上記422の画像データのうち、色データ
の垂直方向の画素数を半分とした420の画像データ
(輝度データ=4,2つの色データ=1,1)等があ
る。
【0074】上記420の画像データの輝度データに基
づいて動きベクトルの検出を行うとすると、該画像デー
タの画枠は、垂直方向が3に対して水平方向が4の比率
となっており、また、画素数は、垂直方向が480個に
対して水平方向が720個となっており、輝度データの
サンプリング周波数は、水平方向のサンプリング周波数
よりも垂直方向のサンプリング周波数の方が低い。
【0075】このため、当該動きベクトル検出方法は、
上記検査ブロックを、水平方向よりも垂直方向に密に移
動させて上記ブロックマッチング処理を行う。
【0076】また、上記422の画像データの輝度デー
タに基づいて動きベクトル検出を行うとすると、この輝
度データのサンプリング周波数は、垂直方向のサンプリ
ング周波数よりも水平方向のサンプリング周波数の方が
低い。このため、当該動きベクトル検出方法は、上記検
査ブロックを、垂直方向よりも水平方向に密に移動させ
て上記ブロックマッチング処理を行う。
【0077】次に、当該動きベクトル検出方法は、この
ような検査ブロックの移動を行う毎に該検査ブロックの
各画素と上記基準ブロックの各画素との差分の絶対値和
を検出する。これにより、上記移動回数分の絶対値和が
検出されることとなる。そして、上記各絶対値和の中か
ら値が最小の絶対値和を検出する。
【0078】上記絶対値和の値が最小であるということ
は、その絶対値和が検出された位置の検査ブロックの画
像と、上記基準ブロックの画像との相関性が高いことを
示している。このため、当該検出方法では上記最小値の
絶対値和を検出し、この絶対値和に基づいて次の移動範
囲を設定するようにしている。
【0079】次に、上記最小値の絶対値和が検出される
と、該最小値の絶対値和が検出された検査ブロックの例
えば中央に位置する画素を中心として上記検査ブロック
の最初の移動範囲以下の移動範囲を設定し、この移動範
囲に沿って上記検査ブロックを移動させてブロックマッ
チング処理を行い、最小値の絶対値和データを検出す
る。
【0080】当該動きベクトル検出方法は、このよう
な、検査ブロックの移動により検出された最小値の絶対
値和に基づいて、該検査ブロックの移動範囲を徐々に狭
めながらブロックマッチング処理を行う動作を、該検査
ブロックの最小限度の移動範囲となるまで繰り返し行
う。そして、上記最小限度の移動範囲で検出された、複
数の絶対値和のうち、値が最小の絶対値和に基づいて動
きベクトルの検出を行う。
【0081】水平サンプリング周波数よりも垂直サンプ
リング周波数の方が低い画像データに対して、上記検査
ブロックを垂直方向及び水平方向にそれぞれ同じ分だけ
移動させて動きベクトルの検出を行うと、上記垂直方向
の検出精度が低下し、逆に、垂直サンプリング周波数よ
りも水平サンプリング周波数の方が低い画像データに対
して、上記検査ブロックを垂直方向及び水平方向にそれ
ぞれ同じ分だけ移動させて動きベクトルの検出を行う
と、上記水平方向の検出精度が低下する。
【0082】しかし、当該動きベクトル検出方法では、
上述のように、水平サンプリング周波数及び垂直サンプ
リング周波数のうち、サンプリング周波数の低い方向に
対して検査ブロックの移動を密に行うようにしているた
め、上記垂直サンプリング周波数が低い画像データに対
しては垂直方向の移動を密にし、また、上記水平サンプ
リング周波数が低い画像データに対しては水平方向の移
動を密にすることができ、該垂直方向或いは水平方向の
動きベクトルの検出精度を向上させることができる。
【0083】ここで、一般的には、動きベクトルの検出
は、画像データを形成する輝度データ及び色データのう
ち、該輝度データのみに対して行われ、色データに対し
ては行われない。そして、上記輝度データに対して求め
た動きベクトルを、該輝度データ及び色データで共用す
るようにしていたため、該色データの動きベクトルの検
出をしていない分、検出精度が低下する。
【0084】このため、当該動きベクトル検出方法は、
上記輝度データ及び色データの両方についてそれぞれ上
述の動きベクトルの検出を行うようにした。
【0085】具体的には、例えば上記420の画像デー
タの輝度データは、水平サンプリング周波数よりも垂直
サンプリング周波数の方が低い。このため、上記検査ブ
ロックを、水平方向よりも垂直方向に密に移動させて動
きベクトルの検出を行う。また、上記色データは、垂直
サンプリング周波数よりも水平サンプリング周波数の方
が低い。このため、上記検査ブロックを、垂直方向より
も水平方向に密に移動させて動きベクトルの検出を行
う。
【0086】これにより、上記輝度データ及び色データ
に基づいて、それぞれ動きベクトルを検出することがで
きるため、全体的な動きベクトルの検出精度を向上させ
ることができる。
【0087】次に、このように上記検査ブロックの垂直
方向及び水平方向のみに移動させて動きベクトルの検出
を行うと、斜め方向の動きベクトルの検出精度が低下す
る。このため、当該動きベクトル検出方法は、画像デー
タのサンプリング周波数に応じて、上記検査ブロックを
垂直方向或いは水平方向に密に移動させるうえ、該検査
ブロックを斜め方向にも移動させて動きベクトルの検出
を行うようにした。
【0088】これにより、上記画像データに応じて垂直
方向或いは水平方向の検出精度の劣化を補うことができ
るうえ、上記斜め方向の検出精度の向上を図ることがで
き、全体的な動きベクトルの検出精度をさらに向上させ
ることができる。
【0089】なお、このような検査ブロックの移動範囲
の制御は、例えば3ステップサーチのうち、第1ステッ
プのみに適用し、第2ステップのみに適用し、第3ステ
ップのみに適用し、選択的に第1〜第3ステップに適用
し、又は、全部のステップに適用し、或いは、2ステッ
プサーチのうち、第1ステップのみに適用し、第2ステ
ップのみに適用し、第1,第2のステップに適用する等
のように、多段階的な移動範囲の制御を行ううち、全部
の段階に適用するようにしてもよいし、所望の段階に適
用するようにしてもよく、その選択は自由である。
【0090】次に、本発明に係る画像データの符号化方
法は、動きベクトルに応じて画像データの圧縮符号化を
行う画像データの符号化方法であって、上記動きベクト
ルの検出の際に、上述のように、画像データの垂直サン
プリング周波数及び水平サンプリング周波数に応じて検
査ブロックの移動制御を行い、該検査ブロックを移動さ
せることにより検出された複数の絶対値和の中から、最
小値の絶対値和を検出し、この絶対値和に基づいて検査
ブロックの移動範囲を徐々に狭めながら最小値の該絶対
値和の検出を行う動作を、上記検査ブロックの最小限度
の移動範囲となるまで繰り返し行い、上記最小限度の移
動範囲で検出された、最小値の絶対値和に基づいて動き
ベクトルの検出を行う、本発明に係る動きベクトル検出
方法を用いる。
【0091】上述のように、本発明に係る動きベクトル
検出方法は、精度よく動きベクトルを検出することがで
きるため、正確な動きベクトルを検出することができ
る。従って、当該画像データの符号化方法は、画像デー
タの圧縮符号化に正確な動きベクトルを用いることがで
き、画像の動きに応じて正確に画像データを圧縮符号化
することができる。
【0092】なお、上記現在画像として現在フレームの
画像を、また、前画像として前フレームの画像を用いる
こととしたが、これは、上記現在画像として現在フレー
ムの画像を、また、前画像として2フレーム前の画像,
3フレーム前の画像・・・を用いるようにしてもよい。
同じく、上記現在画像として現在フィールドの画像を、
また、前画像として前フィールドの画像、或いは、2フ
ィールド前の画像,3フィールド前の画像・・・を用い
るようにしてもよい。
【0093】また、上記基準ブロックを現在フレームの
画像の中央の所定領域に設定することとしたが、これ
は、現在フレーム(或いは現在フィールド)内であれば
どの位置に設定してもよい。同じく、上記検査ブロック
も前フレーム(或いは前フィールド)内であればどの位
置に設定してもよい。
【0094】さらに、上記基準ブロックを現在画像内に
設定し、上記検査ブロックを前画像内に設定することと
したが、これは、逆に、前画像内に基準ブロックを設定
し、現在画像内に検査ブロックを設定して、該現在画像
内において検査ブロックを移動させて動きベクトルの検
出を行うようにしてもよい。
【0095】
【実施例】以下、本発明に係る動きベクトル検出方法及
び画像データの符号化方法の好ましい実施例について図
面を参照しながら詳細に説明する。本発明に係る動きベ
クトル検出方法は、現在画像中の所定の領域に所定画素
数からなる基準ブロックを設定し、該基準ブロックと同
画素の検査ブロックを、最初のステップでは大きく移動
させて基準ブロックと検査ブロックとの相関性を検出し
(ブロックマッチング処理)、続くステップでは検出さ
れた相関性に応じて移動範囲の位置を設定するととも
に、該移動範囲を徐々に狭めながら相関性を検出し、最
終的なステップで検出された検査ブロックの位置に対す
る上記基準ブロックの位置に基づいて動きベクトルの検
出を行うマルチステップサーチ法である。
【0096】上記マルチステップサーチとしては、上記
検査ブロックの移動範囲を2段階に分けて徐々に狭めて
いく2ステップサーチ、及び、上記検査ブロックの移動
範囲を3段階に分けて徐々に狭めていく3ステップサー
チ等がある。
【0097】本発明の第1の実施例に係る動きベクトル
検出方法は、上記3ステップサーチに適用したものであ
り、図1に示すように第1ステップとして、前フレーム
の中心に位置する画素(図中●=原点)1を中心とする
第1の移動範囲SV1を設定し、この第1の移動範囲S
V1内において上記ブロックマッチング処理を行って相
関性の一番高い検査ブロックを検出する。次に、図2
(a)に示すように、第2ステップにおいて、上記相関
性の一番高い検査ブロックに基づいて、移動範囲の狭め
られた第2の移動範囲SV2を設定して上記ブロックマ
ッチング処理を行う。そして、図2(b)に示すよう
に、第3ステップにおいて、上記相関性の一番高い検査
ブロックに基づいて、移動範囲の狭められた第3の移動
範囲SV3を設定して上記ブロックマッチング処理を行
い、この第3ステップで検出された相関性の一番高い検
査ブロックに基づいて動きベクトルの検出を行うもので
ある。
【0098】すなわち、当該第1の実施例に係る動きベ
クトル検出方法は、図7に示す画像データの符号化装置
の動きベクトル検出回路202に適用することができ
る。
【0099】上記図7に示す画像データの符号化装置
は、入力端子201を介して現在フレームの画像データ
が供給される。この現在フレームの画像データは、動き
ベクトル検出回路202及び減算器203に供給され
る。
【0100】上記動きベクトル検出回路202には、上
記現在フレームの画像データの他、以下に説明するフレ
ームメモリ205からの前フレームの画像データが供給
されている。上記動きベクトル検出回路202は、上記
現在フレームの画像データ及び前フレームの画像データ
に基づいて画像の動きを検出することにより動きベクト
ルを形成し、これを動き補償回路204に供給する。
【0101】上記動き補償回路204には、フレームメ
モリ205から前フレームの画像データが供給されてい
る。上記動き補償回路204は、上記動きベクトル検出
回路202からの動きベクトルに基づいて、上記前フレ
ームの画像データに動き補償処理を施し、これを上記減
算器203及び加算器206に供給する。
【0102】上記減算器203は、上記現在フレームの
画像データと、上記動き補償処理の施された前フレーム
の画像データとを減算処理することにより、現在フレー
ムの画像データと前フレームの画像データとの差分を示
す差分データを形成し、これを直交変換回路(DCT:
Discrete Cosine Transform 回路)207に供給する。
【0103】上記DCT回路207は、上記差分データ
を所定画素数のブロック毎に周波数軸上に変換してDC
Tブロックを形成し、これを量子化回路208に供給す
る。上記量子化回路208は、上記DCTブロックのレ
ベルに応じて量子化ステップ可変し、この量子化ステッ
プにより上記DCTブロックに量子化処理を施すことに
より圧縮画像データを形成し、これを出力端子209を
介して例えばディスク記録装置等の外部機器に供給する
とともに、逆量子化回路210に供給する。
【0104】上記逆量子化回路210は、上記量子化回
路208で選択された量子化ステップとは逆の量子化ス
テップで、上記圧縮画像データに逆量子化処理を施すこ
とにより、量子化処理される前のDCTブロックを再生
し、これを逆DCT回路211に供給する。上記逆DC
T回路211は、上記再生されたDCTブロックに逆D
CT処理を施すことにより、DCTブロック化される前
の差分データを形成し、これを上記加算器206に供給
する。
【0105】上記加算器206には、上記動き補償回路
204からの動き補償された前フレームの画像データが
別に供給されている。上記加算器206は、上記動き補
償された前フレームの画像データと、上記逆DCT回路
211からの差分データとを加算処理することにより、
現在フレームの画像データを再生し、これをフレームメ
モリ205に供給する。
【0106】上記フレームメモリ205に供給された現
在フレームの画像データは、1フレーム分の遅延が施さ
れ読み出される。これにより、上記現在フレームの画像
データは、読み出しの段階で前フレームの画像データと
され、上記動き補償回路204及び動きベクトル検出回
路202に供給される。上述のように、上記動き補償回
路204は、上記動きベクトル検出回路202からの動
きベクトルに応じて上記前フレームの画像データに動き
補償処理を施し、これを上記減算器203及び加算器2
06に供給する。以後、各回路において、上述の動作が
繰り返される。
【0107】このように、上記画像データの符号化装置
は、動きベクトルに基づいて動きベクトル補償された前
フレームの画像データと、現在フレームの画像データと
の差分を符号化して出力する。これにより、画像データ
の高能率圧縮を行うことができる。
【0108】ここで、上記動きベクトル検出回路202
は、図11に示すような構成を有しており、上記図7に
示す入力端子201からの現在フレームの画像データが
入力端子253を介して現フレームメモリ251に供給
され、上記図7に示すフレームメモリ205からの前フ
レームの画像データが入力端子254を介して前フレー
ムメモリ252に供給されるようになっている。コント
ローラ255は、上記各フレームメモリ251,252
に一旦記憶されるように該各フレームメモリ251,2
52を書き込み制御する。
【0109】次に、上記コントローラ255は、図8に
示すように上記現フレームメモリ251に記憶された現
在フレームの画像221の中央部分の画像データ(N画
素×Mライン)からなる基準ブロック223の画像デー
タを読み出すように該現フレームメモリ251を読み出
し制御する。この現フレームメモリ251から読み出さ
れた基準ブロック223は、差分検出回路257に供給
される。
【0110】また、上記コントローラ255は、これと
ともに、上記前フレームメモリ252に記憶された上記
図8に示す前フレームの画像データ222のうち、第1
ステップとして図1に示すように上記基準ブロック22
3の中心画素に対応する図中●で示す該前フレームの画
像データ222の中心画素(原点)1を検出するととも
に、図中太線で示す上記原点1を中心とした略々正方形
状の第1の移動範囲SV1を設定する。
【0111】ここで、上記画像データとしていわゆる4
22の画像データ(輝度データ=4,2つの色データ=
2,2)と、上記422の画像データのうち、色データ
の垂直方向の画素数を半分とした420の画像データ
(輝度データ=4,2つの色データ=1,1)等があ
る。
【0112】例えば、上記420の画像データの輝度デ
ータの画枠は、垂直方向が3に対して水平方向が4の比
率となっており、画素数は、垂直方向が480個に対し
て水平方向が720個となっており、サンプリング周波
数は、水平方向のサンプリング周波数よりも垂直方向の
サンプリング周波数の方が低い。
【0113】このため、上記画像データとして420の
画像データ(輝度データ)が供給された場合、この第1
の実施例に係る動きベクトル検出方法が適用された上記
動きベクトル検出回路202は、上記第1の移動範囲S
V1を設定する際に、上記基準ブロック223と同画素
数の図8に示す検査ブロック224を、水平方向よりも
垂直方向に密に移動させてブロックマッチング処理を行
う。
【0114】すなわち、上記第1の移動範囲SV1は、
図1に示すように4つの角部に画素2〜画素5が位置す
るようになっている。また、水平方向に4画素間隔で5
つの検索点を有しており、垂直方向に上記水平方向より
も密となるように3画素間隔で5つの検索点を有してい
る。すなわち、上記第1の移動範囲SV1は、計25点
の検索点で構成されている。なお、この各検索点は、上
記検査ブロック224が移動する際に、該検査ブロック
224の中心画素となる画素である。従って、上記検査
ブロック224は、各検索点に沿って水平方向には4画
素間隔で移動し、垂直方向には3画素間隔で移動するこ
ととなる。
【0115】このような第1の移動範囲SV1が設定さ
れると、上記コントローラ255は、上記各検索点に沿
って上記検査ブロック224を次々と設定し、この検査
ブロック224の移動を行う毎に、該検査ブロック22
4の画像データを読み出すように、i画素ステップアド
レス移動回路256Aを介して上記前フレームメモリ2
52を読み出し制御する。
【0116】上記移動を行う毎に形成される検査ブロッ
ク224の各画像データは、それぞれ上記差分検出回路
257に供給される。
【0117】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを同位置の画素毎に比較してその差分を
検出し、この各差分データを絶対値和検出回路258に
供給する。
【0118】上記絶対値和検出回路258は、上記差分
データの絶対値を検出し、1回のブロックどおしの比較
(ブロックマッチング処理)により検出される差分デー
タの絶対値を全て加算して絶対値和データを形成する。
これにより、上記検査ブロック224の移動を行った分
である計25個の絶対値和データが形成されることとな
る。この絶対値和データは、それぞれ判断回路259に
供給される。
【0119】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロック224を移動して
得られた25個の絶対値和データを、その絶対値和デー
タが検出された検査ブロック224の位置(検索点)に
対応して記憶できるメモリを有している。上記コントロ
ーラ255は、上記絶対値和検出回路258から判断回
路259に供給される絶対値和データを、その絶対値和
データが形成された上記検査ブロック224の位置に対
応して記憶されるように、上記メモリを書き込み制御す
る。
【0120】上記コントローラ255は、上記判断回路
259のメモリに上記25個の絶対値和データが記憶さ
れると、この絶対値和データの中から最小値の絶対値和
データを検出する。
【0121】上記最小値の絶対値和データは、上記検査
ブロック224と基準ブロック223との間の各画像の
相関性が高いことを示している。このため、上記コント
ローラ255は、上記最小値の絶対値和データを検出す
ると、この最小値の絶対値和データが検出された検査ブ
ロック224の中心の検索点を検出し、この検索点に基
づいて第2ステップの移動範囲を設定する。
【0122】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図1中△で示す検索点6で
あったとすると、次に、上記コントローラ255は、図
2(a)に示すように上記検索点6を中心とする略々正
方形状の第2の移動範囲SV2を設定する。
【0123】上記第2の移動範囲SV2は、4つの角部
に検索点10〜13が位置するようになっている。ま
た、水平方向に2画素間隔で3つの検索点を有してお
り、垂直方向にも上記水平方向と同じく2画素間隔で3
つの検索点を有している。すなわち、上記第2の移動範
囲SV2は、上記第1ステップの第1の移動範囲SV1
よりも狭くなるように計9点の検索点(上記第1ステッ
プにおいて選択された検索点6を含む。)で構成されて
いる。このため、この第2ステップにおいては、上記検
査ブロック224は、2画素間隔で垂直方向及び水平方
向に移動することとなる。
【0124】このような第2の移動範囲SV2が設定さ
れると、上記コントローラ255は、該移動範囲SV2
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
【0125】なお、この第2ステップでは、上記移動範
囲SV2の中心となる検索点6に係る絶対値和データ
は、上記第1ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV2におい
て、上記検索点6をぬかして検査ブロック224を移動
するように、上記i画素ステップアドレス移動回路25
6Aを介して上記前フレームメモリ252を読み出し制
御する。
【0126】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
【0127】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックどおしの比較により検出される差分
データを全て加算して絶対値和データを形成する。
【0128】これにより、上記移動範囲SV2に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点6に係る絶対値和データも含む。)の絶対値和
データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
【0129】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV2上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。そして、上記9個の絶対値和データが上記メモリに
記憶されると、この絶対値和データの中から最小値の絶
対値和データを検出し、この最小値の絶対値和データを
上記コントローラ255に供給する。
【0130】次に、上記コントローラ255は、上記最
小値の絶対値和データが検出された検査ブロック224
の中心の検索点を検出し、この検索点に基づいて第3ス
テップの移動範囲を設定する。
【0131】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図2(a)中×で示す検索
点13であったとすると、上記コントローラ255は、
図2(b)に示すように上記検索点13を中心とする略
々正方形状の第3の移動範囲SV3を設定する。
【0132】上記第3の移動範囲SV3は、4つの角部
に検索点15〜18が位置するようになっている。ま
た、水平方向に1画素間隔で3つの検索点を有してお
り、垂直方向にも上記水平方向と同じく1画素間隔で3
つの検索点を有している。すなわち、上記第3の移動範
囲SV3は、上記第2ステップの移動範囲SV2よりも
狭くなるように計9点の検索点(上記第2ステップにお
いて選択された検索点13を含む。)で構成されてい
る。このため、この第3ステップにおいては、上記検査
ブロック224は、1画素間隔で垂直方向及び水平方向
に移動することとなる。
【0133】このような第3の移動範囲SV3が設定さ
れると、上記コントローラ255は、該移動範囲SV3
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
【0134】なお、この第3ステップでは、上記移動範
囲SV3の中心となる検索点13に係る絶対値和データ
は、上記第2ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV3におい
て、上記検索点13をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
【0135】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
【0136】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックマッチング処理により検出される差
分データを全て加算して絶対値和データを形成する。
【0137】これにより、上記移動範囲SV3に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点13に係る絶対値和データも含む。)の絶対値
和データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
【0138】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV3上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。そして、上記9個の絶対値和データが上記メモリに
記憶されると、この絶対値和データの中から最小値の絶
対値和データを検出し、この最小値の絶対値和データを
上記コントローラ255に供給する。
【0139】上記絶対値和データの値が最小であるとい
うことは、上記検査ブロック224と基準ブロック22
3との間の各画像の相関性が高いことを示している。従
って、上記基準ブロック223に対して、上記最小値の
絶対値和データが検出された検査ブロック224がどれ
だけ離れているかを検出することにより、画像の動きベ
クトルを検出することができる。
【0140】このため、上記コントローラ255は、上
記最小値の絶対値和データに基づいて、その絶対値和デ
ータが検出された検査ブロック224の中心に位置す
る、上記前フレームメモリ252上の検索点のアドレス
を検出する。そして、この検索点のアドレスと、上記基
準ブロック223の現フレームメモリ251上の中心画
素のアドレスとの差分を検出することにより、上記最小
値の絶対値和データが検出された検査ブロック224に
対する上記基準ブロック223の動き分(動きベクト
ル)を検出し、この動きベクトルを出力端子260を介
して上記図7に示す動き補償回路204に供給する。
【0141】これにより、上記図7に示した画像データ
の符号化装置において、画像データの圧縮符号化処理を
行うことができる。
【0142】上述のように、この第1の実施例に係る動
きベクトル検出方法では、上記420の画像データの輝
度データが供給された場合、3ステップサーチにおける
第1ステップにおいて、上記検査ブロック224を水平
方向よりも垂直方向に密に移動させてブロックマッチン
グ処理を行うようにしている。上記420の画像データ
の輝度データのサンプリング周波数は、水平方向のサン
プリング周波数よりも垂直方向のサンプリング周波数の
方が低いが、このように上記検査ブロック224を水平
方向よりも垂直方向に密に移動させてブロックマッチン
グ処理を行うことにより、垂直方向の動きベクトルの検
出精度を補償することができ、全体的な動きベクトルの
検出精度の向上を図ることができる。
【0143】なお、上述の第1の実施例の説明では、3
ステップサーチの第1ステップでのみ、上記検査ブロッ
ク224の移動制御を行うようにしたが、これは、例え
ば2ステップサーチの第1ステップでのみ、上記検査ブ
ロック224の移動制御を行うようにしてもよい。
【0144】また、2ステップサーチ或いは3ステップ
サーチの所望のステップでのみ、上記検査ブロック22
4の移動制御を行うようにしてもよい。
【0145】次に、上述の第1の実施例に係る動きベク
トル検出方法では、3ステップサーチの第1ステップの
み、上記検査ブロック224の垂直方向の移動を密に行
うように移動制御したが、本発明の第2の実施例に係る
動きベクトル検出方法では、2ステップサーチにおける
2つのステップで、上記垂直方向の移動を密に行うよう
にした。なお、動きベクトルの検出を行う画像データと
しては、上述の第1の実施例と同じく420の画像デー
タの輝度データに対して行うものとする。
【0146】この第2の実施例に係る動きベクトル検出
方法は、上述の第1の実施例に係る動きベクトル検出方
法と同様に、図11に示す動きベクトル検出回路202
に適用することができる。
【0147】すなわち、上記コントローラ255は、2
ステップサーチの第1ステップとなると、図3(a)に
示すように上記基準ブロック223の中心画素と対応す
る前フレームの画素(原点)20を中心とする、同図
(a)中太線で示す略々正方形状の第1の移動範囲SV
1を設定する。
【0148】上記図3(a)において、上記第1の移動
範囲SV1は、4つの角部に画素21〜画素24が位置
するようになっている。また、水平方向に2画素間隔で
7個の検索点を有しており、垂直方向に上記水平方向よ
りも密となるように1画素間隔で13個の検索点を有し
ている。すなわち、上記第1の移動範囲SV1は、計9
1点の検索点で構成されており、上記検査ブロック22
4は、各検索点に沿って水平方向には2画素間隔で移動
し、垂直方向には1画素間隔で移動することとなる。
【0149】このような第1の移動範囲SV1が設定さ
れると、上記コントローラ255は、上記各検索点に沿
って上記検査ブロック224を次々と設定し、この検査
ブロック224の移動を行う毎に、該検査ブロック22
4の画像データを読み出すように、i画素ステップアド
レス移動回路256Aを介して上記前フレームメモリ2
52を読み出し制御する。
【0150】上記移動を行う毎に形成される検査ブロッ
ク224の各画像データは、それぞれ上記差分検出回路
257に供給される。
【0151】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを同位置の画素毎に比較してその差分を
検出し、この各差分データを絶対値和検出回路258に
供給する。
【0152】上記絶対値和検出回路258は、上記差分
データの絶対値を検出し、1回のブロックマッチング処
理により検出される差分データの絶対値を全て加算して
絶対値和データを形成する。これにより、上記検査ブロ
ック224の移動を行った分である計91個の絶対値和
データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
【0153】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロック224を移動して
得られた91個の絶対値和データを、その絶対値和デー
タが検出された検査ブロック224の位置(検索点)に
対応して記憶できるメモリを有している。上記コントロ
ーラ255は、上記絶対値和検出回路258から判断回
路259に供給される絶対値和データを、その絶対値和
データが形成された上記検査ブロック224の位置に対
応して記憶されるように、上記メモリを書き込み制御す
る。
【0154】上記コントローラ255は、上記判断回路
259のメモリに上記91個の絶対値和データが記憶さ
れると、この絶対値和データの中から最小値の絶対値和
データを検出するとともに、この最小値の絶対値和デー
タが検出された検査ブロック224の中心の検索点を検
出し、この検索点に基づいて第2ステップの移動範囲を
設定する。
【0155】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図3(a)中△で示す検索
点25であったとすると、次に、上記コントローラ25
5は、図3(b)に示すように上記検索点25を中心と
する略々正方形状の第2の移動範囲SV2を設定する。
【0156】上記第2の移動範囲SV2は、4つの角部
に検索点26〜29が位置するようになっている。ま
た、水平方向に1画素間隔で3つの検索点を有してお
り、垂直方向に1/2画素間隔で3つの検索点を有して
いる。すなわち、上記第2の移動範囲SV2は、上記第
1ステップの第1の移動範囲SV1よりも狭くなるよう
に計9点の検索点(上記第1ステップにおいて選択され
た検索点25を含む。)で構成されている。このため、
この第2ステップにおいては、上記検査ブロック224
は、水平方向には1画素間隔で、また、垂直方向には1
/2画素間隔で移動することとなる。
【0157】このような第2の移動範囲SV2が設定さ
れると、上記コントローラ255は、該移動範囲SV2
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
【0158】なお、この第2ステップでは、上記移動範
囲SV2の中心となる検索点25に係る絶対値和データ
は、上記第1ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV2におい
て、上記検索点25をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
【0159】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
【0160】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックマッチング処理により検出される差
分データを全て加算して絶対値和データを形成する。
【0161】これにより、上記移動範囲SV2に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点25に係る絶対値和データも含む。)の絶対値
和データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
【0162】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV2上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。そして、上記9個の絶対値和データが上記メモリに
記憶されると、この絶対値和データの中から最小値の絶
対値和データを検出し、この最小値の絶対値和データを
上記コントローラ255に供給する。
【0163】上記コントローラ255は、上述のように
上記絶対値和データに基づいて動きベクトルを検出し、
この動きベクトルを出力端子260を介して上記図7に
示す動き補償回路204に供給する。これにより、上記
図7に示した画像データの符号化装置において、画像デ
ータの圧縮符号化処理を行うことができる。
【0164】この第2の実施例に係る動きベクトル検出
方法では、2ステップサーチにおける全てのステップに
おいて、上記検査ブロック224を水平方向よりも垂直
方向に密に移動させてブロックマッチング処理を行うよ
うにしているため、水平方向のサンプリング周波数より
も垂直方向のサンプリング周波数の方が低い、上記42
0の画像データの輝度データが供給された場合における
垂直方向の動きベクトルの検出精度を全ステップにおい
て補償することができ、上述の第1の実施例に係る動き
ベクトル検出方法よりも、全体的な動きベクトルの検出
精度のさらなる向上を図ることができる。
【0165】なお、上述の第2の実施例の説明では、2
ステップサーチの第1ステップ及び第2ステップで、上
記検査ブロック224の移動制御を行うようにしたが、
これは、例えば3ステップサーチの第1〜第3のステッ
プで、上記検査ブロック224の移動制御を行うように
してもよい。
【0166】次に、上述の第1,第2の実施例に係る動
きベクトル検出方法では、上記検査ブロックを垂直方向
及び水平方向にのみ移動させてブロックマッチング処理
を行うようにしたが、本発明の第3の実施例に係る動き
ベクトル検出方法では、3ステップサーチにおいて、上
記検査ブロックを垂直方向及び水平方向の他に斜めにも
移動させてブロックマッチング処理を行うようにした。
なお、動きベクトルの検出を行う画像データとしては、
上述の第1,第2の実施例と同じく420の画像データ
の輝度データに対して行うものとする。
【0167】この第3の実施例に係る動きベクトル検出
方法は、上述の第1の実施例に係る動きベクトル検出方
法と同様に、図11に示す動きベクトル検出回路202
に適用することができる。
【0168】すなわち、上記コントローラ255は、3
ステップサーチの第1ステップとなると、図4に示すよ
うに上記基準ブロック223の中心画素と対応する前フ
レームの画素(原点)30を中心とする、同図中太線で
示す略々正方形状の第1の移動範囲SV1を設定する。
【0169】上記図4において、上記第1の移動範囲S
V1は、4つの角部に検索点31〜検索点34が位置す
るようになっている。また、水平方向に4画素間隔で5
個の検索点を有しており、垂直方向に上記水平方向より
も密となるように3画素間隔で5個の検索点を有してい
る。さらに、上記第1の移動範囲SV1は、上記検査ブ
ロック224の斜めの移動を行えるように、図4中◇で
示すように16個の検索点35を有している。すなわ
ち、上記第1の移動範囲SV1は、計41点の検索点で
構成されている。従って、上記検査ブロック224は、
上記各検索点に沿って水平方向には4画素間隔で移動
し、垂直方向には3画素間隔で移動するとともに、斜め
方向にも移動することとなる。
【0170】このような第1の移動範囲SV1が設定さ
れると、上記コントローラ255は、上記各検索点に沿
って上記検査ブロック224を次々と設定し、この検査
ブロック224の水平方向,垂直方向及び斜め方向の移
動を行う毎に、該検査ブロック224の画像データを読
み出すように、i画素ステップアドレス移動回路256
Aを介して上記前フレームメモリ252を読み出し制御
する。
【0171】上記移動を行う毎に形成される検査ブロッ
ク224の各画像データは、それぞれ上記差分検出回路
257に供給される。
【0172】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを同位置の画素毎に比較してその差分を
検出し、この各差分データを絶対値和検出回路258に
供給する。
【0173】上記絶対値和検出回路258は、上記差分
データの絶対値を検出し、1回のブロックマッチング処
理により検出される差分データの絶対値を全て加算して
絶対値和データを形成する。これにより、上記検査ブロ
ック224の移動を行った分である計41個の絶対値和
データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
【0174】上記判断回路259は、例えば上記第1の
移動範囲SV1内を上記検査ブロック224を移動して
得られた41個の絶対値和データを、その絶対値和デー
タが検出された検査ブロック224の位置(検索点)に
対応して記憶できるメモリを有している。上記コントロ
ーラ255は、上記絶対値和検出回路258から判断回
路259に供給される絶対値和データを、その絶対値和
データが形成された上記検査ブロック224の位置に対
応して記憶されるように、上記メモリを書き込み制御す
る。
【0175】上記コントローラ255は、上記判断回路
259のメモリに上記41個の絶対値和データが記憶さ
れると、この絶対値和データの中から最小値の絶対値和
データを検出するとともに、この最小値の絶対値和デー
タが検出された検査ブロック224の中心の検索点を検
出し、この検索点に基づいて第2ステップの移動範囲を
設定する。
【0176】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図4中△で示す検索点36
であったとすると、次に、上記コントローラ255は、
図5に示すように上記検索点36を中心とする略々正方
形状の第2の移動範囲SV2を設定する。
【0177】上記第2の移動範囲SV2は、4つの角部
に検索点40〜43が位置するようになっている。ま
た、水平方向に1画素間隔で3つの検索点を有してお
り、垂直方向にも1画素間隔で3つの検索点を有してい
る。すなわち、上記第2の移動範囲SV2は、上記第1
ステップの第1の移動範囲SV1よりも狭くなるように
計9点の検索点(上記第1ステップにおいて選択された
検索点36を含む。)で構成されている。このため、こ
の第2ステップにおいては、上記検査ブロック224
は、水平方向及び垂直方向にそれぞれ1画素間隔で移動
することとなる。
【0178】このような第2の移動範囲SV2が設定さ
れると、上記コントローラ255は、該移動範囲SV2
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
【0179】なお、この第2ステップでは、上記移動範
囲SV2の中心となる検索点36に係る絶対値和データ
は、上記第1ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV2におい
て、上記検索点36をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
【0180】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
【0181】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックマッチング処理により検出される差
分データを全て加算して絶対値和データを形成する。
【0182】これにより、上記移動範囲SV2に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点36に係る絶対値和データも含む。)の絶対値
和データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
【0183】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV2上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。
【0184】上記コントローラ255は、上記判断回路
259のメモリに上記9個の絶対値和データが記憶され
ると、この絶対値和データの中から最小値の絶対値和デ
ータを検出するとともに、この最小値の絶対値和データ
が検出された検査ブロック224の中心の検索点を検出
し、この検索点に基づいて第2ステップの移動範囲を設
定する。
【0185】具体的には、例えば上記最小値の絶対値和
データが検出された検索点が図5中×で示す検索点44
であったとすると、次に、上記コントローラ255は、
図6に示すように上記検索点44を中心とする略々正方
形状の第3の移動範囲SV3を設定する。
【0186】上記第3の移動範囲SV3は、4つの角部
に検索点45〜48が位置するようになっている。ま
た、水平方向に1画素間隔で3つの検索点を有してお
り、垂直方向にも1画素間隔で3つの検索点を有してい
る。すなわち、上記第3の移動範囲SV3は、上記第2
ステップの第2の移動範囲SV2と同じ移動範囲となる
ように計9点の検索点(上記第2ステップにおいて選択
された検索点44を含む。)で構成されている。このた
め、この第3ステップにおいては、上記検査ブロック2
24は、水平方向及び垂直方向にそれぞれ1画素間隔で
移動することとなる。
【0187】このような第3の移動範囲SV3が設定さ
れると、上記コントローラ255は、該移動範囲SV3
の各検索点に沿って検査ブロック224を移動し、該移
動する毎にその検査ブロック224の画像データを読み
出すように、i画素ステップアドレス移動回路256A
を介して上記前フレームメモリ252を読み出し制御す
る。
【0188】なお、この第2ステップでは、上記移動範
囲SV3の中心となる検索点44に係る絶対値和データ
は、上記第2ステップにおいて既に検出済であるため、
上記コントローラ255は、上記移動範囲SV3におい
て、上記検索点44をぬかして検査ブロック224を移
動するように、上記i画素ステップアドレス移動回路2
56Aを介して上記前フレームメモリ252を読み出し
制御する。
【0189】この検査ブロック224の移動により読み
出された画像データは、それぞれ上記差分検出回路25
7に供給される。
【0190】上記差分検出回路257は、上記基準ブロ
ック223の画像データと、上記各検査ブロック224
の画像データとを比較してその差分を検出し、この差分
データを絶対値和検出回路258に供給する。上記絶対
値和検出回路258は、上記差分データの絶対値を検出
し、1回のブロックマッチング処理により検出される差
分データを全て加算して絶対値和データを形成する。
【0191】これにより、上記移動範囲SV3に沿って
検査ブロック224の移動を行った分である計9個(上
記検索点44に係る絶対値和データも含む。)の絶対値
和データが形成されることとなる。この絶対値和データ
は、それぞれ判断回路259に供給される。
【0192】上記判断回路259は、上記絶対値和検出
回路258から供給される上記9個の絶対値和データ
を、その絶対値和データが形成された移動範囲SV3上
の位置(検索点)に対応して上記メモリに一旦記憶す
る。そして、上記9個の絶対値和データが上記メモリに
記憶されると、この絶対値和データの中から最小値の絶
対値和データを検出し、この最小値の絶対値和データを
上記コントローラ255に供給する。
【0193】上記コントローラ255は、上述のように
上記第3ステップで検出された絶対値和データに基づい
て動きベクトルを検出し、この動きベクトルを出力端子
260を介して上記図7に示す動き補償回路204に供
給する。これにより、上記図7に示した画像データの符
号化装置において、画像データの圧縮符号化処理を行う
ことができる。
【0194】この第3の実施例に係る動きベクトル検出
方法では、3ステップサーチにおける第1ステップにお
いて、上記検査ブロック224を水平方向よりも垂直方
向に密に移動させてブロックマッチング処理を行うよう
にしているうえ、上記検索点35に沿って斜め方向にも
移動させてブロックマッチング処理を行うようにしてい
るため、水平方向のサンプリング周波数よりも垂直方向
のサンプリング周波数の方が低い、上記420の画像デ
ータの輝度データが供給された場合における垂直方向の
動きベクトルの検出精度を補償することができるうえ、
斜め方向に対する動きベクトルの検出精度を補償するこ
とができる。このため、上述の第1,第2の実施例に係
る動きベクトル検出方法よりも、全体的な動きベクトル
の検出精度のさらなる向上を図ることができる。
【0195】なお、上述の第3の実施例の説明では、3
ステップサーチの第1ステップのみ上記検査ブロック2
24の斜め方向の移動を行うようにしたが、これは、第
2,第3ステップにおいても該斜め方向の移動を行って
ブロックマッチング処理を行うようにしてもよい。
【0196】また、3ステップサーチに適用することと
したが、これは、2ステップサーチに適用して、上記垂
直方向及び水平方向の移動に加え斜め方向の移動を行う
ようにしてもよい。
【0197】次に、上述の第1〜第3の実施例の説明で
は、420の画像データのうち、輝度データにのみ基づ
いて動きベクトルの検出を行うようにしたが、本発明の
第4の実施例の係る動きベクトル検出方法では、上記輝
度データのみならず色データの動きベクトル検出も行う
ようにした。
【0198】すなわち、上記420の画像データのう
ち、上記輝度データに対しては、水平サンプリング周波
数よりも垂直サンプリング周波数の方が低いため、上述
の各実施例で説明したように上記検査ブロック224の
垂直方向の移動を密に行って動きベクトルの検出を行
い、上記色データに対しては、垂直サンプリング周波数
よりも水平サンプリング周波数の方が低いため、上述の
各実施例とは逆に、上記検査ブロック224の垂直方向
の移動よりも水平方向の移動を密に行って動きベクトル
の検出を行うようにした。
【0199】これにより、輝度データ及び色データの各
サンプリング特性に応じた検査ブロック224の移動を
行うことができるうえ、該輝度データ及び色データの動
きベクトルをそれぞれ検出することができるため、画像
データの動きベクトルの検出精度をさらに向上させるこ
とができる。
【0200】このような輝度データと色データの両方の
動きベクトルの検出は、例えばいわゆる高品位テレビジ
ョンの画像データに対して行うと効果的である。
【0201】そして、当該画像データの符号化装置は、
上述の各実施例に係る動きベクトル検出方法により検出
された正確な動きベクトルに基づいて画像データの圧縮
符号化を行うようにしているため、画像データの正確な
圧縮符号化を行うことができる。
【0202】なお、上述の各実施例の説明では、画像デ
ータとして420の画像データに基づいて動きベクトル
の検出を行うこととしたが、これは、上記422の画像
データに基づいて動きベクトルの検出を行うようにして
もよい。この場合、上記422の画像データは、垂直サ
ンプリング周波数よりも水平サンプリング周波数の方が
低いため、上述の各実施例の説明とは逆に、上記検査ブ
ロック224の垂直方向の移動よりも水平方向の移動を
密に行うようにする。これにより、上記422の画像デ
ータの水平方向の動きベクトルの検出精度を補償するこ
とができ、全体的な動きベクトルの検出精度の向上を図
ることができる。
【0203】また、上述の各実施例の説明では、上記現
在画像として現在フレームの画像を、また、前画像とし
て前フレームの画像を用いることとしたが、これは、上
記現在画像として現在フレームの画像を、また、前画像
として2フレーム前の画像,3フレーム前の画像・・・
を用いるようにしてもよい。同じく、上記現在画像とし
て現在フィールドの画像を、また、前画像として前フィ
ールドの画像、或いは、2フィールド前の画像,3フィ
ールド前の画像・・・を用いるようにしてもよい。
【0204】また、上記基準ブロックを現在フレームの
画像の中央の所定領域に設定することとしたが、これ
は、現在フレーム(或いは現在フィールド)内であれば
どの位置に設定してもよい。同じく、上記検査ブロック
も前フレーム(或いは前フィールド)内であればのどの
位置に設定してもよい。
【0205】また、上記基準ブロックを現在画像内に設
定し、上記検査ブロックを前画像内に設定することとし
たが、これは、逆に、前画像内に基準ブロックを設定
し、現在画像内に検査ブロックを設定して、該現在画像
内において検査ブロックを移動させて動きベクトルの検
出を行うようにしてもよい。
【0206】また、本発明に係る動きベクトル検出方法
及び画像データの符号化方法を、直交変換手段として上
記DCT回路207を用いた画像データの圧縮符号化装
置に適用することとしたが、これは、いわゆるフーリエ
変換,アダマール変換,K−L変換等の他の直交変換手
段を有する画像データの圧縮符号化装置に適用してもよ
い。
【0207】さらに、本発明に係る動きベクトル検出方
法及び画像データの符号化方法を、2ステップサーチ及
び3ステップサーチに適用した場合について説明した
が、これは、検査ブロックの移動範囲を4段階に分けて
徐々に狭めていく4ステップサーチや、該検査ブロック
の移動範囲を5段階に分けて徐々に狭めていく5ステッ
プサーチ等、多段階に分けて検査ブロックの移動範囲を
狭めながら動きベクトルの検出を行う方法であれば何に
でも適用可能であり、その他、本発明に係る技術的思想
を逸脱しない範囲であれば種々の変更が可能であること
は勿論である。
【0208】
【発明の効果】本発明に係る動きベクトル検出方法は、
画像データの垂直サンプリング周波数及び水平サンプリ
ング周波数に応じて検査ブロックの移動範囲を制御し
て、動きベクトルの垂直方向の検出精度或いは水平方向
の検出精度を補うことができ、また、画像データの輝度
データ及び色データに応じて検査ブロックの移動範囲を
制御してそれぞれ動きベクトルを検出することができ、
また、垂直方向及び水平方向のみならず斜め方向にも検
査ブロックを移動させて動きベクトルの検出を行うこと
ができるため、全体的な動きベクトルの検出精度の向上
を図ることができる。
【0209】また、本発明に係る画像データの符号化方
法は、動きベクトルの検出の際に、本発明に係る動きベ
クトル検出方法を用いているため、正確な動きベクトル
を用いて、画像データに応じた正確な圧縮符号化を行う
ことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例に係る動きベクトル検出
方法を3ステップサーチに適用した場合における、第1
ステップでの動きベクトル検出動作を説明するための図
である。
【図2】上記第1の実施例に係る動きベクトル検出方法
を3ステップサーチに適用した場合における、第2,第
3ステップでの動きベクトル検出動作を説明するための
図である。
【図3】本発明の第2の実施例に係る動きベクトル検出
方法を2ステップサーチに適用した場合における、動き
ベクトル検出動作を説明するための図である。
【図4】本発明の第3の実施例に係る動きベクトル検出
方法を3ステップサーチに適用した場合における、第1
ステップでの動きベクトル検出動作を説明するための図
である。
【図5】上記第3の実施例に係る動きベクトル検出方法
を3ステップサーチに適用した場合における、第2ステ
ップでの動きベクトル検出動作を説明するための図であ
る。
【図6】上記第3の実施例に係る動きベクトル検出方法
を3ステップサーチに適用した場合における、第3ステ
ップでの動きベクトル検出動作を説明するための図であ
る。
【図7】画像の動きベクトルを検出して画像データの圧
縮符号化処理を行う画像データの圧縮符号化装置のブロ
ック図である。
【図8】上記画像データの圧縮符号化装置に設けられて
いる動きベクトル検出回路で行われるブロックマッチン
グ処理を説明するための図である。
【図9】フルサーチにより動きベクトル検出を行う動き
ベクトル検出回路のブロック図である。
【図10】上記フルサーチによる動きベクトルの検出の
仕方を説明するための図である。
【図11】2ステップサーチ或いは3ステップサーチに
より動きベクトルの検出を行う動きベクトル検出回路の
ブロック図である。
【図12】従来の3ステップサーチの第1ステップにお
ける動きベクトルの検出の仕方を説明するための図であ
る。
【図13】従来の3ステップサーチの第2,第3ステッ
プにおける動きベクトルの検出の仕方を説明するための
図である。
【図14】従来の2ステップサーチによる動きベクトル
の検出の仕方を説明するための図である。
【符号の説明】
SV1・・・・・3ステップサーチにおける第1ステッ
プでの検査ブロックの移動範囲 1・・・・・・・第1ステップの移動範囲の中心に位置
する画素(原点) 2〜5・・・・・第1ステップの移動範囲の角部に位置
する画素 6・・・・・・・第1ステップの絶対値和の最小値に係
る画素 SV2・・・・・第2ステップでの検査ブロックの移動
範囲 10〜13・・・第2ステップの移動範囲の角部に位置
する画素 13・・・・・・第2ステップの絶対値和の最小値に係
る画素 SV3・・・・・第3ステップでの検査ブロックの移動
範囲 15〜18・・・第3ステップの移動範囲の角部に位置
する画素 21〜24・・・2ステップサーチにおける第1ステッ
プでの検査ブロックの移動範囲の角部に位置する画素 25・・・・・・第1ステップの絶対値和の最小値に係
る画素 26〜29・・・2ステップサーチにおける第2ステッ
プでの検査ブロックの移動範囲の角部に位置する画素 31〜34・・・3ステップサーチにおける第1ステッ
プでの検査ブロックの移動範囲の角部に位置する画素 30・・・・・・第1ステップのの移動範囲の中心に位
置する画素 35・・・・・・第1ステップに追加された斜め方向の
検索点 36・・・・・・第1ステップの絶対値和の最小値に係
る画素 40〜43・・・第2ステップの移動範囲の角部に位置
する画素 44・・・・・・第2ステップの絶対値和の最小値に係
る画素 45〜48・・・第3ステップの移動範囲の角部に位置
する画素 201・・・・・画像データの入力端子 202・・・・・動きベクトル検出回路 203・・・・・減算器 204・・・・・動き補償回路 205・・・・・フレームメモリ 206・・・・・加算器 207・・・・・直交変換回路 208・・・・・量子化器 209・・・・・圧縮符号化された画像データの出力端
子 210・・・・・逆量子化器 211・・・・・逆直交変換回路 251・・・・・現フレームメモリ 252・・・・・前フレームメモリ 253・・・・・現フレームの画像データの入力端子 254・・・・・前フレームの画像データの入力端子 255・・・・・コントローラ 256A・・・・i画素ステップアドレス移動回路 256B・・・・1画素ステップアドレス移動回路 257・・・・・差分検出回路 258・・・・・絶対値和検出回路 259・・・・・判断回路 260・・・・・動きベクトルの出力端子

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 時間的に前後する現在画像或いは前画像
    の所定位置に所定画素からなる基準ブロックを設定し、
    上記基準ブロックと同じ画素数からなる検査ブロック
    を、上記基準ブロックが設定された画像以外の画像の所
    定の移動範囲内で移動し、該検査ブロックを移動する毎
    に、検査ブロックの各画素と基準ブロックの各画素の差
    分の絶対値和を検出し、上記検査ブロックの移動に対応
    して得られた各絶対和の中から最小値の絶対値和を検出
    し、この最小値の絶対値和が形成された移動範囲内の所
    定位置の画素に基づいて上記検査ブロックの次の移動範
    囲を所定分狭め、再度、上記最小値の絶対値和を検出す
    る動作を、上記検査ブロックの最小限度の移動範囲とな
    るまで繰り返し行い、この最小限度の移動範囲で検出さ
    れた、最小値の絶対値和に基づいて動きベクトルを検出
    する動きベクトル検出方法において、 画像データの水平サンプリング周波数及び垂直サンプリ
    ング周波数のうち、サンプリング周波数の低い方向に対
    して、上記検査ブロックの移動を密に行うことを特徴と
    する動きベクトル検出方法。
  2. 【請求項2】 画像データを形成する輝度データ及び色
    データに基づいてそれぞれ動きベクトル検出を行う場
    合、 上記輝度データについては、水平方向の移動よりも垂直
    方向の移動が密となるように上記検査ブロックの移動を
    行い、 上記色データについては、垂直方向の移動よりも水平方
    向の移動が密となるように上記検査ブロックの移動を行
    うことを特徴とする請求項1記載の動きベクトル検出方
    法。
  3. 【請求項3】 上記検査ブロックの移動を斜め方向に密
    に行うことを特徴とする請求項1又は請求項2記載の動
    きベクトル検出方法。
  4. 【請求項4】 時間的に前後する現在画像及び前画像か
    ら画像の動きベクトルを検出し、この動きベクトルに応
    じて前画像の動き補償を行い、上記現在画像と動き補償
    を行った前画像との差分を直交変換処理し量子化するこ
    とにより、圧縮符号化した画像データを形成する画像デ
    ータの符号化方法であって、 上記動きベクトルを検出する際に、 上記現在画像或いは前画像の所定位置に所定画素数から
    なる基準ブロックを設定し、上記基準ブロックと同じ画
    素数からなる検査ブロックを、上記基準ブロックが設定
    された画像以外の画像の所定の移動範囲内で、画像デー
    タの水平サンプリング周波数及び垂直サンプリング周波
    数のうち、サンプリング周波数の低い方向に対して密に
    移動し、 上記検査ブロックを移動する毎に、検査ブロックの各画
    素と基準ブロックの各画素の差分の絶対値和を検出し、 上記移動範囲で検査ブロックを移動させることにより検
    出された各絶対値和のうち、最小値の絶対値和を検出
    し、 上記最小値の絶対値和が形成された検査ブロックの所定
    位置の画素に基づいて、上記検査ブロックの次の移動範
    囲を所定分狭めて設定し、 上記所定分狭めて設定された移動範囲で上記検査ブロッ
    クの移動を行って最小値の絶対値和を検出する動作を、
    上記検査ブロックの最小限度の移動範囲となるまで繰り
    返し行い、 上記最小限度の移動範囲で検査ブロックを移動した際に
    得られた、最小値の絶対値和に基づいて動きベクトルの
    検出を行うことを特徴とする画像データの符号化方法。
JP31794393A 1993-12-17 1993-12-17 動きベクトル検出方法及び画像データの符号化方法 Expired - Fee Related JP3433489B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31794393A JP3433489B2 (ja) 1993-12-17 1993-12-17 動きベクトル検出方法及び画像データの符号化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31794393A JP3433489B2 (ja) 1993-12-17 1993-12-17 動きベクトル検出方法及び画像データの符号化方法

Publications (2)

Publication Number Publication Date
JPH07177517A true JPH07177517A (ja) 1995-07-14
JP3433489B2 JP3433489B2 (ja) 2003-08-04

Family

ID=18093755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31794393A Expired - Fee Related JP3433489B2 (ja) 1993-12-17 1993-12-17 動きベクトル検出方法及び画像データの符号化方法

Country Status (1)

Country Link
JP (1) JP3433489B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189102B2 (en) 2008-06-27 2012-05-29 Panasonic Corporation Image processing apparatus using interpolation direction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189102B2 (en) 2008-06-27 2012-05-29 Panasonic Corporation Image processing apparatus using interpolation direction

Also Published As

Publication number Publication date
JP3433489B2 (ja) 2003-08-04

Similar Documents

Publication Publication Date Title
JP4528441B2 (ja) ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置
US6385244B1 (en) Video encoding device
US20110228853A1 (en) Moving image encoding and decoding system
KR101683434B1 (ko) 화상 처리 장치, 디코드 방법, 프레임 내 복호 장치, 프레임 내 복호 방법, 및 프레임 내 부호화 장치
EP0181215A1 (en) Apparatus for detecting motion of television images
JPH0750773A (ja) ビデオ圧縮処理用装置及び方法
JPH06205386A (ja) 画像再生装置
JPH0787495A (ja) 動きベクトル検出装置および方法
RU2182727C2 (ru) Способ поиска векторов движения деталей в динамических изображениях
US8243804B2 (en) Hierarchical motion estimation for images with varying horizontal and/or vertical dimensions
US20040190616A1 (en) Segmented motion estimation with no search for smalll block sizes
US7151799B2 (en) Transcoder for coded video
EP0893924B1 (en) Method and apparatus for motion estimation using block matching
JPH0918782A (ja) 映像信号処理方法及び装置
JPWO2006006489A1 (ja) 動き検出装置
US20030103567A1 (en) Motion compensation and/or estimation
WO2000011612A1 (en) Methods and apparatus for reducing the amount of buffer memory required for decoding mpeg data and for performing scan conversion
JP3433489B2 (ja) 動きベクトル検出方法及び画像データの符号化方法
JPH07203462A (ja) 動きベクトル検出方法及び画像データの符号化方法
JPH08294129A (ja) 動きベクトル検出装置および検出方法
US6925125B2 (en) Enhanced aperture problem solving method using displaced center quadtree adaptive partitioning
JPH10327416A (ja) 動画像符号化装置
JP4734239B2 (ja) 空間的信号変換
JP3277419B2 (ja) 動きベクトル検出装置および方法
US6219455B1 (en) Method and apparatus for detecting motion vectors

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030430

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090530

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120530

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees