JP3627870B2 - 動きベクトル検出方法及び装置 - Google Patents
動きベクトル検出方法及び装置 Download PDFInfo
- Publication number
- JP3627870B2 JP3627870B2 JP6673595A JP6673595A JP3627870B2 JP 3627870 B2 JP3627870 B2 JP 3627870B2 JP 6673595 A JP6673595 A JP 6673595A JP 6673595 A JP6673595 A JP 6673595A JP 3627870 B2 JP3627870 B2 JP 3627870B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- value
- image
- block
- candidate block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術(図10及び図11)
発明が解決しようとする課題
課題を解決するための手段(図1〜図9)
作用(図1〜図9)
実施例
(1)第1実施例(図1〜図5)
(2)第2実施例(図6)
(3)第3実施例(図7)
(4)他の実施例(図8及び図9)
発明の効果
【0002】
【産業上の利用分野】
本発明は動きベクトル検出方法及び装置に関し、特に時間的に異なる2つの画像データを用いて画像の動きベクトルを検出するものに適用して好適なものである。
【0003】
【従来の技術】
従来、画像の動きベクトルを検出する手法として、ブロツクマツチング法がある。これは、図10に示すように参照画像としての現在のフレーム(又はフイールド)F1をm画素×n画素の大きさのブロツクに分割して得られる参照ブロツクB1と、基本画像としての過去のフレーム(又はフイールド)F2のサーチエリア(±s画素)SA内に存在する候補ブロツクB2との画素毎の差分の絶対値和を評価値P(h、v)として演算し、次式
【数1】
に示すように、サーチエリアSA内で候補ブロツクB2を1画素毎にずらしてトータル(2s+1)2 点の評価値P(h、v)を演算する。これらの評価値の最小値を求めることによつて、その最小値が示す相対的座標値(h、v)を当該参照ブロツクB1の動きベクトルとする手法である。トータルの演算数は、演算量=ブロツク数×サーチポイント×評価式数で表される。この場合、サーチポイント数は(2s+1)2 であり、評価式数は減算(m×n)、絶対値演算(m×n)、加算(m×n−1)の和となる。
【0004】
ここで動き検出のハードウエアを小さくするためには、上式の各項目を減らす必要があるが、ブロツク数は変えることができないので、サーチポイント数を減らす手法としては、3ステツプ方式や正射影方式がある。またサーチポイント数と評価値数を同時に減らす手法として階層化方式がある。
【0005】
ここで、図11に動きベクトル検出装置の概略構成を示す。この動きベクトル検出装置15では、動きベクトル検出の前提として、入力される画像データについて走査変換回路16及びフレームメモリ17で、現在のフレーム(又はフイールド)F1と過去のフレーム(又はフイールド)F2のブロツクのデータを生成し、これを動きベクトル検出回路18に供給する。この動きベクトル検出回路18は、上述のように参照ブロツクB1の動きベクトルを検出する。
【0006】
【発明が解決しようとする課題】
ところがブロツクマツチング法は、参照ブロツクB1と候補ブロツクB2のマツチング演算をサーチエリアSA内で1画素ずつずらしながら行う方法であるため、動きベクトルを検出する演算量が膨大となり、この結果LSI化したときに装置全体として大型化したり演算時間が長くなる問題があつた。
また画像圧縮符号化方法において、サブバンド符号化やウエーブレツト変換符号化に動き補償を組み合わせて高能率化を図ることが考えられているが、動きベクトルを検出する演算量を軽減するには未だ不十分な問題があつた。
【0007】
本発明は以上の点を考慮してなされたもので、動きベクトルの演算量が増加するのを抑制して高精度の動きベクトルを検出すると共に、装置全体として簡易な構成にし得るような動きベクトル検出方法及び装置を提案しようとするものである。
【0008】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、基本画像及び参照画像をそれぞれ複数の帯域画像に分割し、当該帯域分割された帯域画像のうち低域側の帯域画像の候補ブロツクと参照ブロツクとに含まれる画素の値から最大値及び最小値を検出し、最大値及び最小値の差よりダイナミツクレンジを求め、当該ダイナミツクレンジに応じた量子化ステツプ幅を選定し、当該量子化ステツプ幅により参照ブロツク及び候補ブロツクの画素値と最大値又は最小値との差分をnビツトのコード値に符号化する。続いてコード値を用いてサーチエリア内で候補ブロツクの位置をずらして、参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値が最小となる位置を第1の動きベクトルし、当該第1の動きベクトルに応じて低域側よりも高域側の帯域画像に対して動き補償を行つた後、当該高域側の帯域画像においてサーチエリアよりも小さいエリア内にて第2の動きベクトルを画像の動きベクトルとして検出するようにした。
また本発明においては、基本画像及び参照画像をそれぞれ複数の帯域画像に分割し、当該帯域分割された帯域画像のうち低域側の帯域画像の候補ブロツクと参照ブロツクとに含まれる画素の値から最大値及び最小値を検出し、最大値及び最小値の和の1/2の値とそれぞれ参照ブロツク及び候補ブロツクの画素値とを比較演算して、参照ブロツク及び候補ブロツクの各画素値を値「1」又は値「0」のコード値に符号化する。続いてコード値を用いてサーチエリア内で候補ブロツクの位置をずらして、参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値が最小の位置を第1の動きベクトルとし、当該第1の動きベクトルに応じて低域側よりも高域側の帯域画像に対して動き補償を行つた後、当該高域側の帯域画像においてサーチエリアよりも小さいエリア内にて第2の動きベクトルを画像の動きベクトルとして検出するようにした。
【0009】
【作用】
これにより帯域分割前の入力画像に基づいて動きベクトルを検出し、当該検出結果を分割後の各帯域毎に動き補償を行う場合と比較して、動きベクトルの演算量が増加するのを抑制して高精度の動きベクトルを検出することができる。さらに動きベクトルを検出する際に、nビツトADRC(Adaptive Dynamic Range Coding)符号化を用いたことによりマツチング演算の対象となる画素の語長(ビツト)を削減することができ、この結果一段とマツチング演算の演算量を低減させることができる。
【0010】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【0011】
(1)第1実施例
図1において、1は全体として本発明による動きベクトル検出方法を適用した画像符号化装置を示す。画像符号化装置1は、入力画像信号をサブバンド分割により複数の帯域に分割し、低域側から高域側に順次動きベクトルを検出する。
画像符号化装置1は、まず入力画像信号S1を低域フイルタ(LPF)2及び高域フイルタ(HPF)3により2つの帯域に分割し、一方の低域側をさらにLPF4及びHPF5により2つの帯域に分割した後それぞれ帯域分割信号S2及びS3として第1及び第2の動き予測回路(ME)6及び7に供給すると共に、他方の高域側を帯域分割信号S4として第3の動き予測回路8に供給する。
【0012】
すなわちサブバンド符号化においては、図2(A)に示すように、入力画像信号S1を例えば直交ミラーフイルタ(QMF)でなるLPF及びHPFを用いて、水平及び垂直両方向に交互に高域側の成分と低域側の成分とに分割し、この結果得られる両成分をさらにそれぞれ高域側の成分と低域側の成分とに分割することにより、最終的にそれぞれ例えば4つの帯域に分割する。この結果、図2(B)に示すように入力画像信号S1を2次元的に16の帯域に分割することができる。因に、帯域分割された入力画像信号S1について、その帯域幅に応じてサンプルを間引いてサンプル数を低減することにより、低域側ほど画素数の少ない画像データとして扱うことができる。
【0013】
ここで、第1の動き予測回路6は、帯域分割信号S2に基づいて動きベクトルの検出を行つた後、当該検出結果から得られる動きベクトルmv1 を第1の動き補償回路(MC)9及び第2の動き予測回路7に供給する。続いて第2の動き予測回路7は、帯域分割信号S3及び動きベクトルmv1 に基づいて動きベクトルの検出を行つた後、当該検出結果から得られる動きベクトルmv2 を第2の動き補償回路10及び第3の動き予測回路8に供給する。さらに第3の動き予測回路8は、帯域分割信号S4及び動きベクトルmv2 に基づいて動きベクトルの検出を行つた後、当該検出結果から得られる動きベクトルmv3 を第3の動き補償回路11に供給する。
【0014】
このように第1〜第3の動き予測回路6〜8は、全体として低域側から高域側に順次動きベクトルを検出する。このときまず第1の動き予測回路6は、低域側におけるサブサンプルされたデータをフルサーチすることにより動きベクトルmv1 を検出する。続いて第2の動き予測回路7は、動きベクトルmv1 を決定した候補ブロツクを基準としてサーチエリアを縮小して設定した後、当該縮小したサーチエリア内で候補ブロツクを決定することにより、動きベクトルmv2 を検出する。
【0015】
さらに第3の動き予測回路8は、動きベクトルmv2 を決定した候補ブロツクを基準としてサーチエリアを縮小して設定した後、当該縮小したサーチエリア内で候補ブロツクを決定することにより、動きベクトルmv3 を検出する。このとき高域側では低密側に比べて画素が密でなるにもかかわらず、高域側におけるサーチエリアがより縮小して設定されることにより、全体的に動きベクトルの演算量が減少されることとなる。
【0016】
第1〜第3の動き補償回路9〜11は、それぞれ各帯域毎から得られた動きベクトルmv1 〜mv3 に基づいてそれぞれ動き補償した後、当該結果から得られる予測画像データS5〜S7をそれぞれ対応する第1〜第3のビツト圧縮回路(BR:Bit Reduction )12〜14に供給する。第1〜第3のビツト圧縮回路12〜14は、それぞれ各帯域毎に得られた予測画像データS5〜S7に基づいてDCT(Discrete Cosine Transform )変換符号化によるDCT処理を行つた後出力するようになされている。
【0017】
この第1実施例の動きベクトル検出方法では、各帯域において、フレームメモリを使用して遅延させた時間的に連続する2枚のフレーム(又はフイールド)F1、F2の画像から、現在のフレームF1についてはm画素×n画素の大きさのブロツクに分割し、その中のある参照ブロツクB1に関して過去のフレーム(又はフイールド)F2からの動きベクトルを算出することを前提とする(図10)。現在のフレーム(又はフイールド)F1の参照ブロツクB1のデータは、上述の分割したブロツクからあるブロツクを順次選択して供給し、過去のフレーム(又はフイールド)F2での候補ブロツクB2のデータは、参照ブロツクB1の空間的位置と同じ位置を中心としてサーチエリア(±s画素)SAの中を順次動かして供給する。
【0018】
ここで、図3にこの実施例における第1〜第3の動き予測回路6〜8の構成を示し、第1〜第3の動き予測回路6〜8は、それぞれフレームメモリ20〜22及び動きベクトル検出回路23〜25で構成されている。
【0019】
第1の動き予測回路6において、入力画像信号S1を帯域分割して得られた低域側でなる帯域分割信号S2は、フレームメモリ20及び動きベクトル検出回路23内のブロツク回路26に入力される。続いてフレームメモリ20に設定された過去(すなわち1フレーム前)の画像データが、動き補償されたサーチエリアに応じてサーチブロツク回路29に読み出される。
【0020】
次にメモリコントロール32は、サーチブロツク回路29とブロツク回路26との過去及び現在の画像データを読み出して、評価値算出回路35に供給する。評価値算出回路35は、サーチブロツク回路29とブロツク回路26との過去及び現在の画像データを用いて、所定の演算を行つて評価値を算出し、当該評価値を動きベクトル決定回路38に入力する。動きベクトル決定回路38は、この評価値に基づいて動きベクトルmv1 を検出する。
【0021】
続いて第2の動き予測回路7において、帯域分割信号S3がフレームメモリ21及び動きベクトル検出回路24内のブロツク回路27に入力されると共に、動きベクトルmv1 がフレームメモリ21のアドレスのオフセツト値として供給される。続いてフレームメモリ21に設定された過去(すなわち1フレーム前)の画像データが、動き補償されたサーチエリアに応じてサーチブロツク回路30に読み出される。
【0022】
次にメモリコントロール33は、サーチブロツク回路30とブロツク回路27との過去及び現在の画像データを読み出して、評価値算出回路36に供給する。評価値算出回路36は、サーチブロツク回路30とブロツク回路27との過去及び現在の画像データを用いて、所定の演算を行つて評価値を算出し、当該評価値を動きベクトル決定回路39に入力する。動きベクトル決定回路39は、この評価値に基づいて動きベクトルmv2 を検出する。
【0023】
続いて第3の動き予測回路8において、帯域分割信号S4がフレームメモリ22及び動きベクトル検出回路25内のブロツク回路28に入力されると共に、動きベクトルmv2 がフレームメモリ22のアドレスのオフセツト値として供給される。続いてフレームメモリ22に設定された過去(すなわち1フレーム前)の画像データが、動き補償されたサーチエリアに応じてサーチブロツク回路31に読み出される。
【0024】
次にメモリコントロール34は、サーチブロツク回路31とブロツク回路28との過去及び現在の画像データを読み出して、評価値算出回路37に供給する。評価値算出回路37は、サーチブロツク回路31とブロツク回路28との過去及び現在の画像データを用いて、所定の演算を行つて評価値を算出し、当該評価値を動きベクトル決定回路40に入力する。動きベクトル決定回路40は、この評価値に基づいて動きベクトルmv3 を検出する。
【0025】
ここでこの実施例の場合、動きベクトル検出回路23〜25は、それぞれ図4に示すような回路50で構成されている。すなわち動きベクトル検出回路50においては、ブロツク回路26〜28に対応する参照ブロツクメモリ51と、サーチブロツク回路29〜31に対応する候補ブロツクメモリ52と、メモリコントロール32〜34に対応するメモリコントロール53とを有し、また評価値算出回路35〜37に対応する評価値算出回路54と、動きベクトル決定回路38〜40に対応する動きベクトル決定回路55とを有する。
【0026】
動きベクトル検出回路50においては、まず参照ブロツクメモリ51及び候補ブロツクメモリ52の内容、すなわち参照ブロツクB1とこれに対応するサーチエリアSA内の全ての候補ブロツクB2とのデータがメモリコントロール53で指定されたアドレスの順に読み出され、それぞれ評価値算出回路54内のレジスタ56及び57を通じて減算回路58で減算される。この結果得られる差分データは絶対値化回路59で絶対値化され、加算回路60及びレジスタ61で累積加算された後、当該累積加算結果を累積加算データS10として動きベクトル決定回路55に供給される。
【0027】
動きベクトル決定回路55においては、図5に示すように、この累積加算データS10が評価値メモリ65に、評価値メモリコントロール66より指定されたアドレスの順に従つて入力される。続いて動きベクトル決定回路55では、評価値が記憶された評価値メモリ65が、順次評価値メモリコントロール66より指定されたアドレスに従つて読み出され、比較回路67及びレジスタ68に入力される。
【0028】
比較回路67は他方の入力と評価値メモリ65より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ68及び69の内容を更新する信号を送出する。このレジスタ69には、評価値メモリ65を読み出すアドレスが順次設定される。このようにして順次評価値メモリ65に記憶された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ69より送出され、これが動きベクトル決定回路55の出力、すなわち動きベクトルmvとして出力される。
【0029】
また動きベクトル決定回路55はメモリコントロール53(図4)に制御信号S11を送出して、当該メモリコントロール53における参照ブロツクメモリ51及び候補ブロツクメモリ52からのデータの読み出しを制御するようになされている。
【0030】
以上の構成において、画像符号化装置1は入力画像データを帯域分割した後、第1の動き予測回路6において当該各帯域のうち低域側のデータから動きベクトルmv1 を算出する。続いて第2の動き予測回路7はこの動きベクトルmv1 に応じて高域側で動き補償した後、当該動きベクトルmv1 を決定した候補ブロツクを基準としてサーチエリアを縮小して動きベクトルmv2 を算出する。さらに第3の動き予測回路8はこの動きベクトルmv2 に応じてより高域側で動き補償した後、当該動きベクトルmv2 を決定した候補ブロツクを基準としてサーチエリアを縮小して動きベクトルmv3 を算出する。これにより帯域分割前の画像データに基づいて動きベクトルを検出し、当該検出結果を分割後の各帯域毎に動き補償を行う場合と比較して、動きベクトルの演算量を軽減させることができる。
【0031】
以上の構成によれば、画像符号化装置1は入力画像データを帯域分割した後、当該各帯域のうち低域側のデータから動きベクトルを算出し、当該動きベクトルに応じて高域側で動き補償を行つた後、高域側のサーチエリアを縮小するようにしたことにより、動きベクトルの演算量が増加するのを抑制して高精度の動きベクトルを検出すると共に、装置全体として簡易な構成にすることができる。
【0032】
(2)第2実施例
この第2実施例の動きベクトル検出方法では、次のような手順に従つて動きベクトルを算出する。まず参照ブロツクB1とサーチエリアSA内の全候補ブロツクB2のデータから最大値、最小値を検出し、当該最大値、当該最小値の差からダイナミツクレンジを求める。ダイナミツクレンジを2n (nは自然数)で割り算して量子化ステツプ幅を求め、各ブロツクの画素値と当該最小値との差分データを当該量子化ステツプ幅で割り算し、nビツトのコードに符号化してnビツトADRC(Adaptive Dynamic Range Coding )符号化を行う。なお、ADRC符号化はROMと簡単なロジツクで実現され得る。
【0033】
このようにしてnビツトADRC符号化された参照ブロツクB1と候補ブロツクB2とのADRCコード値のビツト方向で画素位置毎のマツチング演算として排他的論理和(EXOR)演算し、その結果のブロツク内積算値として評価値P(h、v)を算出する。因に、EXOR演算においてコードデータが一致していると値「0」が出力され、一致していないと値「1」が出力され演算されることから、マツチングがとれているほど評価値の値は小さくなる。
【0034】
この手順に従つてサーチエリアSA内で候補ブロツクB2の位置をずらせながら順次評価値を算出し、トータルで(2s+1)2 点の評価値P(h、v)を演算する。次に求められた評価値から最小値の位置を検出し、その相対的な座標値(h、v)を動きベクトルmv1 とする。
【0035】
続いてこのようにして求められた動きベクトルmv1 で動き補償を行つた後、当該動きベクトルmv1 の検出時において決定された候補ブロツクを中心として、改めてサーチエリアSA内をより小さく設定する。そして上述の手順を再度行うことによつて動きベクトルmv2 を算出する。以下、求めた動きベクトルmv2 で動き補償すると共にサーチエリアをより小さくして上述の手順を繰り返すことによつて、動きベクトルmv3 を算出する。
【0036】
ここで図3との対応部分に同一符号を付して示す図6において、第2実施例の動き予測回路70の構成を示し、この動き予測回路70は図3における第1〜第3の動き予測回路6〜8に代わつてそれぞれ適用される。すなわち動き予測回路70は、フレームメモリ20(21、22)と動きベクトル検出回路71とで構成され、入力された帯域分割信号S2(S3、S4)に基づいて動きベクトルmv1 (mv2 、mv3 )を算出するようになされている。
【0037】
まず動きベクトル検出回路71には、入力された帯域分割信号S2(S3、S4)をフレームメモリ20(21、22)を用いて遅延させて得られた時間的に連続する現在及び過去ブロツクデータが、ADRC符号化回路95の最大最小値検出回路72に入力される。最大最小値検出回路72は、現在及び過去ブロツクデータから最大値及び最小値を検出し、それぞれレジスタ73及び74に保持する。これによりレジスタ73及び74に保持された最大値から最小値を減算回路75で減算してダイナミツクレンジを求めた後、そのダイナミツクレンジをレジスタ76に保持する。
【0038】
現在ブロツクデータに関してはFIFO(First−In First−Out)77で遅延分を補償した後、減算回路79において最小値を減算されADRCコード変換ROM81に入力される。同様に過去ブロツクデータに関してもFIFO78で遅延分を補償した後、減算回路80において最小値を減算されADRCコード変換ROM82に入力される。またADRCコード変換ROM81、82には当該各データと共にレジスタ76からダイナミツクレンジデータが入力されてそれぞれ4ビツトADRC符号化され、それぞれレジスタ83、84にコード値が保持される。保持されたコード値は、現在ブロツクのコードデータとサーチエリア内で切り出した過去ブロツクのコードデータとが順次出力され、評価値演算回路85で画素位置毎の演算値の積算が行われる。
【0039】
評価値演算回路85では4つのイクスクルーシブオア(EXOR)ゲート86〜89で、それぞれ排他的論理和によるマツチングの度合いが計られる。つまりコードデータが一致していると値「0」が出力され、一致していないと値「1」が出力され、その結果が加算回路90及びレジスタ91で順次画素毎に積算される。この評価値演算回路85と同じ動作をするものが評価値算出回路54(図4)で、ここでは差分の絶対値を積算する。
【0040】
1ブロツクのコードデータが走査された後、レジスタ91にはあるサーチポイントでの評価値が保持されていることになる。この評価値は評価値テーブルメモリ92に記憶される。このような演算をサーチポイントをずらしながら行つていくと、評価値テーブルメモリ92には、全部で(2s+1)2 点の評価値P(h、v)が記憶される。次に評価値テーブルメモリ92から評価値を読み出して、最小値検出回路93で最小値の位置を検出する。このときの相対的な座標が求められ、ベクトル決定回路94で動きベクトルmv1 、mv2 又はmv3 が出力される。
【0041】
以上の構成において、画像符号化装置1は入力画像データを帯域分割した後、第1の動き予測回路(70)において当該各帯域のうち低域側のデータを4ビツトADRCで符号化して得られるコードデータに基づいて動きベクトルmv1 を算出する。続いて第2の動き予測回路(70)はこの動きベクトルmv1 に応じて高域側で動き補償した後、当該動きベクトルmv1 を決定した候補ブロツクを基準としてサーチエリアを縮小して上述した4ビツトADRC符号化に基づいて動きベクトルmv2 を算出する。さらに第3の動き予測回路(70)はこの動きベクトルmv2 に応じてより高域側で動き補償した後、当該動きベクトルmv2 を決定した候補ブロツクを基準としてサーチエリアを縮小して上述した4ビツトADRC符号化に基づいて動きベクトルmv3 を算出する。
【0042】
これにより帯域分割前の画像データに基づいて動きベクトルを検出し、当該検出結果を分割後の各帯域毎に動き補償を行う場合と比較して、動きベクトルの演算量を軽減させることができる。さらに動きベクトルを検出する際に、4ビツトADRC符号化を用いたことによりマツチング演算の対象となる画素の語長(ビツト)を削減することができ、この結果一段とマツチング演算の演算量を低減させることができる。
【0043】
以上の構成によれば、画像符号化装置1は入力画像データを帯域分割した後、当該各帯域のうち低域側のデータから動きベクトルを算出し、当該動きベクトルに応じて高域側で動き補償を行つた後、高域側のサーチエリアを縮小するようにしたことにより、動きベクトルの演算量が増加するのを抑制して高精度の動きベクトルを検出すると共に、装置全体として簡易な構成にすることができる。さらに動きベクトルを検出する際に4ビツトADRC符号化を用いてマツチング演算の対象となる画素の語長(ビツト)を削減するようにしたことにより、一段と演算量を低減させることができ、かくして装置全体としての構成を簡易にし得る。
【0044】
(3)第3実施例
この第3実施例の動きベクトル検出方法は、現在及び過去ブロツクデータについて第2実施例のnビツトADRCによる符号化に代えて、1ビツトADRCのコード値に符号化するものである。実際上次のような手順に従つて動きベクトルを算出する。まず参照ブロツクB1とサーチエリアSA内の全候補ブロツクB2のデータから最大値及び最小値を検出し、その最大値及び最小値の和の1/2と、各ブロツクの画素値を比較演算することによつて、1ビツトADRCの手法を用いて、参照ブロツクB1及び候補ブロツクB2のデータを、値「1」又は値「0」のコード値に符号化する。
【0045】
次に各ブロツクのコード値にて参照ブロツクB1と候補ブロツクB2の画素位置毎のマツチング演算として差分の絶対値和を求め、評価値P(h、v)を算出する。なお評価値の計算は、コード値の排他的論理和(EXOR)をとつて求めても良い。この手順に従つてサーチエリアSA内で候補ブロツクB2の位置をずらしながら、順次評価値を算出し、トータルで(2s+1)2 点の評価値P(h、v)を演算する。次に求められた評価値から最小値の位置を検出し、その相対的な座標値(h、v)を動きベクトルmv1 とする。
【0046】
続いてこのようにして求められた動きベクトルmv1 で動き補償を行つた後、当該動きベクトルmv1 の検出時において決定された候補ブロツクB2を中心として、改めてサーチエリアSA内をより小さく設定する。そして上述の手順を再度行うことによつて動きベクトルmv2 を算出する。以下、求めた動きベクトルmv2 で動き補償すると共にサーチエリアをより小さくして上述の手順を繰り返すことによつて、動きベクトルmv3 を算出する。
【0047】
ここで、図3との対応部分に同一符号を付して示す図7において、第3実施例の動き予測回路100の構成を示し、この動き予測回路100は図3における第1〜第3の動き予測回路6〜8に代わつてそれぞれ適用される。すなわち動き予測回路100は、フレームメモリ20(21、22)と動きベクトル検出回路101とで構成され、入力された帯域分割信号S2(S3、S4)に基づいて動きベクトルmv1 (mv2 、mv3 )を算出するようになされている。
【0048】
まず動きベクトル検出回路101には、入力された帯域分割信号S2(S3、S4)をフレームメモリ20(21、22)を用いて遅延させて得られた時間的に連続する現在及び過去ブロツクデータが、符号化回路120の最大最小値検出回路102に入力される。最大最小値検出回路102は、現在及び過去ブロツクデータから最大値及び最小値を検出し、それぞれレジスタ103及び104に保持する。これによりレジスタ103及び104に保持された最大値及び最小値は、加算回路105で加算された後ビツトシフトされて1/2倍され、その結果をレジスタ106に保持する。レジスタ106の値は、1ビツトADRCを実行するための閾値となる。
【0049】
この閾値が算出されるまでの延長分をFIFO107、108で補償し、比較回路109、110によつて現在及び過去ブロツクデータと閾値が比較され、閾値より大きいときは値「1」、小さいときは値「0」のコードデータが出力される。これにより1ビツトADRCが実行される。比較回路109、110の出力は、一旦メモリ回路111、112に記憶される。
【0050】
メモリ回路111、112の読み出しは、現在ブロツクのコードデータとサーチエリア内で切り出した過去ブロツクのコードデータとが順次出力され、評価値演算回路113で画素位置毎の演算値の積算が行われる。評価値演算回路113ではEXORゲート114で、排他的論理和によるマツチングの度合いが計られる。つまりコードデータが一致していると値「0」が出力され、一致していないと値「1」が出力され、その結果が加算回路115及びレジスタ116で順次画素毎に積算される。この評価値演算回路113と同じ動作をするものが評価値算出回路54(図4)で、ここでは差分の絶対値を積算する。
【0051】
1ブロツクのコードデータが走査された後、レジスタ116にはあるサーチポイントでの評価値が保持されていることになる。この評価値は評価値テーブルメモリ117に記憶される。このような演算をサーチポイントをずらしながら行つていくと、評価値テーブルメモリ117には、全部で(2s+1)2 点の評価値P(h、v)が記憶される。次に評価値テーブルメモリ117から評価値を読み出して、最小値検出回路118で最小値の位置を検出する。このときの相対的な座標が求められ、ベクトル決定回路119で動きベクトルmv1 、mv2 又はmv3 が出力される。
【0052】
以上の構成において、画像符号化装置1は入力画像データを帯域分割した後、第1の動き予測回路(100)において当該各帯域のうち低域側のデータを1ビツトADRCで符号化して得られるコードデータに基づいて動きベクトルmv1 を算出する。続いて第2の動き予測回路(100)はこの動きベクトルmv1 に応じて高域側で動き補償した後、当該動きベクトルmv1 を決定した候補ブロツクを基準としてサーチエリアを縮小して上述した1ビツトADRC符号化に基づいて動きベクトルmv2 を算出する。さらに第3の動き予測回路(100)はこの動きベクトルmv2 に応じてより高域側で動き補償した後、当該動きベクトルmv2 を決定した候補ブロツクを基準としてサーチエリアを縮小して上述した1ビツトADRC符号化に基づいて動きベクトルmv3 を算出する。
【0053】
これにより帯域分割前の画像データに基づいて動きベクトルを検出し、当該検出結果を分割後の各帯域毎に動き補償を行う場合と比較して、動きベクトルの演算量を軽減させることができる。さらに動きベクトルを検出する際に、1ビツトADRC符号化を用いたことにより、第2実施例における4ビツトADRC符号化を用いた場合と比較してEXORゲートの数を削減することができ、マツチング演算の対象となる画素の語長(ビツト)を削減することができ、この結果さらにマツチング演算の演算量を低減させることができる。
【0054】
以上の構成によれば、画像符号化装置1は入力画像データを帯域分割した後、当該各帯域のうち低域側のデータから動きベクトルを算出し、当該動きベクトルに応じて高域側で動き補償を行つた後、高域側のサーチエリアを縮小するようにしたことにより、動きベクトルの演算量が増加するのを抑制して高精度で動きベクトルを検出すると共に、装置全体として簡易な構成にすることができる。さらに動きベクトルを検出する際に1ビツトADRC符号化を用いてマツチング演算の対象となる画素の語長(ビツト)を削減するようにしたことにより、一段と演算量を低減させることができ、かくして装置全体としての構成を簡易にし得る。
【0055】
(4)他の実施例
なお上述の実施例においては、帯域分割符号化のうちサブバンド符号化を適用した場合について述べたが、本発明はこれに限らず、サブバンド符号化以外にもウエーブレツト変換符号化を適用するようにしても良い。この場合、ウエーブレツト変換符号化においては、1フレーム分の画像をウエーブレツトの基底を用いて直交変換することにより帯域毎に分割するようになされている。
【0056】
ここでウエーブレツト変換符号化のうちオクターブ分割符号化においては、低域側になるにつれて細かく分割されるようになされている。すなわちオクターブ分割符号化では、図8(A)に示すように、入力画像信号S1をLPF及びHPFを用いて、水平及び垂直方向に交互に低域側を再帰的に2分割することにより、最終的にそれぞれ例えば4つの帯域に分割する。この結果、図8(B)に示すように入力画像信号S1を2次元的に10の帯域に分割することができる。
【0057】
また上述の実施例においては、帯域分割符号化のうちサブバンド符号化を適用した場合について述べたが、本発明はこれに限らず、サブバンド符号化以外にも階層符号化を適用するようにしても良い。この場合階層符号化においては、図9(A)に示すように、オリジナル画像の2×2画素の平均値による上位階層を繰り返し生成することにより、帯域毎に分割するようになされている。図9(B)はオリジナル画像について3階層に階層化された画像データを生成する場合で、第1階層はオリジナル画像である。オリジナル画像上のブロツク(例えば16×16)より上位階層の画像データ、第n階層における画像データをMn (x、y)とすると、次式
【数2】
のように平均値化によつて求めることができ、ブロツクサイズは水平及び垂直方向にそれぞれ1/2となる。またこのように平均値階層化された第1階層の画像データから第2階層の画像データを生成するときも、(2)式により同様に求めることができる。
【0058】
さらに上述の実施例においては、サブバンド符号化を行う際に直交ミラーフイルタ(QMF)でなるLPF及びHPFを用いた場合について述べたが、本発明はこれに限らず、対象シヨートカーネルフイルタ(SSKF)でなるLPF及びHPFを用いるようにしても良い。
【0059】
さらに上述の実施例においては、第1〜第3のビツト圧縮回路12〜14は分割された各帯域毎にDCT変換符号化する場合について述べたが、本発明はこれに限らず、適当な量子化を行つたり、またランレングス・ハフマン符号化を行つたりするようにしても良い。因に、一般的には低域側の成分に対してはDCT符号化や予測符号化(DPCM)等を行い、また高域側の成分に対してはランレングス・ハフマン符号化を行うようになされている。
【0060】
さらに第1実施例においては、マツチング演算として参照ブロツク及び候補ブロツク間の差分の絶対値和を算出し、当該絶対値和が最小となる位置を動きベクトルとするようにした場合について述べたが、本発明はこれに限らず、マツチング演算として参照ブロツク及び候補ブロツク間の2乗和を算出し、当該2乗和の最小となる位置を動きベクトルとするようにしても良い。
【0061】
さらに第2実施例においては、4ビツトADRC符号化を適用した場合について述べたが、本発明はこれに限らず、4ビツト以外の2、3又は5以上のビツトのADRC符号化を適用しても良い。
【0062】
【発明の効果】
上述のように本発明によれば、入力画像を帯域分割した後、当該各帯域のうち低域側のデータから動きベクトルを算出し、当該動きベクトルに応じて高域側で動き補償を行つた後、高域側のサーチエリアを縮小するようにしたことにより、帯域分割前の入力画像に基づいて動きベクトルを検出し、当該検出結果を分割後の各帯域毎に動き補償を行う場合と比較して、動きベクトルの演算量が増加するのを抑制して高精度の動きベクトルを検出することができる上に、さらに動きベクトルを検出する際に、nビツトADRC(Adaptive Dynamic Range Coding)符号化を用いたことによりマツチング演算の対象となる画素の語長(ビツト)を削減することができ、この結果一段とマツチング演算の演算量を低減させることができ、かくして装置全体として簡易な構成にし得るような動きベクトル検出方法及び装置に実現することができる。
【図面の簡単な説明】
【図1】本発明による画像符号化装置の構成を示すブロツク図である。
【図2】実施例によるサブバンド分割された画像の説明に供する略線図である。
【図3】第1実施例による動き予測回路の構成を示すブロツク図である。
【図4】第1実施例による動きベクトル検出回路の構成を示すブロツク図である。
【図5】第1実施例による動きベクトル決定回路の構成を示すブロツク図である。
【図6】第2実施例による動き予測回路の構成を示すブロツク図である。
【図7】第3実施例による動き予測回路の構成を示すブロツク図である。
【図8】他の実施例によるオクターブ分割された画像の説明に供する略線図である。
【図9】他の実施例による階層画像の説明に供する略線図である。
【図10】従来のブロツクマツチングによる動きベクトル検出の原理の説明に供する略線図である。
【図11】従来の動きベクトル検出装置の概略構成を示すブロツク図である。
【符号の説明】
1……画像符号化装置、2、4……LPF、3、5……HPF、6〜8、70、100……動き予測回路、20〜22……フレームメモリ、23〜25、50……動きベクトル検出回路、26〜28、51……ブロツク回路(参照ブロツクメモリ)、29〜31、52……サーチブロツク回路(候補ブロツクメモリ)、32〜34……メモリコントロール、35〜37、54……評価値算出回路、38〜40、55……動きベクトル決定回路、58、75、79、80……減算回路、59……絶対値化回路、65……評価値メモリ、66……評価値メモリコントロール、67……比較回路、72、102……最大最小値検出回路、77、78、107、108……FIFO、81、82……ADRCコード変換ROM、85、113……評価値演算回路、86〜89、114……EXORゲート、90、105、115……加算回路、92、117……評価値テーブルメモリ、93、118……最小値検出回路、94、119……ベクトル決定回路、95……ADRC符号化回路、109、110……比較回路、111、112……メモリ回路、120……符号化回路。
Claims (8)
- 基本画像から抽出した候補ブロツクと参照画像から抽出した参照ブロツクとをブロツクマツチングの対象とし、サーチエリア内で上記候補ブロツクの位置をずらしながら参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値に基づいて動きベクトルを検出する動きベクトル検出方法において、
基本画像及び参照画像をそれぞれ複数の帯域画像に分割する帯域分割ステツプと、
上記帯域分割ステツプにおいて分割された帯域画像のうち低域側の帯域画像の候補ブロツクと参照ブロツクとに含まれる画素の値から最大値及び最小値を検出し、上記最大値及び上記最小値の差よりダイナミツクレンジを求め、当該ダイナミツクレンジに応じた量子化ステツプ幅を選定し、当該量子化ステツプ幅により参照ブロツク及び候補ブロツクの画素値と上記最大値又は上記最小値との差分をnビツトのコード値に符号化する適応ダイナミツクレンジ符号化ステツプと、
上記コード値を用いてサーチエリア内で上記候補ブロツクの位置をずらして、参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値が最小となる位置を第1の動きベクトルとする動きベクトル検出ステツプと、
上記第1の動きベクトルに応じて上記低域側よりも高域側の帯域画像に対して動き補償を行つた後、当該高域側の帯域画像において上記サーチエリアよりも小さいエリア内にて第2の動きベクトルを上記画像の動きベクトルとして検出する第2の動きベクトル検出ステツプと
を具えることを特徴とする動きベクトル検出方法。 - 上記第1の動きベクトル検出ステツプでは、
上記マツチング演算として上記コード値に符号化された参照ブロツク及び候補ブロツク間の画素の値の排他的論理和の演算結果を積算して算出するようにした
ことを特徴とする請求項2に記載の動きベクトル検出方法。 - 基本画像から抽出した候補ブロツクと参照画像から抽出した参照ブロツクとをブロツクマツチングの対象とし、サーチエリア内で上記候補ブロツクの位置をずらしながら参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値に基づいて動きベクトルを検出する動きベクトル検出方法において、
基本画像及び参照画像をそれぞれ複数の帯域画像に分割する帯域分割ステツプと、
上記帯域分割ステツプにおいて分割された帯域画像のうち低域側の帯域画像の候補ブロツクと参照ブロツクとに含まれる画素の値から最大値及び最小値を検出し、上記最大値及び上記最小値の和の1/2の値とそれぞれ参照ブロツク及び候補ブロツクの画素値とを比較演算して、参照ブロツク及び候補ブロツクの各画素値を値「1」又は値「0」のコード値に符号化する符号化ステツプと、
上記コード値を用いてサーチエリア内で上記候補ブロツクの位置をずらして、参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値が最小の位置を第1の動きベクトルとする動きベクトル検出ステツプと、
上記第1の動きベクトルに応じて上記低域側よりも高域側の帯域画像に対して動き補償を行つた後、当該高域側の帯域画像において上記サーチエリアよりも小さいエリア内にて第2の動きベクトルを上記画像の動きベクトルとして検出する第2の動きベクトル検出ステツプと
を具えることを特徴とする動きベクトル検出方法。 - 上記第1の動きベクトル検出ステツプでは、
上記マツチング演算として上記コード値に符号化された参照ブロツク及び候補ブロツク間の画素の値の排他的論理和の演算結果を積算して算出し、当該積算値が最小となる位置を上記第1の動きベクトルとする
ことを特徴とする請求項3に記載の動きベクトル検出方法。 - 基本画像から抽出した候補ブロツクと参照画像から抽出した参照ブロツクとをブロツクマツチングの対象とし、サーチエリア内で上記候補ブロツクの位置をずらしながら参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値に基づいて動きベクトルを検出する動きベクトル検出装置において、
基本画像及び参照画像をそれぞれ複数の帯域画像に分割する帯域分割手段と、
上記帯域分割手段において分割された帯域画像のうち低域側の帯域画像の候補ブロツクと参照ブロツクとに含まれる画素の値から最大値及び最小値を検出し、上記最大値及び上記最小値の差よりダイナミツクレンジを求め、当該ダイナミツクレンジに応じた量子化ステツプ幅を選定し、当該量子化ステツプ幅により参照ブロツク及び候補ブロツクの画素値と上記最大値又は上記最小値の差分をnビツトのコード値に符号化する適応ダイナミツクレンジ符号化手段と、
上記コード値を用いてサーチエリア内で上記候補ブロツクの位置をずらして、参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値が最小となる位置を第1の動きベクトルとする動きベクトル検出手段と、
上記第1の動きベクトルに応じて上記低域側よりも高域側の帯域画像に対して動き補償を行つた後、当該高域側の帯域画像において上記サーチエリアよりも小さいエリア内にて第2の動きベクトルを上記画像の動きベクトルとして検出する第2の動きベクトル検出手段と
を具えることを特徴とする動きベクトル検出装置。 - 上記第1の動きベクトル検出手段では、
上記マツチング演算として上記コード値に符号化された参照ブロツク及び候補ブロツク間で画素の値の排他的論理和の演算結果を積算して算出し、当該積算値が最小となる位置を上記第1の動きベクトルとする
ことを特徴とする請求項5に記載の動きベクトル検出装置。 - 基本画像から抽出した候補ブロツクと参照画像から抽出した参照ブロツクとをブロツクマツチングの対象とし、サーチエリア内で上記候補ブロツクの位置をずらしながら参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値に基づいて動きベクトルを検出する動きベクトル検出装置において、
基本画像及び参照画像をそれぞれ複数の帯域画像に分割する帯域分割手段と、
上記帯域分割手段において分割された帯域画像のうち低域側の帯域画像の候補ブロツクと参照ブロツクとに含まれる画素の値から最大値及び最小値を検出し、上記最大値及び上記最小値の和の1/2の値とそれぞれ参照ブロツク及び候補ブロツクの画素値とを比較演算して、参照ブロツク及び候補ブロツクの各画素値を値「1」又は値「0」のコード値に符号化する符号化手段と、
上記コード値を用いてサーチエリア内で上記候補ブロツクの位置をずらして、参照ブロツク及び候補ブロツク間でマツチング演算を行い、当該演算値が最小の位置を第1の動きベクトルとする動きベクトル検出手段と、
上記第1の動きベクトルに応じて上記低域側よりも高域側の帯域画像に対して動き補償を行つた後、当該高域側の帯域画像において上記サーチエリアよりも小さいエリア内にて第2の動きベクトルを上記画像の動きベクトルとして検出する第2の動きベクトル検出手段と
を具えることを特徴とする動きベクトル検出装置。 - 上記第1の動きベクトル検出手段では、
上記マツチング演算として上記コード値に符号化された参照ブロツク及び候補ブロツク間の画素の値の排他的論理和の演算結果を積算して算出し、当該積算値が最小となる位置を上記第1の動きベクトルとする
ことを特徴とする請求項7に記載の動きベクトル検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6673595A JP3627870B2 (ja) | 1995-02-28 | 1995-02-28 | 動きベクトル検出方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6673595A JP3627870B2 (ja) | 1995-02-28 | 1995-02-28 | 動きベクトル検出方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08237661A JPH08237661A (ja) | 1996-09-13 |
JP3627870B2 true JP3627870B2 (ja) | 2005-03-09 |
Family
ID=13324447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6673595A Expired - Lifetime JP3627870B2 (ja) | 1995-02-28 | 1995-02-28 | 動きベクトル検出方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3627870B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110211A (ja) | 2007-10-29 | 2009-05-21 | Sony Corp | 情報符号化装置および方法、情報検索装置および方法、情報検索システムおよび方法、並びにプログラム |
KR102445274B1 (ko) | 2012-10-01 | 2022-09-20 | 지이 비디오 컴프레션, 엘엘씨 | 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2663178B1 (fr) * | 1990-06-06 | 1995-07-21 | Thomson Csf | Procede d'estimation hierarchique du mouvement dans une sequence d'images. |
JPH04322593A (ja) * | 1991-04-22 | 1992-11-12 | Victor Co Of Japan Ltd | 画像符号化装置及びその復号化装置 |
JPH0549023A (ja) * | 1991-08-08 | 1993-02-26 | Nec Corp | 動画像の動き情報検出方式 |
JP3178140B2 (ja) * | 1993-02-08 | 2001-06-18 | 松下電器産業株式会社 | 画像データ圧縮装置 |
JPH06343172A (ja) * | 1993-06-01 | 1994-12-13 | Matsushita Electric Ind Co Ltd | 動きベクトル検出方法及び動きベクトル符号化方法 |
-
1995
- 1995-02-28 JP JP6673595A patent/JP3627870B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH08237661A (ja) | 1996-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6430317B1 (en) | Method and apparatus for estimating motion using block features obtained from an M-ary pyramid | |
EP0643539B1 (en) | Motion vector detection apparatus and method | |
KR100578682B1 (ko) | 가변 블록 크기를 이용한 계층적 움직임 추정 장치 및방법 | |
JP4004653B2 (ja) | 動きベクトル検出方法および装置、記録媒体 | |
JP2009147807A (ja) | 画像処理装置 | |
JPH06343172A (ja) | 動きベクトル検出方法及び動きベクトル符号化方法 | |
US6266371B1 (en) | Motion vector detecting apparatus and method | |
US6408101B1 (en) | Apparatus and method for employing M-ary pyramids to enhance feature-based classification and motion estimation | |
US5881183A (en) | Method and device for encoding object contour by using centroid | |
CN106954065B (zh) | 基于梯度方向直方图的递归预测图像压缩方法 | |
JP3627870B2 (ja) | 動きベクトル検出方法及び装置 | |
US7852939B2 (en) | Motion vector detection method and device of the same | |
JPS6028392A (ja) | 動画像信号の動き内插方式 | |
JP3627872B2 (ja) | 動きベクトル検出方法及び装置 | |
Kim et al. | Probabilistic global motion estimation based on Laplacian two-bit plane matching for fast digital image stabilization | |
JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
JP3171249B2 (ja) | 動画像符号化の動きベクトル探索方法 | |
JP3941900B2 (ja) | 動きベクトル検出装置 | |
Song et al. | Fast hierarchical wavelet-domain motion estimation for arbitrarily shaped visual objects | |
KR0156958B1 (ko) | 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치 | |
Rejeb et al. | Real-time implementation of fractal image encoder | |
JPH07240927A (ja) | 映像符号化装置 | |
JP2000102015A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
JP3911784B2 (ja) | 画像圧縮装置及び画像圧縮方法 | |
Anandan et al. | VIDEO COMPRESSION USING ARPS AND FAST DISCRETE CURVELET TRANSFORM FOR MOBILE DEVICES |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040827 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041202 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071217 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |