JP2001119701A - 高速動き検索装置 - Google Patents
高速動き検索装置Info
- Publication number
- JP2001119701A JP2001119701A JP29886299A JP29886299A JP2001119701A JP 2001119701 A JP2001119701 A JP 2001119701A JP 29886299 A JP29886299 A JP 29886299A JP 29886299 A JP29886299 A JP 29886299A JP 2001119701 A JP2001119701 A JP 2001119701A
- Authority
- JP
- Japan
- Prior art keywords
- search
- motion
- vector
- stage
- prediction error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 高速にして的確な動きベクトルを検出する。
【解決手段】 １段目動き検索手段１２は、前フレーム
での検索結果を参照して決められる検索範囲を検索し
て、最小となる予測誤差がしきい値より小さければこの
範囲を検索した時点で動き検索処理を終了する。もし予
測誤差がしきい値より大きければ２段目動き検索手段１
３で、あらかじめ設定された検索範囲内の１段目動き検
索で検索を行わなかった部分を検索して、予測誤差が最
小となる場所を求める。こうして検索を２段階に分けて
行い、１段目の検索範囲を適当に変更することで高速で
誤検出の少ない動きベクトルの検索を行うことができ
る。
での検索結果を参照して決められる検索範囲を検索し
て、最小となる予測誤差がしきい値より小さければこの
範囲を検索した時点で動き検索処理を終了する。もし予
測誤差がしきい値より大きければ２段目動き検索手段１
３で、あらかじめ設定された検索範囲内の１段目動き検
索で検索を行わなかった部分を検索して、予測誤差が最
小となる場所を求める。こうして検索を２段階に分けて
行い、１段目の検索範囲を適当に変更することで高速で
誤検出の少ない動きベクトルの検索を行うことができ
る。
Description
【０００１】
【発明の属する技術分野】本発明は、高速動き検索装置
に関し、特に、動画像を圧縮符号化する動画像符号化装
置において、圧縮効率を向上させるために最適な動きベ
クトルを高速に求める高速動きベクトル検索装置に関す
るものである。
に関し、特に、動画像を圧縮符号化する動画像符号化装
置において、圧縮効率を向上させるために最適な動きベ
クトルを高速に求める高速動きベクトル検索装置に関す
るものである。
【０００２】
【従来の技術】動き補償フレーム間符号化とは、ｋフレ
ームの画素Ｘijk を予測するのに、ｋ−１フレームの信
号のなかからＸijに最も近い画素値Ｘlmを探し出す操作
である。特にここでは一定の矩形領域に区切られたブロ
ック単位に、最も相関性の高いブロックを探し出す操作
を意味する。ここで、ＸijとＸlmとの空間的なずれ｜ｉ
−ｌ｜と｜ｊ−ｍ｜を付加情報（動きベクトル）として
伝送する。
ームの画素Ｘijk を予測するのに、ｋ−１フレームの信
号のなかからＸijに最も近い画素値Ｘlmを探し出す操作
である。特にここでは一定の矩形領域に区切られたブロ
ック単位に、最も相関性の高いブロックを探し出す操作
を意味する。ここで、ＸijとＸlmとの空間的なずれ｜ｉ
−ｌ｜と｜ｊ−ｍ｜を付加情報（動きベクトル）として
伝送する。
【０００３】従来、フレーム間予測符号化を行う画像圧
縮装置において、画質を向上させるために有効な手段と
して最も相関性の高い部分と差分を求めて、符号化する
データ量を少なくするという方法があげられる。
縮装置において、画質を向上させるために有効な手段と
して最も相関性の高い部分と差分を求めて、符号化する
データ量を少なくするという方法があげられる。
【０００４】この方法によれば、ベクトル検索の範囲が
広ければ広いほど正確な検索を行うことができるが、処
理量は飛躍的に増加する。高速な圧縮処理を要求される
場合には、この検索範囲を狭くしたり、ある程度相関性
の高い部分を見付けたら検索を打ち切ったりすることで
演算量を減らす手法が一般的であり、この方法は、第１
の従来例としてあげられる特開平１０−２７１５１４号
公報でも示されている。
広ければ広いほど正確な検索を行うことができるが、処
理量は飛躍的に増加する。高速な圧縮処理を要求される
場合には、この検索範囲を狭くしたり、ある程度相関性
の高い部分を見付けたら検索を打ち切ったりすることで
演算量を減らす手法が一般的であり、この方法は、第１
の従来例としてあげられる特開平１０−２７１５１４号
公報でも示されている。
【０００５】しかしながら、これらの方法を実行した場
合には、さらに相関性の高い部分が存在するにも関わら
ず検索処理が中断される可能性が高くなるために、画質
が劣化するという問題点がある。
合には、さらに相関性の高い部分が存在するにも関わら
ず検索処理が中断される可能性が高くなるために、画質
が劣化するという問題点がある。
【０００６】また、第２の従来例としてあげられる特開
平８−３２９６９号公報には、前フレームの同位置との
相関性を用いて検索範囲を動的に変える手法が記載され
ている。
平８−３２９６９号公報には、前フレームの同位置との
相関性を用いて検索範囲を動的に変える手法が記載され
ている。
【０００７】この第２の従来例による手法では、動きの
大きい画像かどうかが検索範囲に反映しないために、動
きの小さい部分でも広い範囲を検索してしまう可能性が
多く、処理時間が短縮されるとは限らない。例えば、物
体の境界部が動いた部分の検索では前フレームと同位置
の相関性が低くなるために広い範囲を検索してしまう。
大きい画像かどうかが検索範囲に反映しないために、動
きの小さい部分でも広い範囲を検索してしまう可能性が
多く、処理時間が短縮されるとは限らない。例えば、物
体の境界部が動いた部分の検索では前フレームと同位置
の相関性が低くなるために広い範囲を検索してしまう。
【０００８】また、第３の従来例としてあげられる特開
平１０−１９１３５２号公報には、相関性を求める処理
を並列に行う手法が記載されているが、演算器を複数持
たなければならないために回路規模が大きくなり、例え
ばパソコン上で実現させようとすると複数のＣＰＵを必
要とするといった問題点があった。
平１０−１９１３５２号公報には、相関性を求める処理
を並列に行う手法が記載されているが、演算器を複数持
たなければならないために回路規模が大きくなり、例え
ばパソコン上で実現させようとすると複数のＣＰＵを必
要とするといった問題点があった。
【０００９】
【発明が解決しようとする課題】しかしながら、このよ
うな叙上の第１〜第３の従来技術にはそれぞれ下記に示
す如き欠点があった。
うな叙上の第１〜第３の従来技術にはそれぞれ下記に示
す如き欠点があった。
【００１０】即ち、第１の従来例は、さらに相関性の高
い部分が存在するにも関わらず検索処理が中断される可
能性が高くなるために、画質が劣化するという欠点があ
った。
い部分が存在するにも関わらず検索処理が中断される可
能性が高くなるために、画質が劣化するという欠点があ
った。
【００１１】また第２の従来例は、動きの大きい画像か
どうかが検索範囲に反映しないために、動きの小さい部
分でも広い範囲を検索してしまう可能性が多く、処理時
間が短縮されるとは限らない。例えば、物体の境界部が
動いた部分の検索では前フレームと同位置の相関性が低
くなるために広い範囲を検索してしまうという欠点があ
った。
どうかが検索範囲に反映しないために、動きの小さい部
分でも広い範囲を検索してしまう可能性が多く、処理時
間が短縮されるとは限らない。例えば、物体の境界部が
動いた部分の検索では前フレームと同位置の相関性が低
くなるために広い範囲を検索してしまうという欠点があ
った。
【００１２】第３の従来例は、演算器を複数持たなけれ
ばならないために回路規模が大きくなり、例えばパソコ
ン上で実現させようとすると複数のＣＰＵを必要とする
といった欠点があった。
ばならないために回路規模が大きくなり、例えばパソコ
ン上で実現させようとすると複数のＣＰＵを必要とする
といった欠点があった。
【００１３】本発明は従来の上記実情に鑑み、従来の技
術に内在する上記諸欠点を解消する為になされたもので
あり、従って本発明の目的は、高速にして的確な動きベ
クトルを検出することを可能とした新規な動きベクトル
検索装置を提供することにある。
術に内在する上記諸欠点を解消する為になされたもので
あり、従って本発明の目的は、高速にして的確な動きベ
クトルを検出することを可能とした新規な動きベクトル
検索装置を提供することにある。
【００１４】
【課題を解決するための手段】上記目的を達成する為
に、本発明に係る高速動き検索装置は、１フレーム単位
に画像入力される画像入力手段と、該画像入力手段から
出力される現フレームと前フレームとの相関性を求める
動き検索手段と、該動き検索手段による検索にて最小の
予測誤差が得られた場所へのベクトルを動きベクトルと
して参照フレームのその場所のブロックとの差分演算を
行うブロック間差分手段と、該ブロック間差分手段によ
り求められたブロック差分データを周波数成分に変換す
る周波数変換手段と、前記周波数成分を量子化する量子
化手段と、該量子化手段の量子化出力を圧縮符号化して
出力する可変長符号化手段とを有する圧縮符号化装置に
おいて、前記動きベクトル検索手段として、１段目動き
検索手段と２段目動き検索手段とを設け、前記１段目動
き検索手段は、前フレームでの検索結果を参照して決め
られる検索範囲を検索して、最小となる予測誤差がしき
い値より小さければこの範囲を検索した時点で動き検索
処理を終了し、もし予測誤差がしきい値より大きければ
前記２段目動き検索手段であらかじめ設定された検索範
囲内の前記１段目動き検索手段で検索を行わなかった部
分を検索して予測誤差が最小となる場所を求め、検索を
２段階に分けて行い、１段目の検索範囲を動的に変更す
ることで高速で誤検出の少ない動きベクトルの検索を行
うことを特徴としている。
に、本発明に係る高速動き検索装置は、１フレーム単位
に画像入力される画像入力手段と、該画像入力手段から
出力される現フレームと前フレームとの相関性を求める
動き検索手段と、該動き検索手段による検索にて最小の
予測誤差が得られた場所へのベクトルを動きベクトルと
して参照フレームのその場所のブロックとの差分演算を
行うブロック間差分手段と、該ブロック間差分手段によ
り求められたブロック差分データを周波数成分に変換す
る周波数変換手段と、前記周波数成分を量子化する量子
化手段と、該量子化手段の量子化出力を圧縮符号化して
出力する可変長符号化手段とを有する圧縮符号化装置に
おいて、前記動きベクトル検索手段として、１段目動き
検索手段と２段目動き検索手段とを設け、前記１段目動
き検索手段は、前フレームでの検索結果を参照して決め
られる検索範囲を検索して、最小となる予測誤差がしき
い値より小さければこの範囲を検索した時点で動き検索
処理を終了し、もし予測誤差がしきい値より大きければ
前記２段目動き検索手段であらかじめ設定された検索範
囲内の前記１段目動き検索手段で検索を行わなかった部
分を検索して予測誤差が最小となる場所を求め、検索を
２段階に分けて行い、１段目の検索範囲を動的に変更す
ることで高速で誤検出の少ない動きベクトルの検索を行
うことを特徴としている。
【００１５】前記画像入力手段に画像データが入力され
ると検索情報データが参照可能か否かが判断されるが初
回の検索では該情報が参照できないために前記１段目動
き検索手段では既定の検索範囲が特別な処理なしで検索
される。
ると検索情報データが参照可能か否かが判断されるが初
回の検索では該情報が参照できないために前記１段目動
き検索手段では既定の検索範囲が特別な処理なしで検索
される。
【００１６】前記しきい値は、前フレームの同位置にあ
るマクロブロックの検索結果が用いられる。
るマクロブロックの検索結果が用いられる。
【００１７】前記１段目動き検索手段の検索範囲は、前
フレームで求められた動きベクトルの長さの２倍を一辺
とする正方領域で決定される。
フレームで求められた動きベクトルの長さの２倍を一辺
とする正方領域で決定される。
【００１８】検索情報が参照できる場合には、前フレー
ムの同位置にあるマクロブロックの動きベクトルや予測
誤差の情報を取得し、前記前フレームの動きベクトル情
報を基にしてそのベクトル分検索開始位置をずらして検
索を行うことで予測誤差が最小となる場所を予測し、そ
この場所を中心に検索し、取得したベクトル情報より１
段目の動き検索する範囲が決定される。
ムの同位置にあるマクロブロックの動きベクトルや予測
誤差の情報を取得し、前記前フレームの動きベクトル情
報を基にしてそのベクトル分検索開始位置をずらして検
索を行うことで予測誤差が最小となる場所を予測し、そ
この場所を中心に検索し、取得したベクトル情報より１
段目の動き検索する範囲が決定される。
【００１９】前記検索範囲は、フレーム内のすでに検索
済みの周囲のブロックのベクトルの最大値またはメディ
アン値か、または過去数フレームの同位置のベクトルの
最大値またはメディアン値のいずれかでもよく、該検索
範囲で得られた予測誤差の最小値が前フレームの同位置
ブロックでの予測誤差より小さければ検索処理は終了
し、そうでなければ検索処理が継続される。
済みの周囲のブロックのベクトルの最大値またはメディ
アン値か、または過去数フレームの同位置のベクトルの
最大値またはメディアン値のいずれかでもよく、該検索
範囲で得られた予測誤差の最小値が前フレームの同位置
ブロックでの予測誤差より小さければ検索処理は終了
し、そうでなければ検索処理が継続される。
【００２０】前記１段目及び２段目動き検索手段の出力
の後に検索情報保存手段が設けられ、次フレームの動き
検索のために前記１段目、または２段目動き検索手段に
より求められた動きベクトル値や予測誤差の最小値は前
記検索情報保存手段に保存される。
の後に検索情報保存手段が設けられ、次フレームの動き
検索のために前記１段目、または２段目動き検索手段に
より求められた動きベクトル値や予測誤差の最小値は前
記検索情報保存手段に保存される。
【００２１】前記１段目動き検索手段と前記量子化手段
に、該量子化手段の出力を逆量子化すると共に更に逆周
波数変換を行って周波数成分から画素成分に変換し、該
画素成分から参照フレームのデータを生成する動き補償
手段が設けられている。
に、該量子化手段の出力を逆量子化すると共に更に逆周
波数変換を行って周波数成分から画素成分に変換し、該
画素成分から参照フレームのデータを生成する動き補償
手段が設けられている。
【００２２】
【作用】図１において、１段目動き検索手段１２は、前
フレームでの検索結果を参照して決められる検索範囲を
検索して、最小となる予測誤差がしきい値より小さけれ
ばこの範囲を検索した時点で動き検索処理を終了する。
もし予測誤差がしきい値より大きければ２段目動き検索
手段１３で、あらかじめ設定された検索範囲内の１段目
動き検索で検索を行わなかった部分を検索して、予測誤
差が最小となる場所を求める。
フレームでの検索結果を参照して決められる検索範囲を
検索して、最小となる予測誤差がしきい値より小さけれ
ばこの範囲を検索した時点で動き検索処理を終了する。
もし予測誤差がしきい値より大きければ２段目動き検索
手段１３で、あらかじめ設定された検索範囲内の１段目
動き検索で検索を行わなかった部分を検索して、予測誤
差が最小となる場所を求める。
【００２３】こうして検索を２段階に分けて行い、１段
目の検索範囲を変更することで高速で誤検出の少ない動
きベクトルの検索を行うことができる。
目の検索範囲を変更することで高速で誤検出の少ない動
きベクトルの検索を行うことができる。
【００２４】
【発明の実施の形態】次に、本発明をその好ましい一実
施の形態について図面を参照しながら詳細に説明する。
施の形態について図面を参照しながら詳細に説明する。
【００２５】図１は、本発明による一実施の形態を示す
ブロック構成図である。
ブロック構成図である。
【００２６】［実施の形態の構成］図１を参照するに、
本発明に係る高速動き検索装置の一実施の形態は、画像
入力手段１１と、１段目動き検索手段１２と、２段目動
き検索手段１３と、検索情報保存手段１４と、ブロック
間差分手段１５と、周波数変換手段１６と、量子化手段
１７と、逆量子化手段１８と、逆周波数変換手段１９
と、動き補償手段２０と、可変長符号化手段２１と、出
力手段２２とから構成されている。
本発明に係る高速動き検索装置の一実施の形態は、画像
入力手段１１と、１段目動き検索手段１２と、２段目動
き検索手段１３と、検索情報保存手段１４と、ブロック
間差分手段１５と、周波数変換手段１６と、量子化手段
１７と、逆量子化手段１８と、逆周波数変換手段１９
と、動き補償手段２０と、可変長符号化手段２１と、出
力手段２２とから構成されている。
【００２７】これらの各手段はそれぞれ概略次のように
動作する。
動作する。
【００２８】画像入力手段１１よりカメラ等から１フレ
ーム単位に画像が取り込まれ、１段目動き検索手段１２
で参照フレームとして動き補償手段２０に格納されてい
る前フレームと現フレームとの相関性が求められる。そ
の際の検索範囲は前フレームで求められた動きベクトル
の長さの２倍を１辺とする正方領域とする。この検索範
囲を検索して得られた最小の予測誤差が、前フレームの
同位置にあるマクロブロック（符号化ブロック単位）の
検索結果の予測誤差より小さい値であれば２段目動き検
索手段１３による検索は行なわずに、その最小の場所へ
のベクトル値を動きベクトルとして、参照フレームのそ
の場所のブロックとの差分演算がブロック間差分手段１
５で行なわれる。
ーム単位に画像が取り込まれ、１段目動き検索手段１２
で参照フレームとして動き補償手段２０に格納されてい
る前フレームと現フレームとの相関性が求められる。そ
の際の検索範囲は前フレームで求められた動きベクトル
の長さの２倍を１辺とする正方領域とする。この検索範
囲を検索して得られた最小の予測誤差が、前フレームの
同位置にあるマクロブロック（符号化ブロック単位）の
検索結果の予測誤差より小さい値であれば２段目動き検
索手段１３による検索は行なわずに、その最小の場所へ
のベクトル値を動きベクトルとして、参照フレームのそ
の場所のブロックとの差分演算がブロック間差分手段１
５で行なわれる。
【００２９】そうでなければ、すなわち、１段目動き検
索手段１２で得られた最小の予測誤差が前フレームの同
位置にあるマクロブロックの検索結果の予測誤差より大
きい値である場合には、２段目動き検索手段１３で規定
の検索範囲内であって１段目動き検索手段１２で検索し
なかった部分を検索し、最小の予測誤差が得られた場所
へのベクトルを動きベクトルとし、参照フレームのその
場所のブロックとの差分演算がブロック間差分手段１５
で行なわれる。
索手段１２で得られた最小の予測誤差が前フレームの同
位置にあるマクロブロックの検索結果の予測誤差より大
きい値である場合には、２段目動き検索手段１３で規定
の検索範囲内であって１段目動き検索手段１２で検索し
なかった部分を検索し、最小の予測誤差が得られた場所
へのベクトルを動きベクトルとし、参照フレームのその
場所のブロックとの差分演算がブロック間差分手段１５
で行なわれる。
【００３０】また、次フレームの動き検索のために今求
められた動きベクトル値や予測誤差の最小値は検索情報
保存手段１４で保存しておかれる。
められた動きベクトル値や予測誤差の最小値は検索情報
保存手段１４で保存しておかれる。
【００３１】求められたブロック差分データは、周波数
変換手段１６で周波数成分に変換され、量子化手段１７
で量子化が行われる。量子化されたデータは、可変長符
号化手段２１で圧縮符号に符号化されて、出力手段２２
で出力される。
変換手段１６で周波数成分に変換され、量子化手段１７
で量子化が行われる。量子化されたデータは、可変長符
号化手段２１で圧縮符号に符号化されて、出力手段２２
で出力される。
【００３２】また、次のフレーム圧縮用の参照フレーム
作成のために、量子化手段１７の結果は逆量子化手段１
８で逆量子化が行なわれ、逆周波数変換手段１９で周波
数成分から画素成分に変換され、動き補償手段２０で参
照フレームのデータが生成される。
作成のために、量子化手段１７の結果は逆量子化手段１
８で逆量子化が行なわれ、逆周波数変換手段１９で周波
数成分から画素成分に変換され、動き補償手段２０で参
照フレームのデータが生成される。
【００３３】［実施の形態の動作］次に、実施の形態の
動作について、図面を参照して詳細に説明する。
動作について、図面を参照して詳細に説明する。
【００３４】図２は本実施の形態の動作フロー例を示す
フローチャートである。
フローチャートである。
【００３５】図２を参照するに、画像データが入力され
ると、検索情報データが参照可能かどうかを確認する
（ステップＳ１１）。
ると、検索情報データが参照可能かどうかを確認する
（ステップＳ１１）。
【００３６】初回の検索ではこの情報が参照できないた
めに既定の検索範囲を特別な処理なしで検索する（ステ
ップＳ１２）。
めに既定の検索範囲を特別な処理なしで検索する（ステ
ップＳ１２）。
【００３７】検索情報が参照できる場合には、前フレー
ムの同位置にあるマクロブロックの動きベクトルや予測
誤差の情報を取得する（ステップＳ１３）。
ムの同位置にあるマクロブロックの動きベクトルや予測
誤差の情報を取得する（ステップＳ１３）。
【００３８】動きの方向が急激に変化することは稀なの
で、前フレームの動きベクトル情報を基にしてそのベク
トル分検索開始位置をずらして検索を行うことで予測誤
差が最小となる場所を予測し、そこの場所を中心に検索
する（ステップＳ１４）。
で、前フレームの動きベクトル情報を基にしてそのベク
トル分検索開始位置をずらして検索を行うことで予測誤
差が最小となる場所を予測し、そこの場所を中心に検索
する（ステップＳ１４）。
【００３９】取得したベクトル情報より検索する範囲が
決められ、そのベクトル長の２倍を検索範囲に設定し、
１段目の検索を行う（ステップＳ１５）。
決められ、そのベクトル長の２倍を検索範囲に設定し、
１段目の検索を行う（ステップＳ１５）。
【００４０】ここで検索範囲は前フレームの同位置のベ
クトル情報を使うとしたが、これは同フレーム内のすで
に検索済みの周囲のブロックのベクトルの最大値または
メディアン値でもよく、また過去数フレームの同位置の
ベクトルの最大値またはメディアン値でも構わない。こ
の検索範囲で得られた予測誤差の最小値が前フレームの
同位置ブロックでの予測誤差より小さければ検索処理は
終了し、そうでなければ検索処理を継続する（ステップ
Ｓ１６）。
クトル情報を使うとしたが、これは同フレーム内のすで
に検索済みの周囲のブロックのベクトルの最大値または
メディアン値でもよく、また過去数フレームの同位置の
ベクトルの最大値またはメディアン値でも構わない。こ
の検索範囲で得られた予測誤差の最小値が前フレームの
同位置ブロックでの予測誤差より小さければ検索処理は
終了し、そうでなければ検索処理を継続する（ステップ
Ｓ１６）。
【００４１】検索継続と判定されると２段目の検索処理
が行われる（ステップＳ１７）。
が行われる（ステップＳ１７）。
【００４２】ここでの検索は既定の検索範囲内であって
１段目の検索処理で未検索の領域を検索する。１段目の
検索で求められた予測誤差より小さい結果が得られれば
ベクトル値を更新し、そうでなければ１段目の検索結果
が現マクロブロックのベクトル値をして決定される。
１段目の検索処理で未検索の領域を検索する。１段目の
検索で求められた予測誤差より小さい結果が得られれば
ベクトル値を更新し、そうでなければ１段目の検索結果
が現マクロブロックのベクトル値をして決定される。
【００４３】これらの処理により得られたベクトル値、
予測誤差値は次のフレームの検索の際に参照されるの
で、一時保存領域に保存される（ステップＳ１８）。
予測誤差値は次のフレームの検索の際に参照されるの
で、一時保存領域に保存される（ステップＳ１８）。
【００４４】次に本実施の形態を具体例を用いて説明す
る。
る。
【００４５】特に、ここではＭＰＥＧ（Ｍｏｖｉｎｇ
Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔｓＧｒｏｕｐ）について
説明する。
Ｐｉｃｔｕｒｅ ＥｘｐｅｒｔｓＧｒｏｕｐ）について
説明する。
【００４６】図３を用いてＭＰＥＧ１のフレーム構成に
ついて説明する。
ついて説明する。
【００４７】図３を参照するに、フレームタイプには、
予測を行わないＩフレーム、過去の情報から予測を行う
Ｐフレーム、過去・未来の情報から予測を行うＢフレー
ムの３種類がある。
予測を行わないＩフレーム、過去の情報から予測を行う
Ｐフレーム、過去・未来の情報から予測を行うＢフレー
ムの３種類がある。
【００４８】この例では圧縮に必要な最小フレーム数は
参照フレームとなるフレームから次の参照フレームまで
の４フレームで、ＩＢＢＰもしくはＰＢＢＰとなる。
参照フレームとなるフレームから次の参照フレームまで
の４フレームで、ＩＢＢＰもしくはＰＢＢＰとなる。
【００４９】参照の方向、順番を考慮すると、ｒｅｆ１
は前フレームの参照結果がないので検索情報が取得でき
ず既定の範囲を検索し、ｒｅｆ２はｒｅｆ１の検索情報
を基に１段目の検索範囲及びしきい値を決定して検索
し、同様にｒｅｆ３はｒｅｆ２の検索情報を基に検索す
る。
は前フレームの参照結果がないので検索情報が取得でき
ず既定の範囲を検索し、ｒｅｆ２はｒｅｆ１の検索情報
を基に１段目の検索範囲及びしきい値を決定して検索
し、同様にｒｅｆ３はｒｅｆ２の検索情報を基に検索す
る。
【００５０】次にｒｅｆ４の検索を行おうとするとＢ２
からＰ０を予測した情報がないために既定の範囲を検索
し、ｒｅｆ５はｒｅｆ４の検索情報を基に検索する。
からＰ０を予測した情報がないために既定の範囲を検索
し、ｒｅｆ５はｒｅｆ４の検索情報を基に検索する。
【００５１】また、ｒｅｆ６はｒｅｆ４の予測誤差情報
はそのまま使用し、ベクトル情報はそのままで向きが反
対の情報を使うことで参照することができる。ｒｅｆ９
もｒｅｆ４と同様の理由で参照情報を得ることができな
いために既定の検索を行なう。
はそのまま使用し、ベクトル情報はそのままで向きが反
対の情報を使うことで参照することができる。ｒｅｆ９
もｒｅｆ４と同様の理由で参照情報を得ることができな
いために既定の検索を行なう。
【００５２】図４は動き検索の方法を説明するための図
である。
である。
【００５３】次に図４を参照して、動き検索の方法につ
いて説明する。動きベクトルの検索は１６×１６の矩形
領域で参照フレームとの間でマクロブロック差分を求
め、その差分値の絶対値和もしくは二乗和を予測誤差と
して、予測誤差が最も小さくなるブロックを求める方式
が一般的である。既定の検索範囲を縦横それぞれ−１５
〜＋１５とする。
いて説明する。動きベクトルの検索は１６×１６の矩形
領域で参照フレームとの間でマクロブロック差分を求
め、その差分値の絶対値和もしくは二乗和を予測誤差と
して、予測誤差が最も小さくなるブロックを求める方式
が一般的である。既定の検索範囲を縦横それぞれ−１５
〜＋１５とする。
【００５４】１段目の検索では前フレームの同位置マク
ロブロックのベクトルを参照して、そのベクトル分検索
の開始点を移動させる。これは隣接するフレーム間で同
位置のベクトルには急激な変化は少ないと予測して開始
点を予測の中心に移動させることで検索範囲を狭くして
もベクトルの誤検出をする確立が低くなるという傾向が
あるからである。
ロブロックのベクトルを参照して、そのベクトル分検索
の開始点を移動させる。これは隣接するフレーム間で同
位置のベクトルには急激な変化は少ないと予測して開始
点を予測の中心に移動させることで検索範囲を狭くして
もベクトルの誤検出をする確立が低くなるという傾向が
あるからである。
【００５５】現在位置が（３２，３２）で参照ベクトル
（３，−４）であった場合には、検索開始位置は（３
５，２８）になる。また検索範囲も参照ベクトル長から
決定するため、１段目の検索範囲は−５〜＋５になる。
（３，−４）であった場合には、検索開始位置は（３
５，２８）になる。また検索範囲も参照ベクトル長から
決定するため、１段目の検索範囲は−５〜＋５になる。
【００５６】ここでは単にベクトル長をそのまま検索範
囲に用いたが、ベクトル長の１割増分を検索範囲として
もよい。これより図４の点線で囲まれた領域が１段目の
検索範囲となり、実線で囲まれた領域が既定の検索範囲
となり、点線と実線に挟まれた領域が２段目の検索範囲
となる。
囲に用いたが、ベクトル長の１割増分を検索範囲として
もよい。これより図４の点線で囲まれた領域が１段目の
検索範囲となり、実線で囲まれた領域が既定の検索範囲
となり、点線と実線に挟まれた領域が２段目の検索範囲
となる。
【００５７】もし１段目の検索が図５に示すように既定
の検索範囲外に出てしまった場合には既定の領域を優先
し、はみ出した部分は検索対象外とする。
の検索範囲外に出てしまった場合には既定の領域を優先
し、はみ出した部分は検索対象外とする。
【００５８】参照予測誤差が８０であったとして、１段
目の検索で予測誤差が図６のようになったとすると、最
小の予測誤差値７５が参照予測誤差値８０以下なので検
索処理は２段目を行わずに終了し、次フレームの参照用
にこのマクロブロックの予測誤差を７５として保存す
る。
目の検索で予測誤差が図６のようになったとすると、最
小の予測誤差値７５が参照予測誤差値８０以下なので検
索処理は２段目を行わずに終了し、次フレームの参照用
にこのマクロブロックの予測誤差を７５として保存す
る。
【００５９】また図７のように１段目の最小予測誤差値
が８２の場合には参照予測誤差値より大きいために２段
目の検索を行い、１段目と２段目の両方の検索で予測誤
差値が最小となったベクトルを動きベクトルとする。
が８２の場合には参照予測誤差値より大きいために２段
目の検索を行い、１段目と２段目の両方の検索で予測誤
差値が最小となったベクトルを動きベクトルとする。
【００６０】
【発明の効果】本発明は、以上の如く構成され、作用す
るものであり、本発明によれば以下に示すような効果が
得られる。
るものであり、本発明によれば以下に示すような効果が
得られる。
【００６１】第１の効果は、高速な動きベクトルの検索
が行えることにある。
が行えることにある。
【００６２】その理由は、検索範囲が必ず規定値以下に
なるような範囲で適応的に変化するので、ブロックマッ
チング処理の回数を減らすことができるからである。
なるような範囲で適応的に変化するので、ブロックマッ
チング処理の回数を減らすことができるからである。
【００６３】第２の効果は、上記動きベクトル検索処理
において、動きの少ない場所ほど高速なベクトル検索が
行えることにある。
において、動きの少ない場所ほど高速なベクトル検索が
行えることにある。
【００６４】その理由は、前フレームの同位置で検出さ
れたベクトルを参照して新たな検索範囲を設定するの
で、前フレームの動きが少ない場所、すなわちベクトル
が小さい場所ほど検索範囲が狭くなるからである。
れたベクトルを参照して新たな検索範囲を設定するの
で、前フレームの動きが少ない場所、すなわちベクトル
が小さい場所ほど検索範囲が狭くなるからである。
【００６５】第３の効果は、上記動きベクトル検索処理
において、正確な動きベクトルを検出できることにあ
る。
において、正確な動きベクトルを検出できることにあ
る。
【００６６】その理由は、一定の範囲を検索するまでは
検索処理を打ち切らないで、相関性の高いマクロブロッ
クを正確に検出することができるからである。
検索処理を打ち切らないで、相関性の高いマクロブロッ
クを正確に検出することができるからである。
【００６７】第４の効果は、上記動きベクトル検索処理
において、動きの大きさが変化しても正確な動きベクト
ルを検出できることにある。
において、動きの大きさが変化しても正確な動きベクト
ルを検出できることにある。
【００６８】その理由は、一定の検索範囲を検索しても
相関性が低い場合には既定の検索範囲を検索して正確な
動きベクトルを検出することができるからである。
相関性が低い場合には既定の検索範囲を検索して正確な
動きベクトルを検出することができるからである。
【図１】本発明による一実施の形態を示すブロック構成
図である。
図である。
【図２】本発明による一実施の形態の動作例を示すフロ
ーチャートである。
ーチャートである。
【図３】本発明に使用されるＭＰＥＧ１のフレーム構成
を説明する図である。
を説明する図である。
【図４】本発明による検索方法を説明するための図であ
る。
る。
【図５】本発明による検索方法を説明するための図であ
る。
る。
【図６】本発明による検索方法を説明するための図であ
る。
る。
【図７】本発明による検索方法を説明するための図であ
る。
る。
１１…画像入力手段 １２…１段目動き検索手段 １３…２段目動き検索手段 １４…検索情報保存手段 １５…ブロック間差分手段 １６…周波数変換手段 １７…量子化手段 １８…逆量子化手段 １９…逆周波数変換手段 ２０…動き補償手段 ２１…可変長符号化手段 ２２…出力手段
Claims (8)
- 【請求項１】 １フレーム単位に画像入力される画像入
力手段と、該画像入力手段から出力される現フレームと
前フレームとの相関性を求める動き検索手段と、該動き
検索手段による検索にて最小の予測誤差が得られた場所
へのベクトルを動きベクトルとして参照フレームのその
場所のブロックとの差分演算を行うブロック間差分手段
と、該ブロック間差分手段により求められたブロック差
分データを周波数成分に変換する周波数変換手段と、前
記周波数成分を量子化する量子化手段と、該量子化手段
の量子化出力を圧縮符号化して出力する可変長符号化手
段とを有する圧縮符号化装置において、 前記動きベクトル検索手段として、１段目動き検索手段
と２段目動き検索手段とを設け、 前記１段目動き検索手段は、前フレームでの検索結果を
参照して決められる検索範囲を検索して、最小となる予
測誤差がしきい値より小さければこの範囲を検索した時
点で動き検索処理を終了し、もし予測誤差がしきい値よ
り大きければ前記２段目動き検索手段であらかじめ設定
された検索範囲内の前記１段目動き検索手段で検索を行
わなかった部分を検索して予測誤差が最小となる場所を
求め、検索を２段階に分けて行い、１段目の検索範囲を
動的に変更することで高速で誤検出の少ない動きベクト
ルの検索を行うことを特徴とした高速動き検索装置。 - 【請求項２】 前記画像入力手段に画像データが入力さ
れると検索情報データが参照可能か否かが判断されるが
初回の検索では該情報が参照できないために前記１段目
動き検索手段は既定の検索範囲を特別な処理なしで検索
することを更に特徴とする請求項１に記載の高速動き検
索装置。 - 【請求項３】 前記しきい値は、前フレームの同位置に
あるマクロブロックの検索結果であることを更に特徴と
する請求項１に記載の高速動き検索装置。 - 【請求項４】 前記１段目動き検索手段の検索範囲は、
前フレームで求められた動きベクトルの長さの２倍を一
辺とする正方領域であることを更に特徴とする請求項１
に記載の高速動き検索装置。 - 【請求項５】 検索情報が参照できる場合には、前フレ
ームの同位置にあるマクロブロックの動きベクトルや予
測誤差の情報を取得し、前記前フレームの動きベクトル
情報を基にしてそのベクトル分検索開始位置をずらして
検索を行うことで予測誤差が最小となる場所を予測し、
そこの場所を中心に検索し、取得したベクトル情報より
１段目の動き検索する範囲を決定することを更に特徴と
する請求項１に記載の高速動き検索装置。 - 【請求項６】 前記検索範囲は、フレーム内のすでに検
索済みの周囲のブロックのベクトルの最大値またはメデ
ィアン値か、または過去数フレームの同位置のベクトル
の最大値またはメディアン値のいずれかであり、該検索
範囲で得られた予測誤差の最小値が前フレームの同位置
ブロックでの予測誤差より小さければ検索処理は終了
し、そうでなければ検索処理を継続することを更に特徴
とする請求項５に記載の高速動き検索装置。 - 【請求項７】 前記１段目動き検索手段の入力と前記１
段目及び２段目動き検索手段の出力との間に検索情報保
存手段を設け、次フレームの動き検索のために前記１段
目、２段目動き検索手段により求められた動きベクトル
値や予測誤差の最小値を前記検索情報保存手段に保存し
ておくことを更に特徴とする請求項１に記載の高速動き
検索装置。 - 【請求項８】 前記１段目動き検索手段と前記量子化手
段に、該量子化手段の出力を逆量子化すると共に更に逆
周波数変換を行って周波数成分から画素成分に変換し、
該画素成分から参照フレームのデータを生成する動き補
償手段を設けたことを更に特徴とする請求項１に記載の
高速動き検索装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29886299A JP3473750B2 (ja) | 1999-10-20 | 1999-10-20 | 高速動き検索装置 |
| US09/690,751 US6788741B1 (en) | 1999-10-20 | 2000-10-18 | Device and method of retrieving high-speed motion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29886299A JP3473750B2 (ja) | 1999-10-20 | 1999-10-20 | 高速動き検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001119701A true JP2001119701A (ja) | 2001-04-27 |
| JP3473750B2 JP3473750B2 (ja) | 2003-12-08 |
Family
ID=17865164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29886299A Expired - Fee Related JP3473750B2 (ja) | 1999-10-20 | 1999-10-20 | 高速動き検索装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6788741B1 (ja) |
| JP (1) | JP3473750B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2018190207A1 (ja) * | 2017-04-13 | 2019-12-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 復号装置、復号方法及びプログラム |
| JP2022008413A (ja) * | 2017-04-13 | 2022-01-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 復号装置、符号化装置及び記録媒体 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4389866B2 (ja) * | 2005-12-12 | 2009-12-24 | セイコーエプソン株式会社 | 画像処理方法、画像処理装置、表示装置およびプログラム |
| US9530222B2 (en) * | 2015-03-30 | 2016-12-27 | Ca, Inc. | Detecting divergence or convergence of related objects in motion and applying asymmetric rules |
| CN107801026B (zh) * | 2017-11-09 | 2019-12-03 | 京东方科技集团股份有限公司 | 图像压缩方法及装置、图像压缩及解压缩*** |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0832969A (ja) | 1994-07-12 | 1996-02-02 | Canon Inc | 動きベクトル検出装置 |
| JP2768646B2 (ja) * | 1995-04-05 | 1998-06-25 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 動きベクトル探索方法および探索装置 |
| EP0941614A4 (en) * | 1996-11-27 | 2004-10-13 | Princeton Video Image Inc | MOTION IMAGE LOCATION SYSTEM USING IMAGE TEXTURE MODELS |
| JP3631868B2 (ja) | 1996-12-20 | 2005-03-23 | 株式会社東芝 | 動きベクトル検出装置および方法 |
| JPH10271514A (ja) | 1997-03-23 | 1998-10-09 | Tadayoshi Enomoto | 動画像情報の信号処理方法及びその装置 |
| JPH10327415A (ja) * | 1997-05-22 | 1998-12-08 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
| JP3155509B2 (ja) | 1997-06-17 | 2001-04-09 | 日本電信電話株式会社 | 動きベクトル探索方法および動きベクトル探索装置ならびに動きベクトル探索プログラムを記憶した記憶媒体 |
| US6212237B1 (en) * | 1997-06-17 | 2001-04-03 | Nippon Telegraph And Telephone Corporation | Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program |
-
1999
- 1999-10-20 JP JP29886299A patent/JP3473750B2/ja not_active Expired - Fee Related
-
2000
- 2000-10-18 US US09/690,751 patent/US6788741B1/en not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2018190207A1 (ja) * | 2017-04-13 | 2019-12-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 復号装置、復号方法及びプログラム |
| JP2022008413A (ja) * | 2017-04-13 | 2022-01-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 復号装置、符号化装置及び記録媒体 |
| US11425409B2 (en) | 2017-04-13 | 2022-08-23 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| US11653018B2 (en) | 2017-04-13 | 2023-05-16 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
| JP7331052B2 (ja) | 2017-04-13 | 2023-08-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 復号装置及び符号化装置 |
| US11895316B2 (en) | 2017-04-13 | 2024-02-06 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method, and decoding method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3473750B2 (ja) | 2003-12-08 |
| US6788741B1 (en) | 2004-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7023921B2 (en) | Method and apparatus for determining block match quality | |
| JP4338654B2 (ja) | 動きベクトル検出装置及び方法、及びその動きベクトル検出装置を利用可能な画像符号化装置 | |
| US6925123B2 (en) | Method and apparatus for performing high quality fast predictive motion search | |
| US20060045186A1 (en) | Apparatus and method for coding moving picture | |
| US20070268964A1 (en) | Unit co-location-based motion estimation | |
| JP2007166038A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JP2007124408A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
| JP2006020095A (ja) | 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法 | |
| US7433407B2 (en) | Method for hierarchical motion estimation | |
| KR100632072B1 (ko) | 동화상 압축 부호화장치 및 모션벡터 검출방법 | |
| JP2001119701A (ja) | 高速動き検索装置 | |
| JP2009152895A (ja) | 符号量制御方法および装置、符号量制御プログラム、カメラシステム | |
| JP2001128179A (ja) | 動画像符号化装置および方法 | |
| US6975681B2 (en) | Method and apparatus for coding moving pictures | |
| KR100490730B1 (ko) | 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법 | |
| KR100602148B1 (ko) | 1/4픽셀 움직임 벡터를 이용한 동영상 압축방법 | |
| JPH0262178A (ja) | 画像処理装置の動き検出方式 | |
| JPH06225289A (ja) | 映像信号符号化装置 | |
| JP2001028754A (ja) | 動きベクトル検出方法 | |
| JP2004260251A (ja) | 動きベクトル検出装置及び動きベクトル検出プログラム | |
| JPH10304371A (ja) | 動きベクトル検出装置 | |
| JP4385869B2 (ja) | 動きベクトル検出装置、動画符号化装置、および、プログラム | |
| JP4385875B2 (ja) | 動きベクトル検出装置、および、プログラム | |
| JPH10285603A (ja) | 画像符号化方法 | |
| JP2002112270A (ja) | 動画像高速符号化装置及び動画像高速符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080919 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080919 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090919 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090919 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100919 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 9 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 9 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 9 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |