JP2004165982A - 動き量推定装置、プログラム、記憶媒体および動き量推定方法 - Google Patents
動き量推定装置、プログラム、記憶媒体および動き量推定方法 Download PDFInfo
- Publication number
- JP2004165982A JP2004165982A JP2002329553A JP2002329553A JP2004165982A JP 2004165982 A JP2004165982 A JP 2004165982A JP 2002329553 A JP2002329553 A JP 2002329553A JP 2002329553 A JP2002329553 A JP 2002329553A JP 2004165982 A JP2004165982 A JP 2004165982A
- Authority
- JP
- Japan
- Prior art keywords
- sub
- block
- amount
- motion
- code amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し(ステップS2,S3)、このサブブロックの符号量に基づいてサブブロック単位での動き量を推定する(ステップS4〜S7)。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することができるので、高速かつ精度良くサブブロック単位での動き量を推定することができる。
【選択図】 図15
Description
【発明の属する技術分野】
本発明は、動き量推定装置、プログラム、記憶媒体および動き量推定方法に関する。
【0002】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ(Digital Camera)を例にあげると、300万以上の画素数を持つ高性能な電荷結合素子(CCD:Charge Coupled Device)の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、500万画素の製品の登場も間近である。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【0003】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、CRTやLCD(液晶表示デバイス)、PDP(プラズマ表示デバイス)等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【0004】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ(Personal Computer)やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【0005】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【0006】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なJPEG2000という新しい方式が規格化されつつある。かかるJPEG2000においては、画像を矩形領域(タイル)に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【0007】
また、このような1フレームのJPEG2000画像は、所定のフレームレート(単位時間に再生するフレーム数)で連続して表示することにより、動画像にすることが可能である。このようにJPEG2000画像をコマ送りさせて動画表示させる規格としては、Motion JPEG2000という国際標準の規格がある。
【0008】
また、このMotion JPEG2000方式と同様に、離散ウェーブレット変換を用いて画像データを圧縮符号化するようにしたものも提案されている(例えば、特許文献1参照)。
【0009】
この特許文献1に開示の技術では、画素値を離散ウェーブレット変換して圧縮符号化するのみならず、異なるフレーム間の画像においても相関をとり、フレーム間で画像の動きがない場合の動画像データの冗長性も解消するようにしているので、よりデータの圧縮率を向上することができる。
【0010】
【特許文献1】
特開2001−309381公報
【0011】
【発明が解決しようとする課題】
ところが、特許文献1に記載されている方式によれば、フレーム間の相関を求めるのに符号化された直交変換係数値を復号化し、更に、逆量子化するという、複雑な処理を経る必要があるため、処理に時間がかかるという問題がある。さらに、フレーム間の相関を求めるために用いられる前のフレームを記憶するメモリ量も必要となる。
【0012】
本発明の目的は、画像の動き量を高速かつ精度良く求めることができる動き量推定装置、プログラム、記憶媒体および動き量推定方法を提供することである。
【0013】
【課題を解決するための手段】
請求項1記載の発明の動き量推定装置は、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、を備える。
【0014】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定される。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することが可能になるので、高速かつ精度良くコード・ブロック単位での動き量を推定することが可能になる。
【0015】
請求項2記載の発明の動き量推定装置は、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、このサブブロック動き量推定手段により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定手段と、を備える。
【0016】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定されるとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量が推定される。これにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことが可能になるので、効率の良い画質制御を行うことが可能になる。
【0017】
請求項3記載の発明は、請求項1または2記載の動き量推定装置において、前記サブブロック動き量推定手段は、サブバンド1LH中の所定のサブブロックの符号量とサブバンド1HL中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する。
【0018】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分とを比較することによって、インターレース画像の動き量(速度)が確実に推定される。
【0019】
請求項4記載の発明は、請求項3記載の動き量推定装置において、前記サブブロック動き量推定手段で符号量と比較するサブバンド1LH中のサブブロックとサブバンド1HL中のサブブロックとは、同じ位置に復号される位置関係にある。
【0020】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分との比較の精度を高めることが可能になる。
【0021】
請求項5記載の発明は、請求項2ないし4のいずれか一記載の動き量推定装置において、前記フレーム動き量推定手段は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定手段によるサブバンド1LHの符号量とサブバンド1HLの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する。
【0022】
したがって、フレーム画像全体の動き量を簡易に推定することが可能になる。
【0023】
請求項6記載の発明は、請求項1ないし5のいずれか一記載の動き量推定装置において、前記符号量算出手段により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である。
【0024】
したがって、動き量の推定精度の向上を図ることが可能になる。
【0025】
請求項7記載の発明は、請求項1ないし6のいずれか一記載の動き量推定装置において、前記符号量算出手段により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である。
【0026】
したがって、動き量の推定精度の向上を図ることが可能になる。
【0027】
請求項8記載の発明のコンピュータに読取り可能なプログラムは、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、このサブブロック取得機能により取得された前記サブブロックの符号量を算出する符号量算出機能と、この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、をコンピュータに実行させる。
【0028】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定される。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することが可能になるので、高速かつ精度良くコード・ブロック単位での動き量を推定することが可能になる。
【0029】
請求項9記載の発明のコンピュータに読取り可能なプログラムは、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出機能と、この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、このサブブロック動き量推定機能により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定機能と、をコンピュータに実行させる。
【0030】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定されるとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量が推定される。これにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことが可能になるので、効率の良い画質制御を行うことが可能になる。
【0031】
請求項10記載の発明は、請求項8または9記載のプログラムにおいて、前記サブブロック動き量推定機能は、サブバンド1LH中の所定のサブブロックの符号量とサブバンド1HL中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する。
【0032】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分とを比較することによって、インターレース画像の動き量(速度)が確実に推定される。
【0033】
請求項11記載の発明は、請求項10記載のプログラムにおいて、前記サブブロック動き量推定機能で符号量と比較するサブバンド1LH中のサブブロックとサブバンド1HL中のサブブロックとは、同じ位置に復号される位置関係にある。
【0034】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分との比較の精度を高めることが可能になる。
【0035】
請求項12記載の発明は、請求項9ないし11のいずれか一記載のプログラムにおいて、前記フレーム動き量推定機能は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定機能によるサブバンド1LHの符号量とサブバンド1HLの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する。
【0036】
したがって、フレーム画像全体の動き量を簡易に推定することが可能になる。
【0037】
請求項13記載の発明は、請求項8ないし12のいずれか一記載のプログラムにおいて、前記符号量算出機能により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である。
【0038】
したがって、動き量の推定精度の向上を図ることが可能になる。
【0039】
請求項14記載の発明は、8ないし13のいずれか一記載のプログラムにおいて、前記符号量算出機能により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である。
【0040】
したがって、動き量の推定精度の向上を図ることが可能になる。
【0041】
請求項15記載の発明の記憶媒体は、請求項8ないし14のいずれか一記載のプログラムを記憶している。
【0042】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項8ないし14のいずれか一記載の発明と同様の作用を得ることが可能になる。
【0043】
請求項16記載の発明の動き量推定方法は、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、を含む。
【0044】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定される。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することが可能になるので、高速かつ精度良くコード・ブロック単位での動き量を推定することが可能になる。
【0045】
請求項17記載の発明の動き量推定方法は、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、このサブブロック動き量推定工程により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定工程と、を含む。
【0046】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定されるとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量が推定される。これにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことが可能になるので、効率の良い画質制御を行うことが可能になる。
【0047】
請求項18記載の発明は、請求項16または17記載の動き量推定方法において、前記サブブロック動き量推定工程は、サブバンド1LH中の所定のサブブロックの符号量とサブバンド1HL中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する。
【0048】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分とを比較することによって、インターレース画像の動き量(速度)が確実に推定される。
【0049】
請求項19記載の発明は、請求項18記載の動き量推定方法において、前記サブブロック動き量推定工程で符号量と比較するサブバンド1LH中のサブブロックとサブバンド1HL中のサブブロックとは、同じ位置に復号される位置関係にある。
【0050】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分との比較の精度を高めることが可能になる。
【0051】
請求項20記載の発明は、請求項17ないし19のいずれか一記載の動き量推定方法において、前記フレーム動き量推定工程は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定工程によるサブバンド1LHの符号量とサブバンド1HLの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する。
【0052】
したがって、フレーム画像全体の動き量を簡易に推定することが可能になる。
【0053】
請求項21記載の発明は、請求項16ないし20のいずれか一記載の動き量推定方法において、前記符号量算出工程により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である。
【0054】
したがって、動き量の推定精度の向上を図ることが可能になる。
【0055】
請求項22記載の発明は、請求項16ないし21のいずれか一記載の動き量推定方法において、前記符号量算出工程により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である。
【0056】
したがって、動き量の推定精度の向上を図ることが可能になる。
【0057】
【発明の実施の形態】
最初に、本実施の形態の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【0058】
図1は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部101、2次元ウェーブレット変換・逆変換部102、量子化・逆量子化部103、エントロピー符号化・復号化部104、タグ処理部105の各機能ブロックにより構成されている。
【0059】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換(DCT:Discrete Cosine Transform)を用いているのに対し、この階層符号化アルゴリズムでは、2次元ウェーブレット変換・逆変換部102において、離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を用いている。DWTはDCTに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でDWTが採用された大きな理由の一つとなっている。
【0060】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部105の機能ブロックが追加されていることである。このタグ処理部105で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる(後述する図3参照)。
【0061】
原画像の入出力部分には、色空間変換・逆変換101が接続される場合が多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆変換を行う部分がこれに相当する。
【0062】
次に、JPEG2000アルゴリズムについて説明する。
【0063】
カラー画像は、一般に、図2に示すように、原画像の各コンポーネント111(ここではRGB原色系)が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする(図2の例では、各コンポーネント111が縦横4×4、合計16個の矩形のタイル112に分割されている)。このような個々のタイル112(図2の例で、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15)が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル112ごとに、独立に行われる。
【0064】
画像データの符号化時には、各コンポーネント111の各タイル112のデータが、図1の色空間変換・逆変換部101に入力され、色空間変換を施された後、2次元ウェーブレット変換部102で2次元ウェーブレット変換(順変換)が施されて、周波数帯に空間分割される。
【0065】
図3には、デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブバンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブバンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブバンド(3LL,3HL,3LH,3HH)を分離する。図3では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を3としたとき、網掛けで示したサブバンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブバンドは符号化されない。
【0066】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図1に示す量子化・逆量子化部103で対象ビット周辺のビットからコンテキストが生成される。
【0067】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図4に示したように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【0068】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【0069】
ここで、図5はビットプレーンに順位付けする手順の一例を示す説明図である。図5に示すように、この例は、原画像(32×32画素)を16×16画素のタイル4つで分割した場合で、デコンポジション・レベル1のプレシンクトとコード・ブロックの大きさは、各々8×8画素と4×4画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号0から3まで、コード・ブロックが番号0から3まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆(5,3)フィルタでウェーブレット変換を行い、デコンポジション・レベル1のウェーブレット係数値を求めている。
【0070】
また、タイル0/プレシンクト3/コード・ブロック3について、代表的な「レイヤ」構成の概念の一例を示す説明図も図5に併せて示す。変換後のコード・ブロックは、サブバンド(1LL,1HL,1LH,1HH)に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【0071】
レイヤの構造は、ウェーブレット係数値を横方向(ビットプレーン方向)から見ると理解し易い。1つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ0,1,2,3は、各々、1,3,1,3のビットプレーンから成っている。そして、LSB(Least Significant Bit:最下位ビット)に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、MSB(Most Significant Bit:最上位ビット)に近いレイヤは最後まで量子化されずに残ることになる。LSBに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【0072】
図1に示すエントロピー符号化・復号化部104では、コンテキストと対象ビットから確率推定によって、各コンポーネント111のタイル112に対する符号化を行う。こうして、原画像の全てのコンポーネント111について、タイル112単位で符号化処理が行われる。最後にタグ処理部105は、エントロピー符号化・復号化部104からの全符号化データを1本の符号列データ(コードストリーム)に結合するとともに、それにタグを付加する処理を行う。
【0073】
図6には、この符号列データの1フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ(bit stream)の先頭にはヘッダ(メインヘッダ(Main header)、タイル境界位置情報やタイル境界方向情報等であるタイルパートヘッダ(tile part header))と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ(Main header)には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ(end of codestream)が置かれる。
【0074】
一方、復号化時には、画像データの符号化時とは逆に、各コンポーネント111の各タイル112の符号列データから画像データを生成する。この場合、タグ処理部105は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント111の各タイル112の符号列データに分解し、その各コンポーネント111の各タイル112の符号列データ毎に復号化処理(伸長処理)を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部103で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部104で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット変換・逆変換部102で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部101によって元の表色系の画像データに変換される。
【0075】
以上が、「JPEG2000アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Motion JPEG2000アルゴリズム」である。すなわち、「Motion JPEG2000」は、図7に示すように、1フレームのJPEG2000画像を所定のフレームレート(単位時間に再生するフレーム数)で連続して表示することにより、動画像にするものである。
【0076】
以下、本発明の第一の実施の形態について説明する。なお、ここでは、MotionJPEG2000を代表とする動画像圧縮伸長技術に関する例について説明するが、いうまでもなく、本発明は以下の説明の内容に限定されるものではない。
【0077】
図8は本発明が適用されるムービーカメラシステム1の概略構成を示すブロック図である。図8に示すように、本発明の動画像表示システムが適用されるムービーカメラシステム1は、ムービーカメラである画像記録装置1aとパーソナルコンピュータである動画像再生装置1bとをインターネットであるネットワーク1cを介して接続したものである。
【0078】
以下においては、本発明の特長的な機能を発揮する画像記録装置1aについて説明する。なお、動画像再生装置1bについては、Motion JPEG2000方式で圧縮した符号列データの伸長を行うことができる標準的なシステムであれば良いので、その詳細な説明は省略する。
【0079】
図8に示すように、画像記録装置1aは、動画像を撮影する画像入力装置2と、この撮影した画像データを圧縮符号化する画像圧縮装置3とを備えている。画像圧縮装置3は、動画像データの圧縮処理を行う本発明の画像処理装置を実施するものである。
【0080】
図9は、画像記録装置1aのハードウエア構成の一例を示すブロック図である。画像記録装置1aは、図9に示すように、コンピュータの主要部であって各部を集中的に制御するCPU(Central Processing Unit)11を備えており、このCPU11には、各種のROM(Read Only Memory)、RAM(Random Access Memory)からなる記憶媒体であるメモリ12と、ネットワーク1cと通信を行う所定の通信インターフェイス13と、ユーザから各種の操作を受け付ける操作パネル18とが、バス14を介して接続されている。
【0081】
画像記録装置1aにおいては、前述した画像入力装置2と画像圧縮装置3とに加え、論理回路19が、バス14を介してCPU11に接続されている。
【0082】
このような構成の画像記録装置1aのメモリ12(のROM)には、動画像を処理する動画処理プログラム等の制御プログラムがそれぞれ記憶されている。この動画処理プログラムは本発明のプログラムを実施するものである。そして、この動画処理プログラムに基づいてCPU11が実行する処理により、符号列変換装置4の機能を実現する。
【0083】
なお、メモリ12としては、CDやDVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることもできる。また、ネットワーク1cからプログラムをダウンロードし、メモリ12にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【0084】
ここで、画像記録装置1aの各部の動作について簡単に説明する。画像記録装置1aの画像入力装置2は、CCD、MOSイメージセンサ等の光電変換デバイスを用いて動画像をフレーム単位でキャプチャし、動画像のデジタル画素値信号を画像圧縮装置3に出力するものである。
【0085】
画像記録装置1aの画像圧縮装置3は、動画像のデジタル画素値信号を「Motion JPEG2000アルゴリズム」に従って圧縮符号化する。図10に示すように、画像圧縮装置3は、色空間変換部31、2次元ウェーブレット変換部32、量子化部33、エントロピー符号化部34、ポスト量子化部35、算術符号化部36の各部から構成される。これらの各部における各種機能は、前述の動画処理プログラムにしたがってCPU11が行う処理により実現している。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路19の動作により、各部における各種機能を実現するようにするのが望ましい。
【0086】
次に、画像圧縮装置3を構成する各部の動作について簡単に説明する。色空間変換部31で画像入力装置2から入力された動画像のデジタル画素値信号をRGBからYUVまたはYCbCrに変換し、2次元ウェーブレット変換部32で色成分ごとに2次元ウェーブレット変換を行う。そして、量子化部33でWavelet係数を適当な量子化分母で除算し、エントロピー符号化部34でロスレスの符号を作り、ポスト量子化部35でビットトランケーション(符号の破棄)を行い、算術符号化部36でJPEG2000の符号フォーマットに符号を形成する。このような一連の処理により、元の動画像のR,G,Bの各コンポーネントの動画像データは、フレーム毎に1又は複数(通常は複数)のタイルに分割され、このタイル毎に階層的に圧縮符号化された符号化データとなる。
【0087】
ここで、本実施の形態において特長的な機能を発揮するポスト量子化部35について詳細に説明する。図11は、ポスト量子化部35の構成を概略的に示すブロック図である。図11に示すように、ポスト量子化部35は、速度推定部41、量子化テーブル決定部42、符号破棄部43、マスキング制御部44を備えている。
【0088】
速度推定部41は、動き量推定装置として機能するものであって、エントロピー符号化部34で作成されたコード・ブロック内の情報から画像の動き量(速度)を推定し、推定した画像の動き量(速度)をマスキング制御部44に送るものである。
【0089】
マスキング制御部44は、量子化テーブルのトランケート量(ビットプレーン削り量)をコード・ブロック毎に調整するものである。
【0090】
量子化テーブル決定部42は、CPU11から与えられた圧縮率と速度推定部41により推定された画像の動き量(速度)とに応じて量子化テーブルを決定し、該量子化テーブルを符号破棄部43に与えるものである。
【0091】
符号破棄部43は、量子化テーブル決定部42により決定された量子化テーブルとそれをマスキング制御部44でコード・ブロック毎に調整したコード・ブロック毎のトランケート量(ビットプレーン削り量)とを用いて、ビットプレーン(又はサブビットプレーン)を削っていない状態の符号から所定の圧縮率になるまで符号を破棄するものである。
【0092】
ここで、速度推定部41による画像の動き量(速度)の推定手法について説明する。図12は、速度推定部41による画像の動き量(速度)の推定手法の基本的思想について記述したものである。一般的に、インターレース画像内に動きが生じた場合、フレームデータでは動いた物体のエッジがライン単位のくしの歯状(以下、インターレースのくし型という。)になる。図12に示すように、インターレース画像において、物体が高速で動いている画像は、インターレースのくし型が横方向に長い。それに対し、物体が低速で動いている画像は、インターレースのくし型が横方向に短い。また、画像の横エッジは、Wavelet変換係数の1LH成分に強く現われることが知られている。すなわち、高速で動いている画像ほど高周波の横方向のエッジが長くなることから、高速なコード・ブロックほど1LHの係数の絶対値の和が大きく、かつ、ロスレスの1LHの符号量の和が大きくなる。速度推定部41においては、この特性を利用して画像の動き量(速度)をフレーム毎に独立して推定する。
【0093】
図13は、速度推定部41の構成を概略的に示すブロック図である。図13に示すように、速度推定部41は、ブロック選択部51、特徴量算出部52、速度判定部53の各部から構成される。ブロック選択部51は、演算すべきコード・ブロックを選択するものである。例えば、1階層のサブバンド1LHの中のコード・ブロックをラスター順に選択する。または、全てのコード・ブロックを選択する構成にしても良い。特徴量算出部52は、ブロック選択部51で選択されたコード・ブロックの係数または符号量の演算を行い、特徴量を算出するものである。速度判定部53は、特徴量算出部52で求められた特徴量を用いて、コード・ブロック単位の画像の動き量(速度)を推定するものである。
【0094】
ここで、コード・ブロック単位の画像の動き量(速度)の推定について説明する。前述したように、コード・ブロックとはサブバンドを更に細かいブロックに分けたものである。すなわち、コード・ブロックはサブブロックである。本実施の形態においては、画像の横エッジが強く現われるWavelet変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるWavelet変換係数の1階層の1HL成分とを比較することによって、インターレース画像の動き量(速度)の推定を行うものである。さらには、復号されたときに同じ位置になるコード・ブロックを比較することによってコード・ブロック単位の画像の動き量(速度)の推定を行うものである。ここで、図14は4つのコード・ブロックがある1階層のサブバンドを示すものである。すなわち、図14に示すように、復号時には同じ位置になるコード・ブロック1HL_1とコード・ブロック1LH_1とを比較する。同様に、1HL_2と1LH_2、1HL_3と1LH_3、1HL_4と1LH_4の比較も行う。なお、コード・ブロックが1つのサブバンドの場合には、コード・ブロック単位ではなくサブバンド単位で比較を行う。そして、この比較結果に応じてコード・ブロック単位の画像の動き量(速度)の推定を行う。
【0095】
上述したようなコード・ブロック単位の画像の動き量(速度)の推定処理について、図15に示すフローチャートを参照しつつ説明する。図15に示すように、ブロック選択部51で選択されたコード・ブロックのうち、初めのコード・ブロックを取得し(ステップS1:サブブロック取得手段)、当該コード・ブロックの1LH,1HLのビットプレーンを削る前の符号量をそれぞれ算出し(ステップS2,S3:符号量算出手段)、割り算(1LH/1HL)し、算出された割合を動き量推定の特徴量(rate)とする(ステップS4)。このステップS1〜S4の処理は、特徴量算出部52により実行される。
【0096】
そして、割り算(1LH/1HL)の結果(rate)を閾値(th0)と比較して(ステップS5)、割り算(1LH/1HL)の結果(rate)が閾値(th0)よりも大きければ(ステップS5のY)、画像の横エッジが強く現われているものとして、コード・ブロック単位の画像の動き量(速度)は高速であると推定する(ステップS6)。一方、割り算(1LH/1HL)の結果(rate)が閾値(th0)よりも大きくなければ(ステップS5のN)、画像の縦エッジが強く現われているものとして、コード・ブロック単位の画像の動き量(速度)は低速であると推定する(ステップS7)。このステップS5〜S7の処理は、速度判定部53により実行される。ここに、サブブロック動き量推定手段の機能が実行される。
【0097】
ステップS2〜S7の処理は、ブロック選択部51で選択された全てのコード・ブロックについて終了する迄(ステップS8、S9)、繰り返される。
【0098】
すなわち、図14に示すような1階層のサブバンドに4つのコード・ブロックがある場合には、1階層の係数のコード・ブロックの数だけ上記の処理が繰り返されることになるので、4つのコード・ブロックについての速度が推定されることになる。ここで、1階層のコード・ブロックの数とは、例えばコード・ブロックのサイズが32×32である場合、1LHの係数のサイズが256×128ならば、コード・ブロックの数は(256/32)×(128/32)=8×4=32個である。
【0099】
ここに、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定される。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することが可能になるので、高速かつ精度良くコード・ブロック単位での動き量を推定することが可能になる。
【0100】
なお、このように推定したコード・ブロック単位での動き量(速度)は、速度推定部41からマスキング制御部44に送られることにより、動きの速い物体と動きの遅い物体が混在している画像に対して、各々最適な処理(マスキング処理など)を施すことができる。
【0101】
次に、本発明の第二の実施の形態について図16ないし図18に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。第一の実施の形態では、コード・ブロック単位の画像の動き量(速度)を推定したが、本実施の形態は、コード・ブロック単位の画像の動き量(速度)とフレーム画像全体の動き量(速度)とを推定するものである。
【0102】
図16は、本発明の第二の実施の形態の速度推定部41の構成を概略的に示すブロック図である。図16に示すように、速度推定部41は、ブロック選択部61、特徴量算出部62、速度判定部63の各部から構成される。ブロック選択部61は、演算すべきコード・ブロックを選択するものである。例えば、1階層のサブバンド1LHの中のコード・ブロックをラスター順に選択する。または、全てのコード・ブロックを選択する構成にしても良い。特徴量算出部62は、ブロック選択部61で選択されたコード・ブロックの係数または符号量の演算を行い、特徴量を算出するものである。速度判定部63は、特徴量算出部62で求められた特徴量を用いて、コード・ブロック単位の画像の動き量(速度)とフレーム画像全体の動き量(速度)とを推定するものである。
【0103】
コード・ブロック単位の画像の動き量(速度)の推定については、第一の実施の形態で説明したので、その説明は省略する。
【0104】
次に、コード・ブロック単位の画像の動き量(速度)の推定結果を利用したフレーム画像全体の動き量(速度)の推定について説明する。なお、第一の実施の形態で説明したように、コード・ブロック単位の画像の動き量(速度)が4つのコード・ブロックについて推定されていることを前提として説明する。
【0105】
本実施の形態においては、フレーム画像全体の動き量(速度)を各コード・ブロック単位の画像の動き量(速度)の比率に応じて推定するものである。より具体的には、図17に示すように、4つのコード・ブロックについての画像の動き量(速度)の高速と低速の比率が、
高速:低速=3:1
であれば、高速の比率が高いことからフレーム画像全体の動き量(速度)は高速であると推定する。
【0106】
なお、これはあくまでも一例であり、コード・ブロック単位の画像の動き量(速度)の推定結果を用いて、フレーム画像全体の動き量(速度)を高速に判定しやすくするか、低速に判定しやすくするかは、自由に設定できる構成にしても良い。
【0107】
上述したようなコード・ブロック単位の画像の動き量(速度)及びフレーム画像全体の動き量(速度)の推定処理について、図18に示すフローチャートを参照しつつ説明する。図18に示すように、カウンタの初期化(ステップS21)やブロック選択部51で選択されたコード・ブロックの総数を設定(ステップS22)した後、対応するコード・ブロック毎に1LH,1HLのビットプレーンを削る前の符号量をそれぞれ算出し(ステップS23,S24)、割り算(1LH/1HL)を行う(ステップS25)。
【0108】
そして、割り算(1LH/1HL)の結果(rate)を閾値(th1)と比較して(ステップS26)、割り算(1LH/1HL)の結果(rate)が閾値(th1)よりも大きければ(ステップS26のY)、割り算(1LH/1HL)の結果(rate)が閾値(th1)よりも大きいコード・ブロックの数をカウントする(ステップS27)。
【0109】
ステップS23〜S27の処理は、ブロック選択部51で選択された全てのコード・ブロックについて終了する迄、繰り返される。
【0110】
ブロック選択部51で選択された全てのコード・ブロックについてステップS23〜S27の処理が終了すると(ステップS28のY)、割り算(1LH/1HL)の結果(rate)が閾値(th1)よりも大きいコード・ブロックの数を総コード・ブロック数で割り算し、算出された割合を動き量推定の特徴量(speed)とする(ステップS29)。このステップS21〜S29の処理は、特徴量算出部52により実行される。
【0111】
そして、特徴量算出部52で求められた特徴量(speed)と閾値(th2)とを比較し(ステップS30)、その比較結果に基づいて高速、低速の判定をする。すなわち、特徴量算出部52で求められた特徴量(speed)が閾値(th2)よりも大きければ(ステップS30のY)、各コード・ブロックにおける画像の動き量(速度)の高速の比率が高いものとして、フレーム画像全体の動き量(速度)は高速であると推定する(ステップS31)。一方、特徴量算出部52で求められた特徴量(speed)が閾値(th2)よりも大きくなければ(ステップS30のN)、各コード・ブロックにおける画像の動き量(速度)の低速の比率が高いものとして、フレーム画像全体の動き量(速度)は低速であると推定する(ステップS32)。このステップS30〜S32の処理は、速度判定部53により実行される。ここに、フレーム動き量推定手段の機能が実行される。
【0112】
ここに、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定されるとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量が推定される。このように推定したフレーム全体の動き量(速度)は、速度推定部41から量子化テーブル決定部42に送られることにより、量子化テーブル決定部42では動き量(速度)に適した量子化テーブルを選択することができる。つまり、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことが可能になるので、効率の良い画質制御を行うことが可能になる。
【0113】
また、前述の説明では、本発明の画像記録装置1aをムービーカメラに適用した例を説明したが、画像記録装置1aを携帯情報端末装置(PDA)、携帯電話などの情報端末装置に適用することもできる。
【0114】
【発明の効果】
請求項1記載の発明の動き量推定装置によれば、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、を備え、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定することにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することができるので、高速かつ精度良くコード・ブロック単位での動き量を推定することができる。
【0115】
請求項2記載の発明の動き量推定装置によれば、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、このサブブロック動き量推定手段により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定手段と、を備え、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定するとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量を推定することにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことができるので、効率の良い画質制御を行うことができる。
【0116】
請求項3記載の発明によれば、請求項1または2記載の動き量推定装置において、前記サブブロック動き量推定手段は、サブバンド1LH中の所定のサブブロックの符号量とサブバンド1HL中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定することにより、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分とを比較することで、インターレース画像の動き量(速度)を確実に推定することができる。
【0117】
請求項4記載の発明によれば、請求項3記載の動き量推定装置において、前記サブブロック動き量推定手段で符号量と比較するサブバンド1LH中のサブブロックとサブバンド1HL中のサブブロックとは、同じ位置に復号される位置関係にあることにより、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分との比較の精度を高めることができる。
【0118】
請求項5記載の発明によれば、請求項2ないし4のいずれか一記載の動き量推定装置において、前記フレーム動き量推定手段は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定手段によるサブバンド1LHの符号量とサブバンド1HLの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定することにより、フレーム画像全体の動き量を簡易に推定することができる。
【0119】
請求項6記載の発明によれば、請求項1ないし5のいずれか一記載の動き量推定装置において、前記符号量算出手段により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量であることにより、動き量の推定精度の向上を図ることができる。
【0120】
請求項7記載の発明によれば、請求項1ないし6のいずれか一記載の動き量推定装置において、前記符号量算出手段により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量であることにより、動き量の推定精度の向上を図ることができる。
【0121】
請求項8記載の発明のコンピュータに読取り可能なプログラムによれば、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、このサブブロック取得機能により取得された前記サブブロックの符号量を算出する符号量算出機能と、この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、をコンピュータに実行させ、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定することにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することができるので、高速かつ精度良くコード・ブロック単位での動き量を推定することができる。
【0122】
請求項9記載の発明のコンピュータに読取り可能なプログラムによれば、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出機能と、この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、このサブブロック動き量推定機能により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定機能と、をコンピュータに実行させ、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定するとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量を推定することにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことができるので、効率の良い画質制御を行うことができる。
【0123】
請求項10記載の発明によれば、請求項8または9記載のプログラムにおいて、前記サブブロック動き量推定機能は、サブバンド1LH中の所定のサブブロックの符号量とサブバンド1HL中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定することにより、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分とを比較することで、インターレース画像の動き量(速度)を確実に推定することができる。
【0124】
請求項11記載の発明によれば、請求項10記載のプログラムにおいて、前記サブブロック動き量推定機能で符号量と比較するサブバンド1LH中のサブブロックとサブバンド1HL中のサブブロックとは、同じ位置に復号される位置関係にあることにより、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分との比較の精度を高めることができる。
【0125】
請求項12記載の発明によれば、請求項9ないし11のいずれか一記載のプログラムにおいて、前記フレーム動き量推定機能は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定機能によるサブバンド1LHの符号量とサブバンド1HLの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定することにより、フレーム画像全体の動き量を簡易に推定することができる。
【0126】
請求項13記載の発明によれば、請求項8ないし12のいずれか一記載のプログラムにおいて、前記符号量算出機能により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量であることにより、動き量の推定精度の向上を図ることができる。
【0127】
請求項14記載の発明によれば、8ないし13のいずれか一記載のプログラムにおいて、前記符号量算出機能により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量であることにより、動き量の推定精度の向上を図ることができる。
【0128】
請求項15記載の発明の記憶媒体によれば、請求項8ないし14のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項8ないし14のいずれか一記載の発明と同様の作用効果を得ることができる。
【0129】
請求項16記載の発明の動き量推定方法によれば、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、を含み、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定することにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することができるので、高速かつ精度良くコード・ブロック単位での動き量を推定することができる。
【0130】
請求項17記載の発明の動き量推定方法によれば、動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、このサブブロック動き量推定工程により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定工程と、を含み、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定するとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量を推定することにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことができるので、効率の良い画質制御を行うことができる。
【0131】
請求項18記載の発明によれば、請求項16または17記載の動き量推定方法において、前記サブブロック動き量推定工程は、サブバンド1LH中の所定のサブブロックの符号量とサブバンド1HL中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定することにより、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分とを比較することで、インターレース画像の動き量(速度)を確実に推定することができる。
【0132】
請求項19記載の発明によれば、請求項18記載の動き量推定方法において、前記サブブロック動き量推定工程で符号量と比較するサブバンド1LH中のサブブロックとサブバンド1HL中のサブブロックとは、同じ位置に復号される位置関係にあることにより、画像の横エッジが強く現われるウェーブレット変換係数の1階層の1LH成分と、画像の縦エッジが強く現われるウェーブレット変換係数の1階層の1HL成分との比較の精度を高めることができる。
【0133】
請求項20記載の発明によれば、請求項17ないし19のいずれか一記載の動き量推定方法において、前記フレーム動き量推定工程は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定工程によるサブバンド1LHの符号量とサブバンド1HLの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定することにより、フレーム画像全体の動き量を簡易に推定することができる。
【0134】
請求項21記載の発明によれば、請求項16ないし20のいずれか一記載の動き量推定方法において、前記符号量算出工程により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量であることにより、動き量の推定精度の向上を図ることができる。
【0135】
請求項22記載の発明によれば、請求項16ないし21のいずれか一記載の動き量推定方法において、前記符号量算出工程により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量であることにより、動き量の推定精度の向上を図ることができる。
【図面の簡単な説明】
【図1】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図2】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図3】デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図4】プレシンクトを示す説明図である。
【図5】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図6】符号列データの1フレーム分の概略構成を示す説明図である。
【図7】Motion JPEG2000の概念を示す説明図である。
【図8】本発明の第一の実施の形態のムービーカメラシステムの概略構成を示すブロック図である。
【図9】画像記録装置のハードウエア構成の一例を示すブロック図である。
【図10】画像圧縮装置の構成を概略的に示すブロック図である。
【図11】ポスト量子化部の構成を概略的に示すブロック図である。
【図12】速度推定部による画像の動き量(速度)の推定手法の基本的思想についての説明図である。
【図13】速度推定部の構成を概略的に示すブロック図である。
【図14】4つのコード・ブロックがある1階層のサブバンドを示す説明図である。
【図15】コード・ブロック単位の画像の動き量(速度)の推定処理の流れを示すフローチャートである。
【図16】本発明の第二の実施の形態の速度推定部の構成を概略的に示すブロック図である。
【図17】コード・ブロック単位の画像の動き量(速度)の推定結果の一例を示す説明図である。
【図18】コード・ブロック単位の画像の動き量(速度)及びフレーム画像全体の動き量(速度)の推定処理の流れを示すフローチャートである。
【符号の説明】
12 記憶媒体
41 動き量推定装置
Claims (22)
- 動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、
このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、
この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、
を備える動き量推定装置。 - 動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、
このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、
この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、
このサブブロック動き量推定手段により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定手段と、
を備える動き量推定装置。 - 前記サブブロック動き量推定手段は、サブバンド1LH中の所定のサブブロックの符号量とサブバンド1HL中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する請求項1または2記載の動き量推定装置。
- 前記サブブロック動き量推定手段で符号量と比較するサブバンド1LH中のサブブロックとサブバンド1HL中のサブブロックとは、同じ位置に復号される位置関係にある請求項3記載の動き量推定装置。
- 前記フレーム動き量推定手段は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定手段によるサブバンド1LHの符号量とサブバンド1HLの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する請求項2ないし4のいずれか一記載の動き量推定装置。
- 前記符号量算出手段により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である請求項1ないし5のいずれか一記載の動き量推定装置。
- 前記符号量算出手段により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である請求項1ないし6のいずれか一記載の動き量推定装置。
- 動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、
このサブブロック取得機能により取得された前記サブブロックの符号量を算出する符号量算出機能と、
この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、
をコンピュータに実行させるコンピュータに読取り可能なプログラム。 - 動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、
このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出機能と、
この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、
このサブブロック動き量推定機能により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定機能と、
をコンピュータに実行させるコンピュータに読取り可能なプログラム。 - 前記サブブロック動き量推定機能は、サブバンド1LH中の所定のサブブロックの符号量とサブバンド1HL中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する請求項8または9記載のプログラム。
- 前記サブブロック動き量推定機能で符号量と比較するサブバンド1LH中のサブブロックとサブバンド1HL中のサブブロックとは、同じ位置に復号される位置関係にある請求項10記載のプログラム。
- 前記フレーム動き量推定機能は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定機能によるサブバンド1LHの符号量とサブバンド1HLの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する請求項9ないし11のいずれか一記載のプログラム。
- 前記符号量算出機能により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である請求項8ないし12のいずれか一記載のプログラム。
- 前記符号量算出機能により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である8ないし13のいずれか一記載のプログラム。
- 請求項8ないし14のいずれか一記載のプログラムを記憶している記憶媒体。
- 動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、
このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、
この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、
を含む動き量推定方法。 - 動画像を構成するインターレース画像のフレーム毎に1又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、
このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、
この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、
このサブブロック動き量推定工程により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定工程と、
を含む動き量推定方法。 - 前記サブブロック動き量推定工程は、サブバンド1LH中の所定のサブブロックの符号量とサブバンド1HL中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する請求項16または17記載の動き量推定方法。
- 前記サブブロック動き量推定工程で符号量と比較するサブバンド1LH中のサブブロックとサブバンド1HL中のサブブロックとは、同じ位置に復号される位置関係にある請求項18記載の動き量推定方法。
- 前記フレーム動き量推定工程は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定工程によるサブバンド1LHの符号量とサブバンド1HLの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する請求項17ないし19のいずれか一記載の動き量推定方法。
- 前記符号量算出工程により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である請求項16ないし20のいずれか一記載の動き量推定方法。
- 前記符号量算出工程により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である請求項16ないし21のいずれか一記載の動き量推定方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002329553A JP4124436B2 (ja) | 2002-11-13 | 2002-11-13 | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 |
US10/678,696 US7450768B2 (en) | 2002-10-02 | 2003-10-02 | Apparatus and method for processing image data based on object movement speed within a frame |
US12/234,451 US8000542B2 (en) | 2002-10-02 | 2008-09-19 | Apparatus and method for processing image data based on object movement speed within a frame |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002329553A JP4124436B2 (ja) | 2002-11-13 | 2002-11-13 | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004165982A true JP2004165982A (ja) | 2004-06-10 |
JP2004165982A5 JP2004165982A5 (ja) | 2005-10-13 |
JP4124436B2 JP4124436B2 (ja) | 2008-07-23 |
Family
ID=32807510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002329553A Expired - Fee Related JP4124436B2 (ja) | 2002-10-02 | 2002-11-13 | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4124436B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006113534A (ja) * | 2004-09-16 | 2006-04-27 | Ricoh Co Ltd | 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体 |
JP2012039569A (ja) * | 2010-08-11 | 2012-02-23 | Nippon Hoso Kyokai <Nhk> | 動き推定装置及びプログラム |
JP7001383B2 (ja) | 2017-07-28 | 2022-01-19 | キヤノン株式会社 | 符号化装置、符号化方法、及び、プログラム |
-
2002
- 2002-11-13 JP JP2002329553A patent/JP4124436B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006113534A (ja) * | 2004-09-16 | 2006-04-27 | Ricoh Co Ltd | 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体 |
JP2012039569A (ja) * | 2010-08-11 | 2012-02-23 | Nippon Hoso Kyokai <Nhk> | 動き推定装置及びプログラム |
JP7001383B2 (ja) | 2017-07-28 | 2022-01-19 | キヤノン株式会社 | 符号化装置、符号化方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4124436B2 (ja) | 2008-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8000542B2 (en) | Apparatus and method for processing image data based on object movement speed within a frame | |
JP3922919B2 (ja) | 静止画像伸長装置及び静止画像伸長方法 | |
JP2007142614A (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
JP2004221836A (ja) | 画像処理装置、プログラム、記憶媒体及び符号伸長方法 | |
JP2004254298A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
JP3952459B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像処理方法 | |
JP2004186871A (ja) | 画像処理装置、撮像装置、プログラム及び記憶媒体 | |
JP4124436B2 (ja) | 動き量推定装置、プログラム、記憶媒体および動き量推定方法 | |
JP4145086B2 (ja) | 画像復号装置、画像処理装置、動画像表示システム、プログラム、記憶媒体及び画像復号方法 | |
JP4118049B2 (ja) | 画像処理装置及び方法 | |
JP4489474B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
JP4149144B2 (ja) | 画像圧縮装置、方法、プログラムおよび記録媒体 | |
JP4040404B2 (ja) | 符号列変換装置及び方法、画像処理装置並びに画像記録装置 | |
JP2002369202A (ja) | 画像圧縮装置、画像伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び該プログラムを記録した記録媒体 | |
JP2004056260A (ja) | 画像復号装置、画像処理装置、プログラム、記憶媒体及び画像復号方法 | |
JP4361755B2 (ja) | 動画像処理装置、プログラム、記憶媒体および動画像処理方法 | |
JP2003339047A (ja) | 画像圧縮装置、画像伸長装置、画像圧縮伸長装置、画像圧縮方法、画像伸長方法、プログラム、及び該プログラムを記録した記録媒体 | |
JP2004336405A (ja) | 動画像処理装置、プログラム、記憶媒体および動画像処理方法 | |
JP2005065230A (ja) | 符号化装置、符号化制御方法、プログラム及び記録媒体 | |
JP4396932B2 (ja) | 動画像処理装置、プログラム及び情報記録媒体 | |
JP2004056632A (ja) | 動画像処理装置、動画像再生装置、動画像表示システム、プログラム、記憶媒体及び動画像処理方法 | |
JP3961966B2 (ja) | 不要部除去装置、画像処理装置、プログラム、記憶媒体及び不要部除去方法 | |
JP4093870B2 (ja) | 画像処理装置、プログラムおよび記憶媒体 | |
JP4010957B2 (ja) | 画像処理装置、プログラム、記憶媒体および画像形成装置 | |
JP2004234565A (ja) | 位置ずれ補正装置、画像処理装置、プログラム、記憶媒体及び位置ずれ補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041007 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050601 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050601 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050601 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050601 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20060925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070516 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070717 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071126 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080215 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080430 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080501 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |