JP2004165982A - 動き量推定装置、プログラム、記憶媒体および動き量推定方法 - Google Patents

Abstract

【課題】画像の動き量を高速かつ精度良く求めることができる動き量推定装置を提供する。
【解決手段】高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し（ステップＳ２，Ｓ３）、このサブブロックの符号量に基づいてサブブロック単位での動き量を推定する（ステップＳ４〜Ｓ７）。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することができるので、高速かつ精度良くサブブロック単位での動き量を推定することができる。
【選択図】 図１５

Description

【０００１】
【発明の属する技術分野】
本発明は、動き量推定装置、プログラム、記憶媒体および動き量推定方法に関する。
【０００２】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Ｄｉｇｉｔａｌ Ｃａｍｅｒａ）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、５００万画素の製品の登場も間近である。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００という新しい方式が規格化されつつある。かかるＪＰＥＧ２０００においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００７】
また、このような１フレームのＪＰＥＧ２０００画像は、所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にすることが可能である。このようにＪＰＥＧ２０００画像をコマ送りさせて動画表示させる規格としては、Ｍｏｔｉｏｎ ＪＰＥＧ２０００という国際標準の規格がある。
【０００８】
また、このＭｏｔｉｏｎ ＪＰＥＧ２０００方式と同様に、離散ウェーブレット変換を用いて画像データを圧縮符号化するようにしたものも提案されている（例えば、特許文献１参照）。
【０００９】
この特許文献１に開示の技術では、画素値を離散ウェーブレット変換して圧縮符号化するのみならず、異なるフレーム間の画像においても相関をとり、フレーム間で画像の動きがない場合の動画像データの冗長性も解消するようにしているので、よりデータの圧縮率を向上することができる。
【００１０】
【特許文献１】
特開２００１−３０９３８１公報
【００１１】
【発明が解決しようとする課題】
ところが、特許文献１に記載されている方式によれば、フレーム間の相関を求めるのに符号化された直交変換係数値を復号化し、更に、逆量子化するという、複雑な処理を経る必要があるため、処理に時間がかかるという問題がある。さらに、フレーム間の相関を求めるために用いられる前のフレームを記憶するメモリ量も必要となる。
【００１２】
本発明の目的は、画像の動き量を高速かつ精度良く求めることができる動き量推定装置、プログラム、記憶媒体および動き量推定方法を提供することである。
【００１３】
【課題を解決するための手段】
請求項１記載の発明の動き量推定装置は、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、を備える。
【００１４】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定される。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することが可能になるので、高速かつ精度良くコード・ブロック単位での動き量を推定することが可能になる。
【００１５】
請求項２記載の発明の動き量推定装置は、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、このサブブロック動き量推定手段により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定手段と、を備える。
【００１６】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定されるとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量が推定される。これにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことが可能になるので、効率の良い画質制御を行うことが可能になる。
【００１７】
請求項３記載の発明は、請求項１または２記載の動き量推定装置において、前記サブブロック動き量推定手段は、サブバンド１ＬＨ中の所定のサブブロックの符号量とサブバンド１ＨＬ中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する。
【００１８】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分とを比較することによって、インターレース画像の動き量（速度）が確実に推定される。
【００１９】
請求項４記載の発明は、請求項３記載の動き量推定装置において、前記サブブロック動き量推定手段で符号量と比較するサブバンド１ＬＨ中のサブブロックとサブバンド１ＨＬ中のサブブロックとは、同じ位置に復号される位置関係にある。
【００２０】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分との比較の精度を高めることが可能になる。
【００２１】
請求項５記載の発明は、請求項２ないし４のいずれか一記載の動き量推定装置において、前記フレーム動き量推定手段は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定手段によるサブバンド１ＬＨの符号量とサブバンド１ＨＬの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する。
【００２２】
したがって、フレーム画像全体の動き量を簡易に推定することが可能になる。
【００２３】
請求項６記載の発明は、請求項１ないし５のいずれか一記載の動き量推定装置において、前記符号量算出手段により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である。
【００２４】
したがって、動き量の推定精度の向上を図ることが可能になる。
【００２５】
請求項７記載の発明は、請求項１ないし６のいずれか一記載の動き量推定装置において、前記符号量算出手段により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である。
【００２６】
したがって、動き量の推定精度の向上を図ることが可能になる。
【００２７】
請求項８記載の発明のコンピュータに読取り可能なプログラムは、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、このサブブロック取得機能により取得された前記サブブロックの符号量を算出する符号量算出機能と、この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、をコンピュータに実行させる。
【００２８】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定される。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することが可能になるので、高速かつ精度良くコード・ブロック単位での動き量を推定することが可能になる。
【００２９】
請求項９記載の発明のコンピュータに読取り可能なプログラムは、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出機能と、この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、このサブブロック動き量推定機能により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定機能と、をコンピュータに実行させる。
【００３０】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定されるとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量が推定される。これにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことが可能になるので、効率の良い画質制御を行うことが可能になる。
【００３１】
請求項１０記載の発明は、請求項８または９記載のプログラムにおいて、前記サブブロック動き量推定機能は、サブバンド１ＬＨ中の所定のサブブロックの符号量とサブバンド１ＨＬ中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する。
【００３２】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分とを比較することによって、インターレース画像の動き量（速度）が確実に推定される。
【００３３】
請求項１１記載の発明は、請求項１０記載のプログラムにおいて、前記サブブロック動き量推定機能で符号量と比較するサブバンド１ＬＨ中のサブブロックとサブバンド１ＨＬ中のサブブロックとは、同じ位置に復号される位置関係にある。
【００３４】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分との比較の精度を高めることが可能になる。
【００３５】
請求項１２記載の発明は、請求項９ないし１１のいずれか一記載のプログラムにおいて、前記フレーム動き量推定機能は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定機能によるサブバンド１ＬＨの符号量とサブバンド１ＨＬの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する。
【００３６】
したがって、フレーム画像全体の動き量を簡易に推定することが可能になる。
【００３７】
請求項１３記載の発明は、請求項８ないし１２のいずれか一記載のプログラムにおいて、前記符号量算出機能により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である。
【００３８】
したがって、動き量の推定精度の向上を図ることが可能になる。
【００３９】
請求項１４記載の発明は、８ないし１３のいずれか一記載のプログラムにおいて、前記符号量算出機能により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である。
【００４０】
したがって、動き量の推定精度の向上を図ることが可能になる。
【００４１】
請求項１５記載の発明の記憶媒体は、請求項８ないし１４のいずれか一記載のプログラムを記憶している。
【００４２】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項８ないし１４のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００４３】
請求項１６記載の発明の動き量推定方法は、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、を含む。
【００４４】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定される。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することが可能になるので、高速かつ精度良くコード・ブロック単位での動き量を推定することが可能になる。
【００４５】
請求項１７記載の発明の動き量推定方法は、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、このサブブロック動き量推定工程により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定工程と、を含む。
【００４６】
したがって、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定されるとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量が推定される。これにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことが可能になるので、効率の良い画質制御を行うことが可能になる。
【００４７】
請求項１８記載の発明は、請求項１６または１７記載の動き量推定方法において、前記サブブロック動き量推定工程は、サブバンド１ＬＨ中の所定のサブブロックの符号量とサブバンド１ＨＬ中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する。
【００４８】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分とを比較することによって、インターレース画像の動き量（速度）が確実に推定される。
【００４９】
請求項１９記載の発明は、請求項１８記載の動き量推定方法において、前記サブブロック動き量推定工程で符号量と比較するサブバンド１ＬＨ中のサブブロックとサブバンド１ＨＬ中のサブブロックとは、同じ位置に復号される位置関係にある。
【００５０】
したがって、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分との比較の精度を高めることが可能になる。
【００５１】
請求項２０記載の発明は、請求項１７ないし１９のいずれか一記載の動き量推定方法において、前記フレーム動き量推定工程は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定工程によるサブバンド１ＬＨの符号量とサブバンド１ＨＬの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する。
【００５２】
したがって、フレーム画像全体の動き量を簡易に推定することが可能になる。
【００５３】
請求項２１記載の発明は、請求項１６ないし２０のいずれか一記載の動き量推定方法において、前記符号量算出工程により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である。
【００５４】
したがって、動き量の推定精度の向上を図ることが可能になる。
【００５５】
請求項２２記載の発明は、請求項１６ないし２１のいずれか一記載の動き量推定方法において、前記符号量算出工程により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である。
【００５６】
したがって、動き量の推定精度の向上を図ることが可能になる。
【００５７】
【発明の実施の形態】
最初に、本実施の形態の前提となる「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」の概要について説明する。
【００５８】
図１は、ＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部１０１、２次元ウェーブレット変換・逆変換部１０２、量子化・逆量子化部１０３、エントロピー符号化・復号化部１０４、タグ処理部１０５の各機能ブロックにより構成されている。
【００５９】
このシステムが従来のＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いているのに対し、この階層符号化アルゴリズムでは、２次元ウェーブレット変換・逆変換部１０２において、離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所を有し、この点が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００でＤＷＴが採用された大きな理由の一つとなっている。
【００６０】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部１０５の機能ブロックが追加されていることである。このタグ処理部１０５で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのＤＷＴにおけるオクターブ分割に対応した任意の階層（デコンポジション・レベル）で、静止画像の圧縮伸長動作を自由に停止させることができるようになる（後述する図３参照）。
【００６１】
原画像の入出力部分には、色空間変換・逆変換１０１が接続される場合が多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶあるいはＹＣｂＣｒ表色系への変換又は逆変換を行う部分がこれに相当する。
【００６２】
次に、ＪＰＥＧ２０００アルゴリズムについて説明する。
【００６３】
カラー画像は、一般に、図２に示すように、原画像の各コンポーネント１１１（ここではＲＧＢ原色系）が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、ＪＰＥＧ２０００では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする（図２の例では、各コンポーネント１１１が縦横４×４、合計１６個の矩形のタイル１１２に分割されている）。このような個々のタイル１１２（図２の例で、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネントごと、また、タイル１１２ごとに、独立に行われる。
【００６４】
画像データの符号化時には、各コンポーネント１１１の各タイル１１２のデータが、図１の色空間変換・逆変換部１０１に入力され、色空間変換を施された後、２次元ウェーブレット変換部１０２で２次元ウェーブレット変換（順変換）が施されて、周波数帯に空間分割される。
【００６５】
図３には、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。図３では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を３としたとき、網掛けで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００６６】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示す量子化・逆量子化部１０３で対象ビット周辺のビットからコンテキストが生成される。
【００６７】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００６８】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００６９】
ここで、図５はビットプレーンに順位付けする手順の一例を示す説明図である。図５に示すように、この例は、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号０から３まで、コード・ブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジション・レベル１のウェーブレット係数値を求めている。
【００７０】
また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」構成の概念の一例を示す説明図も図５に併せて示す。変換後のコード・ブロックは、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００７１】
レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１，３のビットプレーンから成っている。そして、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：最下位ビット）に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ：最上位ビット）に近いレイヤは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００７２】
図１に示すエントロピー符号化・復号化部１０４では、コンテキストと対象ビットから確率推定によって、各コンポーネント１１１のタイル１１２に対する符号化を行う。こうして、原画像の全てのコンポーネント１１１について、タイル１１２単位で符号化処理が行われる。最後にタグ処理部１０５は、エントロピー符号化・復号化部１０４からの全符号化データを１本の符号列データ（コードストリーム）に結合するとともに、それにタグを付加する処理を行う。
【００７３】
図６には、この符号列データの１フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ（ｂｉｔ ｓｔｒｅａｍ）の先頭にはヘッダ（メインヘッダ（Ｍａｉｎ ｈｅａｄｅｒ）、タイル境界位置情報やタイル境界方向情報等であるタイルパートヘッダ（ｔｉｌｅ ｐａｒｔ ｈｅａｄｅｒ））と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ（Ｍａｉｎ ｈｅａｄｅｒ）には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ（ｅｎｄ ｏｆ ｃｏｄｅｓｔｒｅａｍ）が置かれる。
【００７４】
一方、復号化時には、画像データの符号化時とは逆に、各コンポーネント１１１の各タイル１１２の符号列データから画像データを生成する。この場合、タグ処理部１０５は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント１１１の各タイル１１２の符号列データに分解し、その各コンポーネント１１１の各タイル１１２の符号列データ毎に復号化処理（伸長処理）を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１０３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１０４で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元ウェーブレット変換・逆変換部１０２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１０１によって元の表色系の画像データに変換される。
【００７５】
以上が、「ＪＰＥＧ２０００アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズム」である。すなわち、「Ｍｏｔｉｏｎ ＪＰＥＧ２０００」は、図７に示すように、１フレームのＪＰＥＧ２０００画像を所定のフレームレート（単位時間に再生するフレーム数）で連続して表示することにより、動画像にするものである。
【００７６】
以下、本発明の第一の実施の形態について説明する。なお、ここでは、ＭｏｔｉｏｎＪＰＥＧ２０００を代表とする動画像圧縮伸長技術に関する例について説明するが、いうまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００７７】
図８は本発明が適用されるムービーカメラシステム１の概略構成を示すブロック図である。図８に示すように、本発明の動画像表示システムが適用されるムービーカメラシステム１は、ムービーカメラである画像記録装置１ａとパーソナルコンピュータである動画像再生装置１ｂとをインターネットであるネットワーク１ｃを介して接続したものである。
【００７８】
以下においては、本発明の特長的な機能を発揮する画像記録装置１ａについて説明する。なお、動画像再生装置１ｂについては、Ｍｏｔｉｏｎ ＪＰＥＧ２０００方式で圧縮した符号列データの伸長を行うことができる標準的なシステムであれば良いので、その詳細な説明は省略する。
【００７９】
図８に示すように、画像記録装置１ａは、動画像を撮影する画像入力装置２と、この撮影した画像データを圧縮符号化する画像圧縮装置３とを備えている。画像圧縮装置３は、動画像データの圧縮処理を行う本発明の画像処理装置を実施するものである。
【００８０】
図９は、画像記録装置１ａのハードウエア構成の一例を示すブロック図である。画像記録装置１ａは、図９に示すように、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１を備えており、このＣＰＵ１１には、各種のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）からなる記憶媒体であるメモリ１２と、ネットワーク１ｃと通信を行う所定の通信インターフェイス１３と、ユーザから各種の操作を受け付ける操作パネル１８とが、バス１４を介して接続されている。
【００８１】
画像記録装置１ａにおいては、前述した画像入力装置２と画像圧縮装置３とに加え、論理回路１９が、バス１４を介してＣＰＵ１１に接続されている。
【００８２】
このような構成の画像記録装置１ａのメモリ１２（のＲＯＭ）には、動画像を処理する動画処理プログラム等の制御プログラムがそれぞれ記憶されている。この動画処理プログラムは本発明のプログラムを実施するものである。そして、この動画処理プログラムに基づいてＣＰＵ１１が実行する処理により、符号列変換装置４の機能を実現する。
【００８３】
なお、メモリ１２としては、ＣＤやＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることもできる。また、ネットワーク１ｃからプログラムをダウンロードし、メモリ１２にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００８４】
ここで、画像記録装置１ａの各部の動作について簡単に説明する。画像記録装置１ａの画像入力装置２は、ＣＣＤ、ＭＯＳイメージセンサ等の光電変換デバイスを用いて動画像をフレーム単位でキャプチャし、動画像のデジタル画素値信号を画像圧縮装置３に出力するものである。
【００８５】
画像記録装置１ａの画像圧縮装置３は、動画像のデジタル画素値信号を「Ｍｏｔｉｏｎ ＪＰＥＧ２０００アルゴリズム」に従って圧縮符号化する。図１０に示すように、画像圧縮装置３は、色空間変換部３１、２次元ウェーブレット変換部３２、量子化部３３、エントロピー符号化部３４、ポスト量子化部３５、算術符号化部３６の各部から構成される。これらの各部における各種機能は、前述の動画処理プログラムにしたがってＣＰＵ１１が行う処理により実現している。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路１９の動作により、各部における各種機能を実現するようにするのが望ましい。
【００８６】
次に、画像圧縮装置３を構成する各部の動作について簡単に説明する。色空間変換部３１で画像入力装置２から入力された動画像のデジタル画素値信号をＲＧＢからＹＵＶまたはＹＣｂＣｒに変換し、２次元ウェーブレット変換部３２で色成分ごとに２次元ウェーブレット変換を行う。そして、量子化部３３でＷａｖｅｌｅｔ係数を適当な量子化分母で除算し、エントロピー符号化部３４でロスレスの符号を作り、ポスト量子化部３５でビットトランケーション（符号の破棄）を行い、算術符号化部３６でＪＰＥＧ２０００の符号フォーマットに符号を形成する。このような一連の処理により、元の動画像のＲ，Ｇ，Ｂの各コンポーネントの動画像データは、フレーム毎に１又は複数（通常は複数）のタイルに分割され、このタイル毎に階層的に圧縮符号化された符号化データとなる。
【００８７】
ここで、本実施の形態において特長的な機能を発揮するポスト量子化部３５について詳細に説明する。図１１は、ポスト量子化部３５の構成を概略的に示すブロック図である。図１１に示すように、ポスト量子化部３５は、速度推定部４１、量子化テーブル決定部４２、符号破棄部４３、マスキング制御部４４を備えている。
【００８８】
速度推定部４１は、動き量推定装置として機能するものであって、エントロピー符号化部３４で作成されたコード・ブロック内の情報から画像の動き量（速度）を推定し、推定した画像の動き量（速度）をマスキング制御部４４に送るものである。
【００８９】
マスキング制御部４４は、量子化テーブルのトランケート量（ビットプレーン削り量）をコード・ブロック毎に調整するものである。
【００９０】
量子化テーブル決定部４２は、ＣＰＵ１１から与えられた圧縮率と速度推定部４１により推定された画像の動き量（速度）とに応じて量子化テーブルを決定し、該量子化テーブルを符号破棄部４３に与えるものである。
【００９１】
符号破棄部４３は、量子化テーブル決定部４２により決定された量子化テーブルとそれをマスキング制御部４４でコード・ブロック毎に調整したコード・ブロック毎のトランケート量（ビットプレーン削り量）とを用いて、ビットプレーン（又はサブビットプレーン）を削っていない状態の符号から所定の圧縮率になるまで符号を破棄するものである。
【００９２】
ここで、速度推定部４１による画像の動き量（速度）の推定手法について説明する。図１２は、速度推定部４１による画像の動き量（速度）の推定手法の基本的思想について記述したものである。一般的に、インターレース画像内に動きが生じた場合、フレームデータでは動いた物体のエッジがライン単位のくしの歯状（以下、インターレースのくし型という。）になる。図１２に示すように、インターレース画像において、物体が高速で動いている画像は、インターレースのくし型が横方向に長い。それに対し、物体が低速で動いている画像は、インターレースのくし型が横方向に短い。また、画像の横エッジは、Ｗａｖｅｌｅｔ変換係数の１ＬＨ成分に強く現われることが知られている。すなわち、高速で動いている画像ほど高周波の横方向のエッジが長くなることから、高速なコード・ブロックほど１ＬＨの係数の絶対値の和が大きく、かつ、ロスレスの１ＬＨの符号量の和が大きくなる。速度推定部４１においては、この特性を利用して画像の動き量（速度）をフレーム毎に独立して推定する。
【００９３】
図１３は、速度推定部４１の構成を概略的に示すブロック図である。図１３に示すように、速度推定部４１は、ブロック選択部５１、特徴量算出部５２、速度判定部５３の各部から構成される。ブロック選択部５１は、演算すべきコード・ブロックを選択するものである。例えば、１階層のサブバンド１ＬＨの中のコード・ブロックをラスター順に選択する。または、全てのコード・ブロックを選択する構成にしても良い。特徴量算出部５２は、ブロック選択部５１で選択されたコード・ブロックの係数または符号量の演算を行い、特徴量を算出するものである。速度判定部５３は、特徴量算出部５２で求められた特徴量を用いて、コード・ブロック単位の画像の動き量（速度）を推定するものである。
【００９４】
ここで、コード・ブロック単位の画像の動き量（速度）の推定について説明する。前述したように、コード・ブロックとはサブバンドを更に細かいブロックに分けたものである。すなわち、コード・ブロックはサブブロックである。本実施の形態においては、画像の横エッジが強く現われるＷａｖｅｌｅｔ変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるＷａｖｅｌｅｔ変換係数の１階層の１ＨＬ成分とを比較することによって、インターレース画像の動き量（速度）の推定を行うものである。さらには、復号されたときに同じ位置になるコード・ブロックを比較することによってコード・ブロック単位の画像の動き量（速度）の推定を行うものである。ここで、図１４は４つのコード・ブロックがある１階層のサブバンドを示すものである。すなわち、図１４に示すように、復号時には同じ位置になるコード・ブロック１ＨＬ＿１とコード・ブロック１ＬＨ＿１とを比較する。同様に、１ＨＬ＿２と１ＬＨ＿２、１ＨＬ＿３と１ＬＨ＿３、１ＨＬ＿４と１ＬＨ＿４の比較も行う。なお、コード・ブロックが１つのサブバンドの場合には、コード・ブロック単位ではなくサブバンド単位で比較を行う。そして、この比較結果に応じてコード・ブロック単位の画像の動き量（速度）の推定を行う。
【００９５】
上述したようなコード・ブロック単位の画像の動き量（速度）の推定処理について、図１５に示すフローチャートを参照しつつ説明する。図１５に示すように、ブロック選択部５１で選択されたコード・ブロックのうち、初めのコード・ブロックを取得し（ステップＳ１：サブブロック取得手段）、当該コード・ブロックの１ＬＨ，１ＨＬのビットプレーンを削る前の符号量をそれぞれ算出し（ステップＳ２，Ｓ３：符号量算出手段）、割り算（１ＬＨ／１ＨＬ）し、算出された割合を動き量推定の特徴量（ｒａｔｅ）とする（ステップＳ４）。このステップＳ１〜Ｓ４の処理は、特徴量算出部５２により実行される。
【００９６】
そして、割り算（１ＬＨ／１ＨＬ）の結果（ｒａｔｅ）を閾値（ｔｈ０）と比較して（ステップＳ５）、割り算（１ＬＨ／１ＨＬ）の結果（ｒａｔｅ）が閾値（ｔｈ０）よりも大きければ（ステップＳ５のＹ）、画像の横エッジが強く現われているものとして、コード・ブロック単位の画像の動き量（速度）は高速であると推定する（ステップＳ６）。一方、割り算（１ＬＨ／１ＨＬ）の結果（ｒａｔｅ）が閾値（ｔｈ０）よりも大きくなければ（ステップＳ５のＮ）、画像の縦エッジが強く現われているものとして、コード・ブロック単位の画像の動き量（速度）は低速であると推定する（ステップＳ７）。このステップＳ５〜Ｓ７の処理は、速度判定部５３により実行される。ここに、サブブロック動き量推定手段の機能が実行される。
【００９７】
ステップＳ２〜Ｓ７の処理は、ブロック選択部５１で選択された全てのコード・ブロックについて終了する迄（ステップＳ８、Ｓ９）、繰り返される。
【００９８】
すなわち、図１４に示すような１階層のサブバンドに４つのコード・ブロックがある場合には、１階層の係数のコード・ブロックの数だけ上記の処理が繰り返されることになるので、４つのコード・ブロックについての速度が推定されることになる。ここで、１階層のコード・ブロックの数とは、例えばコード・ブロックのサイズが３２×３２である場合、１ＬＨの係数のサイズが２５６×１２８ならば、コード・ブロックの数は（２５６／３２）×（１２８／３２）＝８×４＝３２個である。
【００９９】
ここに、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定される。これにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することが可能になるので、高速かつ精度良くコード・ブロック単位での動き量を推定することが可能になる。
【０１００】
なお、このように推定したコード・ブロック単位での動き量（速度）は、速度推定部４１からマスキング制御部４４に送られることにより、動きの速い物体と動きの遅い物体が混在している画像に対して、各々最適な処理（マスキング処理など）を施すことができる。
【０１０１】
次に、本発明の第二の実施の形態について図１６ないし図１８に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。第一の実施の形態では、コード・ブロック単位の画像の動き量（速度）を推定したが、本実施の形態は、コード・ブロック単位の画像の動き量（速度）とフレーム画像全体の動き量（速度）とを推定するものである。
【０１０２】
図１６は、本発明の第二の実施の形態の速度推定部４１の構成を概略的に示すブロック図である。図１６に示すように、速度推定部４１は、ブロック選択部６１、特徴量算出部６２、速度判定部６３の各部から構成される。ブロック選択部６１は、演算すべきコード・ブロックを選択するものである。例えば、１階層のサブバンド１ＬＨの中のコード・ブロックをラスター順に選択する。または、全てのコード・ブロックを選択する構成にしても良い。特徴量算出部６２は、ブロック選択部６１で選択されたコード・ブロックの係数または符号量の演算を行い、特徴量を算出するものである。速度判定部６３は、特徴量算出部６２で求められた特徴量を用いて、コード・ブロック単位の画像の動き量（速度）とフレーム画像全体の動き量（速度）とを推定するものである。
【０１０３】
コード・ブロック単位の画像の動き量（速度）の推定については、第一の実施の形態で説明したので、その説明は省略する。
【０１０４】
次に、コード・ブロック単位の画像の動き量（速度）の推定結果を利用したフレーム画像全体の動き量（速度）の推定について説明する。なお、第一の実施の形態で説明したように、コード・ブロック単位の画像の動き量（速度）が４つのコード・ブロックについて推定されていることを前提として説明する。
【０１０５】
本実施の形態においては、フレーム画像全体の動き量（速度）を各コード・ブロック単位の画像の動き量（速度）の比率に応じて推定するものである。より具体的には、図１７に示すように、４つのコード・ブロックについての画像の動き量（速度）の高速と低速の比率が、
高速：低速＝３：１
であれば、高速の比率が高いことからフレーム画像全体の動き量（速度）は高速であると推定する。
【０１０６】
なお、これはあくまでも一例であり、コード・ブロック単位の画像の動き量（速度）の推定結果を用いて、フレーム画像全体の動き量（速度）を高速に判定しやすくするか、低速に判定しやすくするかは、自由に設定できる構成にしても良い。
【０１０７】
上述したようなコード・ブロック単位の画像の動き量（速度）及びフレーム画像全体の動き量（速度）の推定処理について、図１８に示すフローチャートを参照しつつ説明する。図１８に示すように、カウンタの初期化（ステップＳ２１）やブロック選択部５１で選択されたコード・ブロックの総数を設定（ステップＳ２２）した後、対応するコード・ブロック毎に１ＬＨ，１ＨＬのビットプレーンを削る前の符号量をそれぞれ算出し（ステップＳ２３，Ｓ２４）、割り算（１ＬＨ／１ＨＬ）を行う（ステップＳ２５）。
【０１０８】
そして、割り算（１ＬＨ／１ＨＬ）の結果（ｒａｔｅ）を閾値（ｔｈ１）と比較して（ステップＳ２６）、割り算（１ＬＨ／１ＨＬ）の結果（ｒａｔｅ）が閾値（ｔｈ１）よりも大きければ（ステップＳ２６のＹ）、割り算（１ＬＨ／１ＨＬ）の結果（ｒａｔｅ）が閾値（ｔｈ１）よりも大きいコード・ブロックの数をカウントする（ステップＳ２７）。
【０１０９】
ステップＳ２３〜Ｓ２７の処理は、ブロック選択部５１で選択された全てのコード・ブロックについて終了する迄、繰り返される。
【０１１０】
ブロック選択部５１で選択された全てのコード・ブロックについてステップＳ２３〜Ｓ２７の処理が終了すると（ステップＳ２８のＹ）、割り算（１ＬＨ／１ＨＬ）の結果（ｒａｔｅ）が閾値（ｔｈ１）よりも大きいコード・ブロックの数を総コード・ブロック数で割り算し、算出された割合を動き量推定の特徴量（ｓｐｅｅｄ）とする（ステップＳ２９）。このステップＳ２１〜Ｓ２９の処理は、特徴量算出部５２により実行される。
【０１１１】
そして、特徴量算出部５２で求められた特徴量（ｓｐｅｅｄ）と閾値（ｔｈ２）とを比較し（ステップＳ３０）、その比較結果に基づいて高速、低速の判定をする。すなわち、特徴量算出部５２で求められた特徴量（ｓｐｅｅｄ）が閾値（ｔｈ２）よりも大きければ（ステップＳ３０のＹ）、各コード・ブロックにおける画像の動き量（速度）の高速の比率が高いものとして、フレーム画像全体の動き量（速度）は高速であると推定する（ステップＳ３１）。一方、特徴量算出部５２で求められた特徴量（ｓｐｅｅｄ）が閾値（ｔｈ２）よりも大きくなければ（ステップＳ３０のＮ）、各コード・ブロックにおける画像の動き量（速度）の低速の比率が高いものとして、フレーム画像全体の動き量（速度）は低速であると推定する（ステップＳ３２）。このステップＳ３０〜Ｓ３２の処理は、速度判定部５３により実行される。ここに、フレーム動き量推定手段の機能が実行される。
【０１１２】
ここに、高周波サブバンドに含まれるサブブロックの符号量がブロック単位で算出され、このサブブロックの符号量に基づいてコード・ブロック単位での動き量が推定されるとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量が推定される。このように推定したフレーム全体の動き量（速度）は、速度推定部４１から量子化テーブル決定部４２に送られることにより、量子化テーブル決定部４２では動き量（速度）に適した量子化テーブルを選択することができる。つまり、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことが可能になるので、効率の良い画質制御を行うことが可能になる。
【０１１３】
また、前述の説明では、本発明の画像記録装置１ａをムービーカメラに適用した例を説明したが、画像記録装置１ａを携帯情報端末装置（ＰＤＡ）、携帯電話などの情報端末装置に適用することもできる。
【０１１４】
【発明の効果】
請求項１記載の発明の動き量推定装置によれば、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、を備え、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定することにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することができるので、高速かつ精度良くコード・ブロック単位での動き量を推定することができる。
【０１１５】
請求項２記載の発明の動き量推定装置によれば、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、このサブブロック動き量推定手段により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定手段と、を備え、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定するとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量を推定することにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことができるので、効率の良い画質制御を行うことができる。
【０１１６】
請求項３記載の発明によれば、請求項１または２記載の動き量推定装置において、前記サブブロック動き量推定手段は、サブバンド１ＬＨ中の所定のサブブロックの符号量とサブバンド１ＨＬ中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定することにより、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分とを比較することで、インターレース画像の動き量（速度）を確実に推定することができる。
【０１１７】
請求項４記載の発明によれば、請求項３記載の動き量推定装置において、前記サブブロック動き量推定手段で符号量と比較するサブバンド１ＬＨ中のサブブロックとサブバンド１ＨＬ中のサブブロックとは、同じ位置に復号される位置関係にあることにより、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分との比較の精度を高めることができる。
【０１１８】
請求項５記載の発明によれば、請求項２ないし４のいずれか一記載の動き量推定装置において、前記フレーム動き量推定手段は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定手段によるサブバンド１ＬＨの符号量とサブバンド１ＨＬの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定することにより、フレーム画像全体の動き量を簡易に推定することができる。
【０１１９】
請求項６記載の発明によれば、請求項１ないし５のいずれか一記載の動き量推定装置において、前記符号量算出手段により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量であることにより、動き量の推定精度の向上を図ることができる。
【０１２０】
請求項７記載の発明によれば、請求項１ないし６のいずれか一記載の動き量推定装置において、前記符号量算出手段により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量であることにより、動き量の推定精度の向上を図ることができる。
【０１２１】
請求項８記載の発明のコンピュータに読取り可能なプログラムによれば、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、このサブブロック取得機能により取得された前記サブブロックの符号量を算出する符号量算出機能と、この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、をコンピュータに実行させ、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定することにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することができるので、高速かつ精度良くコード・ブロック単位での動き量を推定することができる。
【０１２２】
請求項９記載の発明のコンピュータに読取り可能なプログラムによれば、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出機能と、この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、このサブブロック動き量推定機能により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定機能と、をコンピュータに実行させ、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定するとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量を推定することにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことができるので、効率の良い画質制御を行うことができる。
【０１２３】
請求項１０記載の発明によれば、請求項８または９記載のプログラムにおいて、前記サブブロック動き量推定機能は、サブバンド１ＬＨ中の所定のサブブロックの符号量とサブバンド１ＨＬ中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定することにより、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分とを比較することで、インターレース画像の動き量（速度）を確実に推定することができる。
【０１２４】
請求項１１記載の発明によれば、請求項１０記載のプログラムにおいて、前記サブブロック動き量推定機能で符号量と比較するサブバンド１ＬＨ中のサブブロックとサブバンド１ＨＬ中のサブブロックとは、同じ位置に復号される位置関係にあることにより、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分との比較の精度を高めることができる。
【０１２５】
請求項１２記載の発明によれば、請求項９ないし１１のいずれか一記載のプログラムにおいて、前記フレーム動き量推定機能は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定機能によるサブバンド１ＬＨの符号量とサブバンド１ＨＬの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定することにより、フレーム画像全体の動き量を簡易に推定することができる。
【０１２６】
請求項１３記載の発明によれば、請求項８ないし１２のいずれか一記載のプログラムにおいて、前記符号量算出機能により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量であることにより、動き量の推定精度の向上を図ることができる。
【０１２７】
請求項１４記載の発明によれば、８ないし１３のいずれか一記載のプログラムにおいて、前記符号量算出機能により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量であることにより、動き量の推定精度の向上を図ることができる。
【０１２８】
請求項１５記載の発明の記憶媒体によれば、請求項８ないし１４のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項８ないし１４のいずれか一記載の発明と同様の作用効果を得ることができる。
【０１２９】
請求項１６記載の発明の動き量推定方法によれば、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、を含み、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定することにより、フレーム間差分をとる必要がないことからメモリ消費を抑制するとともに処理時間を短縮することができるので、高速かつ精度良くコード・ブロック単位での動き量を推定することができる。
【０１３０】
請求項１７記載の発明の動き量推定方法によれば、動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、このサブブロック動き量推定工程により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定工程と、を含み、高周波サブバンドに含まれるサブブロックの符号量をブロック単位で算出し、このサブブロックの符号量に基づいてコード・ブロック単位での動き量を推定するとともに、この推定されたサブブロック単位の動き量に基づいてフレーム全体の動き量を推定することにより、フレーム全体の動き量によって画質の粗調整を行い、コード・ブロック毎の動き量によって画質の微調整を行うことができるので、効率の良い画質制御を行うことができる。
【０１３１】
請求項１８記載の発明によれば、請求項１６または１７記載の動き量推定方法において、前記サブブロック動き量推定工程は、サブバンド１ＬＨ中の所定のサブブロックの符号量とサブバンド１ＨＬ中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定することにより、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分とを比較することで、インターレース画像の動き量（速度）を確実に推定することができる。
【０１３２】
請求項１９記載の発明によれば、請求項１８記載の動き量推定方法において、前記サブブロック動き量推定工程で符号量と比較するサブバンド１ＬＨ中のサブブロックとサブバンド１ＨＬ中のサブブロックとは、同じ位置に復号される位置関係にあることにより、画像の横エッジが強く現われるウェーブレット変換係数の１階層の１ＬＨ成分と、画像の縦エッジが強く現われるウェーブレット変換係数の１階層の１ＨＬ成分との比較の精度を高めることができる。
【０１３３】
請求項２０記載の発明によれば、請求項１７ないし１９のいずれか一記載の動き量推定方法において、前記フレーム動き量推定工程は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定工程によるサブバンド１ＬＨの符号量とサブバンド１ＨＬの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定することにより、フレーム画像全体の動き量を簡易に推定することができる。
【０１３４】
請求項２１記載の発明によれば、請求項１６ないし２０のいずれか一記載の動き量推定方法において、前記符号量算出工程により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量であることにより、動き量の推定精度の向上を図ることができる。
【０１３５】
請求項２２記載の発明によれば、請求項１６ないし２１のいずれか一記載の動き量推定方法において、前記符号量算出工程により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量であることにより、動き量の推定精度の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の前提となるＪＰＥＧ２０００方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図２】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図４】プレシンクトを示す説明図である。
【図５】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図６】符号列データの１フレーム分の概略構成を示す説明図である。
【図７】Ｍｏｔｉｏｎ ＪＰＥＧ２０００の概念を示す説明図である。
【図８】本発明の第一の実施の形態のムービーカメラシステムの概略構成を示すブロック図である。
【図９】画像記録装置のハードウエア構成の一例を示すブロック図である。
【図１０】画像圧縮装置の構成を概略的に示すブロック図である。
【図１１】ポスト量子化部の構成を概略的に示すブロック図である。
【図１２】速度推定部による画像の動き量（速度）の推定手法の基本的思想についての説明図である。
【図１３】速度推定部の構成を概略的に示すブロック図である。
【図１４】４つのコード・ブロックがある１階層のサブバンドを示す説明図である。
【図１５】コード・ブロック単位の画像の動き量（速度）の推定処理の流れを示すフローチャートである。
【図１６】本発明の第二の実施の形態の速度推定部の構成を概略的に示すブロック図である。
【図１７】コード・ブロック単位の画像の動き量（速度）の推定結果の一例を示す説明図である。
【図１８】コード・ブロック単位の画像の動き量（速度）及びフレーム画像全体の動き量（速度）の推定処理の流れを示すフローチャートである。
【符号の説明】
１２ 記憶媒体
４１ 動き量推定装置

Claims (22)

1. 動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、
   このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、
   この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、
   を備える動き量推定装置。
2. 動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得手段と、
   このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出手段と、
   この符号量算出手段により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定手段と、
   このサブブロック動き量推定手段により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定手段と、
   を備える動き量推定装置。
3. 前記サブブロック動き量推定手段は、サブバンド１ＬＨ中の所定のサブブロックの符号量とサブバンド１ＨＬ中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する請求項１または２記載の動き量推定装置。
4. 前記サブブロック動き量推定手段で符号量と比較するサブバンド１ＬＨ中のサブブロックとサブバンド１ＨＬ中のサブブロックとは、同じ位置に復号される位置関係にある請求項３記載の動き量推定装置。
5. 前記フレーム動き量推定手段は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定手段によるサブバンド１ＬＨの符号量とサブバンド１ＨＬの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する請求項２ないし４のいずれか一記載の動き量推定装置。
6. 前記符号量算出手段により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である請求項１ないし５のいずれか一記載の動き量推定装置。
7. 前記符号量算出手段により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である請求項１ないし６のいずれか一記載の動き量推定装置。
8. 動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、
   このサブブロック取得機能により取得された前記サブブロックの符号量を算出する符号量算出機能と、
   この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、
   をコンピュータに実行させるコンピュータに読取り可能なプログラム。
9. 動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得機能と、
   このサブブロック取得手段により取得された前記サブブロックの符号量を算出する符号量算出機能と、
   この符号量算出機能により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定機能と、
   このサブブロック動き量推定機能により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定機能と、
   をコンピュータに実行させるコンピュータに読取り可能なプログラム。
10. 前記サブブロック動き量推定機能は、サブバンド１ＬＨ中の所定のサブブロックの符号量とサブバンド１ＨＬ中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する請求項８または９記載のプログラム。
11. 前記サブブロック動き量推定機能で符号量と比較するサブバンド１ＬＨ中のサブブロックとサブバンド１ＨＬ中のサブブロックとは、同じ位置に復号される位置関係にある請求項１０記載のプログラム。
12. 前記フレーム動き量推定機能は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定機能によるサブバンド１ＬＨの符号量とサブバンド１ＨＬの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する請求項９ないし１１のいずれか一記載のプログラム。
13. 前記符号量算出機能により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である請求項８ないし１２のいずれか一記載のプログラム。
14. 前記符号量算出機能により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である８ないし１３のいずれか一記載のプログラム。
15. 請求項８ないし１４のいずれか一記載のプログラムを記憶している記憶媒体。
16. 動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、
    このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、
    この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、
    を含む動き量推定方法。
17. 動画像を構成するインターレース画像のフレーム毎に１又は複数のブロックに分割し当該ブロック毎に画素値を離散ウェーブレット変換することで階層的に圧縮符号化された符号列データから、高周波サブバンドに含まれるサブブロックを前記ブロック単位で取得するサブブロック取得工程と、
    このサブブロック取得工程により取得された前記サブブロックの符号量を算出する符号量算出工程と、
    この符号量算出工程により算出された符号量に基づいて前記サブブロック単位の動き量を推定するサブブロック動き量推定工程と、
    このサブブロック動き量推定工程により推定された前記サブブロック単位の動き量に基づいてフレーム全体の動き量を推定するフレーム動き量推定工程と、
    を含む動き量推定方法。
18. 前記サブブロック動き量推定工程は、サブバンド１ＬＨ中の所定のサブブロックの符号量とサブバンド１ＨＬ中の所定のサブブロックの符号量とを比較して当該サブブロックにおける動き量を推定する請求項１６または１７記載の動き量推定方法。
19. 前記サブブロック動き量推定工程で符号量と比較するサブバンド１ＬＨ中のサブブロックとサブバンド１ＨＬ中のサブブロックとは、同じ位置に復号される位置関係にある請求項１８記載の動き量推定方法。
20. 前記フレーム動き量推定工程は、高周波サブバンドに含まれる全てのサブブロックについての前記サブブロック動き量推定工程によるサブバンド１ＬＨの符号量とサブバンド１ＨＬの符号量との比較結果の比率に応じてフレーム画像全体の動き量を推定する請求項１７ないし１９のいずれか一記載の動き量推定方法。
21. 前記符号量算出工程により算出される前記サブブロックの符号量は、ロスレス圧縮された符号量である請求項１６ないし２０のいずれか一記載の動き量推定方法。
22. 前記符号量算出工程により算出される前記サブブロックの符号量は、ビットトランケーション前の符号量である請求項１６ないし２１のいずれか一記載の動き量推定方法。

Images