JP6792360B2 - 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム - Google Patents

Description

本発明は画像データの符号化技術に関するものである。

ウェーブレット変換を用いた符号化技術が知られている。ＪＰＥＧ２０００がその代表である。ＪＰＥＧ２０００では、離散ウェーブレット変換を用いて画像を複数の帯域（サブバンド）毎のウェーブレット変換係数データを生成し、量子化し、そしてエントロピー符号化を行って、圧縮符号化データを得る。

ウェーブレット変換技術を用いた符号化方式において、圧縮率を高めると、原画像に高照度部（明部）と低照度部（暗部）が存在する画像の場合、低照度部の解像感が高照度部も解像感に比べて、より低下してしまう。これは元々低照度部のコントラストの低い画像が高圧縮率の符号化により、コントラストが失われてしまう事に起因している。

このような画質劣化を低減させるため、ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と呼ばれる関心領域を抽出して、関心領域に符号量を多く割り振って、関心領域を高画質に符号化する技術が知られている。また、画像を複数の領域に分割して各々の領域の画像特徴量を抽出して領域毎に異なる量子化制御を行う方法も知られている（例えば特許文献１）。

特許第４２５４０１７号公報

しかしながら、特許文献１の方法では画像を複数の領域に分割し、異なる量子化パラメータで符号化を行うため、画像によっては領域の分割境界が視認され、視覚的に不自然な画像となることがある。また、分割サイズを小さくすれば、この課題は軽減されるかもしれないが、分割サイズを小さくする事で分割領域が増え、符号データ中に保存しなければならない領域毎の画像特徴量あるいは量子化パラメータが増大するので、符号量が増えてしまうという問題も発生する。

本発明は上記問題に鑑みなされたものであり、離散ウェーブレット変換を用いて画像符号化を行う場合において、特に照度の違いによる解像感の低下を抑制しつつ、画像データを効率良く符号化する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを符号化する画像符号化装置であって、
符号化対象の画像データを、２以上の分解レベルまでウェーブレット変換し、複数のサブバンドを生成する変換手段と、
該変換手段で得られたサブバンド内の係数データを量子化パラメータに基づいて量子化する量子化手段と、
該量子化手段による量子化後の係数データを符号化する符号化手段と、を有し、
サブバンド毎に量子化パラメータが設定されており、
前記量子化手段は、下位の分解レベルのサブバンドの係数データを量子化する際に、量子化対象となる着目係数データと同一空間座標となる最上位の分解レベルのサブバンドＬＬの係数データと、サブバンド毎に設定されている量子化パラメータとに基づいて、前記着目係数データの量子化パラメータを決定し、前記着目係数データを量子化することを特徴とする。

また、本発明の画像復号装置は以下の構成を備える。すなわち、
符号化画像データを復号する画像復号装置であって、
符号化画像データを復号することで、分解レベルｎ（ｎ≧２）までの複数のサブバンドの量子化係数データを生成する復号手段と、
復号して得られた各分解レベルのサブバンド内の量子化係数データを逆量子化する逆量子化手段と、
該逆量子化手段による得られた各分解レベルのサブバンド内の係数データをウェーブレット逆変換し、画像データを生成する変換手段とを有し、
前記逆量子化手段は、
分解レベルｎの各サブバンドについては、各サブバンド毎に設定される量子化パラメータに基づき逆量子化し、
分解レベルｎ−１以下の各サブバンドについては、それぞれ毎に設定された量子化パラメータ及び分解レベルｎのサブバンドＬＬの逆量子化後の係数データに基づく重み係数に基づき逆量子化することを特徴とする。

本発明によれば、離散ウェーブレット変換を用いて画像符号化を行う場合において、特に照度の違いによる解像感の低下を抑制しつつ、画像データを効率良く符号化する技術を提供できる。

第１の実施形態に係る符号化装置のブロック構成図。 ウェーブレット係数の配列の一例を示す図。 第１の実施形態に係る量子化部のブロック構成図。 第１の実施形態に係る量子化制御部が設定する量子化パラメータを示す図。 第１の実施形態に係る重みづけ係数の変換テーブルの一例を示す図。 第１の実施形態に係るウェーブレット係数の相互の位置関係を示す図。 第１の実施形態に係る復号装置のブロック構成図。 第１の実施形態に係る逆量子化部のブロック構成図。 第２の実施形態に係る量子化部のブロック構成図。 第２の実施形態に係る逆量子化部のブロック構成図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
＜符号化装置の説明＞
図１は第１の実施形態における画像符号化装置のブロック構成図である。同図において、符号化対象の画像データは入力端子１０６を介してウェーブレット変換部１０１に供給される。なお、入力端子１０６に接続される符号化対象画像データの発生源の種類は問わない。例えば実施形態の画像符号化装置がビデオカメラに実装されるのであれば、発生源は撮像部となる。また、画像データを記憶する記憶媒体が発生原であっても構わない。

ウェーブレット変換部１０１は、入力された画像データに対して離散ウェーブレット変換を施し、複数のサブバンドのウェーブレット変換係数データを生成する。離散ウェーブレット変換は画像の垂直方向と水平方向に順にローパスフィルタおよびハイパスフィルタをかけて、画像データを低域成分Ｌと高域成分Ｈとにサブバンド分割（帯域分割）し、ウェーブレット係数を生成するものである。１回のサブバンド分割により水平、垂直それぞれについて低域・高域の係数データが生成されるので、その組み合わせから、４つのサブバンドＬＬ、ＬＨ、ＨＬ、ＨＨが生成される。各サブバンド内には、複数の係数データが含まれる。そして離散ウェーブレット変換では、水平、垂直ともに低域であるサブバンドＬＬに対して、再帰的にサブバンド分割が施すことが許容されている。ここでサブバンド分割した回数を分解レベルと呼ぶ。また、サブバンド分割された各サブバンドはｎＸＹで表記される。ここでｎは分解レベルであり、Ｘは、水平方向が低域成分Ｌ又は高域成分Ｈのいずれであるかを表す。また、Ｙは、垂直方向が低域成分Ｌ又は高域成分Ｈのいずれであるかを表す。また、実施形態におけるｎは２以上である。

図２に、本第１の実施形態におけるサブバンド分割されたサブバンド１ＨＨ〜３ＬＬの配列を示す。本実施形態では同図に示すように分解レベル３のサブバンド分割を行うものとする。なお、上記のように、離散ウェーブレット変換を複数回実行するとき、サブバンドＬＬが次の分解レベルの離散ウェーブレット変換の対象となる。故に、目標回数の離散ウェーブレット変換を行った場合のサブバンドＬＬは１つのみとなる。図示のようにサブバンドＬＬが３ＬＬのみなのはこの理由である。

ウェーブレット変換部１０１は、変換して得られた分解レベル１〜３のサブバンド１ＨＨ〜３ＬＬのウェーブレット係数データを量子化部１０３に供給される。なお、以下の説明で、サブバンドｎＸＹのウェーブレット係数データをＴｎＸＹと表す。

量子化部１０３はウェーブレット係数データＴ１ＨＨ〜Ｔ３ＬＬを、量子化制御部１０４から設定されるサブバンド毎の量子化パラメータに基づき量子化し、量子化係数データＴＱ１ＨＨからＴＱ３ＬＬを生成する。そして、量子化部１０３は、生成した量子化係数データＴＱ１ＨＨ〜ＴＱ３ＬＬをエントロピー符号化部１０５に供給する。

ここで、量子化制御部１０４が設定する量子化パラメータを図４を参照して説明する。図４はサブバンド毎の量子化パラメータの一例を示す図である。図示の如く、総じて分解レベルが低いほど量子化係数は大きい。そして、同一分解レベルであっても高域成分を多く含むサブバンドほど大きい。なお、本実施形態では、図４のように、サブバンド毎に予め量子化パラメータが決められているものとするが、符号化対象の画像データまたはウェーブレット係数データを解析した結果や、目標符号量等に応じて決めるようにしてもよい。

この量子化パラメータは後述する量子化部における量子化ステップの基準となる値であり、劣化が目立ちやすい低域成分は小さな値を設定し、量子化ステップを細かくしている。また、劣化が目立ちにくい高域成分ほど、大きな値を設定し、量子化ステップを粗くする。この結果、高い画質と符号量の削減が図ることが可能となる。なお、量子化部１０３の詳細は後述する。

エントロピー符号化部１０５は量子化部１０３で量子化された量子化係数データＴＱ１ＨＨ〜ＴＱ３ＬＬと、量子化制御１０４からのサブバンド毎の量子化パラメータとを入力し、それらをエントロピー符号化を行う。エントロピー符号化は所定のエントロピー符号化方式により入力されたデータの冗長性を削除するように符号化し、得られた符号化データを出力する。ここで所定のエントロピー符号化方式とはランレングス符号、ハフマン符号、算術符号などの可逆圧縮符号化方式である。エントロピー符号化部１０５から出力された符号データは出力端子１０７を介して、図示しない記録部により記録媒体に記録する。また、図示しない伝送部により復号装置に伝送しても構わない。

次に、第１の実施形態における量子化部１０３の構成と動作の詳細を説明する。図３は量子化部１０３のブロック構成図である。図示の如く、量子化部１０３は、ＬＬ量子化部３１０、ＬＨ量子化部３２０、ＨＬ量子化部３３０、及び、ＨＨ量子化部３４０を含む。

ＬＬ量子化部３１０は、ウェーブレット係数データＴ３ＬＬの量子化を行う。ＬＨ量子化部３２０は、ウェーブレット係数データＴｎＬＨ（ｎ＝１，２，３）の量子化を行う。量子化を行うＨＬ量子化部３３０は、ウェーブレット係数データＴｎＨＬの量子化を行う。ＨＨ量子化部３４０は、ウェーブレット変換係数データＴｎＨＨの量子化を行う。

ＬＬ量子化部３１０にはウェーブレット変換部１０１からウェーブレット係数データＴ３ＬＬと、量子化制御部１０４から量子化パラメータＱＰ３ＬＬが供給される。量子化部３１１は、サブバンド３ＬＬのウェーブレット係数データＴ３ＬＬを、量子化パラメータＱＰ３ＬＬを用いて量子化し、量子化係数データＴＱ３ＬＬを生成する。そして量子化部３１１は、生成した量子化係数データＴＱ３ＬＬをエントロピー符号化部１０５、及び、逆量子化部３１２に供給する。

逆量子化器３１２は、量子化係数データＴＱ３ＬＬを、量子化時と同じ量子化パラメータＱＰ３ＬＬを用いて逆量子化し、ウェーブレット係数データＴＩＱ３ＬＬを得る。

なお、ウェーブレット係数データＴＱ３ＬＬを量子化する際に、予め設定された桁数に満たない値（例えば小数点以下）は切り捨てるので、ウェーブレット係数データＴＱ３ＬＬとウェーブレット係数データＴＩＱ３ＬＬは同じになるとは限らない。このウェーブレット係数データＴＩＱ３ＬＬを生成するのは、復号装置における復号処理と同等の処理を行うためでもある。

さて、逆量子化器３１２は、逆量子化後のウェーブレット係数データＴＩＱ３ＬＬを、ＬＨ量子化部３２０、ＨＬ量子化部３３０、ＨＨ量子化部３４０それぞれに供給する。

ＬＨ量子化部３２０は、分解レベル１〜３のサブバンド１ＬＨ、２ＬＨ，３ＬＨのウェーブレット変換係数Ｔ１ＬＨ、Ｔ２ＬＨ、Ｔ３ＬＨの量子化を行う。以下にその詳細を説明する。

ＬＨ量子化部３２０は、ウェーブレット変換部１０１からウェーブレット係数データＴｎＬＨ（＝Ｔ１ＬＨ、Ｔ２ＬＨ、Ｔ３ＬＨ）、量子化制御部１０４から量子化パラメータＱＰｎＬＨ（＝ＱＰ１ＬＨ、ＱＰ２ＬＨ、ＱＰ３ＬＨ）を入力する。またＬＨ量子化部３２０は、ＬＬ量子化部３１０から逆量子化されたウェーブレット係数ＴＩＱ３ＬＬをも入力する。ウェーブレット係数ＴＩＱ３ＬＬはＬＨ量子化部３２０内のテーブルａ３２６、テーブルｂ３２３に供給される。

テーブルａ３２６は、ウェーブレット係数データＴＩＱ３ＬＬを、サブバンド１ＬＨのウェーブレット係数データＴ１ＬＨの量子化において適用する重みづけ係数に変換する。乗算器３２７は量子化パラメータＱＰ１ＬＨに、テーブルａ３２６からの重みづけ係数を乗じて、ウェーブレット係数データＴ１ＬＨを量子化する際の量子化パラメータを出力する。換言すれば、乗算器３２７は、サブバンド１ＬＨ用の量子化パラメータＱＰ１ＬＨを、重みづけ係数に従って補正する補正部として機能することを意味する。量子化器３２８はサブバンド１ＬＨのウェーブレット係数Ｔ１ＬＨを、乗算器３２７による補正後の量子化パラメータを用いて量子化し、量子化係数データＴＱ１ＬＨを生成する。そして、量子化器３２８は、生成した量子化係数データＴＱ１ＬＨをエントロピー符号化部１０５に出力する。

テーブルｂ３２３は、ウェーブレット係数データＴＩＱ３ＬＬを、サブバンド２ＬＨのウェーブレット係数データＴ２ＬＨの量子化において適用する重みづけ係数に変換する。乗算器３２４は、量子化パラメータＱＰ２ＬＨにテーブルｂ３２３からの重みづけ係数を乗じて、ウェーブレット係数データＴ２ＬＨを量子化する際の量子化パラメータを出力する。量子化器３２５はサブバンド２ＬＨのウェーブレット係数データＴ２ＬＨを、乗算器３２４からの量子化パラメータを用いて量子化し、量子化係数データＴＱ２ＬＨを生成する。そして量子化器３２５は生成した量子化係数データＴＱ２ＬＨを、エントロピー符号化部１０５に出力する。

量子化器３３１は、サブバンド３ＬＨのウェーブレット係数データＴ３ＬＨを、量子化パラメータＱＰ３ＬＨを用いて量子化し、量子化係数データＴＱ３ＬＨを生成する。そして量子化器３３１は、生成した量子化係数データＴＱ３ＬＨをエントロピー符号化部１０５に出力する。

テーブルａ３２６、テーブルｂ３２３は分解レベル３のウェーブレット係数を量子化し、逆量子化して得られたウェーブレット係数から、分解レベル１および分解レベル２のウェーブレット係数を量子化する際の重みづけ係数に変換する変換テーブルである。

重みづけ係数は量子化制御部１０４からサブバンド毎に設定された量子化パラメータに乗じて、量子化パラメータを小さくしたり、大きくしたりするための係数である。基本的にはウェーブレット係数データの値が小さいほど、重みづけ係数を小さく（例えば１未満）、ウェーブレット係数データの値が大きいほど重みづけ係数を大きく（例えば１以上）する。

図５にテーブルａ３２６、テーブルｂ３２３の入出力特性の一例を示す。これはウェーブレット係数データが８ビット（値：０〜２５５）の場合の例であり、同図に示すように、入力範囲：０→２５５に対して、出力範囲：０．５→１．５となるようになっている。すなわち、入力値であるウェーブレット係数データが小さいときは０．５を出力し、大きいときは１．５を出力する特性となっている。これにより、例えば量子化パラメータが３２と設定されていた場合、重みづけ係数（０．５〜１．５）が乗じられて、量子化パラメータが１６〜４８に変化する事になる。

ＬＬ量子化部３１０から供給されるウェーブレット係数データＴＩＱ３ＬＬのデータの値は明るさの度合いを示していると考えてよい。つまり、係数データが示す値が小さいと、その部分は低照度部であり、逆に係数データが示す値が大きいとその部分は高照度部と見なせる。故に、図５に示すような入出力特性の重みづけ係数を発生すると、結局のところ、低照度での量子化パラメータは小さくなり、階調性は維持されやすくなる。よって、低照度部の解像感を向上させることができる。

また、重みづけ係数は、重みづけ係数を生成する元となったサブバンド３ＬＬの当該係数と同一座標位置のサブバンド２ＬＨ、１ＬＨのウェーブレット係数に対して適用させるようにする。

図６を用いて、サブバンド１ＬＨ、２ＬＨ、３ＬＨのウェーブレット係数相互の画像の空間的位置関係について説明する。図６はサブバンド１ＨＨ〜３ＬＬの配列を示す図である。サブバンドＬＨに着目したとき、参照符号６０１は分解レベル３の着目サブバンド内の１つの係数データ（以下、着目係数データ）を表している。離散ウェーブレット変換における分解レベルが下がる度にウェーブレット係数の数は水平、垂直とも２倍になる。それ故、サブバンド３ＬＨの１個の着目係数データ６０１に対応する、サブバンド２ＬＨにおける同一空間座標にあるのは、参照符号６０２に示される２×２個の係数データである。また、着目係数データ６０１に対応する、サブバンド１ＬＨにける同一空間座標になるのは参照符号６０３に示される４×４個の係数データとなる。

すなわち、サブバンド３ＬＨのウェーブレット係数の１つの係数６０１から生成される重みづけ係数は２ＬＨの２×２個の係数６０２、サブバンド１ＬＨの４×４個の係数６０３に適用される。

これら一連の動作により、ＬＨ量子化部３３０は、サブバンド３ＬＬのウェーブレット係数から生成された重みづけ係数によってサブバンド１ＬＨとサンバンド２ＬＨの量子化パラメータを変化させて量子化する。サブバンド３ＬＬ内のウェーブレット係数が小さいほど、サブバンド１ＬＨと２ＬＨの量子化パラメータも小さくなり、小さな量子化ステップで量子化が行われる。

以上、ＬＨ量子化部３２０について説明した。ＨＬ量子化部３３０およびＨＨ量子化部３４０の構成とその動作は、ＬＨ量子化部３２０と同様である。つまり、ＬＨ量子化部３２０の上記の説明中の“ＬＨ”を、“ＨＬ”又は“ＨＨ”と読み替えることで理解されたい。従って、ＨＬ量子化部３３０およびＨＨ量子化部３４０においてもＬＨ量子化部３２０と同様に分解レベル３のウェーブレット係数から重みづけ係数を生成して、分解レベル２、１の量子化パラメータを調整して量子化が行われる。

＜復号装置の説明＞
図７は本実施形態における画像復号装置のブロック構成図である。不図示のデータ発生源が発生した符号化画像データが、入力端子７０１を介し、エントロピー復号化部７０２に供給される。入力端子に接続される符号化画像データの発生源は、上記説明の画像符号化装置がデイレクトに接続されても構わないし、画像符号化装置が出力した符号化画像データを記憶した記憶媒体でも構わず、その種類は問わない。

エントロピー復号部７０２は、所定のエントロピー復号化方式で、入力された符号デー得たから、量子化係数データＴＱ１ＨＨ〜ＴＱ３ＬＬと、量子化パラメータＱＰ１ＨＨ〜ＱＰ３ＬＬを復号し、逆量子化部７０３に供給する。

逆量子化部７０３は量子化パラメータＱＰ１ＨＨ〜ＱＰ３ＬＬを用いて量子化係数データＴＱ１ＨＨ〜ＴＱ３ＬＬを逆量子化し、ウェーブレット係数データＴＩＱ１ＨＨ〜ＴＩＱ３ＬＬとしてウェーブレット逆変換部７０４へ供給する。逆量子化部７０３の詳細は後述する。

ウェーブレット逆変換部７０４は逆量子化部７０３からのウェーブレット係数データＴＩＱ１ＨＨ〜ＴＩＱ３ＬＬを用いて、逆離散ウェーブレットを行い、画像データを生成し、出力端子７０５を介して、図示しない外部の表示装置等の出力装置に出力される。

次に、実施形態における逆量子化部７０３の構成と動作を以下に説明する。図８は逆量子化部７０３のブロック構成図である。図示の如く、逆量子化部７０３は、ＬＬ逆量子化部８１０、ＬＨ逆量子化部８２０、ＨＬ逆量子化部８３０、ＨＨ逆量子化部８４０を含む。

ＬＬ逆量子化部８１０は、サブバンド３ＬＬの量子化係数データＴＱ３ＬＬの逆量子化を以下のように行う。

ＬＬ逆量子化部８１０にはエントロピー復号部７０２から量子化係数データＴＱ３ＬＬと、量子化パラメータＱＰ３ＬＬが供給される。逆量子化器８１１は、量子化係数データＴＱ３ＬＬを、量子化パラメータＱＰ３ＬＬを用いて逆量子化し、ウェーブレット係数ＴＩＱ３ＬＬを生成する。そして逆量子化器８１１は、生成したウェーブレット係数ＴＩＱ３ＬＬをウェーブレット逆変化部７０４に供給する。

ＬＨ逆量子化部８２０は、分解レベル１〜３のＬＨ成分の逆量子化を以下のように行う。

ＬＨ逆量子化部８２０には、エントロピー復号部７０２から量子化係数データＴＱ１ＬＨ、ＴＱ２ＬＨ、ＴＱ３ＬＨ、及び、量子化パラメータＱＰ１ＬＨ、ＱＰ２ＬＨ、ＱＰ３ＬＨが供給される。また、ＬＬ逆量子化部８１０からのウェーブレット係数データＴＩＱ３ＬＬもＬＨ逆量子化部８２０に供給される。ＬＬ逆量子化部８１０の逆量子化により得られたウェーブレット係数データＴＩＱ３ＬＬは、ＬＨ逆量子化部８２０内のテーブルａ８２５、テーブルｂ８２２に供給される。

テーブルａ８２５はウェーブレット係数ＴＩＱ３ＬＬを、サブバンド１ＬＨの量子化係数ＴＱ１ＬＨを逆量子化する際の重みづけ係数に変換する。乗算器８２６は、量子化パラメータＱＰ１ＬＨに、テーブルａ８２５からの重みづけ係数を乗じることで、量子化係数ＴＱ１ＬＨを逆量子化する際の使用する量子化パラメータを生成し、逆量子化部８２７に供給する。

逆量子化器８２７は、サブバンド１ＬＨの量子化係数データＴＱ１ＬＨを乗算器８２６からの量子化パラメータを用いて逆量子化し。ウェーブレット係数データＴＩＱ１ＬＨを生成する。そして、逆量子化器８２７は、生成したウェーブレット係数データＴＩＱ１ＬＨをウェーブレット逆変換部７０４に供給する。

逆量子化器８２１は、サブバンド３ＬＨの量子化係数ＴＱ３ＬＨを、量子化パラメータＱＰ３ＬＨを用いて逆量子化しウェーブレット係数データＴ３ＬＨを生成する。逆量子化器８２１は、生成したウェーブレット係数データＴ３ＬＨをウェーブレット逆変化部７０４に供給する。

テーブルｂ８２２はウェーブレット係数ＴＩＱＬＬを、サブバンド２ＬＨの量子化係数データＴＱ２ＬＨを逆量子化する際の重みづけ係数に変換する。乗算器８２３は量子化パラメータＱＰ２ＬＨに、テーブルｂ８２２からの重みづけ係数を乗じて、量子化係数ＴＱ２ＬＨを逆量子化する際の量子化パラメータを生成し、逆量子化器８２４に供給する。逆量子化器８２４は、サブバンド２ＬＨの量子化係数データＴＱ２ＬＨを、乗算器８２３からの量子化パラメータを用いて逆量子化し、ウェーブレット係数データＴＩＱ２ＬＨを生成する。そして逆量子化器８２４は、生成したウェーブレット係数データＴＩＱ２ＬＨを、ウェーブレット逆変換部７０４に供給する。

テーブルａ８２５、テーブルｂ８２２は、分解レベル３の量子化係数データを逆量子化したウェーブレット係数から、分解レベル１および分解レベル２の量子化係数を逆量子化する際の重みづけ係数に変換する変換テーブルである。そして、これらテーブルａ８２５。ｂ８２２における、入力値に対する出力値は、図３の量子化部のテーブルａ３２６とテーブルｂ３２３とそれぞれと同一である。また、重みづけ係数は、重みづけ係数を生成する元となったサブバンド３ＬＬのウェーブレット係数データと同一座標位置のサブバンド２ＬＨ、１ＬＨの量子化係数に対して適用させるようにする。

これら一連の動作により、ＬＨ逆量子化部８３０は、サブバンド３ＬＬの量子化係数から生成された重みづけ係数によって、サブバンド１ＬＨとサブバンド２ＬＨの量子化パラメータを変化させて逆量子化する。重みづけ係数はサブバンド３ＬＬの量子化係数から生成しているため、符号化装置における量子化部の重みづけ係数と全く同じ値となり、量子化時と同じ量子化パラメータで逆量子化がなされる事になる。

以上、ＬＨ逆量子化部８２０について説明した。ＨＬ逆量子化部８３０およびＨＨ逆量子化部８４０の構成と動作は、ＬＨ逆量子化部８１０と同様である。よって、ＨＬ逆量子化部８３０およびＨＨ逆量子化部８４０の構成と動作の説明は省略する。

以上説明したように量子化部１０３、及び、逆量子化部７０３は、ＤＣ成分である分解レベル３のサブバンドＬＬの逆量子化されたウェーブレット係数を、ＡＣ成分の各分解レベルのサブバンドＬＨ、ＨＬ、ＨＨ成分の量子化時および逆量子化時の重みづけ係数に変換し、これを量子化制御部から設定された量子化パラメータに乗じる事で最終的な量子化パラメータを生成する。

なお、上記説明においては重みづけ係数に変換するためのテーブルａおよびテーブルｂは線形特性としていたが、これに限定される事はなく、非線形であっても良いし、テーブルａとテーブルｂの特性を異なる特性としてもよい。

上記実施形態では、離散ウェーブレット変換を３回実行して、分解レベル３のサブバンドの係数データを生成する例を説明したが、離散ウェーブレット変換の実行回数に３に限らない。すなわち、離散ウェーブレット変換を実行する回数をｎ(ただしｎ≧２）と定義したとき、量子化部１０３は、分解レベルｎの各サブバンドについては、各サブバンド毎に設定される量子化パラメータに基づき量子化する。そして、量子化部１０３は、分解レベルｎ−１以下の各サブバンドについては、それぞれ毎に設定された量子化パラメータ及び分解レベルｎのサブバンドＬＬ内の係数データに基づく重み係数に基づき量子化すればよい。

また、実施形態で示したテーブルａ３２６、ｂ３２３は、図５に示す入出力の重みづけ係数を発生するものとして説明した。上記の画像符号化装置をビデオカメラなどの撮像装置に実装する場合について考察する。この場合、撮像する対象や条件によってはテーブルａ３２６、ｂ３２３の出力を“１．０”に固定、つまり、量子化パラメータＱＰ１ＬＨ．ＱＰ２ＬＨを補正しないで量子化するように切換可能にしても良い。この切換は、ユーザが操作部（不図示）の操作部で行えば良い。

［第２の実施形態］
次に、第２の実施形態について説明する。第２の実施形態と第１の実施形態との相違点は量子化部および逆量子化部である。第１の実施形態では各サブバンドの量子化・逆量子化を並列に行っていたのに対し、第２の実施形態では時系列に、低域側のサブバンドから高域側のサブバンドの順に行う。その他のウェーブレット変換部・逆変換部、エントロピー符号化部・復号化部、量子化制御部は同様であるため説明は省略する。なお、低域→高域のサブバンド順とは、３ＬＬ→｛３ＨＬ、３ＬＨ，３ＨＨ｝→｛２ＨＬ，２ＬＨ，２ＨＨ｝→｛１ＨＬ，１ＬＨ，１ＨＨ｝の順である。｛｝で挟まされたサブバンドについては、その順序を問わないことを意味する。

＜符号化装置の説明＞
図９は第２の実施形態における画像符号化装置における量子化部のブロック図である。同図において量子化部９００は、図１の量子化部１０３に相当するものでもある。量子化部９００は、量子化器９０１、量子化パラメータ決定器９０２、逆量子化器９０３、メモリ９０４で構成される。

量子化器９０１にはウェーブレット変換部１０１からのウェーブレット係数と、後述する量子化パラメータ決定器９０２からの量子化パラメータが供給される。量子化器９０１は、サブバンド毎に時系列で入力されるウェーブレット係数データを、量子化パラメータ決定器９０２からの量子化パラメータを用いて量子化する。量子化された量子化係数は外部に出力されるとともに逆量子化器９０３に入力される。

逆量子化器９０３は、量子化係数を、量子化時と同じ量子化パラメータを用いて逆量子化する。逆量子化により得られたウェーブレット係数はメモリ９０４に入力される
量子化パラメータ決定器９０２は量子化制御部１０４からの量子化パラメータとメモリ９０４からのウェーブレット係数を用いて、サブバンド毎に異なる方法で最終的な量子化パラメータを決定し、量子化器９０１と逆量子化器９０３に出力する。

以下、量子化部９００の全体の動作について詳細に説明する。前述したように、量子化部９００は、低域側のサブバンドから高域側のサブバンドの順に時系列で量子化処理を行う。そのため、以下のようにサブバンド毎に異なる処理で量子化がおこなわれる。

まず、量子化部９００には低域成分である分解レベル３のＬＬ、ＬＨ、ＨＬ、ＨＨ成分のウェーブレット係数データＴ３ＬＬ〜Ｔ３ＨＨと、分解レベル３のＬＬ、ＬＨ、ＨＬ、ＨＨの量子化パラメータＱＰ３ＬＬ〜ＱＰ３ＨＨが順次入力される。分解レベル３の量子化においては、量子化パラメータ決定器９０２は入力された量子化パラメータをそのまま量子化器９０１に出力する。量子化器９０１において量子化された量子化係数データＴＱ３ＬＬ〜ＴＱ３ＨＨは外部に出力される。また、逆量子化器９０３において逆量子化された分解レベル３のサブバンドＬＬ成分のウェーブレット係数データＴＩＱ３ＬＬは、メモリ９０４に書き込まれて記憶される。

次に、量子化部９００には、中域成分である分解レベル２のサブバンドＬＨ、ＨＬ、ＨＨ成分のウェーブレット係数データＴ２ＬＨ〜Ｔ２ＨＨと、分解レベル２のサブバンドＬＨ、ＨＬ、ＨＨの量子化パラメータＱＰ２ＬＨ〜ＱＰ２ＨＨが順次供給される。一方メモリ９０４からは上記で記憶された分解レベル３のサブバンドＬＬのウェーブレット係数データが読み出されて、量子化パラメータ決定部９０２に供給される。量子化パラメータ決定部９０２は、メモリ９０４から入力された分解レベル３のウェーブレット係数データを、重みづけ係数に変換する。これは第１の実施形態で説明したテーブルｂに相当し、ウェーブレット係数が小さいほど小さい値（例えば１以下）にし、ウェーブレット係数が大きいほど大きい値（例えば１以上）とする。そしてこの重みづけ係数を、量子化制御部から入力された量子化パラメータに乗じて、最終的な量子化パラメータとして出力する。量子化器９０１は、量子化して得た量子化係数データＴＱ２ＬＨ〜ＴＱ２ＨＨは外部に出力される。また、分解レベル２の処理においては、逆量子化器９０３は動作させる必要がないので停止させておいてもよい。なお、重みづけ係数は、重みづけ係数を生成する元となった分解レベル３の当該係数と同一座標位置の分解レベル２のウェーブレット係数に対して適用させるようにする。

次に、量子化部９００には、高域成分である分解レベル１のサブバンドＬＨ、ＨＬ、ＨＨ成分のウェーブレット係数データＴ１ＬＨ〜Ｔ１ＨＨと、分解レベル１のサブバンドＬＨ、ＨＬ、ＨＨの量子化パラメータＱＰ１ＬＨ〜ＱＰ１ＨＨが順次供給される。一方メモリ９０４からは上記で記憶された分解レベル３のサブバンドＬＬのウェーブレット係数データが読み出されて、量子化パラメータ決定部９０２に供給される。量子化パラメータ決定部９０２は、メモリ９０４から入力された分解レベル３のウェーブレット係数データを、重みづけ係数に変換する。これは第１の実施形態で説明したテーブルａに相当し、ウェーブレット係数が小さいほど小さい値（例えば１以下）にし、ウェーブレット係数が大きいほど大きい値（例えば１以上）とする。そしてこの重みづけ係数を、量子化制御部から供給された量子化パラメータに乗じて、最終的な量子化パラメータとして出力する。量子化器９０１において量子化された量子化係数データＴＱ１ＬＨ〜ＴＱ１ＨＨは外部に出力される。また、分解レベル１の処理においては、逆量子化器９０３は動作させる必要がないので停止させておいてもよい。なお、重みづけ係数は、重みづけ係数を生成する元となった分解レベル３の当該係数と同一座標位置の分解レベル１のウェーブレット係数に対して適用させるようにする。

＜復号装置の説明＞
図１０は第２の実施形態における逆量子化部１０００のブロック図である。この逆量子化部１０００は、第１の実施形態における逆量子化部７０３に相当するものである。逆量子化部１０００は、逆量子化器１００１、量子化パラメータ決定器１００２、メモリ１００３で構成される。

逆量子化器１００１にはエントロピー復号化部７０２からの量子化係数と、量子化パラメータ決定器１００２からの量子化パラメータが供給される。逆量子化器１００１は、サブバンド毎に時系列で入力される量子化係数データを、量子化パラメータ決定器９０２からの量子化パラメータを用いて逆量子化する。逆量子化して得られウェーブレット係数データは外部に出力されるとともにメモリ１００３に供給され保持される。

量子化パラメータ決定器１００２は、エントロピー復号化部７０２からの量子化パラメータとメモリ１００３からのウェーブレット係数データを用いて、サブバンド毎に異なる方法で最終的な量子化パラメータを決定し、逆量子化器１００１に供給する。

以下、逆量子化部１０００の全体の動作について詳細に説明する。前述したように、逆量子化部１０００は低域側のサブバンドから高域側のサブバンドに順に時系列で逆量子化処理を行う。そのため、以下のようにサブバンド毎に異なる処理で逆量子化がおこなわれる。

逆量子化部１０００には、低域成分である分解レベル３のサブバンドＬＬ、ＬＨ、ＨＬ、ＨＨ成分の量子化係数データＴＱ３ＬＬ〜ＴＱ３ＨＨと、分解レベル３のサブバンドＬＬ、ＬＨ、ＨＬ、ＨＨの量子化パラメータＱＰ３ＬＬ〜ＱＰ３ＨＨが順次供給される。分解レベル３の量子化においては、量子化パラメータ決定器１００２は、入力された量子化パラメータをそのまま逆量子化器１００１に出力する。逆量子化器１００１において逆量子化して得られたウェーブレット係数データＴＩＱ３ＬＬ〜ＴＩＱ３ＨＨは外部に出力される。分解レベル３のサブバンドＬＬ成分のウェーブレット係数データＴＩＱ３ＬＬはメモリ１００４に書き込まれて保持される。

次に、逆量子化部１０００には中域成分である分解レベル２のサブバンドＬＨ、ＨＬ、ＨＨ成分の量子化係数データＴＱ２ＬＨ〜ＴＱ２ＨＨと、分解レベル２のサブバンドＬＨ、ＨＬ、ＨＨの量子化パラメータＱＰ２ＬＨ〜ＱＰ２ＨＨが順次供給される。一方メモリ１００３からは上記で記憶された分解レベル３のサブバンドＬＬのウェーブレット係数データが読み出されて、量子化パラメータ決定部１００２に入力される。量子化パラメータ決定部１００２は、メモリ１００３から入力された分解レベル３のウェーブレット係数データを、重みづけ係数に変換する。量子化パラメータ決定部１００２は、量子化部９００の量子化パラメータ決定器９０２と同様に、ウェーブレット係数が小さいほど小さい値（例えば１以下）にし、ウェーブレット係数データが大きいほど大きい値（例えば１以上）とする。そして量子化パラメータ決定部１００２は、この重みづけ係数を、量子化制御部から入力された量子化パラメータに乗じて、最終的な量子化パラメータとして逆量子化器１００１に供給する。逆量子化器１００１において逆量子化して得られたウェーブレット係数データＴＩＱ２ＬＨ〜ＴＩＱ２ＨＨは外部に出力される。また、分解レベル２の処理においては、メモリ１００４への書き込みは行わない。なお、重みづけ係数は、重みづけ係数を生成する元となった分解レベル３の当該係数と同一座標位置の分解レベル２の量子化係数に対して適用させるようにする。

次に、逆量子化部１０００には、高域成分である分解レベル１のサブバンドＬＨ、ＨＬ、ＨＨ成分の量子化係数データＴＱ１ＬＨ〜ＴＱ１ＨＨと、分解レベル１のサブバンドＬＨ、ＨＬ、ＨＨの量子化パラメータＱＰ１ＬＨ〜ＱＰ１ＨＨが順次供給される。一方メモリ１００３からは上記で記憶された分解レベル３のサブバンドＬＬのウェーブレット係数データが読み出されて、量子化パラメータ決定部１００２に供給される。量子化パラメータ決定部１００２は、メモリ１００３から入力された分解レベル３のウェーブレット係数データを重みづけ係数に変換する。そして量子化パラメータ決定部１００２は、量子化部９００の量子化パラメータ決定器９０２と同様に、ウェーブレット係数が小さいほど小さい値（例えば１以下）にし、ウェーブレット係数が大きいほど小さい値（例えば１以上）とする。そして量子化パラメータ決定部１００２は、この重みづけ係数を、量子化制御部から入力された量子化パラメータに乗じて、最終的な量子化パラメータとして逆量子化器１００１に供給する。逆量子化器１００１において逆量子化して得られたウェーブレット係数データＴＩＱ１ＬＨ〜ＴＩＱ１ＨＨは外部に出力される。また、分解レベル２の処理においては、メモリ１００４への書き込みは行わない。なお、重みづけ係数は、重みづけ係数を生成する元となった分解レベル３の当該係数と同一座標位置の分解レベル１の量子化係数に対して適用させるようにする。

以上説明したように量子化部９００および逆量子化部１０００は時系列で、低域から高域に向かう順にサブバンドの量子化・逆量子化を行う。ＤＣ成分である、分解レベル３のサブバンドＬＬ成分の逆量子化されたウェーブレット係数をメモリに記憶させ、これを読み出して、各分解レベルのＡＣ成分であるサブバンドＬＨ、ＨＬ、ＨＨ成分の量子化時および逆量子化時の重みづけ係数に変換し量子化パラメータを生成する。これにより、第１の実施形態での並列動作による量子化処理、逆量子化処理と同様の結果を得る事ができる。

なお、本第２の実施形態においては分解レベル３のサブバンドＬＨ、ＨＬ、ＨＨ成分の量子化における量子化パラメータは入力されたＱＰ３ＬＨ〜ＨＨをそのまま用いるとした。しかし、分解レベル３のサブバンドＬＬ成分の逆量子化されたウェーブレット係数により重みづけされた量子化パラメータを用いるようにしてもよい。

また、重みづけ係数を量子化制御部から設定された量子化パラメータに乗じて最終的な量子化パラメータを生成するとしているが、重みづけ係数を量子化制御部から設定された量子化パラメータに加算して最終的な量子化パラメータを生成するようにしてもよい。

また、最終的な量子化パラメータの算出において、下限、上限を設定して、最終的な量子化パラメータを制限するようにしてもよい。例えば１未満の量子化パラメータは量子化ステップが１未満となり、量子化係数のエントロピー符号化を行った際にデータ量が増加する恐れがあるため、最終的な量子化パラメータの下限を１に設定する。

以上の如く、ウェーブレット係数の最上位の分解レベルｎのサブバンドＬＬの係数データはＤＣ成分データでもあり、画像の照度を表していると見なせる。このＤＣ成分に基づいて図５に示すような重みづけ係数を算出し、この重みづけ係数を同一座標位置の、分解レベルｎ−１以下の各サブバンドの係数データ（ＡＣ成分データ）の量子化に適用する事によって、低照度部の解像感の低下を低減する事ができる。また、重みづけ係数はウェーブレット係数のＤＣ成分から生成されるため、別途、符号データ中に保存する必要がなく、符号量を増大させる事も抑制できる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…ウェーブレット変換部、１０３…量子化部、１０４…量子化制御部、１０５…エントロピー符号化部、１０６…入力端子、１０７…出力端子

Claims (14)

1. 画像データを符号化する画像符号化装置であって、
   符号化対象の画像データを、２以上の分解レベルまでウェーブレット変換し、複数のサブバンドを生成する変換手段と、
   該変換手段で得られたサブバンド内の係数データを量子化パラメータに基づいて量子化する量子化手段と、
   該量子化手段による量子化後の係数データを符号化する符号化手段と、を有し、
   サブバンド毎に量子化パラメータが設定されており、
   前記量子化手段は、下位の分解レベルのサブバンドの係数データを量子化する際に、量子化対象となる着目係数データと同一空間座標となる最上位の分解レベルのサブバンドＬＬの係数データと、サブバンド毎に設定されている量子化パラメータとに基づいて、前記着目係数データの量子化パラメータを決定し、前記着目係数データを量子化することを特徴とする画像符号化装置。
2. 前記量子化手段は、最上位の分解レベルの低域のサブバンドの係数データに基づいて設定される重みづけ係数に基づいて、下位の分解レベルのサブバンドを量子化することを特徴とする請求項１に記載の画像符号化装置。
3. 前記量子化手段は、サブバンド毎に設定された量子化パラメータに基づいて、サブバンドの量子化を行い、下位の分解レベルのサブバンドにおいては、サブバンド毎に設定された量子化パラメータと、前記重みづけ係数とに基づいて、サブバンドの量子化を行うことを特徴とする請求項２に記載の画像符号化装置。
4. 前記変換手段が画像データをウェーブレット変換する最上位の分解レベルをｎ（ｎ≧２）としたとき、
   前記量子化手段は、
   前記分解レベルｎのサブバンドＬＬの量子化後の係数データを逆量子化する逆量子化手段と、
   該逆量子化手段による逆量子化後の係数データが示す値から重みづけ係数を生成する生成手段と、
   前記分解レベルｎ−１以下の各サブバンドに対して設定された量子化パラメータに前記生成した重みづけ係数を乗算することで、前記量子化パラメータを補正する補正手段とを有し、
   前記量子化手段は、前記分解レベルｎ−１以下の各サブバンド内の係数データを、前記補正手段による補正後の量子化パラメータに基づき量子化する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記生成手段は、係数データが示す値が小さいほど小さい値の重みづけ係数を生成することを特徴とする請求項４に記載の画像符号化装置。
6. 前記量子化手段による前記分解レベルｎ−１以下の着目サブバンド内の着目係数データを量子化するとき、当該着目係数データと、当該着目係数データに対する量子化パラメータを補正する際に参照した前記分解レベルｎのサブバンドＬＬ内の逆量子化後の係数データとは空間的に同じ座標にあることを特徴とする請求項４又は５に記載の画像符号化装置。
7. 符号化画像データを復号する画像復号装置であって、
   符号化画像データを復号することで、分解レベルｎ（ｎ≧２）までの複数のサブバンドの量子化係数データを生成する復号手段と、
   復号して得られた各分解レベルのサブバンド内の量子化係数データを量子化パラメータに基づいて逆量子化する逆量子化手段と、
   サブバンド毎に設定された量子化パラメータを取得する手段と、
   該逆量子化手段による得られた各分解レベルのサブバンド内の係数データをウェーブレット逆変換し、画像データを生成する変換手段とを有し、
   前記逆量子化手段は、
   分解レベルｎの各サブバンドの量子化係数データについては、サブバンド毎に設定された量子化パラメータに基づき逆量子化し、
   分解レベルｎ−１以下の各サブバンドの量子化係数データについては、サブバンド毎に設定された量子化パラメータ、及び、逆量子化対象となる着目量子化係数データと同一空間座標となる分解レベルｎのサブバンドＬＬの逆量子化後の係数データに基づく重み係数に基づき逆量子化する
   ことを特徴とする画像復号装置。
8. 前記逆量子化手段は、
   前記分解レベルｎ−１以下の各サブバンドの量子化係数データについては、前記分解レベルｎのサブバンドＬＬの逆量子化後の係数データが示す値から重みづけ係数を生成する生成手段と、
   前記分解レベルｎ−１以下の各サブバンドに対して設定された量子化パラメータに前記生成した重みづけ係数を乗算することで、前記量子化パラメータを補正する補正手段とを有し、
   前記逆量子化手段は、前記分解レベルｎ−１以下の各サブバンド内の係数データを、前記補正手段による補正後の量子化パラメータに基づき逆量子化する
   ことを特徴とする請求項７に記載の画像復号装置。
9. 前記生成手段は、前記分解レベルｎのサブバンドＬＬの逆量子化後の係数データが示す値が小さいほど小さい値の重みづけ係数を生成することを特徴とする請求項８に記載の画像復号装置。
10. 前記逆量子化手段による前記分解レベルｎ−１以下の着目サブバンド内の着目係数データを逆量子化するとき、当該着目係数データと、当該着目係数データに対する量子化パラメータを補正する際に参照した前記分解レベルｎのサブバンドＬＬ内の逆量子化後の係数データとは空間的に同じ座標にあることを特徴とする請求項７乃至９のいずれか１項に記載の画像復号装置。
11. 画像データを符号化する画像符号化装置の制御方法であって、
    変換手段が、符号化対象の画像データを、２以上の分解レベルまでウェーブレット変換し、複数のサブバンドを生成する変換工程と、
    量子化手段が、前記変換工程で得られたサブバンド内の係数データを量子化パラメータに基づいて量子化する量子化工程と、
    符号化手段が、前記量子化工程による量子化後の係数データを符号化する符号化工程と、を有し、
    サブバンド毎に量子化パラメータが設定されており、
    前記量子化工程は、下位の分解レベルのサブバンドの係数データを量子化する際に、量子化対象となる着目係数データと同一空間座標となる最上位の分解レベルのサブバンドＬＬの係数データと、サブバンド毎に設定されている量子化パラメータとに基づいて、前記着目係数データの量子化パラメータを決定し、前記着目係数データを量子化することを特徴とする画像符号化装置の制御方法。
12. 符号化画像データを復号する画像復号装置であって、
    復号手段が、符号化画像データを復号することで、分解レベルｎ（ｎ≧２）までの複数のサブバンドの量子化係数データを生成する復号工程と、
    逆量子化手段が、復号して得られた各分解レベルのサブバンド内の量子化係数データを量子化パラメータに基づいて逆量子化する逆量子化工程と、
    取得手段が、サブバンド毎に設定された量子化パラメータを取得する工程と、
    変換手段が、前記逆量子化工程により得られた各分解レベルのサブバンド内の係数データをウェーブレット逆変換し、画像データを生成する変換工程とを有し、
    前記逆量子化工程は、
    分解レベルｎの各サブバンドの量子化係数データについては、サブバンド毎に設定された量子化パラメータに基づき逆量子化し、
    分解レベルｎ−１以下の各サブバンドの量子化係数データについては、サブバンド毎に設定された量子化パラメータ、及び、逆量子化対象となる着目量子化係数データと同一空間座標となる分解レベルｎのサブバンドＬＬの逆量子化後の係数データに基づく重み係数に基づき逆量子化する
    ことを特徴とする画像復号装置の制御方法。
13. コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至６のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。
14. コンピュータが読み込み実行することで、前記コンピュータを、請求項７乃至１０のいずれか１項に記載の画像復号装置の各手段として機能させるためのプログラム。

Images