JP3989786B2 - Compression encoding apparatus, compression encoding method and program - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像圧縮伸長技術で使用される圧縮符号化方法および圧縮符号化装置に関する。
【０００２】
【従来の技術】
画像データの次世代の高能率符号化方式として、ＩＳＯ（国際標準化機構）やＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）によって、ＪＰＥＧ２０００（Joint Photographic Experts Group 2000）方式が策定されている。ＪＰＥＧ２０００方式は、現在主流のＪＰＥＧ（Joint Photographic Experts Group）方式と比べて優れた機能を有するものであり、直交変換としてＤＷＴ（離散ウェーブレット変換；Discrete Wavelet Transform）を採用し、エントロピー符号化に、ビットプレーン符号化を行うＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と称する方法を採用する点に特徴がある。
【０００３】
図１９は、ＪＰＥＧ２０００方式に基づいた画像の圧縮符号化装置の概略構成を示す機能ブロック図である。以下、この図１９を参照しつつ、ＪＰＥＧ２０００方式の圧縮符号化手順について概説する。
【０００４】
この圧縮符号化装置１００に入力する画像信号は、ＤＣレベルシフト部１０２で必要に応じてＤＣレベル変換を施された後に、色空間変換部１０３に出力される。次に、色空間変換部１０３は、ＤＣレベルシフト部１０２から入力する信号の色空間を変換する。ここで、例えば、色空間変換部１０３に入力するＲＧＢ信号はＹＣｂＣｒ信号（輝度信号Ｙと色差信号Ｃｂ，Ｃｒからなる信号）に変換される。
【０００５】
次に、タイリング部１０４は、色空間変換部１０３から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１０５に出力する。ＤＷＴ部１０５は、タイリング部１０４から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施し、その結果得られる変換係数を出力する。ＤＷＴでは、２次元画像信号に対して、高域成分（高周波数成分）と低域成分（低周波数成分）とに分割する１次元フィルタが垂直方向と水平方向の順に適用される。ＪＰＥＧ２０００の基本方式では、垂直方向と水平方向との双方向に低域側に分割した帯域成分のみを再帰的に帯域分割していくオクターブ分割方式が採用されている。またその再帰的に帯域分割した回数は、分解レベル（decomposition level）と呼ばれる。
【０００６】
図２０は、オクターブ分割方式に従って、分解レベル３のＤＷＴを施された２次元画像１２０を示す模式図である。分解レベル１では、２次元画像１２０は、垂直方向と水平方向とに前述の１次元フィルタを順次適用することで、ＨＨ１，ＨＬ１，ＬＨ１およびＬＬ１（図示せず）の４つの帯域成分に分割される。ここで、「Ｈ」は高域成分を、「Ｌ」は低域成分をそれぞれ示している。例えば、ＨＬ１は、分解レベル１における水平方向の高域成分Ｈと垂直方向の低域成分Ｌとからなる帯域成分である。その表記法を一般化して、「ＸＹｎ」（Ｘ，ＹはＨ，Ｌの何れか；ｎは１以上の整数）は、分解レベルｎにおける水平方向の帯域成分Ｘと垂直方向の帯域成分Ｙとからなる帯域成分を指すものとする。
【０００７】
分解レベル２では、低域成分ＬＬ１は、ＨＨ２，ＨＬ２，ＬＨ２およびＬＬ２（図示せず）に帯域分割される。更に、分解レベル３では、低域成分ＬＬ２は、ＨＨ３，ＨＬ３，ＬＨ３およびＬＬ３に帯域分割される。以上で生成された帯域成分ＨＨ１〜ＬＬ３を配列したのが図２０である。図２０では、３次の分解レベルの例が示されているが、ＪＰＥＧ２０００方式では、一般に、３次〜８次程度の分解レベルが採用される。
【０００８】
次に、量子化部１０６は、ＤＷＴ部１０５から出力された変換係数を、必要に応じてスカラー量子化する機能を有する。また量子化部１０６は、ＲＯＩ部１０７による指定領域（ＲＯＩ；Region Of Interest）の画質を優先させるビットシフト処理を行う機能も有している。尚、可逆（ロスレス）変換を行う場合には、量子化部１０６でのスカラー量子化は行われない。ＪＰＥＧ２０００方式では、この量子化部１０６でのスカラー量子化と後述するポスト量子化（truncation）との２種類の量子化手段が用意されている。
【０００９】
次に、量子化部１０６から出力された変換係数は、上述のＥＢＣＯＴに従って、係数ビットモデリング部１０８と算術符号化部１０９とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部１１０でレートを制御される。具体的には、係数ビットモデリング部１０８は、入力する変換係数の帯域成分を３２×３２や６４×６４程度の「コードブロック」と称する領域に分割し、更に、各コードブロックを、各ビットの２次元配列で構成される複数のビットプレーンに分解する。
【００１０】
図２１は、複数のコードブロック１２１，１２１，１２１，…に分解された２次元画像１２０を示す模式図である。また、図２２は、このコードブロック１２１を構成するｎ枚のビットプレーン１２２₀〜１２２_n-1（ｎ：自然数）を示す模式図である。図２２に示すように、コードブロック１２１中の１点の変換係数の２進値１２３が"０１１…０"である場合、この２進値１２３を構成するビットは、それぞれ、ビットプレーン１２２_n-1，１２２_n-2，１２２_n-3，…，１２２₀に属するように分解される。図中のビットプレーン１２２_n-1は、変換係数の最上位ビット（ＭＳＢ）のみからなる最上位ビットプレーンを表し、ビットプレーン１２２₀は、その最下位ビット（ＬＳＢ）のみからなる最下位ビットプレーンを表している。
【００１１】
更に、係数ビットモデリング部１０８は、各ビットプレーン１２２_k（ｋ＝０〜ｎ−１）内の各ビットのコンテクスト（context）判定を行い、図２３に示すように、各ビットの有意性（判定結果）に応じて、ビットプレーン１２２_kを３種類の符号化パス、すなわち、ＳＩＧパス（ SIGnificance propagation pass ），ＭＲパス（ Magnitude Refinement pass ），ＣＬパス（ CLeanup pass ）に分解する。各符号化パスに関するコンテクスト判定のアルゴリズムは、ＥＢＣＯＴで定められている。それによれば、「有意である」とは、これまでの符号化処理において注目係数がゼロでないとわかっている状態のことを意味し、「有意で無い」とは、係数値がゼロであるか、或いはゼロである可能性がある状態のことを意味する。
【００１２】
係数ビットモデリング部１０８は、ＳＩＧパス（有意な係数が周囲にある有意でない係数の符号化パス）、ＭＲパス（有意な係数の符号化パス）およびＣＬパス（ＳＩＧパス，ＭＲパスに該当しない残りの係数情報の符号化パス）の３種類の符号化パスでビットプレーン符号化を実行する。ビットプレーン符号化は、最上位ビットプレーンから最下位ビットプレーンにかけて、各ビットプレーンのビットを４ビット単位で走査し、有意な係数が存在するか否かを判定することで行われる。有意で無い係数（０ビット）のみで構成されるビットプレーンの数はパケットヘッダに記録され、有意な係数が最初に出現したビットプレーンから実際の符号化が開始される。その符号化開始のビットプレーンはＣＬパスのみで符号化され、当該ビットプレーンよりも下位のビットプレーンは、上記３種類の符号化パスで順次符号化される。
【００１３】
尚、図２４に、レート（符号量；Ｒ）と歪み（Ｄ）の関係を表すＲ−Ｄ曲線を示す。このＲ−Ｄ曲線中、Ｒ₁はビットプレーン符号化前のレート、Ｒ₂はビットプレーン符号化後のレート、Ｄ₁はビットプレーン符号化前の歪み、Ｄ₂はビットプレーン符号化後の歪み、をそれぞれ示している。また、Ａ，Ｂ，Ｃは、上述の符号化パスを表すラベルである。効率的な符号化を行うには、開始点Ｐ₁（Ｒ₁，Ｄ₁）から終了点（Ｒ₂，Ｄ₂）へ向かう経路のうち、凸曲線のＣ−Ｂ−Ａの経路よりも、凹曲線のＡ−Ｂ−Ｃの経路を採用するのが好ましい。このような凹曲線を実現するには、ＭＳＢプレーンからＬＳＢプレーンに向けて符号化すればよいことが知られている。
【００１４】
次に、算術符号化部１０９は、ＭＱコーダを用いて、係数ビットモデリング部１０８からの係数列に対して、コンテクストの判定結果に基づいて符号化パス単位で算術符号化を実行する。尚、この算術符号化部１０９で、係数ビットモデリング部１０８から入力する係数列の一部を算術符号化させないバイパス処理を行うモードもある。
【００１５】
次に、符号量制御部１１０は、算術符号化部１０９が出力した符号列の下位ビットプレーンを切り捨てるポスト量子化を行うことで、最終符号量を制御する。そして、ビットストリーム生成部１１１は、符号量制御部１１０が出力した符号列と付加情報（ヘッダ情報，レイヤー構成，スケーラビリティ情報，量子化テーブルなど）とを多重化したビットストリームを生成し、圧縮画像として出力する。
【００１６】
【発明が解決しようとする課題】
ビットストリーム生成部１１１は、スケーラビリティの種類や目標ビットレートなどに従って、複数のコードブロックを複数段階のレイヤーに分割したットストリームを生成する機能を有する。この機能により、複数のレイヤーのデータを、上位レイヤーから下位レイヤーにかけて順次に追加送信することで、復号器側で、再生画像の画質（ＳＮＲ，解像度，表示色など）を段階的に向上させるプログレッシブ再生が可能となる。
【００１７】
このレイヤー分割処理は、各レイヤーでレートに対する歪みを最適化するレート・歪み最適化（R-D optimization）の手法を用いて行われている。レート・歪み最適化のアルゴリズムについては、「David S. Taubman and Michael W. Marcellin, "JPEG2000 IMAGE COMPRESSION FUNDAMENTALS, STANDARDS AND PRACTICE," Kluwer Academic Publishers」の文献（以下、参考文献Ａと呼ぶ。）に開示される。
【００１８】
しかしながら、この手法では、（１）レートに対する歪量を各符号化パスで一々算出する必要があり、また或る符号化レートにおける最適解を推定しなければならず、演算量が多大になりリアルタイム性が低下する、（２）各符号化パスで算出した歪量を保存するためのメモリが必要になる、という問題がある。
【００１９】
以上の問題などに鑑みて本発明が課題とするところは、レイヤー分割処理を、レートに対する歪みを低減し得るように、少ない演算量で且つ高速に実行し得る圧縮符号化装置および圧縮符号化方法を提供する点にある。
【００２０】
【課題を解決するための手段】
上記課題を解決するため、請求項１に係る発明は、画像信号を複数のレイヤーに分割して符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記複数の帯域成分のうち、所定の帯域成分の２次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、設定された優先度につき、該優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割するレイヤー分割部と、を備えることを特徴としている。
【００２１】
請求項２に係る発明は、画像信号を複数のレイヤーに分割して符号化する圧縮符号化装置であって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記各帯域成分の前記変換係数に対して、前記低域成分に再帰的に帯域分割された回数に応じて設定された優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割するレイヤー分割部と、を備え、前記レイヤー分割部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いる機能を有するものである。
【００２２】
請求項３に係る発明は、請求項１または２記載の圧縮符号化装置であって、前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部を更に備え、前記レイヤー分割部は、前記係数ビットモデリング部から出力された符号列をビットシフトすると共に、ビットシフトした前記符号列を複数のレイヤーに分割するものである。
【００２３】
次に、請求項４に係る発明は、画像信号を複数のレイヤーに分割して符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力する工程と、（ｂ）前記複数の帯域成分のうち、所定の帯域成分の２次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、設定された優先度につき、該優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割する工程と、を備えることを特徴としている。
【００２４】
請求項５に係る発明は、画像信号を複数のレイヤーに分割して符号化する圧縮符号化方法であって、（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力する工程と、（ｂ）前記各帯域成分の前記変換係数に対して、前記低域成分に再帰的に帯域分割された回数に応じて設定された優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割する工程と、を備え、前記工程（ｂ）は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いて前記変換係数をビットシフトする工程を含むものである。
【００２５】
そして、請求項６に係る発明は、請求項４または５記載の圧縮符号化方法であって、前記工程（ａ）の後で前記工程（ｂ）の前に、（ｃ）前記工程（ａ）で生成された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する工程、を更に備え、前記工程（ｂ）を、前記工程（ｃ）で生成された符号化データをビットシフトすると共に、ビットシフトした前記符号化データを複数のレイヤーに分割する工程としたものである。
【００２６】
次に、請求項７に係る発明は、マイクロプロセッサに画像信号を複数のレイヤーに分割して符号化させるプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記複数の帯域成分のうち、所定の帯域成分の２次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、設定された優先度につき、該優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割するレイヤー分割部として、前記マイクロプロセッサを機能させることを特徴としている。
【００２７】
請求項８に係る発明は、マイクロプロセッサに画像信号を複数のレイヤーに分割して符号化させるプログラムであって、ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、前記各帯域成分の前記変換係数に対して、前記低域成分に再帰的に帯域分割された回数に応じて設定された優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割するレイヤー分割部として、前記マイクロプロセッサを機能させ、前記レイヤー分割部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いるように前記マイクロプロセッサを機能させるものである。
【００２８】
そして、請求項９に係る発明は、請求項７または８記載のプログラムであって、前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部として前記マイクロプロセッサを機能させると共に、前記レイヤー分割部は、前記係数ビットモデリング部から出力された符号列をビットシフトすると共に、ビットシフトした前記符号列を複数のレイヤーに分割するように機能させるものである。
【００２９】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
【００３０】
圧縮符号化装置．
図１は、本発明の実施形態に係る圧縮符号化装置１の概略構成を示す機能ブロック図である。この圧縮符号化装置１の構成と機能について概説した後に、本実施形態に係る符号化ブロックとその符号化方法を詳説する。
【００３１】
この圧縮符号化装置１は、ＤＣレベルシフト部１０、色空間変換部１１、タイリング部１２、ＤＷＴ部１３、量子化部１４、ＲＯＩ部１５、係数ビットモデリング部２０、算術符号化部（エントロピー符号化部）２１、符号量制御部２２、画質制御部２３、優先度テーブル２４およびビットストリーム生成部１７を備えて構成される。
【００３２】
尚、この圧縮符号化装置１を構成する各処理部１０〜１５，１７，２０〜２４の全部または一部は、ハードウェアで構成されてもよいし、マイクロプロセッサを機能させるプログラムで構成されていてもよい。
【００３３】
この圧縮符号化装置１に入力した画像信号は、ＤＣレベルシフト部１０で必要に応じてＤＣレベル変換を施された後に、色空間変換部１１に出力される。色空間変換部１１は入力信号を色空間変換して出力する。ＪＰＥＧ２０００方式によれば、色空間変換として、可逆変換用のＲＣＴ（Reversible Component Transformation）と、非可逆変換用のＩＣＴ（Irreversible Component Transformation）とが用意されており、何れか一方を適宜選択できる。これにより、例えば、入力するＲＧＢ信号がＹＣｂＣｒ信号或いはＹＵＶ信号に変換される。
【００３４】
次に、タイリング部１２は、色空間変換部１１から入力する画像信号を、複数の矩形状の「タイル」と称する領域成分に分割してＤＷＴ部１３に出力する。尚、必ずしも、画像信号をタイルに分割する必要は無く、１フレーム分の画像信号をそのまま次段の機能ブロックに出力してもよい。
【００３５】
次に、ＤＷＴ部１３は、タイリング部１２から入力する画像信号に対してタイル単位で整数型または実数型のＤＷＴを施すことで、上記オクターブ分割方式に従って画像信号を高域成分と低域成分とに再帰的に帯域分割する。その結果、図２３に示したような複数の帯域成分（サブバンド）ＨＨ１〜ＬＬ３の変換係数が生成され量子化部１４に出力される。具体的には、実数型ＤＷＴであれば、９×７タップ、５×３タップまたは７×５タイプなどのフィルタが使用され、整数型ＤＷＴであれば、５×３タップまたは１３×７タップなどのフィルタが使用される。また、これらフィルタの処理を畳み込み演算で実行してもよいし、或いは、畳み込み演算よりも効率的なリフティング構成（Lifting scheme）で実行してもよい。
【００３６】
量子化部１４は、ＤＷＴ部１３から入力する変換係数をスカラー量子化する機能を有する。また量子化部１４は、ＲＯＩ部１５による指定領域（ＲＯＩ；Region Of Interest）の画質を優先させるビットシフト処理を行う機能も有している。量子化部１４ではスカラー量子化を行ってもよいし、スカラー量子化を行わなくてもよい。
【００３７】
次に、量子化部１４から出力された変換係数ＱＤは、係数ビットモデリング部２０と算術符号化部２１とで順次、ブロックベースのエントロピー符号化を施され、符号量制御部２２でレートを制御される。
【００３８】
係数ビットモデリング部２０は、図１９に示した係数ビットモデリング部１０８と同様に、入力する変換係数ＱＤの帯域成分を３２×３２や６４×６４程度のコードブロックに分割し、更に、各コードブロックを、各ビットを２次元配列して構成される複数のビットプレーンに分解する。この結果、各コードブロックは、図２２に示したような複数のビットプレーン１２２₀〜１２２_n-1に分解される。係数ビットモデリング部２０は、更に、各ビットのコンテクスト判定を行い、各ビットプレーンを３種類のＳＩＧパス（ SIGnificance propagation pass ）、ＭＲパス（ Magnitude Refinement pass ）およびＣＬパス（ CLeanup pass ）の符号化パスに分解して符号化し、その結果得た符号化データＢＤを出力する。
【００３９】
次に、算術符号化部２１は、係数ビットモデリング部２０から入力する符号化データＢＤのうち、画質制御部２３から指定された符号化対象のみを算術符号化し、その結果得た符号化データＡＤを符号量制御部２２に出力する。ここで、算術符号化部２１は、前記符号化対象の一部を算術符号化せずに、当該符号化対象をそのまま符号化データＡＤに含めて出力するバイパス処理を行う場合もある。尚、本実施形態は、算術符号化を採用するが、これに限らず、他の方式のエントロピー符号化を採用しても構わない。
【００４０】
ここで、画質制御部２３は、優先度テーブル２４から取得した優先度データＰＤに従って、各帯域成分に対して符号化順位を示す優先度を設定し、この優先度に応じて算術符号化部２１に指定する符号化対象を決定する。優先度の設定方法と符号化対象の決定方法については後述する。
【００４１】
次に、符号量制御部２２は、優先度テーブル２４から取得した優先度データＰＤ２を用いて、算術符号化部２１から入力する符号化データＡＤのレートを制御する機能を有する。すなわち、符号量制御部２２は、目標符号量（最終的な圧縮画像の符号量）に合わせて、符号化データＡＤを、帯域成分単位、ビットプレーン単位或いは符号化パス単位で優先度の低いものから順に切り捨てるというポスト量子化を実行する機能を有する。
【００４２】
そして、ビットストリーム生成部１７は、符号量制御部２２から出力された符号化データＣＤと付加情報（ヘッダ情報，レイヤー構成，スケーラビリティ，量子化テーブルなど）とを多重化したシングル・レイヤー或いはマルチレイヤーからなるビットストリームを生成し、圧縮画像として外部に出力する。
【００４３】
優先度設定方法（第１実施例）．
優先度テーブル２４に記録する優先度の設定方法の第１実施例について説明する。本発明では、優先度は、各帯域成分（サブバンド）に対して、低域成分に再帰的に帯域分割された回数に応じて決定される。本実施例では、分解レベルｎ（ｎ：１以上の整数）における帯域成分ＨＨｎの優先度は「ｎ−１」、帯域成分ＨＬｎおよびＬＨｎの優先度は「（ｎ−１）＋１」、帯域成分ＬＬｎの優先度は「（ｎ−１）＋２」にそれぞれ決定される。例えば、図２０に示す帯域成分ＨＨ１の優先度は「０」、帯域成分ＬＬ３の優先度は「４」に設定される。図２は、オクターブ分割方式に従って帯域分割した２次元画像２５を示す模式図である。各帯域成分に優先度「０」，「１」，「２」，「３」，「４」の何れかが付されている。
【００４４】
優先度テーブル２４には、帯域成分ＨＨｎ，ＨＬｎ，ＬＨｎ，ＬＬｎのそれぞれに対応する優先度の情報が記録されており、画質制御部２３，符号量制御部２２およびビットストリーム生成部１７は、この優先度テーブル２４から取得した優先度データＰＤ，ＰＤ２，ＰＤ３に従って、各帯域成分に対して優先度を設定する。具体的には、各帯域成分の変換係数を優先度に対応するビット数だけシフトさせることで、各変換係数に対して優先度が設定される。尚、このビットシフト処理では、必ずしも、各変換係数に対して実際にビットシフト演算を施す必要は無く、変換係数の各ビットの位置を仮想的にシフトさせればよい。この場合、変換係数の各ビットが属するビットプレーンの位置は変わらない。
【００４５】
図３は、ビットシフトによる優先度設定処理を説明するための図である。図２に示した例では、帯域成分ＬＬ３の優先度は「４」であるから、該当する変換係数２６は４ビット左シフトされている。また、優先度「３」を設定された帯域成分ＨＬ３，ＬＨ３の変換係数２６，２６は、３ビット左シフトされ、優先度「２」を設定された帯域成分ＨＨ３，ＨＬ２，ＬＨ２の変換係数２６，２６，２６は、２ビット左シフトされ、優先度「１」を設定された帯域成分ＨＨ２，ＨＬ１，ＬＨ１の変換係数２６，２６，２６は、１ビット左シフトされる。このとき、図４に示すように、ビットシフト前の２次元画像２５Ａの変換係数は、前述の左ビットシフト処理によって２次元画像２５Ｂで示す変換係数に変化する。例えば、帯域成分ＬＬ３の変換係数値（＝４）は、４ビットの左シフトにより、４×２⁴＝６４に変換される。
【００４６】
次に、以上のように優先度を設定する理由（理論的背景）を以下に説明する。
【００４７】
上述した従来のレート・歪み最適化（R-D optimization）の方法では、歪測度を利用した最適化処理が行われていた。David S. Taubmanらによる前記参考文献Ａによれば、歪測度Ｄ_i ^(z)は次式（１）に従って算出される。
【００４８】
【数１】

【００４９】
上式（１）中、ｚは、ビット切り捨て点（bit truncation point）；ｏｙ_i ^K[i,j]［ｊ］は、Ｋ［ｉ，ｊ］番目のビットプレーンで逆量子化されたコードブロックのｊ番目のサンプル値（係数値）；ｙ_i［ｊ］は、当該コードブロックのｊ番目のサンプル値（係数値）；Ｇ_b[i]は、サブバンドｂ［ｉ］に対応する合成フィルタ係数のノルムの二乗であって、当該サブバンドｂに依存する歪モデルの重み係数を示している。尚、説明の便宜上、上式（１）に示した記号の表記法は、前記参考文献Ａでのそれとは若干異なる。
【００５０】
レート・歪み最適化では、この歪測度Ｄ_i ^(z)のサブバンドｂ［ｉ］における総和量を最小にするような最適化処理が行われる。サブバンドｂの重み係数Ｇ_bは、画像の歪みを低減させるための重み付けを表している。
【００５１】
サブバンドｂの重み係数Ｇ_bは、次式（２）に従って算出される。
【００５２】
【数２】

【００５３】
ここで、上式（２）中、ｓ_b［ｎ］は、サブバンドｂの１次元合成フィルタ係数を示している。また、記号||x||は、ベクトルxに関するノルムを示す。
【００５４】
前記参考文献Ａに記載される数式（４．３９）と（４．４０）によれば、分解レベル１における低域成分Ｌ１の１次元合成フィルタ係数ｓ_L[1]［ｎ］と、同分解レベルにおける高域成分Ｈ１の１次元合成フィルタ係数ｓ_H[1]［ｎ］とは、次式（３）に従って算出される。
【００５５】
【数３】

【００５６】
ここで、上式（３）中、ｇ₀［ｎ］は、画像信号を帯域分割する順変換フィルタのローパス・フィルタ係数、ｇ₁［ｎ］は、そのハイパス・フィルタ係数をそれぞれ示している。
【００５７】
また、分解レベルｄ（ｄ＝１，２，…，Ｄ）における低域成分Ｌｄの１次元合成フィルタ係数ｓ_L[d]［ｎ］と、同分解レベルにおける高域成分Ｈｄの１次元合成フィルタ係数ｓ_H[d]［ｎ］とは、次式（４）に従って算出される。
【００５８】
【数４】

【００５９】
そして、分解レベルｄにおける低域成分Ｌｄの１次元合成フィルタ係数のノルムの二乗は、次式（５）に従って算出される。
【００６０】
【数５】

【００６１】
高域成分の１次元合成フィルタ係数のノルムの二乗も、上式（５）と同様にして算出することができる。
【００６２】
次に、分解レベルｄ（ｄ＝１，２，…，Ｄ；Ｄは整数）における帯域成分ＬＬＤ，ＨＬｄ，ＬＨｄ，ＨＨｄの２次元合成フィルタ係数は、上記１次元合成フィルタ係数の積で表現することができ、帯域成分ｂの２次元の重み係数Ｇ_bも、１次元の重み係数の積で表現することができる。具体的には、２次元合成フィルタ係数と２次元の重み係数とは、次式（６）に従って算出される。
【００６３】
【数６】

【００６４】
上式（６）中、添字ＬＬ［Ｄ］はサブバンドＬＬＤを示し，ＨＬ［ｄ］，ＬＨ［ｄ］およびＨＨ［ｄ］はそれぞれサブバンドＨＬｄ，ＬＨｄおよびＨＨｄを表している。
【００６５】
重み係数Ｇ_bの平方根がノルムである。以下の表１〜表４に、２次元の重み係数Ｇ_bに関する計算結果を示す。表１に、（９，７）フィルタ（９×７タップのフィルタ）の各帯域成分のノルムの二乗の数値を、表２には、表１に対応するノルムの数値をそれぞれ示す。また、表３に、（５，３）フィルタ（５×３タップのフィルタ）の各帯域成分のノルムの二乗の数値を、表４には、表３に対応するノルムの数値をそれぞれ示す。
【００６６】
【表１】

【００６７】
【表２】

【００６８】
【表３】

【００６９】
【表４】

【００７０】
更に、分解レベル１における低域成分ＬＬ１のノルムをαで表すとき、このノルムαを用いて、各帯域成分について図５に示すような値を設定する。図５に示す２次元画像２７は、オクターブ分割方式に従って帯域分割された２次元画像１２０を示す図である。分解レベルｎ（ｎ：１以上の整数）における帯域成分ＨＨｎの設定値は「２^n-3×α」、帯域成分ＨＬｎおよびＬＨｎの設定値は「２^n-2×α」、帯域成分ＬＬｎの設定値は「２^n-1×α」にそれぞれ設定される。従って、例えば、帯域成分ＬＨ１の設定値は「２^-1×α」に設定されている。
【００７１】
上記設定値と、表２と表４に示したノルムの数値とを比較すれば、両者は概ね近似する。例えば、表２の場合（α=1.96591）、図５に示す各帯域成分の「設定値（対応する帯域成分）」は、約０．４９（ＨＨ１）、約０．９８（ＨＬ１，ＬＨ１）、約１．９６（ＨＬ２，ＬＨ２，ＨＨ３）、約３．９３（ＨＬ３，ＬＨ３）、約７．８６（ＬＬ３）となり、これら設定値は、表２に示したノルムの数値と近似していることが分かる。
【００７２】
また、図５において、帯域成分ＬＬ１のノルムをα＝２に丸め込み、各帯域成分の設定値を１ビット左シフトした値、すなわち、全ての設定値に２¹を乗算した２の巾乗値の指数は、図２に示した優先度の値に一致することが分かる。よって、第１実施例のように各帯域成分に優先度を設定することは、近似的に、レート・歪み最適化で使用するフィルタのノルム（重み係数の平方根）を各帯域成分のサンプル値（変換係数値）に乗算することに等しい。従って、本実施例の優先度は画像の歪みを低減させ得るように設定されるものである。
【００７３】
優先度設定方法（第２実施例）．
次に、優先度設定方法の第２実施例について説明する。本実施例では、各帯域成分の上記重み係数Ｇ_bの平方根であるノルムを、最も高い分解レベルにおける最低域成分ＬＬのノルムで除算した値を２の巾乗値に丸め込み、その２の巾乗値の指数の絶対値を、優先度として設定する。具体的には、最も高い分解レベルｎの最低域成分ＬＬｎのノルムをαとし、その他の帯域成分のノルムをｘとし、２の巾乗に丸め込む変数ｙに関する関数をR［ｙ］とし、変数ｙの２の巾乗２^mの指数ｍを算出する関数をｍ＝Ｉ［２^m］とし、変数ｙに関する絶対値を｜ｙ｜とするとき、優先度ｐは、ｐ＝｜Ｉ［Ｒ［ｘ／α］］｜、に従って算出される。
【００７４】
以下の表５に、上記表２に示した（９，７）フィルタのノルムを用いて算出した優先度を示す。ここで、最も高い分解レベルは５であり、α＝３３．９２４９３、である。尚、表中の「×」は、当該帯域成分の優先度は計算されていないことを意味する。また、図６に、表５に示した優先度を記した２次元画像２８を示す帯域分割図を示す。
【００７５】
【表５】

【００７６】
また、以下の表６に、上記表４に示した（５，３）フィルタのノルムを用いて算出した優先度を示す。
【００７７】
【表６】

【００７８】
上記第１実施例では、各帯域成分の変換係数を優先度のビット数だけ左シフトさせて優先度を設定していたが、本第２実施例では、各帯域成分の変換係数を優先度のビット数だけ右シフトさせる処理が実行される。但し、変換係数のビット長を拡大させるように右ビットシフト処理が実行される。図７は、図６に示す優先度のビット数だけ右シフトされた帯域成分の変換係数２９，２９，…を示す模式図である。
【００７９】
優先度設定方法（第３実施例）．
次に、人間の視覚特性を考慮した第３実施例に係る優先度設定方法について説明する。数百万画素程度の高解像度の画像について上記第２実施例で示した優先度を適用した場合、復号画像の画質は客観評価では良いが、人間の視覚評価では必ずしも良いとは限らない。そこで、本実施例の優先度設定方法は、人間の視覚特性を考慮した重み付けをされた優先度を採用するものである。これにより、高い表示画質の圧縮画像を生成することが可能になる。
【００８０】
参考文献ＡのChapter 16には、ＣＳＦ（human visual system Contrast Sensitivity Function）に基づいた重み付けＭＳＥ（Weighted Mean Squared Error；WMSE）が記載されている。この記載によれば、人間の視覚評価を改善するために、上式（１）を次式（７）に修正するのが望ましい。
【００８１】
【数７】

【００８２】
ここで、上式（７）中、Ｗ_b[i] ^csfは、サブバンドｂ［ｉ］の"energy weighting factor"と呼ばれており、Ｗ_b[i] ^csfの推奨数値は、「ISO/IEC JTC 1/SC 29/WG1(ITU-T SG8) N2406, "JPEG 2000 Part 1 FDIS (includes COR 1, COR 2, and DCOR3)," 4 December 2001」の文献（以下、参考文献Ｂと呼ぶ。）に記載されている。図８〜図１０に、参考文献Ｂに記載される"energy weighting factor"の数値を示す。
【００８３】
図８〜図１０中の"level"および "Lev"は分解レベルを、"Comp"は輝度成分Ｙと色差成分Ｃｂ, Ｃｒをそれぞれ示しており、"Viewing distance（視距離）"が1000，1700, 2000, 3000, 4000の例が示されている。また、"Viewing distance 1000", "Viewing distance 1700", "Viewing distance 2000", "Viewing distance 3000", "Viewing distance 4000"は、それぞれ、100dpi，170dpi，200dpi，300dpi，400dpiのディスプレイまたは印刷物を１０インチ離れて見たときの視距離を意味する。
【００８４】
図８〜図１０に示す数値を用いて、上式（７）の重み付け係数の平方根（Ｗ_b[i] ^csf・Ｇ_b[i]）^1/2を計算した。その計算結果を、以下の表７〜表１８に示す。表７〜表９は、図８に示す数値を用いて計算した（９，７）フィルタの白黒用数値、表１０〜表１２は、図９と図１０に示す数値を用いて計算した（９，７）フィルタのカラー用数値を、表１３〜表１５は、図８に示す数値を用いて計算した（５，３）フィルタの白黒用数値を、表１６〜表１８は、図９と図１０に示す数値を用いて計算した（５，３）フィルタのカラー用数値をそれぞれ示している。
【００８５】
【表７】

【００８６】
【表８】

【００８７】
【表９】

【００８８】
【表１０】

【００８９】
【表１１】

【００９０】
【表１２】

【００９１】
【表１３】

【００９２】
【表１４】

【００９３】
【表１５】

【００９４】
【表１６】

【００９５】
【表１７】

【００９６】
【表１８】

【００９７】
次に、上記表７〜表１８に示す数値を用いて、上記第２実施例で述べたのと同じ手順で各帯域成分の優先度を算出した。すなわち、最も高い分解レベルｎの最低域成分ＬＬｎの数値をαとし、その他の帯域成分の数値をｘとし、２の巾乗に丸め込む変数ｙに関する関数をR［ｙ］とし、変数ｙの２の巾乗２^mの指数ｍを算出する関数をｍ＝Ｉ［２^m］とし、変数ｙに関する絶対値を｜ｙ｜とするとき、優先度ｐは、ｐ＝｜Ｉ［Ｒ［ｘ／α］］｜、に従って算出される。
【００９８】
優先度の値を、以下の表１９〜表３０に示す。表１９，表２０，表２１，表２２，表２３，表２４，表２５，表２６，表２７，表２８，表２９および表３０の優先度は、それぞれ、上記した表７，表８，表９，表１０，表１１，表１２，表１３，表１４，表１５，表１６，表１７および表１８の数値を用いて算出されたものである。
【００９９】
【表１９】

【０１００】
【表２０】

【０１０１】
【表２１】

【０１０２】
【表２２】

【０１０３】
【表２３】

【０１０４】
【表２４】

【０１０５】
【表２５】

【０１０６】
【表２６】

【０１０７】
【表２７】

【０１０８】
【表２８】

【０１０９】
【表２９】

【０１１０】
【表３０】

【０１１１】
本実施例では、上記第２実施例と同じように、以上の表１９〜表３０に示す優先度のビット数だけ右シフトさせることで、各帯域成分の変換係数に対して優先度が設定される。これにより、人間の視覚特性を考慮した優先度を設定できる。
【０１１２】
画質制御処理．
次に、図１に示した画質制御部２３の構成と処理内容について説明する。図１１は、この画質制御部２３の概略構成を示す機能ブロック図である。
【０１１３】
この画質制御部２３は、外部から供給される目標画質情報（高画質，標準画質，低画質，解像度情報などなど）に基づいて、複数の画質パラメータ群から当該目標画質情報に適した画質パラメータＱＰを選択して出力する画質パラメータ選択部３１と、上記優先度を設定し符号化対象を決定する符号化対象判定部３０とを備えている。符号化対象判定部３０は、優先度テーブル２４から取得した優先度データＰＤに従って、符号化データＢＤの各帯域成分に対して上述の優先度を設定する。また符号化対象判定部３０は、設定した優先度に従って、前記画質パラメータＱＰで指定される目標画質に合わせて符号化対象を決定し、画質制御信号ＣＳ１を生成出力する。
【０１１４】
以下、符号化対象の決定方法について説明する。図１２は、優先度に応じてビットシフトされた変換係数３３，３３，…を例示する模式図である。各変換係数３３は優先度に応じてビットシフトされている。また、変換係数３３の各ビットに付した番号０，１，…，１０は、当該ビットが属するビットプレーンの番号を示している。ここで、ＬＳＢ番号＝０，ＭＳＢ番号＝１０、である。
【０１１５】
符号化対象判定部３０は、画質パラメータＱＰに従って符号化終了ライン３２を設定し、当該符号化終了ライン３２よりも上位ビットを符号化対象に決定し、そのライン３２よりも下位ビットを符号化対象から外すように画質制御信号ＣＳ１を生成する。これにより符号化対象を効率的に選別することが可能になる。この結果、画質制御信号ＣＳ１を受けた算術符号化部２１は、各コードブロックにおいて、符号化終了ライン３２よりも上位のビットプレーンのみを算術符号化し、そのライン３２よりも下位のビットプレーンを切り捨てることになる。尚、算術符号化部２１は、ビットシフト処理によりゼロが挿入されたビットに対しては、算術符号化を施さない。
【０１１６】
符号化対象判定部３０は、更に、画質パラメータＱＰに従って、符号化パス単位で符号化対象を決定することができる。画質パラメータＱＰは、符号化対象のビットプレーンの制限と、符号化対象の符号化パス（ＣＬパス，ＳＩＧパスおよびＭＲパス）の制限とを示すパラメータ群を含んでいる。以下の表３１に、２０４８×２５６０画素の解像度をもつ画像に適した画質パラメータＱＰを例示する。尚、最低域のサブバンドの解像度を１２８×１２８画素よりも小さくする必要があるため、５以上の分解レベルが必要である。
【０１１７】
【表３１】

【０１１８】
表３１において「ビットプレーン数」は、図１２に示した符号化終了ライン３２よりも下位ビットの切り捨て対象のビットプレーンの数を、「パス名」は、符号化対象の中の最終符号化パスを、「最大パス数」は、符号化対象の符号化パス数の上限をそれぞれ表している。
【０１１９】
図１２と表３１を適用した場合の処理例を以下に説明する。図１３に、帯域成分ＬＬ５の変換係数３３として"00011010111₂=215₁₀"を例示する（Y₂は２進値Yを、X₁₀は１０進値Xを表すものとする）。表３１に示す通り、帯域成分ＬＬ５における最終符号化パスはＣＬパス、最大パス数は１７に制限されている。
【０１２０】
図１３に示す変換係数の７番目ビットは、ＳＩＧパスまたはＣＬパスに属するようにコンテクスト判定がなされている。８番目〜１０番目の上位ビットは、０ビットのみで構成されるビットプレーンに属する場合はタグツリー（Tag tree）と称する方式で符号化され、既に符号化パスが開始している場合はＳＩＧパスまたはＣＬパスで符号化される。７番目ビットが符号化開始パス（ＣＬパス）に属する場合、６番目ビットを含む下位ビットは、ＭＲパスに属するようにコンテクスト判定される。一般に、符号化開始のビットプレーンよりも下位のビットプレーンは、符号化効率の観点から、ＳＩＧパス，ＭＲパスおよびＣＬパスの順番で符号化される。よって、最大パス数は１７に制限されているため、７番目ビットのＣＬパスから１番目ビットのＳＩＧパス迄の計１７パスが符号化対象になる。但し、１番目ビットはＭＲパスに属するため符号化されない。従って、算術符号化処理において、下位２ビットは切り捨てられ、符号化後の値は"00011010100₂=212₁₀"となる。この値がミッドポイントで逆量子化されれば、"00011010110₂=214₁₀"となる。
【０１２１】
次に、図１４に、帯域成分ＬＬ５の変換係数３３として"00000001111₂=15₁₀"を例示する。変換係数の３番目ビットは、ＳＩＧパスまたはＣＬパスに属する。４番目〜１０番目の上位ビットは、０ビットのみで構成されるビットプレーンに属する場合はタグツリー（Tag tree）で符号化され、既に符号化パスが開始している場合はＳＩＧパスまたはＣＬパスで符号化される。３番目ビットが符号化開始パス（ＣＬパス）に属する場合、２番目ビットを含む下位ビットはＭＲパスに属し、３番目ビットのＣＬパスから０番目ビットのＣＬパス迄の計１０パスが符号化対象になる。算術符号化処理において符号化後の値は"00000001111₂=15₁₀"となり、この値が逆量子化されれば、"00000001111₂=15₁₀"となる。
【０１２２】
次に、図１５に、帯域成分ＨＨ２の変換係数３３として"00001011111₂=95₁₀"を例示する。表３１に示す通り、帯域成分ＨＨ２における最終符号化パスはＳＩＧパス、最大パス数は１４に制限されている。また下位３ビットのビットプレーンは切り捨てられる。
【０１２３】
変換係数の６番目ビットは、ＳＩＧパスまたはＣＬパスに属する。７番目〜１０番目の上位ビットは、０ビットのみで構成されるビットプレーンに属する場合はタグツリー（Tag tree）で符号化され、既に符号化パスが開始している場合はＳＩＧパスまたはＣＬパスで符号化される。６番目ビットが符号化開始パス（ＣＬパス）に属する場合、５番目ビットを含む下位ビットはＭＲパスに属する。また、３番目ビットプレーンのＳＩＧパス迄しか符号化しないという制限のため、６番目ビットのＣＬパスから４番目ビットのＳＩＧパス迄の８パスが符号化対象になるが、３番目ビットはＭＲパスに属するため符号化されない。従って、算術符号化処理において符号化後の値は"00001010000₂=80₁₀"となり、この値がミッドポイントで逆量子化されれば、"00001011000₂=88₁₀"となる。
【０１２４】
尚、各ビットプレーンを、ＳＩＧパス，ＭＲパスおよびＣＬパスの順番で符号化するのは、ＳＩＧパスの歪みに対する符号化効率が最も高いからである。図１６に、各符号化パスにおけるレート・歪み特性を示す。Ｒ−Ｄ曲線中、点Ｐ₁〜Ｐ₂の部分がＳＩＧパス，点Ｐ₂〜Ｐ₃の部分がＭＲパス、点Ｐ₃〜Ｐ₄の部分がＣＬパスを示している。各符号化パスにおけるレート（符号量）に対する歪みの比率ΔＤ_SIG／ΔＲ_SIG，ΔＤ_MR／ΔＲ_MR，ΔＤ_CL／ΔＲ_CLをみれば、ＳＩＧパスにおける曲線勾配が最も急であり、符号化効率が最も高いことが分かる。
【０１２５】
以上の画質制御処理では、優先度に対応するビット数だけシフトした変換係数に対して、符号化対象とするか否かが決定される。符号化対象のみが算術符号化部２１で選択的に算術符号化されるため、歪みの少ない高画質の圧縮画像を生成し得るように、符号量を効率良く制御することが可能である。
【０１２６】
レイヤー分割処理．
図１７は、図１に示したビットストリーム生成部１７の概略構成を示す機能ブロック図である。このビットストリーム生成部１７は、メモリ管理部（ＭＭＵ；Memory Management Unit）４１、大容量記憶装置４０、レイヤー分割制御部４２および多重化部４３を備えている。本実施形態に係るレイヤー分割処理は、大容量記憶装置４０、ＭＭＵ４１およびレイヤー分割制御部４２からなるレイヤー分割ブロック４５で実行される。
【０１２７】
レイヤー分割ブロック４５は、優先度テーブル２４から取得した優先度データＰＤ３を用いて、符号量制御部２２から入力する符号化データＣＤを優先度に対応するビット数だけビットシフトした符号列に変換し、その符号列を複数のレイヤー（マルチ・レイヤー）に分割する機能を有している。多重化部４３は、このレイヤー分割ブロック４５が出力した符号化データと付加情報（ヘッダ情報，レイヤー構成，スケーラビリティ，量子化テーブルなど）とを多重化してビットストリームを生成し、外部に出力する。
【０１２８】
以下、レイヤー分割ブロック４５でのレイヤー分割処理について説明する。ＭＭＵ４１は、符号量制御部２２から入力した符号化データＣＤを大容量記憶装置４０に一時的に記憶させる。レイヤー分割制御部４２は、ＭＭＵ４１から符号化データＣＤのデータ構造を取得する。次いで、レイヤー分割制御部４２は、優先度テーブル２４から優先度データＰＤ３を取得し、この優先度データＰＤ３に含まれる優先度に従って、符号化データＣＤの各帯域成分の変換係数を所定ビット数だけシフトさせる。これにより、各帯域成分の変換係数に対して優先度が設定される。優先度の設定方法としては、上記した第１実施例、第２実施例および第３実施例の方法を採用すればよい。
【０１２９】
図１８は、優先度に対応するビット数だけシフトされた変換係数４４，４４，…を例示する模式図である。各帯域成分ＬＬ５〜ＨＨ１の変換係数４４，４４，…は、優先度のビット数だけ右ビットシフト或いは左ビットシフトされている。また、各変換係数４４の各ビットに付した番号０，１，…，１０は、当該ビットが属するビットプレーンの番号を示している。ここで、ＬＳＢ番号＝０，ＭＳＢ番号＝１０、である。
【０１３０】
次に、レイヤー分割制御部４２は、レイヤー分割情報に基づき、ビットシフトした符号化データＣＤを、ビットプレーン単位或いは符号化パス単位で複数のレイヤーにグループ分けするように分割位置を決定する。レイヤー分割情報としては、シングル・レイヤーとマルチ・レイヤーとの何れかを選択させる選択情報や、ビットプレーン単位または符号化パス単位でレイヤー分割位置を指定する情報などが含まれる。図１８の例では、符号化データＣＤを５枚のレイヤー０〜レイヤー４にビットプレーン単位で分割する分割位置が示されている。そして、レイヤー分割制御部４２は、その分割位置に従ってレイヤー単位で符号化データＣＤを読出す旨の制御信号ＣＳ２をＭＭＵ４１に供給する。ＭＭＵ４１は、制御信号ＣＳ２に従って、大容量記憶装置４０に記憶された符号化データＣＤを、上位レイヤーから下位レイヤーにかけて順番に読出して、多重化部４３に出力する。
【０１３１】
尚、大容量記憶装置４０とＭＭＵ４１は、必ずしも、ビットストリーム生成部１７の内部に組み込む必要は無く、他の機能ブロックと共有し得る形態で圧縮符号化装置１に組み込まれていてもよい。
【０１３２】
以上のレイヤー分割処理では、優先度は、変換係数を当該優先度に対応するビット数だけビットシフトして設定される。このようにビットシフトした変換係数を複数のレイヤーに分割することで、レートに対する歪みを低減し得るように、ビットプレーン単位或いは符号化パス単位で複数のレイヤーを効率的に生成することが可能である。従って、必ずしも、上述のレート・歪み最適化を用いた最適化処理をレイヤー分割処理で使用する必要は無く、歪みを低減し得るようにリアルタイム性の高いレイヤー分割処理を行うことが可能になる。
【０１３３】
【発明の効果】
以上の如く、本発明の請求項１に係る圧縮符号化装置、請求項４に係る圧縮符号化方法および請求項７に係るプログラムによれば、ウェーブレット変換後の変換係数は、優先度に対応するビット数だけシフトされ、そのビット数に応じて変換係数の優先度が定まる。よって、ビットシフトした変換係数を複数のレイヤーに分割することで、レートに対する歪みを低減し得るように複数のレイヤーを効率的に生成することが可能である。
【０１３４】
請求項２、請求項５および請求項８によれば、人間の視覚評価に適した、高い表示画質を有する圧縮画像を生成することが可能となる。
【０１３５】
請求項３、請求項６および請求項９によれば、ビットプレーン単位および符号化パス単位で、優先度に応じてレイヤーの分割位置を細かく且つ効率的に決定することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る圧縮符号化装置の概略構成を示す機能ブロック図である。
【図２】ウェーブレット変換によって帯域分割した２次元画像を示す模式図である。
【図３】ビットシフトによる優先度設定処理を説明するための図である。
【図４】ビットシフトされた変換係数を例示する図である。
【図５】ウェーブレット変換によって帯域分割した２次元画像を示す模式図である。
【図６】ウェーブレット変換によって帯域分割した２次元画像を示す模式図である。
【図７】図６に示す優先度に応じて右ビットシフトされた帯域成分の変換係数を示す模式図である。
【図８】 Energy weighting factorの数値テーブルを示す図である。
【図９】 Energy weighting factorの数値テーブルを示す図である。
【図１０】 Energy weighting factorの数値テーブルを示す図である。
【図１１】本実施形態に係る画質制御部の概略構成を示す機能ブロック図である。
【図１２】優先度に応じてビットシフトされた変換係数を例示する模式図である。
【図１３】帯域成分ＬＬ５の変換係数の符号化処理例を説明するための図である。
【図１４】帯域成分ＬＬ５の変換係数の符号化処理例を説明するための図である。
【図１５】帯域成分ＨＨ２の変換係数の符号化処理例を説明するための図である。
【図１６】レート・歪み特性の曲線を示す図である。
【図１７】ビットストリーム生成部の概略構成を示す機能ブロック図である。
【図１８】優先度に対応するビット数だけシフトされた変換係数を例示する模式図である。
【図１９】ＪＰＥＧ２０００方式による圧縮符号化装置の概略構成を示す機能ブロック図である。
【図２０】オクターブ分割方式に従って帯域分割された２次元画像を示す模式図である。
【図２１】複数のコードブロックに分解された２次元画像を示す模式図である。
【図２２】コードブロックを構成する複数枚のビットプレーンを示す模式図である。
【図２３】３種類の符号化パスを示す模式図である。
【図２４】レートと歪みの関係を表すＲ−Ｄ曲線を示す図である。
【符号の説明】
１ 圧縮符号化装置
１０ ＤＣレベルシフト部
１１ 色空間変換部
１２ タイリング部
１３ ＤＷＴ部
１４ 量子化部
１５ ＲＯＩ部
１７ ビットストリーム生成部
２０ 係数ビットモデリング部
２１ 算術符号化部
２２ 符号量制御部
２３ 画質制御部
２４ 優先度テーブル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a compression encoding method and a compression encoding apparatus used in an image compression / decompression technique.
[0002]
[Prior art]
As a next-generation high-efficiency encoding system for image data, the ISO (International Organization for Standardization) and ITU-T (International Telecommunication Union Telecommunication Standardization Sector) have developed the JPEG 2000 (Joint Photographic Experts Group 2000) system. The JPEG2000 system has superior functions compared with the current mainstream JPEG (Joint Photographic Experts Group) system, adopts DWT (Discrete Wavelet Transform) as orthogonal transform, and uses bit for entropy coding. It is characterized in that a method called EBCOT (Embedded Block Coding with Optimized Truncation) that performs plain coding is adopted.
[0003]
FIG. 19 is a functional block diagram showing a schematic configuration of an image compression coding apparatus based on the JPEG2000 system. Hereinafter, the JPEG2000 compression encoding procedure will be outlined with reference to FIG.
[0004]
The image signal input to the compression encoding apparatus 100 is subjected to DC level conversion as necessary by the DC level shift unit 102 and then output to the color space conversion unit 103. Next, the color space conversion unit 103 converts the color space of the signal input from the DC level shift unit 102. Here, for example, the RGB signal input to the color space conversion unit 103 is converted into a YCbCr signal (a signal composed of a luminance signal Y and color difference signals Cb and Cr).
[0005]
Next, the tiling unit 104 divides the image signal input from the color space conversion unit 103 into a plurality of area components called “tiles” having a rectangular shape, and outputs the result to the DWT unit 105. The DWT unit 105 performs integer type or real number type DWT on the image signal input from the tiling unit 104 in units of tiles, and outputs a conversion coefficient obtained as a result. In the DWT, a one-dimensional filter that divides a two-dimensional image signal into a high frequency component (high frequency component) and a low frequency component (low frequency component) is applied in the order of vertical and horizontal directions. The JPEG 2000 basic method employs an octave division method that recursively divides a band only in a band component that is divided in the vertical direction and the horizontal direction in the low frequency range. The number of times the band is recursively divided is called a decomposition level.
[0006]
FIG. 20 is a schematic diagram showing a two-dimensional image 120 subjected to decomposition level 3 DWT according to the octave division method. At decomposition level 1, the two-dimensional image 120 is divided into four band components HH1, HL1, LH1, and LL1 (not shown) by sequentially applying the above-described one-dimensional filter in the vertical direction and the horizontal direction. The Here, “H” indicates a high frequency component, and “L” indicates a low frequency component. For example, HL1 is a band component composed of a high frequency component H in the horizontal direction and a low frequency component L in the vertical direction at the decomposition level 1. Generalizing the notation, “XYn” (X and Y are either H or L; n is an integer equal to or greater than 1) is defined as the horizontal band component X and the vertical band component Y at the decomposition level n. A band component consisting of
[0007]
At decomposition level 2, the low frequency component LL1 is band-divided into HH2, HL2, LH2, and LL2 (not shown). Further, at the decomposition level 3, the low frequency component LL2 is band-divided into HH3, HL3, LH3 and LL3. FIG. 20 shows the arrangement of the band components HH1 to LL3 generated as described above. In FIG. 20, an example of the third-order decomposition level is shown, but in the JPEG2000 system, generally third-order to eighth-order decomposition levels are employed.
[0008]
Next, the quantization unit 106 has a function of performing scalar quantization on the transform coefficient output from the DWT unit 105 as necessary. The quantization unit 106 also has a function of performing bit shift processing that prioritizes the image quality of a designated region (ROI; Region Of Interest) by the ROI unit 107. Note that, when performing reversible (lossless) transformation, scalar quantization in the quantization unit 106 is not performed. In the JPEG2000 system, two types of quantization means are prepared: scalar quantization in the quantization unit 106 and post-quantization (truncation) described later.
[0009]
Next, the transform coefficient output from the quantization unit 106 is sequentially subjected to block-based entropy coding by the coefficient bit modeling unit 108 and the arithmetic coding unit 109 in accordance with the above-described EBCOT, and the code amount control unit 110. The rate is controlled by. Specifically, the coefficient bit modeling unit 108 divides the band component of the input transform coefficient into regions called “code blocks” of about 32 × 32 or 64 × 64, and further, each code block is divided into each bit. Decompose into a plurality of bit planes composed of a two-dimensional array.
[0010]
FIG. 21 is a schematic diagram showing a two-dimensional image 120 decomposed into a plurality of code blocks 121, 121, 121,. FIG. 22 shows n bit planes 122 constituting the code block 121.₀~ 122_n-1It is a schematic diagram which shows (n: natural number). As shown in FIG. 22, when the binary value 123 of the conversion coefficient at one point in the code block 121 is “011... 0”, the bits constituting the binary value 123 are respectively bit planes 122._n-1122_n-2122_n-3, ..., 122₀It is disassembled to belong to. Bit plane 122 in the figure_n-1Represents the most significant bit plane consisting only of the most significant bit (MSB) of the transform coefficient, and represents the bit plane 122.₀Represents the least significant bit plane consisting only of the least significant bit (LSB).
[0011]
  Further, the coefficient bit modeling unit 108 includes each bit plane 122._kThe context of each bit in (k = 0 to n−1) is determined, and as shown in FIG. 23, depending on the significance (determination result) of each bit, the bit plane 122_kWith three types of encoding passes:SIG pass ( SIGnificance propagation pass ), MR path ( Magnitude Refinement pass ), CL path ( CLeanup pass )Disassembled into The context determination algorithm for each coding pass is defined by EBCOT. According to it, “significant” means a state in which the coefficient of interest is known to be non-zero in the encoding process so far, and “not significant” means that the coefficient value is zero. , Or a state that may be zero.
[0012]
The coefficient bit modeling unit 108 performs an SIG path (significant coefficient coding pass with significant coefficients around), an MR path (significant coefficient coding path), and a CL path (SIG path, MR path not corresponding to the rest). Bit plane encoding is performed in three types of encoding passes). Bit plane encoding is performed by scanning the bits of each bit plane in units of 4 bits from the most significant bit plane to the least significant bit plane and determining whether or not a significant coefficient exists. The number of bit planes composed only of insignificant coefficients (0 bits) is recorded in the packet header, and actual encoding is started from the bit plane in which significant coefficients first appear. The encoding start bit plane is encoded only by the CL pass, and the bit planes lower than the bit plane are sequentially encoded by the above three types of encoding passes.
[0013]
FIG. 24 shows an RD curve representing the relationship between rate (code amount; R) and distortion (D). In this RD curve, R₁Is the rate before bit-plane coding, R₂Is the bit-plane encoded rate, D₁Is the distortion before bit-plane coding, D₂Indicates distortion after bit-plane encoding. A, B, and C are labels representing the above-described encoding pass. For efficient coding, the starting point P₁(R₁, D₁) To end point (R₂, D₂), It is preferable to adopt a concave-curved ABC path rather than a convex-curved CBA path. In order to realize such a concave curve, it is known that encoding may be performed from the MSB plane toward the LSB plane.
[0014]
Next, the arithmetic coding unit 109 performs arithmetic coding in units of coding passes on the coefficient sequence from the coefficient bit modeling unit 108 based on the context determination result using the MQ coder. There is also a mode in which the arithmetic encoding unit 109 performs a bypass process in which a part of the coefficient sequence input from the coefficient bit modeling unit 108 is not arithmetically encoded.
[0015]
Next, the code amount control unit 110 controls the final code amount by performing post-quantization that truncates the lower bit planes of the code string output by the arithmetic encoding unit 109. Then, the bit stream generation unit 111 generates a bit stream in which the code string output from the code amount control unit 110 and additional information (header information, layer configuration, scalability information, quantization table, etc.) are multiplexed, and a compressed image Output as.
[0016]
[Problems to be solved by the invention]
The bit stream generation unit 111 has a function of generating a stream that is obtained by dividing a plurality of code blocks into a plurality of layers according to the type of scalability, the target bit rate, and the like. With this function, progressively improving the image quality (SNR, resolution, display color, etc.) of the playback image on the decoder side by incrementally transmitting multiple layers of data sequentially from the upper layer to the lower layer. Playback is possible.
[0017]
This layer division processing is performed using a rate / distortion optimization (R-D optimization) technique that optimizes distortion with respect to the rate in each layer. The algorithm for rate / distortion optimization is disclosed in the document "David S. Taubman and Michael W. Marcellin," JPEG2000 IMAGE COMPRESSION FUNDAMENTALS, STANDARDS AND PRACTICE, "Kluwer Academic Publishers" (hereinafter referred to as Reference A). Is done.
[0018]
However, in this method, (1) it is necessary to calculate the distortion amount with respect to the rate one by one in each coding pass, and it is necessary to estimate the optimal solution at a certain coding rate, which increases the amount of calculation and real time. There is a problem that (2) a memory for storing the distortion amount calculated in each encoding pass is required.
[0019]
In view of the above problems and the like, the present invention has a problem that a compression coding apparatus and a compression coding method capable of executing layer division processing at a high speed with a small amount of computation so as to reduce distortion with respect to a rate. Is to provide
[0020]
[Means for Solving the Problems]
  In order to solve the above-mentioned problem, the invention according to claim 1 is a compression encoding apparatus that encodes an image signal divided into a plurality of layers, and the image signal is divided into a high frequency component and a low frequency component by wavelet transform. A wavelet transform unit for generating and outputting transform coefficients of a plurality of band components by recursively dividing the band intoBased on the norm of the two-dimensional synthesis filter coefficient of the predetermined band component among the plurality of band components, andDepending on the number of times the band was recursively split,Set priorityPer priorityThe conversion coefficient is bit-shifted by the number of bits corresponding to, and a layer dividing unit that divides the bit-shifted conversion coefficient into a plurality of layers is provided.
[0021]
  The invention according to claim 2Divide image signal into multiple layers and encodeA compression encoding device comprising:A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transformation to generate and output transform coefficients of a plurality of band components, and for the transform coefficients of the respective band components, A layer that bit-shifts the transform coefficient by the number of bits corresponding to the priority set according to the number of times the band is recursively divided into the low-frequency components, and divides the bit-shifted transform coefficient into a plurality of layers A dividing unit;The layer dividing unit has a function of using the priority weighted in consideration of human visual characteristics.
[0022]
The invention according to claim 3 is the compression encoding apparatus according to claim 1 or 2, wherein the transform coefficient output from the wavelet transform unit is configured by two-dimensionally arranging each bit of the transform coefficient. A coefficient bit modeling unit that decomposes the bit plane into coding paths determined according to the significance of each bit and generates encoded data, The unit bit-shifts the code string output from the coefficient bit modeling unit and divides the bit-shifted code string into a plurality of layers.
[0023]
  Next, the invention according to claim 4 is a compression encoding method for encoding an image signal by dividing it into a plurality of layers, and (a) the image signal is divided into a high frequency component and a low frequency component by wavelet transform. (B) recursively dividing the band to generate and output transform coefficients of a plurality of band components;Based on the norm of the two-dimensional synthesis filter coefficient of the predetermined band component among the plurality of band components, andDepending on the number of times the band was recursively split,Set priorityPer priorityAnd the step of bit-shifting the transform coefficient by the number of bits corresponding to, and dividing the bit-shifted transform coefficient into a plurality of layers.
[0024]
  The invention according to claim 5Divide image signal into multiple layers and encodeA compression encoding method comprising:(A) a step of recursively dividing the image signal into a high-frequency component and a low-frequency component by wavelet transformation to generate and output conversion coefficients of a plurality of band components; and (b) the conversion coefficient of each band component. In contrast, the transform coefficient is bit-shifted by the number of bits corresponding to the priority set according to the number of times the band is recursively divided into the low-frequency components, and the bit-shifted transform coefficient is converted into a plurality of layers. Dividing the process intoThe step (b) includes a step of bit-shifting the transform coefficient using the priority weighted in consideration of human visual characteristics.
[0025]
The invention according to claim 6 is the compression encoding method according to claim 4 or 5, wherein (c) said step (a) after said step (a) and before said step (b). The transform coefficient generated in step (b) is decomposed into a plurality of bit planes configured by two-dimensionally arranging each bit of the transform coefficient, and the bit plane is determined according to the significance of each bit. Further comprising a step of generating encoded data by decomposing the data into an encoding pass, wherein the encoded data generated in the step (c) is bit-shifted and the encoded data is bit-shifted. Is divided into a plurality of layers.
[0026]
  Next, an invention according to claim 7 is a program for causing a microprocessor to divide and encode an image signal into a plurality of layers, and recursively converts the image signal into a high frequency component and a low frequency component by wavelet transform. A wavelet transform unit that generates and outputs transform coefficients of a plurality of band components by dividing the band;Based on the norm of the two-dimensional synthesis filter coefficient of the predetermined band component among the plurality of band components, andDepending on the number of times the band was recursively split,Set priorityPer priorityThe conversion coefficient is bit-shifted by the number of bits corresponding to, and the microprocessor is made to function as a layer dividing unit that divides the bit-shifted conversion coefficient into a plurality of layers.
[0027]
  The invention according to claim 8 provides:Have the microprocessor encode the image signal into multiple layersA program,A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transformation to generate and output transform coefficients of a plurality of band components, and for the transform coefficients of the respective band components, A layer that bit-shifts the transform coefficient by the number of bits corresponding to the priority set according to the number of times the band is recursively divided into the low-frequency components, and divides the bit-shifted transform coefficient into a plurality of layers As the dividing unit, the microprocessor functions,The layer division unit functions the microprocessor to use the priority weighted in consideration of human visual characteristics.
[0028]
The invention according to claim 9 is the program according to claim 7 or 8, wherein the transform coefficient output from the wavelet transform unit is configured by two-dimensionally arranging each bit of the transform coefficient. In addition to decomposing into a plurality of bit planes, the microprocessor functions as a coefficient bit modeling unit that generates encoded data by decomposing the bit planes into encoding passes determined according to the significance of each bit. The layer dividing unit functions to bit-shift the code string output from the coefficient bit modeling unit and to divide the bit-shifted code string into a plurality of layers.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0030]
Compression encoding device.
FIG. 1 is a functional block diagram showing a schematic configuration of a compression coding apparatus 1 according to an embodiment of the present invention. After an overview of the configuration and function of the compression coding apparatus 1, the coding block and the coding method according to the present embodiment will be described in detail.
[0031]
The compression coding apparatus 1 includes a DC level shift unit 10, a color space conversion unit 11, a tiling unit 12, a DWT unit 13, a quantization unit 14, an ROI unit 15, a coefficient bit modeling unit 20, an arithmetic coding unit (entropy). (Encoding unit) 21, code amount control unit 22, image quality control unit 23, priority table 24, and bit stream generation unit 17.
[0032]
Note that all or part of each of the processing units 10 to 15, 17, and 20 to 24 constituting the compression encoding device 1 may be configured by hardware or a program that causes a microprocessor to function. May be.
[0033]
The image signal input to the compression encoding device 1 is subjected to DC level conversion as necessary by the DC level shift unit 10 and then output to the color space conversion unit 11. The color space conversion unit 11 performs color space conversion on the input signal and outputs it. According to the JPEG2000 system, RCT (Reversible Component Transformation) for reversible conversion and ICT (Irreversible Component Transformation) for irreversible conversion are prepared as color space conversion, and one of them can be selected as appropriate. Thereby, for example, input RGB signals are converted into YCbCr signals or YUV signals.
[0034]
Next, the tiling unit 12 divides the image signal input from the color space conversion unit 11 into a plurality of region components called “tiles” having a rectangular shape, and outputs the region components to the DWT unit 13. It is not always necessary to divide the image signal into tiles, and the image signal for one frame may be output to the next functional block as it is.
[0035]
Next, the DWT unit 13 performs integer type or real type DWT on the image signal input from the tiling unit 12 in units of tiles, thereby converting the image signal into a high frequency component and a low frequency component according to the octave division method. And band recursively. As a result, transform coefficients of a plurality of band components (subbands) HH 1 to LL 3 as shown in FIG. 23 are generated and output to the quantization unit 14. Specifically, for real type DWT, a filter of 9 × 7 tap, 5 × 3 tap or 7 × 5 type is used, and for integer type DWT, 5 × 3 tap or 13 × 7 tap, etc. The filter is used. Further, the processing of these filters may be executed by a convolution operation, or may be executed by a lifting scheme that is more efficient than the convolution operation.
[0036]
The quantization unit 14 has a function of performing scalar quantization on the transform coefficient input from the DWT unit 13. The quantization unit 14 also has a function of performing bit shift processing that prioritizes the image quality of a designated region (ROI; Region Of Interest) by the ROI unit 15. The quantization unit 14 may perform scalar quantization or may not perform scalar quantization.
[0037]
Next, the transform coefficient QD output from the quantization unit 14 is sequentially subjected to block-based entropy coding by the coefficient bit modeling unit 20 and the arithmetic coding unit 21, and the rate control unit 22 controls the rate. Is done.
[0038]
  Similarly to the coefficient bit modeling unit 108 shown in FIG. 19, the coefficient bit modeling unit 20 divides the band component of the input transform coefficient QD into code blocks of about 32 × 32 or 64 × 64, and each code block Are broken down into a plurality of bit planes configured by two-dimensionally arranging each bit. As a result, each code block has a plurality of bit planes 122 as shown in FIG.₀~ 122_n-1Is broken down into The coefficient bit modeling unit 20 further performs context determination for each bit, and converts each bit plane into three types.SIG pass ( SIGnificance propagation pass ), MR pass ( Magnitude Refinement pass ) And CL path ( CLeanup pass )Are encoded by decomposing the data into the encoding passes, and the resulting encoded data BD is output.
[0039]
Next, the arithmetic encoding unit 21 arithmetically encodes only the encoding target designated by the image quality control unit 23 among the encoded data BD input from the coefficient bit modeling unit 20, and the encoded data AD obtained as a result thereof. Is output to the code amount control unit 22. Here, the arithmetic encoding unit 21 may perform bypass processing in which a part of the encoding target is not arithmetically encoded and the encoding target is included in the encoded data AD and output as it is. In addition, although this embodiment employ | adopts arithmetic encoding, you may employ | adopt not only this but entropy encoding of another system.
[0040]
Here, the image quality control unit 23 sets the priority indicating the coding order for each band component in accordance with the priority data PD acquired from the priority table 24, and the arithmetic coding unit 21 according to the priority. The encoding target specified in is determined. The priority setting method and the encoding target determination method will be described later.
[0041]
Next, the code amount control unit 22 has a function of controlling the rate of the encoded data AD input from the arithmetic encoding unit 21 using the priority data PD2 acquired from the priority table 24. That is, the code amount control unit 22 has a low priority for the encoded data AD in band component units, bit plane units, or encoding path units in accordance with the target code amount (the code amount of the final compressed image). It has a function of performing post-quantization of truncating in order.
[0042]
The bit stream generation unit 17 then multiplexes the encoded data CD output from the code amount control unit 22 and additional information (header information, layer configuration, scalability, quantization table, etc.), or a single layer or a multi layer. A bit stream consisting of is generated and output to the outside as a compressed image.
[0043]
Priority setting method (first embodiment).
A first embodiment of the method for setting the priority recorded in the priority table 24 will be described. In the present invention, the priority is determined for each band component (subband) according to the number of times the band is recursively divided into low frequency components. In this embodiment, the priority of the band component HHn at the decomposition level n (n: an integer of 1 or more) is “n−1”, the priority of the band components HLn and LHn is “(n−1) +1”, and the band component. The priority of LLn is determined as “(n−1) +2”. For example, the priority of the band component HH1 shown in FIG. 20 is set to “0”, and the priority of the band component LL3 is set to “4”. FIG. 2 is a schematic diagram showing a two-dimensional image 25 obtained by band division according to the octave division method. Each band component has a priority “0”, “1”, “2”, “3”, or “4”.
[0044]
The priority table 24 records priority information corresponding to each of the band components HHn, HLn, LHn, and LLn. The image quality control unit 23, the code amount control unit 22, and the bit stream generation unit 17 In accordance with the priority data PD, PD2, and PD3 acquired from the priority table 24, priority is set for each band component. Specifically, the priority is set for each transform coefficient by shifting the transform coefficient of each band component by the number of bits corresponding to the priority. In this bit shift process, it is not always necessary to actually perform a bit shift operation on each transform coefficient, and the position of each bit of the transform coefficient may be virtually shifted. In this case, the position of the bit plane to which each bit of the transform coefficient belongs does not change.
[0045]
FIG. 3 is a diagram for explaining priority setting processing by bit shift. In the example shown in FIG. 2, since the priority of the band component LL3 is “4”, the corresponding transform coefficient 26 is shifted left by 4 bits. Further, the conversion coefficients 26 and 26 of the band components HL3 and LH3 set with the priority “3” are shifted left by 3 bits, and the conversion coefficients 26 of the band components HH3, HL2 and LH2 set with the priority “2” are set. , 26, and 26 are shifted left by 2 bits, and the transform coefficients 26, 26, and 26 of the band components HH2, HL1, and LH1 set with the priority "1" are shifted left by 1 bit. At this time, as shown in FIG. 4, the conversion coefficient of the two-dimensional image 25A before the bit shift is changed to the conversion coefficient indicated by the two-dimensional image 25B by the left bit shift process. For example, the transform coefficient value (= 4) of the band component LL3 is 4 × 2 by 4-bit left shift.^Four= 64.
[0046]
Next, the reason (theoretical background) for setting the priority as described above will be described below.
[0047]
In the above-described conventional rate / distortion optimization (R-D optimization) method, an optimization process using a distortion measure has been performed. According to the above reference A by David S. Taubman et al._i ^(z)Is calculated according to the following equation (1).
[0048]
[Expression 1]

[0049]
In the above formula (1), z is a bit truncation point; oy_i ^{K [i, j]}[J] is the jth sample value (coefficient value) of the code block dequantized by the K [i, j] th bitplane; y_i[J] is the j-th sample value (coefficient value) of the code block; G_{b [i]}Is the square of the norm of the synthesis filter coefficient corresponding to the subband b [i], and indicates the weighting coefficient of the distortion model depending on the subband b. For convenience of explanation, the notation of the symbol shown in the above formula (1) is slightly different from that in the reference A.
[0050]
For rate / distortion optimization, this distortion measure D_i ^(z)Optimization processing is performed so as to minimize the total amount in the subband b [i]. Weighting factor G for subband b_bRepresents weighting for reducing image distortion.
[0051]
Weighting factor G for subband b_bIs calculated according to the following equation (2).
[0052]
[Expression 2]

[0053]
Here, in the above equation (2), s_b[N] indicates a one-dimensional synthesis filter coefficient of subband b. The symbol || x || indicates a norm related to the vector x.
[0054]
According to the equations (4.39) and (4.40) described in the reference A, the one-dimensional synthesis filter coefficient s of the low-frequency component L1 at the decomposition level 1_{L [1]}[N] and the one-dimensional synthesis filter coefficient s of the high-frequency component H1 at the same decomposition level_{H [1]}[N] is calculated according to the following equation (3).
[0055]
[Equation 3]

[0056]
Here, in the above formula (3), g₀[N] is a low-pass filter coefficient of a forward transform filter for dividing an image signal into bands, g₁[N] indicates the high-pass filter coefficient, respectively.
[0057]
Further, the one-dimensional synthesis filter coefficient s of the low frequency component Ld at the decomposition level d (d = 1, 2,..., D)._{L [d]}[N] and the one-dimensional synthesis filter coefficient s of the high-frequency component Hd at the same decomposition level_{H [d]}[N] is calculated according to the following equation (4).
[0058]
[Expression 4]

[0059]
Then, the square of the norm of the one-dimensional synthesis filter coefficient of the low frequency component Ld at the decomposition level d is calculated according to the following equation (5).
[0060]
[Equation 5]

[0061]
The square of the norm of the one-dimensional synthesis filter coefficient of the high-frequency component can be calculated in the same manner as the above equation (5).
[0062]
Next, the two-dimensional synthesis filter coefficients of the band components LLD, HLd, LHd, and HHd at the decomposition level d (d = 1, 2,..., D; D is an integer) are expressed by the product of the one-dimensional synthesis filter coefficients. The two-dimensional weighting factor G of the band component b_bCan also be expressed as a product of one-dimensional weighting factors. Specifically, the two-dimensional synthesis filter coefficient and the two-dimensional weighting coefficient are calculated according to the following equation (6).
[0063]
[Formula 6]

[0064]
In the above formula (6), the subscript LL [D] indicates the subband LLD, and HL [d], LH [d], and HH [d] indicate the subbands HLd, LHd, and HHd, respectively.
[0065]
Weight coefficient G_bIs the norm. Tables 1 to 4 below show the two-dimensional weighting factor G_bThe calculation result about is shown. Table 1 shows the numerical value of the norm of each band component of the (9, 7) filter (9 × 7 tap filter), and Table 2 shows the numerical value of the norm corresponding to Table 1. Table 3 shows the norm square value of each band component of the (5, 3) filter (5 × 3 tap filter), and Table 4 shows the norm value corresponding to Table 3.
[0066]
[Table 1]

[0067]
[Table 2]

[0068]
[Table 3]

[0069]
[Table 4]

[0070]
Furthermore, when the norm of the low-frequency component LL1 at the decomposition level 1 is represented by α, a value as shown in FIG. 5 is set for each band component using this norm α. A two-dimensional image 27 shown in FIG. 5 is a diagram showing a two-dimensional image 120 that is band-divided according to the octave division method. The set value of the band component HHn at the decomposition level n (n is an integer of 1 or more) is “2^n-3× α ”, the set values of the band components HLn and LHn are“ 2 ”^n-2× α ”, the set value of the band component LLn is“ 2 ”^n-1Xα ”. Therefore, for example, the set value of the band component LH1 is “2”.^-1× α ”.
[0071]
If the set value is compared with the norm values shown in Tables 2 and 4, they are approximately approximate. For example, in the case of Table 2 (α = 1.96591), the “set value (corresponding band component)” of each band component shown in FIG. 5 is about 0.49 (HH1), about 0.98 (HL1, LH1), It is about 1.96 (HL2, LH2, HH3), about 3.93 (HL3, LH3), and about 7.86 (LL3), and these set values are close to the norm values shown in Table 2. I understand.
[0072]
In FIG. 5, the norm of the band component LL1 is rounded to α = 2, and the set value of each band component is shifted to the left by 1 bit, that is, all set values are 2¹It can be seen that the exponent of the power value of 2 multiplied by 1 matches the priority value shown in FIG. Therefore, setting the priority to each band component as in the first embodiment approximately means that the norm (square root of the weighting factor) of the filter used in the rate / distortion optimization is the sample value of each band component ( Equivalent to multiplying (conversion coefficient value). Accordingly, the priority of the present embodiment is set so as to reduce image distortion.
[0073]
Priority setting method (second embodiment).
Next, a second embodiment of the priority setting method will be described. In the present embodiment, the weight coefficient G of each band component_bA value obtained by dividing the norm, which is the square root of, by the norm of the lowest frequency component LL at the highest decomposition level is rounded to a power value of 2, and the absolute value of the exponent of the power value of 2 is set as the priority. Specifically, the norm of the lowest band component LLn of the highest decomposition level n is α, the norm of the other band component is x, a function related to a variable y rounded to the power of 2 is R [y], and the variable y 2 power of 2^mA function for calculating an index m of m = I [2^m] And the absolute value for the variable y is | y |, the priority p is calculated according to p = | I [R [x / α]] |.
[0074]
Table 5 below shows the priority calculated using the norm of the (9, 7) filter shown in Table 2 above. Here, the highest decomposition level is 5, and α = 33.4923. In the table, “x” means that the priority of the band component is not calculated. FIG. 6 is a band division diagram showing the two-dimensional image 28 in which the priorities shown in Table 5 are shown.
[0075]
[Table 5]

[0076]
Table 6 below shows the priority calculated using the norm of the (5, 3) filter shown in Table 4 above.
[0077]
[Table 6]

[0078]
In the first embodiment, the priority is set by shifting the conversion coefficient of each band component to the left by the number of priority bits, but in the second embodiment, the conversion coefficient of each band component is set to the priority. A process of shifting right by the number of bits is executed. However, the right bit shift process is executed so as to increase the bit length of the transform coefficient. FIG. 7 is a schematic diagram showing band component conversion coefficients 29, 29,... Shifted to the right by the number of priority bits shown in FIG.
[0079]
Priority setting method (third embodiment).
Next, a priority setting method according to the third embodiment in consideration of human visual characteristics will be described. When the priority shown in the second embodiment is applied to a high-resolution image of about several million pixels, the image quality of the decoded image is good for objective evaluation, but not necessarily good for human visual evaluation. Therefore, the priority setting method of this embodiment employs a weighted priority in consideration of human visual characteristics. This makes it possible to generate a compressed image with high display quality.
[0080]
Chapter 16 of reference A describes weighted mean squared error (WMSE) based on CSF (human visual system contrast sensitivity function). According to this description, in order to improve human visual evaluation, it is desirable to modify the above equation (1) into the following equation (7).
[0081]
[Expression 7]

[0082]
Here, in the above formula (7), W_{b [i]} ^csfIs called the “energy weighting factor” of subband b [i] and W_{b [i]} ^csfThe recommended value for is the ISO / IEC JTC 1 / SC 29 / WG1 (ITU-T SG8) N2406, "JPEG 2000 Part 1 FDIS (includes COR 1, COR 2, and DCOR3)," 4 December 2001 document ( Hereinafter referred to as Reference Document B). 8 to 10 show numerical values of “energy weighting factor” described in Reference Document B. FIG.
[0083]
8 to 10, “level” and “Lev” indicate the decomposition level, “Comp” indicates the luminance component Y and the color difference components Cb and Cr, respectively, and “Viewing distance” is 1000 and 1700. , 2000, 3000, 4000 examples are shown. "Viewing distance 1000", "Viewing distance 1700", "Viewing distance 2000", "Viewing distance 3000", and "Viewing distance 4000" are 10 displays or printed materials of 100 dpi, 170 dpi, 200 dpi, 300 dpi, and 400 dpi, respectively. The viewing distance when viewed from an inch away.
[0084]
Using the numerical values shown in FIGS. 8 to 10, the square root (W_{b [i]} ^csf・ G_{b [i]})^1/2Was calculated. The calculation results are shown in Tables 7 to 18 below. Tables 7 to 9 are calculated using the numerical values shown in FIG. 8 (9, 7), and black and white numerical values of the filter. Tables 10 to 12 are calculated using the numerical values shown in FIGS. 9 and 10 (9 7) Filter color values, Tables 13 to 15 are calculated using the values shown in FIG. 8, (5, 3) Filter black and white values, Tables 16 to 18 are FIG. 9 and FIG. The numerical values for the color of the (5, 3) filter calculated using the numerical values shown in FIG.
[0085]
[Table 7]

[0086]
[Table 8]

[0087]
[Table 9]

[0088]
[Table 10]

[0089]
[Table 11]

[0090]
[Table 12]

[0091]
[Table 13]

[0092]
[Table 14]

[0093]
[Table 15]

[0094]
[Table 16]

[0095]
[Table 17]

[0096]
[Table 18]

[0097]
Next, using the numerical values shown in Tables 7 to 18, the priority of each band component was calculated in the same procedure as described in the second embodiment. That is, the numerical value of the lowest band component LLn of the highest decomposition level n is α, the numerical values of the other band components are x, the function relating to the variable y rounded to the power of 2 is R [y], and the variable y of 2 Width power 2^mA function for calculating an index m of m = I [2^m] And the absolute value for the variable y is | y |, the priority p is calculated according to p = | I [R [x / α]] |.
[0098]
The priority values are shown in Table 19 to Table 30 below. The priorities of Table 19, Table 20, Table 21, Table 22, Table 23, Table 24, Table 25, Table 26, Table 27, Table 28, Table 29, and Table 30 are shown in Tables 7, 8, and 8, respectively. Table 9, Table 10, Table 11, Table 12, Table 13, Table 14, Table 15, Table 16, Table 17, and Table 18 are used for calculation.
[0099]
[Table 19]

[0100]
[Table 20]

[0101]
[Table 21]

[0102]
[Table 22]

[0103]
[Table 23]

[0104]
[Table 24]

[0105]
[Table 25]

[0106]
[Table 26]

[0107]
[Table 27]

[0108]
[Table 28]

[0109]
[Table 29]

[0110]
[Table 30]

[0111]
In the present embodiment, as in the second embodiment, the priority is set for the conversion coefficient of each band component by shifting right by the number of bits of the priority shown in Tables 19 to 30 above. The Thereby, the priority which considered the human visual characteristic can be set.
[0112]
Image quality control processing.
Next, the configuration and processing contents of the image quality control unit 23 shown in FIG. 1 will be described. FIG. 11 is a functional block diagram showing a schematic configuration of the image quality control unit 23.
[0113]
The image quality control unit 23, based on target image quality information (such as high image quality, standard image quality, low image quality, and resolution information) supplied from outside, an image quality parameter QP suitable for the target image quality information from a plurality of image quality parameter groups. Is selected and output, and an encoding target determination unit 30 that sets the priority and determines an encoding target. The encoding target determination unit 30 sets the above-described priority for each band component of the encoded data BD according to the priority data PD acquired from the priority table 24. The encoding target determination unit 30 determines an encoding target in accordance with the target image quality specified by the image quality parameter QP according to the set priority, and generates and outputs an image quality control signal CS1.
[0114]
Hereinafter, a method for determining an encoding target will be described. FIG. 12 is a schematic diagram illustrating conversion coefficients 33, 33,... Bit-shifted according to priority. Each conversion coefficient 33 is bit-shifted according to the priority. The numbers 0, 1,..., 10 attached to the respective bits of the conversion coefficient 33 indicate the numbers of bit planes to which the bits belong. Here, LSB number = 0 and MSB number = 10.
[0115]
The encoding target determination unit 30 sets the encoding end line 32 according to the image quality parameter QP, determines the higher bits than the encoding end line 32 as the encoding target, and sets the lower bits than the line 32 as the encoding target. The image quality control signal CS1 is generated so as to be excluded from the above. This makes it possible to efficiently select the encoding target. As a result, the arithmetic encoding unit 21 that has received the image quality control signal CS1 arithmetically encodes only the bit plane higher than the encoding end line 32 in each code block, and truncates the bit plane lower than the line 32. It will be. Note that the arithmetic coding unit 21 does not perform arithmetic coding on the bits in which zeros are inserted by the bit shift process.
[0116]
The encoding target determination unit 30 can further determine the encoding target in units of encoding passes according to the image quality parameter QP. The image quality parameter QP includes a parameter group indicating a restriction on a bit plane to be encoded and a restriction on a coding path (CL path, SIG path, and MR path) to be encoded. Table 31 below illustrates image quality parameters QP suitable for an image having a resolution of 2048 × 2560 pixels. Since the resolution of the lowest subband needs to be smaller than 128 × 128 pixels, a resolution level of 5 or higher is required.
[0117]
[Table 31]

[0118]
In Table 31, “Number of bit planes” indicates the number of bit planes subject to truncation of lower bits than the encoding end line 32 shown in FIG. 12, and “Path name” indicates the final encoding pass in the encoding target. The “maximum number of passes” represents the upper limit of the number of encoding passes to be encoded.
[0119]
An example of processing when FIG. 12 and Table 31 are applied will be described below. FIG. 13 shows “00011010111” as the conversion coefficient 33 of the band component LL5.₂= 215_TenExemplify (Y₂Is the binary value Y, X_TenRepresents the decimal value X). As shown in Table 31, the final coding pass in the band component LL5 is limited to the CL pass, and the maximum number of passes is limited to 17.
[0120]
The context determination is made so that the seventh bit of the transform coefficient shown in FIG. 13 belongs to the SIG path or the CL path. The 8th to 10th upper bits are encoded by a method called a tag tree when they belong to a bit plane composed of only 0 bits, and the SIG path when the encoding pass has already started. Alternatively, it is encoded by the CL pass. When the seventh bit belongs to the encoding start pass (CL pass), the lower-order bits including the sixth bit are context-determined so as to belong to the MR pass. In general, the bit planes lower than the encoding start bit plane are encoded in the order of the SIG pass, the MR pass, and the CL pass from the viewpoint of encoding efficiency. Therefore, since the maximum number of passes is limited to 17, a total of 17 passes from the 7th bit CL pass to the 1st bit SIG pass are to be encoded. However, since the first bit belongs to the MR path, it is not encoded. Therefore, in the arithmetic encoding process, the lower 2 bits are discarded, and the encoded value is “00011010100.₂= 212_Ten"If this value is dequantized at midpoint," 00011010110₂= 214_Ten"Become.
[0121]
Next, FIG. 14 shows “00000001111” as the conversion coefficient 33 of the band component LL5.₂= 15_Ten"The third bit of the transform coefficient belongs to the SIG path or the CL path. If the fourth to tenth upper bits belong to a bit plane consisting of only 0 bits, a tag tree (Tag tree)" If the third bit belongs to the encoding start path (CL path), the lower bits including the second bit are encoded. Belongs to the MR pass, and a total of 10 passes from the CL pass of the 3rd bit to the CL pass of the 0th bit are to be encoded.In the arithmetic encoding process, the value after encoding is “00000001111”.₂= 15_Ten"If this value is dequantized," 00000001111₂= 15_Ten"Become.
[0122]
Next, FIG. 15 shows “00001011111” as the conversion coefficient 33 of the band component HH2.₂= 95_Ten“As an example, as shown in Table 31, the final coding pass in the band component HH2 is limited to the SIG pass, and the maximum number of passes is 14. The bit planes of the lower 3 bits are discarded.
[0123]
The sixth bit of the transform coefficient belongs to the SIG path or CL path. The 7th to 10th upper bits are encoded with a tag tree if they belong to a bit plane consisting of only 0 bits, and the SIG pass or CL pass if the encoding pass has already started. It is encoded with. When the sixth bit belongs to the encoding start pass (CL pass), the lower bits including the fifth bit belong to the MR pass. Also, because of the limitation that encoding is performed only up to the SIG pass of the 3rd bit plane, 8 passes from the CL pass of the 6th bit to the SIG pass of the 4th bit are to be encoded, but the 3rd bit is the MR pass. It is not encoded because it belongs to. Therefore, the value after encoding in the arithmetic encoding process is “00001010000₂= 80_Ten"If this value is dequantized at midpoint," 00001011000₂= 88_Ten"Become.
[0124]
The reason why each bit plane is encoded in the order of the SIG pass, MR pass, and CL pass is that the encoding efficiency with respect to the distortion of the SIG pass is the highest. FIG. 16 shows rate / distortion characteristics in each coding pass. Point P in the RD curve₁~ P₂Is the SIG path, point P₂~ P_ThreeIs the MR path, point P_Three~ P_FourIndicates the CL path. Ratio of distortion ΔD to rate (code amount) in each coding pass_SIG/ ΔR_SIG, ΔD_MR/ ΔR_MR, ΔD_CL/ ΔR_CLAs can be seen, the curve slope in the SIG path is the steepest and the coding efficiency is the highest.
[0125]
In the image quality control process described above, it is determined whether or not the transform coefficient shifted by the number of bits corresponding to the priority is to be encoded. Since only the encoding target is selectively arithmetically encoded by the arithmetic encoding unit 21, it is possible to efficiently control the amount of code so that a high-quality compressed image with little distortion can be generated.
[0126]
Layer division processing.
FIG. 17 is a functional block diagram showing a schematic configuration of the bit stream generation unit 17 shown in FIG. The bit stream generation unit 17 includes a memory management unit (MMU; Memory Management Unit) 41, a mass storage device 40, a layer division control unit 42, and a multiplexing unit 43. The layer division processing according to the present embodiment is executed by the layer division block 45 including the mass storage device 40, the MMU 41, and the layer division control unit.
[0127]
Using the priority data PD3 acquired from the priority table 24, the layer division block 45 converts the encoded data CD input from the code amount control unit 22 into a code string that is bit-shifted by the number of bits corresponding to the priority. , And a function of dividing the code string into a plurality of layers (multi-layer). The multiplexing unit 43 multiplexes the encoded data output from the layer division block 45 and additional information (header information, layer configuration, scalability, quantization table, etc.) to generate a bit stream, and outputs it to the outside.
[0128]
Hereinafter, the layer division processing in the layer division block 45 will be described. The MMU 41 temporarily stores the encoded data CD input from the code amount control unit 22 in the mass storage device 40. The layer division control unit 42 acquires the data structure of the encoded data CD from the MMU 41. Next, the layer division control unit 42 acquires the priority data PD3 from the priority table 24, and according to the priority included in the priority data PD3, the conversion coefficient of each band component of the encoded data CD is a predetermined number of bits. Shift. Thereby, a priority is set with respect to the conversion coefficient of each band component. As a priority setting method, the methods of the first, second, and third embodiments described above may be employed.
[0129]
18 is a schematic diagram illustrating transform coefficients 44, 44,... Shifted by the number of bits corresponding to the priority. The conversion coefficients 44, 44,... Of the respective band components LL5 to HH1 are right bit shifted or left bit shifted by the number of priority bits. Further, numbers 0, 1,..., 10 attached to the respective bits of each conversion coefficient 44 indicate the numbers of bit planes to which the bits belong. Here, LSB number = 0 and MSB number = 10.
[0130]
Next, the layer division control unit 42 determines a division position based on the layer division information so that the bit-shifted encoded data CD is grouped into a plurality of layers in bit plane units or encoding pass units. The layer division information includes selection information for selecting either a single layer or a multi-layer, information for specifying a layer division position in bit plane units or encoding pass units, and the like. In the example of FIG. 18, the division position where the encoded data CD is divided into five layers 0 to 4 in units of bit planes is shown. Then, the layer division control unit 42 supplies the MMU 41 with a control signal CS2 for reading the encoded data CD in units of layers according to the division position. The MMU 41 reads out the encoded data CD stored in the large-capacity storage device 40 in order from the upper layer to the lower layer in accordance with the control signal CS2, and outputs it to the multiplexing unit 43.
[0131]
Note that the large-capacity storage device 40 and the MMU 41 are not necessarily incorporated in the bit stream generation unit 17 and may be incorporated in the compression encoding device 1 in a form that can be shared with other functional blocks.
[0132]
In the above layer division processing, the priority is set by bit-shifting the transform coefficient by the number of bits corresponding to the priority. By dividing the bit-shifted transform coefficient into a plurality of layers, it is possible to efficiently generate a plurality of layers in bit plane units or coding pass units so as to reduce rate distortion. is there. Therefore, it is not always necessary to use the optimization processing using the above-described rate / distortion optimization in the layer division processing, and it is possible to perform layer division processing with high real-time characteristics so that distortion can be reduced.
[0133]
【The invention's effect】
As described above, according to the compression encoding apparatus according to claim 1 of the present invention, the compression encoding method according to claim 4, and the program according to claim 7, the transform coefficients after the wavelet transform correspond to the priorities. The number of bits is shifted, and the priority of the transform coefficient is determined according to the number of bits. Therefore, by dividing the bit-shifted transform coefficient into a plurality of layers, it is possible to efficiently generate a plurality of layers so that distortion with respect to the rate can be reduced.
[0134]
According to claims 2, 5 and 8, it is possible to generate a compressed image having a high display image quality suitable for human visual evaluation.
[0135]
According to the third, sixth, and ninth aspects, it is possible to finely and efficiently determine the division position of the layer according to the priority for each bit plane and each coding pass.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a schematic configuration of a compression encoding apparatus according to an embodiment of the present invention.
FIG. 2 is a schematic diagram showing a two-dimensional image obtained by band division by wavelet transform.
FIG. 3 is a diagram for explaining priority setting processing by bit shift;
FIG. 4 is a diagram illustrating a bit-shifted transform coefficient.
FIG. 5 is a schematic diagram showing a two-dimensional image obtained by band division by wavelet transform.
FIG. 6 is a schematic diagram showing a two-dimensional image obtained by band division by wavelet transform.
7 is a schematic diagram showing band component conversion coefficients that are right-bit shifted in accordance with the priorities shown in FIG. 6;
FIG. 8 is a diagram showing a numerical table of energy weighting factors.
FIG. 9 is a diagram illustrating a numerical table of energy weighting factors.
FIG. 10 is a diagram showing a numerical table of energy weighting factors.
FIG. 11 is a functional block diagram showing a schematic configuration of an image quality control unit according to the present embodiment.
FIG. 12 is a schematic view illustrating transform coefficients bit-shifted according to priority.
FIG. 13 is a diagram for describing an example of encoding processing of a transform coefficient of band component LL5.
FIG. 14 is a diagram for explaining an example of encoding processing of a transform coefficient of band component LL5.
FIG. 15 is a diagram for describing an example of encoding processing of transform coefficients of band component HH2.
FIG. 16 is a diagram showing a curve of rate / distortion characteristics.
FIG. 17 is a functional block diagram illustrating a schematic configuration of a bit stream generation unit.
FIG. 18 is a schematic diagram illustrating a transform coefficient shifted by the number of bits corresponding to the priority.
FIG. 19 is a functional block diagram showing a schematic configuration of a JPEG2000 format compression encoding apparatus.
FIG. 20 is a schematic diagram showing a two-dimensional image that is band-divided according to the octave division method.
FIG. 21 is a schematic diagram showing a two-dimensional image decomposed into a plurality of code blocks.
FIG. 22 is a schematic diagram showing a plurality of bit planes constituting a code block.
FIG. 23 is a schematic diagram showing three types of encoding passes.
FIG. 24 is a diagram showing an RD curve representing the relationship between rate and distortion.
[Explanation of symbols]
1 Compression encoder
10 DC level shift unit
11 Color space converter
12 Tiling Club
13 DWT section
14 Quantizer
15 ROI section
17 Bitstream generator
20 Coefficient bit modeling section
21 Arithmetic coding part
22 Code amount control unit
23 Image quality controller
24 Priority table

Claims (9)

画像信号を複数のレイヤーに分割して符号化する圧縮符号化装置であって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記複数の帯域成分のうち、所定の帯域成分の２次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、設定された優先度につき、該優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割するレイヤー分割部と、
を備えることを特徴とする圧縮符号化装置。A compression encoding device that encodes an image signal by dividing it into a plurality of layers,
A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components;
Among the plurality of band components, based on the norm of the two-dimensional synthesis filter coefficients in a predetermined band component, and, recursively according to the number of times which is band-divided, per set priority corresponds to the priority degree Bit-shifting the transform coefficient by the number of bits to be performed, and a layer dividing unit that divides the bit-shifted transform coefficient into a plurality of layers;
A compression encoding apparatus comprising: 画像信号を複数のレイヤーに分割して符号化する圧縮符号化装置であって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記各帯域成分の前記変換係数に対して、前記低域成分に再帰的に帯域分割された回数に応じて設定された優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割するレイヤー分割部と、
を備え、
前記レイヤー分割部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いる機能を有する、圧縮符号化装置。 A compression encoding device that encodes an image signal by dividing it into a plurality of layers ,
A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components;
The transform coefficient of each band component is bit-shifted by the number of bits corresponding to the priority set according to the number of times the band is recursively divided into the low-frequency components, and the bit shift A layer dividing unit for dividing the conversion coefficient into a plurality of layers;
With
The layer coding unit has a function of using the priority weighted in consideration of human visual characteristics. 請求項１または請求項２記載の圧縮符号化装置であって、
前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部、
を更に備え、
前記レイヤー分割部は、前記係数ビットモデリング部から出力された符号列をビットシフトすると共に、ビットシフトした前記符号列を複数のレイヤーに分割する、圧縮符号化装置。A compression encoding apparatus according to claim 1 or 2, wherein
The transform coefficient output from the wavelet transform unit is decomposed into a plurality of bit planes configured by two-dimensionally arranging each bit of the transform coefficient, and the bit plane is determined according to the significance of each bit. A coefficient bit modeling unit that generates encoded data by decomposing into determined encoding passes,
Further comprising
The layer dividing unit bit-shifts the code string output from the coefficient bit modeling unit, and divides the bit-shifted code string into a plurality of layers. 画像信号を複数のレイヤーに分割して符号化する圧縮符号化方法であって、
（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力する工程と、
（ｂ）前記複数の帯域成分のうち、所定の帯域成分の２次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、設定された優先度につき、該優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割する工程と、
を備えることを特徴とする圧縮符号化方法。A compression encoding method for encoding an image signal by dividing it into a plurality of layers,
(A) a step of recursively dividing the image signal into a high-frequency component and a low-frequency component by wavelet transformation to generate and output conversion coefficients of a plurality of band components;
(B) among the plurality of band components, based on the norm of the two-dimensional synthesis filter coefficients in a predetermined band component, and, depending on the number of times the recursive bandwidth has been divided, per set priority, said priority Bit-shifting the transform coefficient by the number of bits corresponding to the degree , and dividing the bit-shifted transform coefficient into a plurality of layers;
A compression encoding method comprising: 画像信号を複数のレイヤーに分割して符号化する圧縮符号化方法であって、
（ａ）ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力する工程と、
（ｂ）前記各帯域成分の前記変換係数に対して、前記低域成分に再帰的に帯域分割された回数に応じて設定された優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割する工程と、
を備え、
前記工程（ｂ）は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いて前記変換係数をビットシフトする工程を含む、圧縮符号化方法。 A compression encoding method for encoding an image signal by dividing it into a plurality of layers ,
(A) a step of recursively dividing the image signal into a high-frequency component and a low-frequency component by wavelet transformation to generate and output conversion coefficients of a plurality of band components;
(B) Bit-shifting the transform coefficient by the number of bits corresponding to the priority set according to the number of times the band is recursively divided into the low-frequency components with respect to the transform coefficients of the band components Dividing the bit-shifted transform coefficient into a plurality of layers;
With
The step (b) includes a step of bit-shifting the transform coefficient using the priority weighted in consideration of human visual characteristics. 請求項４または請求項５記載の圧縮符号化方法であって、
前記工程（ａ）の後で前記工程（ｂ）の前に、
（ｃ）前記工程（ａ）で生成された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する工程、
を更に備え、
前記工程（ｂ）は、前記工程（ｃ）で生成された符号化データをビットシフトすると共に、ビットシフトした前記符号化データを複数のレイヤーに分割する工程である、圧縮符号化方法。A compression encoding method according to claim 4 or 5, wherein
After the step (a) and before the step (b),
(C) The transform coefficient generated in the step (a) is decomposed into a plurality of bit planes configured by two-dimensionally arranging each bit of the transform coefficient, and the bit plane is significant for each bit. A process of generating encoded data by decomposing into an encoding pass determined according to the characteristics;
Further comprising
In the compression encoding method, the step (b) is a step of bit-shifting the encoded data generated in the step (c) and dividing the bit-shifted encoded data into a plurality of layers. マイクロプロセッサに画像信号を複数のレイヤーに分割して符号化させるプログラムであって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記複数の帯域成分のうち、所定の帯域成分の２次元合成フィルタ係数のノルムを基準として、かつ、再帰的に帯域分割された回数に応じて、設定された優先度につき、該優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割するレイヤー分割部として、
前記マイクロプロセッサを機能させることを特徴とするプログラム。A program for causing a microprocessor to divide and encode an image signal into a plurality of layers,
A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components;
Among the plurality of band components, based on the norm of the two-dimensional synthesis filter coefficients in a predetermined band component, and, recursively according to the number of times which is band-divided, per set priority corresponds to the priority degree As a layer dividing unit that bit-shifts the conversion coefficient by the number of bits to be divided and divides the bit-shifted conversion coefficient into a plurality of layers,
A program for causing the microprocessor to function. マイクロプロセッサに画像信号を複数のレイヤーに分割して符号化させるプログラムであって、
ウェーブレット変換により画像信号を高域成分と低域成分とに再帰的に帯域分割して複数の帯域成分の変換係数を生成出力するウェーブレット変換部と、
前記各帯域成分の前記変換係数に対して、前記低域成分に再帰的に帯域分割された回数に応じて設定された優先度に対応するビット数だけ前記変換係数をビットシフトすると共に、ビットシフトした前記変換係数を複数のレイヤーに分割するレイヤー分割部として、
前記マイクロプロセッサを機能させ、
前記レイヤー分割部は、人間の視覚特性を考慮した重み付けをされた前記優先度を用いるように前記マイクロプロセッサを機能させることを特徴とするプログラム。 A program for causing a microprocessor to divide and encode an image signal into a plurality of layers ,
A wavelet transform unit that recursively divides an image signal into a high-frequency component and a low-frequency component by wavelet transform to generate and output transform coefficients of a plurality of band components;
The transform coefficient of each band component is bit-shifted by the number of bits corresponding to the priority set according to the number of times the band is recursively divided into the low-frequency components, and the bit shift As a layer dividing unit that divides the converted coefficient into a plurality of layers,
Allowing the microprocessor to function;
The layer dividing unit, a program wherein to function the microprocessor to use the priority that has been weighted in consideration of human visual characteristics. 請求項７または請求項８記載のプログラムであって、
前記ウェーブレット変換部から出力された前記変換係数を、当該変換係数の各ビットを２次元配列して構成される複数のビットプレーンに分解すると共に、前記ビットプレーンを前記各ビットの有意性に応じて決定される符号化パスに分解して符号化データを生成する係数ビットモデリング部として前記マイクロプロセッサを機能させると共に、
前記レイヤー分割部は、前記係数ビットモデリング部から出力された符号列をビットシフトすると共に、ビットシフトした前記符号列を複数のレイヤーに分割するように機能させるプログラム。A program according to claim 7 or claim 8, wherein
The transform coefficient output from the wavelet transform unit is decomposed into a plurality of bit planes configured by two-dimensionally arranging each bit of the transform coefficient, and the bit plane is determined according to the significance of each bit. Allowing the microprocessor to function as a coefficient bit modeling unit that decomposes into determined coding passes to generate encoded data;
The layer dividing unit is a program that performs bit shift on the code string output from the coefficient bit modeling unit and functions to divide the bit shifted code string into a plurality of layers.

Images