JPWO2008120577A1 - 画像符号化及び復号化の方法及び装置 - Google Patents

Abstract

画像符号化装置は、入力画像信号を符号化対象画素ブロックに分割する分割部１０１、符号化対象画素ブロックに対して再ブロック化を行い、第１画素ブロックと第２画素ブロックを生成する再ブロック化部１０２、第１画素ブロックに対して符号化済み画素に対応する第１局部復号画像を用いて予測を行い、第１予測画像を生成する第１予測部１０８Ａ、第１画素ブロックと第１予測画像との差を表す第１予測誤差を用いて第１画素ブロックに対応する第２局部復号画像を生成する生成部、第２画素ブロックに対して第１局部復号画像及び第２局部復号画像を用いて予測を行い、第２予測画像を生成する第２予測部１０８Ｂ、第１予測誤差、及び第２画素ブロックと第２予測画像との差を表す第２予測誤差を変換符号化して第１符号化データ及び第２符号化データを生成する符号化部１０３〜１０５；及び第１符号化データ及び第２符号化データを多重化して符号化ビットストリームを生成する多重化部１１１を有する。

Description

本発明は、動画像若しくは静止画像のための符号化／復号化方法及び装置に関する。

近年、大幅に符号化効率を向上させた画像符号化方法がITU-TとISO/IECとの共同で、ITU-T Rec. H. 264及びISO/IEC 14496-10（以下、H. 264という）として勧告されている。ISO/IEC MPEG-1, 2及び4, ITU-T H. 261及びH. 263といった符号化方式は、直交変換後の周波数領域（ＤＣＴ係数）上でのイントラ予測を行い、変換係数の符号量削減を図っている。これに対して、H. 264では空間領域（画素領域）での方向予測を取り入れることにより、ISO/IEC MPEG-1, 2及び4におけるフレーム内予測と比較して高い予測効率を実現している。

H. 264におけるイントラ符号化では、画像をマクロブロック（１６×１６画素ブロック）に分割し、マクロブロック毎にラスタスキャン順に符号化していく。マクロブロック内部は８×８画素サイズ、４×４画素サイズに分割することができ、そのうちの１つをマクロブロック単位に選択できる。輝度信号の予測では、上記３種類の画素ブロックサイズにおいてそれぞれイントラ予測方式が規定されており、それらは１６×１６画素予測、８×８画素予測、４×４画素予測と呼ばれている。

１６×１６画素予測では、垂直予測、水平予測、ＤＣ予測及び平面予測と呼ばれる４つの符号化モードが規定されている。復号処理を終えたデブロッキングフィルタ適用前の周囲のマクロブロックの画素値を参照画素値として用い、予測処理に使用する。

４×４画素予測及び８×８画素予測は、マクロブロック内の輝度信号をそれぞれ１６個の４×４画素ブロック及び４個の８×８画素ブロックに分割し、それぞれの小画素ブロックに対して、９つのモードのいずれかをブロック単位に選択する。９つのモードは、利用可能な参照画素の平均値で予測するＤＣ予測（モード２）を除いて２２．５°間隔でずれた予測方向を持っており、参照画素を用いて予測方向に外挿補間を行って（外挿予測）、予測信号を生成する。ただし、８×８画素予測では、既に符号化済みの参照画素に対して３タップのフィルタリングを行い、予測に用いる参照画素の平坦化を行うことで符号化歪みを平均化する処理が含まれている。

H. 264のフレーム内予測では、上述したように原理的にマクロブロック内の符号化対象ブロックは左及び上の画素しか参照できない。従って、左及び上の画素との輝度の相関が低い画素（一般的には、参照画素からの距離が遠い右及び下の画素）では、予測性能が上がらず、予測誤差が増大するという問題があった。

本発明は、画素ブロック単位で予測及び変換符号化を行うイントラ符号化において、高い予測効率を実現して符号化効率を向上させることを目的とする。

本発明の第１の観点によると、入力画像を複数の符号化対象ブロックに分割することと；前記符号化対象ブロック内の各画素を所定の間隔で第１画素ブロックと第２画素ブロックとに振り分けることにより前記符号化対象ブロックを再ブロック化することと；前記第１画素ブロックに対して、符号化済み画素に対応する第１局部復号画像を用いて予測を行い、第１予測画像を生成することと；前記第１画素ブロックと前記第１予測画像との差を表す第１予測誤差を符号化して第１符号化データを生成することと；前記第１予測誤差を用いて前記第１画素ブロックに対応する第２局部復号画像を生成することと；前記第２画素ブロックに対して、前記第１局部復号画像及び第２局部復号画像を用いて予測を行い、第２予測画像を生成することと；前記第２画素ブロックと前記第２予測画像との差を表す第２予測誤差を符号化して第２符号化データを生成すること；及び前記第１符号化データ及び前記第２符号化データを多重化して符号化ビットストリームを生成すること；を具備する画像符号化方法が提供される。

本発明の第２の観点によると、入力画像を複数の符号化対象ブロックに分割する分割部と；前記符号化対象ブロックに対して再ブロック化を行い、第１画素ブロックと第２画素ブロックを生成する再ブロック化部と；前記第１画素ブロックに対して、符号化済み画素に対応する第１局部復号画像を用いて予測を行い、第１予測画像を生成する第１予測部と；前記第１画素ブロックと前記第１予測画像との差を表す第１予測誤差を用いて前記第１画素ブロックに対応する第２局部復号画像を生成する生成部と；前記第２画素ブロックに対して、前記第１局部復号画像及び前記第２局部復号画像を用いて予測を行い、第２予測画像を生成する第２予測部と；前記第１予測誤差及び、前記第２画素ブロックと前記第２予測画像との差を表す第２予測誤差を符号化して第１符号化データ及び第２符号化データを生成する符号化部；及び前記第１符号化データ及び前記第２符号化データを多重化して符号化ビットストリームを生成する多重化部；を具備する画像符号化装置が提供される。

図１は、本発明の一実施形態に従う画像符号化装置を示すブロック図 図２は、図１の画像符号化装置の処理手順を示すフローチャート 図３は、図１の画像符号化装置において使用可能な画素振り分けパターンと再ブロック化の例を示す図 図４は、図１の画像符号化装置において使用可能な画素振り分けパターンと再ブロック化の他の例を示す図 図５は、図１の画像符号化装置において使用可能な画素振り分けパターン再ブロック化の更に別の例を示す図 図６は、本発明の他の実施形態に従う符号化装置を示すブロック図 図７は、図６の画像符号化装置の処理手順を示すフローチャート 図８は、図６の画像符号化装置において選択可能な画素振り分けパターン及び再ブロック化の様子を示す図 図９は、種々の画素振り分けパターンにおけるサブブロック単位の符号化順序の例を示す図 図１０は、種々の画素振り分けパターンにおけるサブブロック単位の符号化順序の他の例を示す図 図１１は、種々の画素振り分けパターンにおける量子化パラメータオフセットを示す図 図１２は、種々の画素振り分けパターンにおける補間画素の予測方法を示す図 図１３は、シンタクス構造を示す図 図１４は、マクロブロックレイヤシンタクスのデータ構造を示す図 図１５は、マクロブロックプレディクションシンタクスのデータ構造を示す図 図１６は、本発明の一実施形態に従う画像復号化装置を示すブロック図 図１７は、図１６の画像復号化装置の処理手順を示すフローチャート 図１８は、本発明の他の実施形態に従う画像復号化装置を示すブロック図 図１９は、図１８の画像復号化装置の処理手順を示すフローチャート

以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
図１に示されるように、本発明の第1の実施形態に従う画像符号化装置は符号化ユニット１００、多重化部１１１、出力バッファ１１２、及び符号化ユニット１００を制御する符号化制御部１１３を有する。入力画像信号１２０は、符号化ユニット１００によって以下のように符号化される。

符号化ユニット１００に入力された画像信号１２０は、フレーム分割部１０１によって適当な大きさの画素ブロック、例えば１６×１６画素のマクロブロックに分割され、符号化対象マクロブロック信号１２１とされる。符号化ユニット１００では、マクロブロック単位に符号化対象マクロブロック信号１２１について符号化処理が行われる。このように本実施形態では、マクロブロックが符号化処理の基本的な処理ブロック単位とされている。

フレーム分割部１０１から出力される符号化対象マクロブロック１２１は、再ブロック化部１０２によって、画素振り分けにより後述するように基準画素ブロックと補間画素ブロックに再ブロック化される。これにより、再ブロック化部１０２で再ブロック化信号１２２が生成される。再ブロック化信号１２２は、減算器１０３に入力される。減算器１０３においては、再ブロック化信号１２２と後述する予測信号１２３との差がとられることにより、予測誤差信号１２４が生成される。

予測誤差信号１２４は変換／量子化部１０４に入力され、変換係数データ１２５が生成される。変換／量子化部１０４では、予測誤差信号１２４はまず例えばＤＣＴ（離散コサイン変換）などにより直交変換される。直交変換の他の例として、ウェーブレット変換や独立成分解析などの手法を用いてもよい。変換により得られた変換係数は、更に後述する符号化制御部１１３にセットされている量子化パラメータに基づいて量子化されることにより、量子化された変換係数を示す変換係数データ１２５が生成される。変換係数データ１２５は、エントロピー符号化部１１０及び逆変換／逆量子化部１０５に入力される。

逆変換／逆量子化部１０５では、変換係数データ１２５が符号化制御部１１３にセットされている量子化パラメータに従って逆量子化され、変換係数が生成される。逆変換逆量子化部１０５では、さらに逆量子化により得られた変換係数に対して変換／量子化部１０４の変換と逆の変換、例えばＩＤＣＴ（逆離散コサイン変換など）が行われる。ここれにより、減算器１０３から出力される予測誤差信号１２４と同様の、復元された予測誤差信号１２６が生成される。

逆変換／逆量子化部１０５によって生成された復元された予測誤差信号１２６は、加算器１０６において予測信号１２３と加算され、これにより局部復号信号１２７が生成される。局部復号信号１２７は、参照画像バッファ１０７へ入力される。参照画像バッファ１０７では、局部復号信号１２７が参照画像信号として参照画像バッファ１０７に一時保存される。参照画像バッファ１０７に保存された参照画像信号は、予測信号生成部１０８によって予測信号１２３を生成する際に参照される。

予測信号生成部１０８は、基準画素予測部１０８Ａと補間画素予測部１０８Ｂを含み、参照画像バッファ１０７に一時保存された符号化済みの参照画像信号の画素（参照画素）を利用して、再ブロック化部１０２によって再ブロック化される基準画素ブロック及び補間画素ブロックに対する予測信号１２８Ａ及び１２８Ｂを生成する。

スイッチ１０９は符号化制御部１１３により制御される切り替えタイミングで切り替えられ、基準画素予測部１０８Ａ及び補間画素予測部１０８Ｂによって生成された予測信号１２８Ａ及び１２８Ｂのいずれかを選択する。すなわち、スイッチ１０９ではまず符号化対象マクロブロック内の全ての基準画素ブロックに対応する予測信号１２８Ａが予測信号１２３として選択される。スイッチ１０９では、次に符号化対象マクロブロック内の全ての補間画素ブロックに対応する予測信号１２８Ｂが予測信号１２３として選択される。こうしてスイッチ１０９で選択された予測信号１２３は、減算器１０３に入力される。

一方、エントロピー符号化部１１０では、変換／量子化部１０４から入力される変換係数データ１２５、予測モード情報１３１、ブロックサイズ切り替え情報１３２、符号化ブロック情報１３３及び量子化パラメータなどの情報に対してエントロピー符号化が施され、符号化データ１３５が生成される。エントロピー符号化の手法としては、例えばハフマン符号化や算術符号化などが用いられる。エントロピー符号化部１１０から出力される符号化データ１３５は多重化部１１１により多重化される。多重化された符号化データは、出力バッファ１１２を通して符号化ビットストリーム１３６として出力される。

符号化制御部１１３は、符号化ユニット１００に対する発生符号量（符号化データ１３５の符号量）のフィードバック制御、量子化特性制御及びモード制御などの、符号化処理全体の制御を行う。

次に、図２及び図３〜図５を用いて図１の画像符号化装置の動作を詳細に説明する。図２は、図１の画像符号化装置の処理手順をフローチャートで示している。
符号化ユニット１００に入力される画像信号１２０は、フレーム分割部１０１によって画素ブロック単位、例えばマクロブロックブロック単位に分割され、符号化対象マクロブロック信号１２１が生成される。符号化対象マクロブロック信号１２１は符号化ユニット１００に入力され（ステップＳ２０１）、以下のように符号化が開始される。

符号化ユニット１００に入力された符号化対象マクロブロック信号１２１は、再ブロック化部１０２によって画素振り分けを用いて再ブロック化され、再ブロック化信号１２２である基準画素ブロック及び補間画素ブロックが生成される（ステップＳ２０２）。以下、図３、図４及び図５を用いて再ブロック化部１０２について説明する。

再ブロック化部１０２では、例えば図３、図４あるいは図５のいずれかに示したような画素振り分けパターンに従って画素振り分けが行われる。図３は、符号化対象マクロブロックの画素を水平方向において１画素おきに振り分けるパターンを示す。図４は、符号化対象マクロブロックの画素を垂直方向において１画素おきに振り分けるパターンを示す。図５は、符号化対象マクロブロックの画素を水平及び垂直方向においてそれぞれ１画素おきに振り分けるパターンを示す。

ただし、再ブロック化部１０２での画素振り分けパターンは、再ブロック化処理が可能なパターンであれば上記の３パターンに限られるものではなく、例えば水平及び垂直方向のいずれかにおいて符号化対象マクロブロックの画素を２以上の任意の数の画素おきに振り分けるパターンであってもよい。

図３、図４及び図５において、再ブロック化部１０２において画素振り分けによって振り分けられる一方の画素（斜線で示される）を基準画素と呼び、他方の画素（白抜きで示される）を補間画素と呼ぶことにする。再ブロック化部１０２においては、まず符号化対象マクロブロックの画素は基準画素及び補間画素に分類される。これらの基準画素及び補間画素に対して再ブロック化の処理が行われ、基準画素ブロック及び補間画素ブロックが生成される（ステップＳ２０２）。

再ブロック化に際しては、符号化対象マクロブロックの周辺に存在する符号化済み画素に対して距離が遠い位置に、基準画素が位置されるようにすることが望ましい。例えば、符号化済み画素のうち符号化対象マクロブロックの周辺画素が当該マクロブロックの左及び上に存在する場合、基準画素及び補間画素は図３、図４及び図５のように設定される。

図３の画素振り分けパターンでは、基準画素ブロックは再ブロック化信号の水平方向における右半分の位置に設定される。なお、基準画素ブロック→補間画素ブロックの順に符号化されるので、右半分の位置に基準画素ブロックを設定することに特に限定はされない。このとき符号化対象マクロブロック内の画素位置の座標をＰ（Ｘ，Ｙ）とおくと、基準画素ブロックＢ内の画素Ｂ（ｘ，ｙ）及び補間画素ブロックＳ内の画素Ｓ（ｘ，ｙ）は、次式で表される。

図４の画素振り分けパターンでは、基準画素ブロックは再ブロック化信号の垂直方向における下半分の位置に設定される。上述したように、基準画素ブロック→補間画素ブロックの順に符号化されるので、下半分の位置に基準画素ブロックを設定することに特に限定はされない。このとき基準画素ブロックＢ内の画素Ｂ（ｘ，ｙ）及び補間画素ブロックＳ内の画素Ｓ（ｘ，ｙ）は、次式で表される。

図５の画素振り分けパターンでは、基準画素ブロックは再ブロック化信号の水平方向における右側かつ垂直方向における下側の位置に設定される。上述したように、基準画素ブロック→補間画素ブロックの順に符号化されるので、右側かつ下側の位置に基準画素ブロックを設定することに特に限定はされない。このとき図５においては３つの補間画素ブロックが生成されるため、それぞれの補間画素ブロックをＳ_０，Ｓ_１，Ｓ_２とすると、基準画素ブロックＢ内の画素Ｂ（ｘ，ｙ）及び補間画素ブロックＳ_０，Ｓ_１，Ｓ_２内の画素Ｓ_０（ｘ，ｙ），Ｓ_１（ｘ，ｙ），Ｓ_２（ｘ，ｙ）は、以下のように表される。

これにより図３の画素振り分けパターンでは、８×１６画素の基準画素ブロック及び補間画素ブロックが形成される。図４の画素振り分けパターンでは、１６×８画素の基準画素ブロック及び補間画素ブロックが形成される。図５の画素振り分けパターンでは、８×８画素の基準画素ブロック及び補間画素ブロックが生成される。ここで、基準画素ブロック及び補間画素ブロックの符号化については、後述する第２の実施形態で述べるように、H. 264のフレーム内符号化と同様、基準画素ブロック及び補間画素ブロック内を更に小さい画素ブロックであるサブブロックに分割し、サブブロック毎に符号化を行ってもよい。

次に、再ブロック化部１０２により生成された基準画素ブロックに対して、予測信号生成部１０８の基準画素予測部１０８Ａによって基準画素ブロックの予測信号１２８Ａが生成され、予測信号１２８Ａはスイッチ１０９によって予測信号生成部１０８の出力の予測信号１２３として選択される（ステップＳ２０３）。基準画素ブロックの予測信号１２８Ａは、参照画像バッファ１０７に一時保存されている符号化済み参照画素であるブロック周辺画素から、外挿予測によって予測される。

ここでは、H. 264のフレーム内予測と同様に、符号化対象マクロブロック（またはサブブロック）毎に予測信号の生成方法の異なる複数の予測モードから一つのモードを選択する。すなわち、符号化対象マクロブロック（またはサブブロック）で選択可能な全ての予測モードで符号化処理を行った後、それぞれの予測モードにおける符号化コストを算出し、符号化コストが最小となるように符号化対象マクロブロック（またはサブブロック）ブロックにおける最適な予測モードを選択する。符号化コストの算出方法は後述する。

選択された予測モードは、符号化制御部１１３にセットされる。復号化装置側でも符号化装置側と同様の予測モードを用意する必要があるため、符号化制御部１１３で選択された予測モードを示すモード情報１３１が出力され、エントロピー符号化部１１０で符号化される。符号化対象マクロブロック内をサブブロックに分割し、サブブロック毎に所定の符号化順序に従って符号化を行う場合には、予測信号生成部１０８の内部で後述する変換／量子化及び逆量子化／逆変換を行ってもよい。

次に、再ブロック化部１０２より出力される再ブロック化信号１２２（基準画素ブロックの画像信号）と予測信号生成部１０８から出力される予測信号（基準画素予測部１０８Ａにより生成された基準画素ブロックの予測信号１２８Ａ）との差が減算器１０３で予測誤差信号１２４として求められ、予測誤差信号１２４が変換／量子化部１０４によって変換及び量子化される（ステップＳ２０４）。変換／量子化部１０４においては予測誤差信号１２４の変換により変換係数が得られ、変換係数はさらに符号化制御部１１３にセットされている量子化パラメータに基づいて量子化され、量子化された変換係数を示す変換係数データ１２５が出力される。

このときユーザは、マクロブロック（サブブロック）毎に変換係数データ１２５を符号化して伝送するか否かをフラグによって選択できる。選択された結果、すなわちフラグは符号化制御部１１３にセットされ、符号化制御部１１３から符号化ブロック情報１３３として出力され、エントロピー符号化部１１０によって符号化される。

当該フラグは、例えば符号化対象ブロックの変換係数が全てゼロとなる場合にＦＡＬＳＥとなり、ゼロではない変換係数が一つ以上存在する場合にＴＲＵＥとなる。当該フラグがＴＲＵＥである場合に、変換係数を全てゼロに置き換えて強制的にフラグをＦＡＬＳＥとし、ＴＲＵＥとＦＡＬＳＥの両方の場合について符号化処理を行った後、それぞれ符号化コストを算出し、符号化コストが最小となるように当該ブロックにおける最適なフラグを決定してもよい。符号化コストの算出方法については後述する。

ステップＳ２０４で得られる基準画素ブロックの変換係数データ１２５は、エントロピー符号化部１１０及び逆変換／逆量子化部１０５に入力される。逆変換／逆量子化部１０５では、量子化変換係数が符号化制御部１１３にセットされている量子化パラメータに従って逆量子化される。次に、逆量子化により得られた変換係数に対して逆変換が行われることにより、復元された予測誤差信号１２６が生成される。

復元された予測誤差信号１２６は、ステップＳ２０３において選択された予測モードに従って基準画素予測部１０８Ａにより生成された予測信号１２８Ａと加算され、局部復号信号１２７が生成される（ステップＳ２０５）。局部復号信号１２７は、参照画像バッファ１０７に書き込まれる。

次に、再ブロック化部１０２において生成された再ブロック化信号１２２として生成された補間画素ブロックに対して、予測信号生成部１０８内の補間画素予測部１０８Ｂによって予測信号１２８Ｂが生成され、スイッチ１０９により予測信号１２３として選択される（ステップＳ２０６）。具体的には、例えば参照画像バッファ１０７に一時保存された符号化済みの参照画素（基準画素ブロックを含む）から、線形補間フィルタを用いて補間画素ブロックが予測される。線形補間フィルタによる補間画素ブロックの予測については、第２の実施形態において詳しく説明する。

次に、再ブロック化部１０２から再ブロック化信号１２２として出力される補間画素ブロックの画像信号と予測信号生成部１０８から出力される予測信号１２３（補間画素予測部１０８Ｂにより生成された補間画素ブロックの予測信号１２８Ｂ）との差が減算器１０３で予測誤差信号１２４として求められ、予測誤差信号１２４が変換／量子化部１０４によって変換及び量子化される（ステップＳ２０７）。

変換／量子化部１０４においては、予測誤差信号１２４の変換により変換係数が生成される。変換係数は、さらに符号化制御部１１３にセットされている量子化パラメータに基づいて量子化され、量子化された変換係数を示す変換係数データ１２５が出力される。変換後の変換係数データは、符号化制御部１１３にセットされている量子化パラメータに基づいて量子化される。マクロブロック（サブブロック）毎に変換係数データ１２５を符号化して伝送するか否かを選択するフラグの符号化ブロック情報１３３については、ステップＳ２０４で述べた方法に従って生成される。

ステップＳ２０４及びＳ２０７で得られた基準画素ブロック及び補間画素ブロックの変換係数データ１２５はエントロピー符号化部１１０に入力され、予測モード情報１３１、ブロックサイズ切り替え情報１３２及び符号化ブロック情報１３３と共にエントロピー符号化される（ステップＳ２０８）。最後に、エントロピー符号化により得られた符号化データ１３５は、多重化部１１１によって多重化され、出力バッファ１１２を介して符号化ビットストリーム１３６として出力される（ステップＳ２０９）。

このように本実施形態によると、画素振り分けにより再ブロック化された基準画素ブロック及び補間画素ブロックのうち、基準画素ブロックに対してはH. 264と同様の外挿予測によって予測信号１２８Ａが生成され、基準画素ブロックの信号に対して予測信号１２８Ａが有する予測誤差信号が符号化される。

一方、補間画素ブロックに対しては補間画素ブロックに対応する局部復号信号と符号化済み画素に対応する局部復号信号を用いた内挿予測によって予測信号１２８Ｂが生成され、補間画素ブロックの信号に対して予測信号１２８Ａが持つ予測誤差信号が符号化されるので、予測誤差を減少させることができる。

以上述べたように、本実施形態によれば、画素ブロック単位で予測及び変換符号化を行うイントラ符号化時に画素ブロック内部で画素単位の内挿予測を行う。従って単なる外挿予測のみを用いた場合に比べて予測誤差を小さくすることができ、符号化効率が向上する。また、画素ブロック毎に適応的に画素振り分けパターンを選択することによって、さらに符号化効率を向上させることもできる。

（第２の実施形態）
図６は、本発明の第２の実施形態に従う画像符号化装置を示しており、図１に示した第１の実施形態に従う画像符号化装置に対して、再ブロック化部１０２における画素振り分けの振り分けパターンを選択するための振り分けパターン選択部１３０が追加されている。一方、符号化制御部１１３は、さらに振り分けパターン選択部１３０を制御する機能が追加され、これに伴い振り分けパターン情報１３４を出力するように構成されている。

次に、図７及び図８〜図１２を用いて図６の画像符号化装置の動作を詳細に説明する。図７は、図６の画像符号化装置の処理手順をフローチャートで示しており、図２に対してステップＳ２１１が追加され、さらに図２中のステップＳ２０８に対応するステップＳ２１２の処理内容が変更されている。

ステップＳ２０１においてフレーム分割部１０１によって得られた符号化対象マクロブロック信号１２１が符号化ユニット１００に入力される毎に、振り分けパターン選択部１３０によって振り分けパターンが選択される。再ブロック化部１０２においては、選択された振り分けパターンに従って符号化対象マクロブロックの画素が基準画素と補間画素とに分類され（ステップＳ２１１）、引き続き再ブロック化処理によって基準画素ブロックと補間画素ブロックが生成される（ステップＳ２０２）。以後、ステップＳ２０２〜Ｓ２０７の処理は基本的に第１の実施形態と同様である。

ステップＳ２０７の次のステップＳ２１２では、基準画素ブロック及び補間画素ブロックの変換係数データ１２５、予測モード情報１３１、ブロックサイズ切り替え情報１３２及び符号化ブロック情報１３３と共に、ステップＳ２１１で選択された振り分けパターンを示す情報（インデックス）１３４がエントロピー符号化される。最後に、エントロピー符号化により得られた符号化データ１３５は、多重化部１１１によって多重化され、出力バッファ１１２を介して符号化ビットストリーム１３６として出力される（ステップＳ２１０）。

以下、図８、図９及び図１０を用いて本実施形態における振り分けパターンの選択及び再ブロック化部１０２の処理について説明する。本実施形態では、振り分けパターンとして図８にモード０〜３で示される４種類のパターンが用意されている。モード１〜３の振り分けパターンは、図３、図４及び図５に示したパターンと同じである。

符号化対象マクロブロック内の画素位置の座標をＰ（Ｘ，Ｙ）とおくと、基準画素ブロックＢ内の画素Ｂ（ｘ，ｙ）及び補間画素ブロックＳあるいはＳ_０，Ｓ_１，Ｓ_２内の画素Ｓ（ｘ，ｙ）あるいはＳ_０（ｘ，ｙ），Ｓ_１（ｘ，ｙ），Ｓ_２（ｘ，ｙ）は、以下のように表される。

モード０は画素振り分けを行わないパターンを示しており、このモード０では１６×１６画素の基準画素ブロックのみが生成される。モード１、モード２及びモード３は、第１の実施形態において図３、図４及び図５を用いて説明した振り分けパターンを示している。すなわち、モード１では８×１６画素の基準画素ブロック及び補間画素ブロックが生成され、モード２では１６×８画素の基準画素ブロック及び補間画素ブロックが生成され、モード３では８×８画素ブロックの基準画素ブロック及び補間画素ブロックが生成される。

ここで、基準画素ブロック及び補間画素ブロックの符号化はH. 264のフレーム内符号化と同様に、基準画素ブロック及び補間画素ブロック内を更に小さい画素ブロックであるサブブロックに分割し、サブブロック毎に符号化を行う場合について述べる。

図９及び図１０は、図８のモード０〜３の振り分けパターンにおいて、基準画素ブロック及び補間画素ブロックを８×８画素のサブブロック、及び４×４画素のサブブロックに分割した例を示している。図９及び図１０において、１個の１６×１６画素マクロブロックは４個の８×８画素サブブロックまたは１６個の４×４画素サブブロックに分割される。さらに、各サブブロックは図９及び図１０において丸で囲んだ数字で示される順序（符号化順序）で予測符号化される。

図９に示される符号化順序では、まず全ての基準画素サブブロックが符号化済み画素の局部信号を用いた外挿予測により予測符号化される。この後、符号化済み基準画素の局部復号信号を用いた内挿予測により補間画素ブロックが予測符号化される。図１０に示される符号化順序では、基準画素サブブロックの予測において符号化済みの補間画素サブブロックも含めて参照することが可能となる。

サブブロックサイズの選択は、以下のようにして行われる。すなわち、マクロブロック毎に８×８画素または４×４画素のサブブロックサイズで符号化ループ処理を行った後、それぞれのサブブロックサイズにおける符号化コストをそれぞれ算出し、符号化コストが最小となるようにマクロブロック毎に最適なサブブロックサイズを決定する。符号化コストの算出方法は後述する。こうして選択されるサブブロックサイズは、符号化制御部１１３にセットされる。符号化制御部１１３からサブブロックサイズを示すブロックサイズ切替情報１３２が出力され、エントロピー符号化部１１０によって符号化される。

次に、ステップＳ２０６における、参照画像バッファ１０７に一時保存された符号化済みの参照画素（基準画素ブロックを含む）から、線形補間フィルタを用いて補間画素ブロックを予測する処理について図１２（ａ）（ｂ）（ｃ）を用いて具体的に説明する。

例えば、図８中のモード１の振り分けパターンモード１が選択された場合、図１２（ａ）中の補間画素ｄの予測値は、次式によって表される。

“>>”はビットシフトを表している。ビットシフトにより整数精度の演算を行うことで、計算誤差のない補間フィルタとなる。

次に、図１２（ａ）中の補間画素ｃの予測値は、符号化対象マクロブロック周辺の符号化済み画素Ｒを用いて次式で表される。

モード２の場合においても、モード１の場合と同様の式によって図１２（ｂ）中の補間画素ｄ及びｃを表すことができる。参照画素が存在しない場合については、最も近い符号化済み参照画素をコピーして用いる。

一方、複数の補間画素ブロックが存在する図１２（ｃ）のモード３において、例えば図１０に示すような符号化順序で符号化を行った場合、基準画素に対して水平方向及び垂直方向に位置する補間画素については、それぞれモード１及び２と同様の処理で予測を行うことができる。基準画素から斜め方向に存在する図１２（ｃ）中の補間画素ｓについては、

または、

の式によって予測を行うことができる。

ここでは、６タップの線形補間フィルタを用いたが、符号化済の基準画素を用いて内挿予測する予測方法であれば、上記方法に限定されるものではない。別の方法として、例えば隣接する２画素のみを用いた平均値フィルタを用いてもよい。さらに、図１２（ｃ）中の補間画素ｓを予測する場合に、隣接する全ての画素を用いて次式のように予測値を生成してもよい。

さらに別の例としては、上記で述べた６タップの線形補間フィルタや、隣接する画素の平均値フィルタ、または、H. 264のフレーム内予測のように、方向性を持つ予測モードなど予測信号の生成方法の異なる複数の予測モードを用意し、その中から一つのモードを選択してもよい。

このように第２の実施形態によれば、第１の実施形態と同様の効果に加え、画像の領域毎の性質（方向性、複雑さ、テクスチャ）に応じて画素振り分けパターンを適応的に切り替えることにより、符号化効率をより向上させることが可能となる。

次に、第１及び第２の実施形態における量子化／逆量子化の好ましい態様について詳しく述べる。前述したように、補間画素の予測には符号化済みの基準画素からの内挿予測が用いられるため、基準画素の量子化幅が粗い（量子化誤差が大きい）場合、補間画素の予測が当たらず予測誤差が増大する恐れがある。

そこで、第１及び第２の実施形態では基準画素の量子化幅を細かくし、補間画素の量子化幅を粗くするように制御する。また、画素振り分け間隔が大きくなるほど基準画素の量子化幅を細かくするように制御する。具体的には、例えば符号化制御部１１３にセットされた基準となる量子化パラメータ（ＱＰ）に対して、差分値となるオフセット値（ΔＱＰ）を基準画素ブロック及び補間画素ブロックにそれぞれ図１１のように設定する。

また、図５の振り分けパターンあるいは図８の振り分けパターンモード３のように複数の補間画素ブロックが存在し、例えば図９で示したように補間画素ブロックがＳ_１→Ｓ_２→Ｓ_０の順で符号化され、Ｓ_０がＳ_１及びＳ_２の局所復号を用いて予測される場合、参照される補間画素ブロック（Ｓ_１，Ｓ_２）のΔＱＰを予測対象の補間画素ブロック（Ｓ_０）のΔＱＰよりも小さくなるように設定してもよい（図１１のモード３）。ここで、画素振り分けパターンに応じて決められた図１１中に示すオフセット値は、固定値として符号化制御部１１３若しくは後述する復号化制御部に予め設定されているものとし、符号化装置及び復号化装置における量子化、逆量子化処理で同じ値を用いるものとする。

また、上記条件を満たすように制御されるのであれば、ΔＱＰの値は図１１で示した値に限られるものではない。例えば、ここではＱＰに対する差分値であるΔＱＰを制御しているが、直接量子化幅を制御してもよい。これにより基準画素の符号量は増加するが、基準画素の画質を向上させることで隣接する補間画素との相関が高くなり、補間画素の予測誤差を減少させることができる。

さらに、ΔＱＰをエントロピー符号化して伝送し、復号化装置側で受信及び復号して用いてもよい。このときΔＱＰを基準画素ブロック及び補間画素ブロック毎にそれぞれ送信してもよいし、基準画素ブロックでマイナスの値をとり、補間画素ブロックでプラスの値をとることとして、マクロブロック単位でΔＱＰの絶対値を符号化して伝送してもよい。このときのΔＱＰについては、予測誤差の大きさや原画のアクティビティなどに従って設定してもよいし、候補となるΔＱＰの値をいくつか用意してそれぞれにおける符号化コストを算出し、符号化コストが最小となるように当該ブロックにおける最適なΔＱＰを決定してもよい。符号化コストの算出方法は後述する。また、送信する単位はマクロブロック単位の他に、シーケンス単位、ピクチャ単位、スライス単位で送信してもよい。

ここで、以上で述べた符号化コストの算出方法について述べる。画素振り分けパターン情報、予測モード情報、ブロックサイズ情報及び符号化ブロック情報を選択する場合においては、各々の切り替え単位であるマクロブロックまたはサブブロック単位で符号化コストによりモード判定を行う。より具体的に説明すると、例えば次式のようなコストを用いたモード判定を行う。

ここでＯＨはモード情報、ＳＡＤは予測誤差信号の絶対値和をそれぞれ表す。λは定数であり、量子化幅や量子化パラメータの値に基づいて決められる。

このようにして得られたコストを基に、モードが決定される。具体的には、コストＫが最も小さい値を与えるモードが最適モードとして選択される。

ここでは、モード情報と予測誤差信号の絶対和を用いたが、モード情報のみ、予測誤差信号の絶対和のみを用いてモードを判定してもよいし、これらをアダマール変換したり、近似したりした値を利用してもよい。また、入力画像信号のアクティビティを用いてコストを作成してもよいし、量子化幅や量子化パラメータを利用してコスト関数を作成してもよい。

コストを算出するための別の例として、仮符号化部を用意し、当該選択モードで生成された予測誤差信号を実際に符号化した場合の符号量と符号化データを局部復号し、局部復号信号と入力画像信号との二乗誤差を用いてモードを判定してもよい。この場合のモード判定式は以下のようになる。

ここで、Ｄは、入力画像信号と局部復号画像信号の二乗誤差を表す符号化歪みである。一方、Ｒは仮符号化によって見積もられた符号量を表している。

［数１４］のコストを用いた場合は、符号化モード毎に仮符号化と局部復号（逆量子化処理や逆変換処理）が必要となるため、回路規模は増大するが、正確な符号量と符号化歪みを用いることが可能となり、符号化効率を高く維持することが可能である。［数１４］のコストについても、符号量のみあるいは符号化歪みのみを用いてコストを算出してもよいし、これらを近似した値を用いてコスト関数を作成してもよい。

次に、図１３を参照して第１及び第２の実施形態で用いられるシンタクス構造の概略を説明する。シンタクスは主に、ハイレベルシンタクス１１０１、スライスレベルシンタクス１１０４及びマクロブロックレベルシンタクス１１０７の３つの基本パートからなる。ハイレベルシンタクス１１０１は、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス１１０４では、スライス毎に必要な情報が明記されている。マクロブロックレベルシンタクス１１０７では、マクロブロック毎に必要とされる変換係数データやモード情報などが明記されている。

上記３つの基本パートのそれぞれは、さらに詳細なシンタクスで構成されている。ハイレベルシンタクス１１０１は、シーケンスパラメータセットシンタクス１１０２とピクチャパラメータセットシンタクス１１０３などのシーケンス、及びピクチャレベルのシンタクスを含む。スライスレベルシンタクス１１０４は、スライスヘッダシンタクス１１０５及びスライスデータシンタクス１１０６を含む。マクロブロックレベルシンタクス１１０７は、マクロブロックレイヤシンタクス１１０８及びマクロブロックプレディクションシンタクス１１０９を含む。

第１及び第２の実施形態に特に関係するシンタクス情報は、マクロブロックレイヤシンタクス１１０８及びマクロブロックプレディクションシンタクス１１０９である。図１４のマクロブロックレイヤシンタクス中のmb_typeは、マクロブロック内のブロックサイズ切り替え情報であり、４×４、８×８、１６×１６画素などの符号化サブブロック単位を決定する。図１４のマクロブロックレイヤシンタクス中のintra_sampling_modeは、当該マクロブロック内の画素振り分けパターンモードを示すインデクスであり、例えば０〜３の値をとる。

次に、図１５のマクロブロックプレディクションシンタクスでは、マクロブロック（１６×１６画素ブロック）またはサブブロック（４×４画素ブロック、８×８画素ブロック）毎の予測モード及び符号化ブロックに関する情報が明記されている。それぞれのmb_typeにおける処理ブロック単位の予測モードを示すインデクスは、intra4×4(8×8,16×16)_pred_modeで示される。coded_block_flagは、当該処理ブロックの変換係数を伝送するか否かを示すフラグであり、当該フラグがＦＡＬＳＥの場合は当該ブロックの変換係数データを伝送しないことを示し、当該フラグがＴＲＵＥの場合は当該ブロックの変換係数データを伝送することを示す。

第２の実施形態においては、１６×１６画素サイズをマクロブロックとして、マクロブロック毎に画素振り分けにおける振り分けパターンを切り替えていたが、８×８画素、３２×３２画素、６４×６４画素、６４×３２画素などの画素サイズ毎に若しくはフレーム毎に振り分けパターンを切り替えてもよい。

また、第２の実施形態においては、画素振り分けパターンモード情報を送信する単位をマクロブロック毎としたが、シーケンス毎、ピクチャ毎、スライス毎に送信してもよい。

また、第１及び第２の実施形態においては、フレーム内予測のみで説明したが、画面間の相関を用いて予測するフレーム間予測に対しても本発明を適用しても良く、その場合は基準画素の予測がフレーム内の外挿予測ではなく、フレーム間の予測となる。

図１または図６に示した画像符号化装置は、例えば汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、フレーム分割部１０１、画素振り分けパターン選択部１３０、再ブロック化部１０２、予測信号生成部１０８（基準画素予測部１０８Ａ、補間画素予測部１０８Ｂ）、変換／量子化部１０４、逆変換／逆量子化部１０５、参照画像バッファ１０７、エントロピー符号化部１１０、多重化部１１１、出力バッファ１１２および符号化制御部１１３は、コンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき画像符号化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールするか、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。参照画像バッファ１０７及び出力バッファ１１２については、コンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

（第３の実施形態）
図１６に示される本発明の第３の実施形態に従う画像復号化装置は、図１に示した第１の実施形態に従う画像符号化装置に対応しており、復号化ユニット３００、入力部３０１、逆多重化部３０２、出力バッファ３１１、及び復号化ユニット３００を制御する復号化制御部３１３を有する。

画像復号化装置に入力される符号化ビットストリーム３２０は、入力バッファ３０１に一度蓄えられ、逆多重化部３０２によりにシンタクスに基づいて各符号化データが分離された後、復号化ユニット３００に入力される。

復号化ユニット３００に入力された符号化データは、エントロピー復号化部３０３に入力される。エントロピー復号化部３０３では、図１３に示されるシンタクス構造に従ってハイレベルシンタクス、スライスレベルシンタクス及びマクロブロックレベルシンタクスの夫々に対して、符号化データの各シンタクスの符号列が順次復号され、量子化された変換係数３２６、予測モード情報３２１、ブロックサイズ切替情報３２２、符号化ブロック情報３２３及び量子化パラメータなどが復号される。復号された各種情報は、復号化制御部３１３へセットされる。

量子化された変換係数３２６は、符号化ブロック情報３２３及び量子化パラメータなどに従って逆変換／逆量子化部３０４で逆量子化され、例えばＩＤＣＴ（逆離散コサイン変換）などにより逆直交変換される。ここでは、逆直交変換について説明したが、画像符号化装置でウェーブレット変換などが行われている場合、逆変換／逆量子化部３０４では対応する逆量子化及び逆ウェーブレット変換などが実行されてもよい。

逆変換／逆量子化部３０４から出力される変換係数データは、予測誤差信号３２７として加算器３０５へ渡される。加算器３０５では、予測誤差信号３２７と予測信号生成部３０８からスイッチ３０９を介して出力される予測信号３２９の加算が行われることにより、復号画像信号３３０が生成され、参照画像バッファ３０６へ入力される。

予測信号生成部３０８は、基準画素予測部３０８Ａと補間画素予測部３０８Ｂを含み、復号化制御部３１３にセットされた予測モード情報、ブロックサイズ切替情報などに従って、参照画像バッファ３０６に一時保存された復号化済みの参照画素を利用して基準画素ブロック及び補間画素ブロックに対する予測信号３２８Ａ及び３２８Ｂを生成する。

スイッチ３０９は復号化制御部３１３により制御される切り替えタイミングで切り替えられ、基準画素予測部３０８Ａ及び補間画素予測部３０８Ｂによって生成された予測信号３２８Ａ及び３２８Ｂのいずれかを選択する。すなわち、スイッチ３０９ではまず復号化対象マクロブロック内の全ての基準画素ブロックに対応する予測信号３２８Ａが予測信号３２９として選択され、次に復号化対象マクロブロック内の全ての補間画素ブロックに対応する予測信号３２８Ｂが予測信号３２３として選択される。こうしてスイッチ３０９で選択された予測信号３２３は、加算器３０５に入力される。

復号画素合成部３０９では、復号画像信号３３０として得られる基準画素ブロック及び補間画素ブロックの画素が合成されることにより、復号化対象マクロブロックの復号画像信号が生成される。生成された復号画像信号３３２は出力バッファ３１１へ渡され、復号化制御部３１３が管理するタイミングで出力される。

復号化制御部３１３は、入力バッファ３０１及び出力バッファ３１１の制御や復号化タイミングの制御など、復号化全体の制御を行う。

次に、図１７を用いて図１６の画像復号化装置の動作を詳しく説明する。図１７は、図１６の画像復号化装置の処理手順をフローチャートで示している。

まず、符号化ビットストリーム３２０が入力され（ステップＳ４００）、逆多重化部３０２により第１及び第２の実施形態で説明したシンタクス構造に基づいて逆多重化され（ステップＳ４０１）、これにより分離された各符号化データが復号化ユニット３００に入力されることにより、復号化が開始される。復号化ユニット３００に入力された分離後の符号化データは、エントロピー復号化部３０３に入力され、第１及び第２の実施形態で説明したシンタクス構造に従って変換係数データ、予測モード情報、ブロックサイズ切替情報及び符号化ブロック情報などが復号される（ステップＳ４０２）。

復号された予測モード情報、ブロックサイズ切替情報、符号化ブロック情報などの各種情報は、復号化制御部３１３へセットされ、復号化制御部３１３はセットされた情報に基づいて以下の処理を制御する。

エントロピー復号化部３０３で復号された変換係数データは、逆変換／逆量子化部３０４へ入力される。逆変換／逆量子化部３０４では、復号化制御部３１３にセットされている量子化パラメータに従って変換係数データが逆量子化され、得られた変換係数に対して逆直交変換が行われることにより、基準画素ブロック及び補間画素ブロックの予測誤差信号が復号される（ステップＳ４０３）。ここでは、逆直交変換を用いたが、画像符号化装置側でウェーブレット変換などが行われている場合、対応する逆量子化及び逆ウェーブレット変換などが実行されてもよい。

逆変換／逆量子化部３０４の処理は、復号化制御部３１３にセットされているブロックサイズ切替情報、符号化ブロック情報及び量子化パラメータなどに従って制御される。符号化ブロック情報は変換係数データを復号するか否かを示すフラグであり、ブロックサイズ切替情報によって決められる処理ブロックサイズ毎に、当該フラグがＴＲＵＥの場合のみ変換係数データが復号される。

ここで、本実施形態における逆量子化では、基準画素の量子化幅を細かくし、補間画素の量子化幅を粗くするように制御する。また、画素振り分け間隔が大きくなればなるほど基準画素の量子化幅を細かくするように制御する。具体的には、復号化制御部３１３にセットされた基準となる量子化パラメータ（ＱＰ）に対して、基準画素ブロック及び補間画素ブロックにそれぞれ図１１のように設定されたオフセット値（ΔＱＰ）を加えたものを用いる。ここで、図１１のオフセット値は画素振り分けパターンに応じて予め決められた固定値とし、符号化装置側と同じ値を用いる。また、上記条件を満たすように制御されるのであれば、ΔＱＰの値は図１１で示した値に限られるものではない。例えば、ここではＱＰに対する差分値であるΔＱＰを制御しているが、直接量子化幅を制御してもよい。

また、別の例として画像符号化装置側でエントロピー符号化されたΔＱＰを受信し、復号して用いてもよい。このときΔＱＰを基準画素ブロック及び補間画素ブロック毎にそれぞれ受信してもよいし、マクロブロック単位でΔＱＰの絶対値を受信し、基準画素ブロックでマイナスの値とし、補間画素ブロックでプラスの値として用いてもよい。また、受信する単位はマクロブロック単位の他に、シーケンス単位、ピクチャ単位、スライス単位で受信してもよい。

逆変換／逆量子化部３０４によって得られた予測誤差信号は、予測信号生成部３０５によって生成された予測信号と加算され、復号画像信号として参照画像バッファ３０６及び復号画素合成部３１０へ入力される。

次に、基準画素ブロック及び補間画素ブロック、またはそれら内部のサブブロック毎における予測処理の流れについて説明する。以下では、基準画素ブロックを先に復号化し、その後に補間画素ブロックを復号化するという順序で処理を行う。

まず、基準画素ブロックに対して予測信号生成部３０８内の基準画素予測部３０８Ａによって、基準画素ブロックの予測信号が生成される（ステップＳ４０４）。基準画素ブロックは、参照画像バッファ３０６に一時保存された復号化済みのブロック周辺画素から、外挿予測によって予測される。このときの外挿予測は、H. 264のフレーム内予測のように、生成方法の異なる複数の予測モードから復号化制御部３１３にセットされている予測モード情報に従って一つのモードを選択し、当該予測モードに従って予測信号を生成することで行われる。このとき画像復号化装置側で用意されている予測モードは、画像符号化装置で用意したものと同じ予測モードを用いる。また、符号化制御部３１３にセットされているブロックサイズ切替情報に従って、図９または図１０に示したような４×４画素若しくは８×８画素単位で予測を行う場合には、予測信号生成部３０８の内部で逆量子化及び逆変換を行ってもよい。

次に、基準画素予測部３０８Ａで生成された予測信号と、逆変換／逆量子化部３０４で生成された予測誤差信号が加算器３０５において加算されることにより、基準画素ブロックの復号画像が生成される（ステップＳ４０５）。生成された基準画素ブロックの復号画像信号は、参照画像バッファ３０６及び復号画素合成部３１０へ入力される。

次に、補間画素ブロックに対して予測信号生成部３０８内の補間画素予測部３０８Ｂによって、補間画素ブロックの予測信号が生成される（ステップＳ４０６）。ここでは、参照画像バッファ３０８に一時保存された復号化済みの参照画素（基準画素ブロックを含む）から６タップの線形補間フィルタを用いて補間画素ブロックが予測される。

次に、補間画素予測部３０８Ｂで生成された予測信号と、逆変換／逆量子化部３０４で生成された予測誤差信号が加算器３０５において加算され、補間画素ブロックの復号画像が生成される（ステップＳ４０６）。生成された基準画素ブロックの復号画像信号は、参照画像バッファ３０６及び復号画素合成部３１０へ入力される。

次に、上記の処理で生成された基準画素ブロック及び補間画素ブロックの復号画像を用いて、復号画素合成部３１０によって復号化対象マクロブロックの復号画像信号が生成される（ステップＳ４０７）。生成された復号画像信号は、出力バッファ３１１へと渡され、復号化制御部３１３が管理するタイミングで再生画像信号３３３として出力される。

このように第３の実施形態に従う画像復号化装置によれば、第１の実施形態で説明した予測効率の高い画像符号化装置からの符号化ストリームについて復号化を行うことができる。

（第４の実施形態）
図１８は、第２の実施形態に従う画像符号化装置に対応する本発明の第４の実施形態に従う画像復号化装置を示しており、エントロピー復号化部３０３において量子化された変換係数、予測モード情報３２１、ブロックサイズ切替情報３２２、符号化ブロック情報３２３、量子化パラメータに加えて、画素振り分けパターンモード情報３２４が復号されて復号化制御部３１３にセットされる。さらに、復号化制御部３１３から復号画素合成部３１０に画素振り分けパターン情報３３１が与えられる点が、図６に示した第３の実施形態に従う画像復号化装置と異なる。

図１９は、図１８の画像復号化装置の処理手順をフローチャートで示しており、図１７中のステップＳ４０２及びＳ４０８がステップＳ４１１及びＳ４１２に置き換えられている。ステップＳ４１１では、復号化ユニット３００に入力された分離後の符号化データは、エントロピー復号化部３０３に入力され、第１及び第２の実施形態で説明したシンタクス構造に従って変換係数データ、予測モード情報、ブロックサイズ切替情報、符号化ブロック情報に加えてさらに画素振り分けパターンモード情報が復号される。

ステップＳ４０６では、第３の実施形態で説明したように補間画素ブロックに対して予測信号生成部３０８内の補間画素予測部３０８Ｂによって、参照画像バッファ３０８に一時保存された復号化済みの参照画素（基準画素ブロックを含む）から６タップの線形補間フィルタを用いて補間画素ブロックが予測される。

ここでステップＳ４０６の処理をさらに詳しく説明すると、例えば図１２に示したように、図８の画素振り分けパターンモード１が選択された場合の図１２（ａ）中の補間画素ｄの予測値は、先の［数８］によって表される。図１２（ａ）中の補間画素ｃの予測値は、復号化対象マクロブロック周辺の復号化済み画素Ｒを用いて［数９］で表される。モード２の場合においてもモード１の場合と同様の式によって、図１２（ｂ）中の補間画素ｄ及びｃを表すことができる。また、参照画素が存在しない場合については、最も近い復号化済み参照画素をコピーして用いる。一方、複数の補間画素ブロックが存在する図８のモード３の場合において、例えば図９に示すような符号化順序で符号化した場合、基準画素に対して水平方向、垂直方向に位置する補間画素については、それぞれモード１及び２と同様の処理で予測することができる。基準画素から斜め方向に存在する図１２（ｃ）中の補間画素ｓについては、［数１０］または、［数１１］によって予測することができる。

ここでは、６タップの線形補間フィルタを用いたが、既に復号化済みの基準画素を用いた予測方法であれば上記方法に限定されるものではない。別の例としては、例えば隣接する２画素のみを用いた平均値フィルタを用いてもよい。図１２（ｃ）中の補間画素ｓを予測する場合に、隣接する全ての画素を用いて［数１２］のように予測値を生成してもよい。更に別の例としては、上記で述べた６タップの線形補間フィルタや、隣接する画素の平均値フィルタ、または、H. 264のフレーム内予測のように、方向性を持つ予測など予測信号の生成方法の異なる複数の予測モードを用意し、その中から復号化制御部３１３にセットされた予測モード情報に基づいて一つのモードを選択してもよい。この場合、画像符号化装置側でも同様の予測モードを用意し、その中の一つのモードを予測モード情報として伝送する必要がある。

一方、ステップＳ４１２においては、復号画素合成部３１０によって復号化制御部３１３から与えられる画素振り分けパターンモード情報３２４に従い、［数４］〜［数７］の何れかによって復号化対象マクロブロックの復号画像が合成される。

第３及び第４の実施形態に従う画像復号化装置は、例えば汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、入力バッファ３０１、逆多重化部３０２、エントロピー復号化部３０３、逆変換／逆量子化部３０４、予測信号生成部３０８（基準画素予測部３０８Ａ、補間画素予測部３０８Ｂ）、参照画像バッファ３０６、復号画素ブロック合成部３１０、出力バッファ３１１および復号化制御部３１３は、コンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像復号化装置は上記のプログラムをコンピュータ装置にあらかじめインストールするか、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。入力バッファ３０１、参照画像バッファ３０６および出力バッファ３１１つにいては、コンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明は、動画像や静止画像の高能率圧縮符号化／復号技術に利用することが可能である。

Claims (41)

1. 入力画像を複数の符号化対象ブロックに分割することと；
   前記符号化対象ブロック内の各画素を所定の間隔で第１画素ブロックと第２画素ブロックとに振り分けることにより前記符号化対象ブロックを再ブロック化することと；
   前記第１画素ブロックに対して、符号化済み画素に対応する第１局部復号画像を用いて予測を行い、第１予測画像を生成することと；
   前記第１画素ブロックと前記第１予測画像との差を表す第１予測誤差を符号化して第１符号化データを生成することと；
   前記第１予測誤差を用いて前記第１画素ブロックに対応する第２局部復号画像を生成することと；
   前記第２画素ブロックに対して、前記第１局部復号画像及び第２局部復号画像を用いて予測を行い、第２予測画像を生成することと；
   前記第２画素ブロックと前記第２予測画像との差を表す第２予測誤差を符号化して第２符号化データを生成すること；及び
   前記第１符号化データ及び前記第２符号化データを多重化して符号化ビットストリームを生成すること；
   を具備する画像符号化方法。
2. 入力画像を複数の符号化対象ブロックに分割する分割部と；
   前記符号化対象ブロックに対して再ブロック化を行い、第１画素ブロックと第２画素ブロックを生成する再ブロック化部と；
   前記第１画素ブロックに対して、符号化済み画素に対応する第１局部復号画像を用いて予測を行い、第１予測画像を生成する第１予測部と；
   前記第１画素ブロックと前記第１予測画像との差を表す第１予測誤差を用いて前記第１画素ブロックに対応する第２局部復号画像を生成する生成部と；
   前記第２画素ブロックに対して、前記第１局部復号画像及び前記第２局部復号画像を用いて予測を行い、第２予測画像を生成する第２予測部と；
   前記第１予測誤差及び、前記第２画素ブロックと前記第２予測画像との差を表す第２予測誤差を符号化して第１符号化データ及び第２符号化データを生成する符号化部；及び
   前記第１符号化データ及び前記第２符号化データを多重化して符号化ビットストリームを生成する多重化部；
   を具備する画像符号化装置。
3. 前記再ブロック部は、前記符号化対象ブロックを予め定められた振り分けパターンに従って前記第１画素ブロックと第２画素ブロックに振り分けることにより前記再符号化を行うように構成される請求項２記載の画像符号化装置。
4. 予め用意された複数の振り分けパターンから一つの振り分けパターンを選択する選択部をさらに具備し、
   前記再ブロック化部は、前記一つの振り分けパターンに従って前記符号化対象ブロックを前記第１画素ブロックと第２画素ブロックに振り分けることにより前記再符号化を行うように構成される請求項２記載の画像符号化装置。
5. 予め用意された複数の振り分けパターンから一つの振り分けパターンを選択する選択部をさらに具備し、
   前記再ブロック化部は、前記一つの振り分けパターンに従って前記符号化対象ブロックを前記第１画素ブロックと第２画素ブロックに振り分けることにより前記再符号化を行うように構成され、
   前記符号化部は、さらに、前記一つの振り分けパターンを示すインデクスを符号化シーケンスまたは符号化フレーム、または符号化フレーム内の局所領域毎に符号化するように構成される請求項２記載の画像符号化装置。
6. 前記第１予測部は、予め用意された複数の第１予測モードから選択された一つの第１予測モードを用いて前記第１画素ブロックに対する予測を行うように構成され、
   前記多重化部は、さらに前記一つの第１予測モードを示すモード情報を前記第１符号化データ及び第２符号化データと多重化するように構成される請求項２記載の画像符号化装置。
7. 前記第２予測部は、予め用意された複数の第２予測モードから選択された一つの第２予測モードを用いて前記第２画素ブロックに対する予測を行うように構成され、
   前記多重化部は、さらに前記一つの第２予測モードを示すモード情報を前記第１符号化データ及び第２符号化データと多重化するように構成される請求項２記載の画像符号化装置。
8. 前記第２予測部は、線形補間フィルタを用いて前記第２画素ブロックに対する予測を行うように構成される請求項２記載の画像符号化装置。
9. 前記符号化部は、前記第１予測誤差及び前記第２予測誤差に対して直交変換を行って第１変換係数及び第２変換係数を生成する変換部と、前記第１変換係数を第１量子化幅で量子化し、前記第２変換係数を前記第１量子化幅より大きい第２量子化幅で量子化する量子化部とを含む請求項２記載の画像符号化装置。
10. 前記符号化部は、前記第１予測誤差及び前記第２予測誤差に対して直交変換を行って第１変換係数及び第２変換係数を生成する変換部と、前記第１変換係数を前記振り分けパターンによる振り分け間隔が大きくなるほど小さくなるように制御された第１量子化幅で量子化し、前記第２変換係数を第２量子化幅で量子化する量子化部とを含む請求項４記載の画像符号化装置。
11. 前記再ブロック化部は、前記符号化対象ブロックの周辺の符号化済み画素から相対的に遠い空間位置にある画素を前記第１画素ブロックに振り分けるように構成される請求項２記載の画像符号化装置。
12. 前記再ブロック化部は、前記第１画素ブロック及び前記第２画素ブロックをさらにそれぞれ少なくとも一つの第１サブブロック及び第２サブブロックに分割するように構成され、
    前記第１予測部及び前記第２予測部は、前記第１画素ブロック及び前記第２画素ブロックに対して前記第１サブブロック毎及び前記第２サブブロック毎に予測を行うように構成される請求項２記載の画像符号化装置。
13. 前記再ブロック化部は、前記第１サブブロック及び前記第２サブブロックのサイズを変更可能に構成され、
    前記符号化部は、さらに前記サイズを示すブロックサイズ情報を符号化するように構成される請求項１２記載の画像符号化装置。
14. 前記符号化部は、前記第１画素ブロック及び前記第２画素ブロック毎に、または前記第１画素ブロック及び前記第２画素ブロックをそれぞれ分割した少なくとも一つの第１サブブロック及び第２サブブロック毎に、前記第１符号化データ及び前記第２符号化データを出力するか否かが選択可能に構成され、
    前記多重化部は、該出力するか否かを示すフラグを前記第１符号化データ及び前記第２符号化データと多重化するように構成される請求項２記載の画像符号化装置。
15. 前記複数の振り分けパターン毎に符号化歪みと符号量とに基づいて符号化コストを計測する計測部をさらに具備し、
    前記選択部は、前記複数の振り分けパターンの中から前記符号化コストが最小の一つのパターンを選択するように構成される請求項４記載の画像符号化装置。
16. 前記再ブロック化部は、前記符号化対象ブロックの奇数行の画素及び偶数行の画素のいずれか一方を前記第１画素ブロックに振り分け、他方を前記第２画素ブロックに振り分けるように構成される請求項２記載の画像符号化装置。
17. 前記再ブロック化部は、前記符号化対象ブロックの奇数列の画素及び偶数列の画素のいずれか一方を前記第１画素ブロックに振り分け、他方を前記第２画素ブロックに振り分けるように構成される請求項２記載の画像符号化装置。
18. 前記再ブロック化部は、前記符号化対象ブロックを（１）奇数行かつ奇数列の画素からなる第１ブロック、（２）前記画素ブロックの奇数行かつ偶数列の画素からなる第２ブロック、（３）前記画素ブロックの偶数行かつ奇数列の画素からなる第３ブロック、および（４）前記画素ブロックの偶数行かつ偶数列の画素からなる第４ブロックに分割し、前記第１乃至第４のブロックのうちの一つのブロックを前記第１画素ブロックに振り分け、前記第１乃至第４のブロックのうちの残りの３つのブロックを前記第２画素ブロックに振り分けることにより前記再符号化を行うように構成される請求項２記載の画像符号化装置。
19. 前記再ブロック化部は、
    （Ａ）前記符号化対象ブロックの奇数行の画素からなる第１ブロックと前記符号化対象ブロックの偶数行の画素からなる第２ブロックのうちのいずれか一方を前記第１画素ブロックに振り分け、前記第１ブロック及び第２ブロックのうちの他方を前記第２画素ブロックに振り分ける第１予測モード、
    （Ｂ）前記符号化対象ブロックの奇数列の画素からなる第３ブロックと前記符号化対象ブロックの偶数列の画素からなる第４ブロックのうちのいずれか一方を前記第１画素ブロックに振り分け、前記第３ブロック及び第４ブロックのうちの他方を前記第２画素ブロックに振り分ける第２予測モード、及び
    （Ｃ）（１）前記符号化対象ブロックの奇数行かつ奇数列の画素からなる第５ブロック、（２）前記符号化対象ブロックの奇数行かつ偶数列の画素からなる第６ブロック、（３）前記符号化対象ブロックの偶数行かつ奇数列の画素からなる第７ブロック、および（４）前記符号化対象ブロックの偶数行かつ偶数列の画素からなる第８ブロックのうちの一つのブロックを前記第１画素ブロックに振り分け、前記第５乃至第８のブロックのうちの残りの３つのブロックを前記第２画素ブロックに振り分ける第３予測モード、
    のうちの一つを前記符号化対象ブロックのための予測モードとして選択するモード選択部を含み、
    前記符号化対象ブロックのための予測モードに従って前記第１画素ブロック及び前記第２画素ブロックを生成するように構成される請求項２記載の画像符号化装置。
20. 符号化ビットストリームを逆多重化して第１符号化データ及び第２符号化データを分離することと；
    前記第１符号化データを復号化して、第１画素ブロック及び第２画素ブロックを含む復号化対象ブロック中の前記第１画素ブロックに対応する第１予測誤差を生成することと；
    前記第２符号化データを復号化して、前記復号化対象ブロック中の前記第２画素ブロックに対応する第２予測誤差を生成することと；
    前記第１画素ブロックに対して復号化済み画素に対応する第１局部復号画像を用いて予測を行い、第１予測画像を生成することと；
    前記第１予測誤差に基づいて前記第１画素ブロックに対応する第２局部復号画像を生成することと；
    前記第２画素ブロックに対して前記第１局部復号画像及び前記第２局部復号画像を用いて予測を行い、第２予測画像を生成することと；
    前記第１予測誤差と前記第１予測画像とを加算して第１復号画像を生成することと；
    前記第２予測誤差と前記第２予測画像とを加算して第２復号画像を生成することと；
    前記復号化対象ブロックに対応する再生画像信号を生成するために前記第１復号画像と前記第２復号画像を合成することと；を具備する画像復号化方法。
21. 符号化ビットストリームを逆多重化して第１符号化データ及び第２符号化データを分離する逆多重化部と；
    前記第１符号化データ及び前記第２符号化データを復号化して、第１画素ブロック及び第２画素ブロックを含む復号化対象ブロック中の前記第１画素ブロック及び第２画素ブロックにそれぞれ対応する第１予測誤差及び第２予測誤差を生成する復号化部と；
    前記第１画素ブロックに対して復号化済み画素に対応する第１局部復号画像を用いて予測を行い、第１予測画像を生成する第１予測部と；
    前記第１予測誤差に基づいて前記第１画素ブロックに対応する第２局部復号画像を生成する生成部と；
    前記第２画素ブロックに対して前記第１局部復号画像及び前記第２局部復号画像を用いて予測を行い、第２予測画像を生成する第２予測部と；
    前記第１予測誤差と前記第１予測画像とを加算して第１復号画像を生成し、前記第２予測誤差と前記第２予測画像とを加算して第２復号画像を生成する加算器と；
    前記第１復号画像と前記第２復号画像を合成して前記復号化対象ブロックに対応する再生画像信号を生成する合成部と；を具備する画像復号化装置。
22. 前記第１画素ブロック及び前記第２画素ブロックは、前記復号化対象ブロックが予め定められた振り分けパターンに従って振り分けられている請求項２１記載の画像復号化装置。
23. 前記第１画素ブロック及び前記第２画素ブロックは、前記復号化対象ブロックが予め定められた振り分けパターンに従って振り分けられており、
    前記符号化ストリームは、前記振り分けパターンを示すインデックスを含み、
    前記復号化部は、さらに前記インデックスを復号して前記振り分けパターンを求め、
    前記合成部は、前記振り分けパターンに従って前記第１復号画像と前記第２復号画像とを合成するように構成される請求項２１記載の画像復号化装置。
24. 前記復号化部は、さらに、前記インデクスを符号化シーケンスまたは符号化フレームまたは符号化フレーム内の局所領域毎に復号化するように構成される請求項２３記載の画像復号化装置。
25. 前記符号化ストリームは、さらに予測モードを示すモード情報が前記第１符号化データ及び第２符号化データと多重化されており、
    前記第１予測部は、前記モード情報により示される予測モードを用いて前記第１画素ブロックに対する予測を行うように構成される請求項２１記載の画像復号化装置。
26. 前記符号化ストリームは、さらに予測モードを示すモード情報が前記第１符号化データ及び第２符号化データと多重化されており、
    前記第２予測部は、前記モード情報により示される予測モードを用いて前記第２画素ブロックに対する予測を行うように構成される請求項２１記載の画像復号化装置。
27. 前記第２予測部は、線形補間フィルタを用いて前記第２画素ブロックに対する予測を行うように構成される請求項２１記載の画像復号化装置。
28. 前記第１符号化データ及び前記第１符号化データは、前記第１画素ブロック及び前記第２画素ブロックにそれぞれ対応する第１量子化変換係数及び第２量子化変換係数を含み、
    前記復号化部は、前記第１量子化変換係数に対し第１量子化幅で逆量子化を行って第１変換係数を生成し、前記第２量子化変換係数に対し前記第１量子化幅より大きい第２量子化幅で逆量子化を行って第２変換係数を生成する逆量子化部と、前記第１変換係数及び前記第２変換係数に対して逆直交変換を行って前記第１予測誤差及び前記第２予測誤差を生成する逆直交変換部とを含む請求項２１記載の画像復号化装置。
29. 前記第１符号化データ及び前記第１符号化データは、前記第１画素ブロック及び前記第２画素ブロックにそれぞれ対応する第１量子化変換係数及び第２量子化変換係数を含み、
    前記復号化部は、前記第１量子化変換係数を前記振り分けパターンの間隔が大きくなるほど小さくなるように制御された第１量子化幅で逆量子化し、前記第２量子化変換係数を第２量子化幅で逆量子化する逆量子化部と、前記第１変換係数及び前記第２変換係数に対して逆直交変換を行って前記第１予測誤差及び前記第２予測誤差を生成する逆直交変換部とを含む請求項２３記載の画像復号化装置。
30. 前記第１画素ブロックは、前記復号化対象ブロックのうち前記復号化対象ブロックの周辺の復号化済み画素から相対的に遠い空間位置にある画素を含む請求項２１記載の画像復号化装置。
31. 前記第１画素ブロック及び前記第２画素ブロックはそれぞれ第１サブブロック及び第２サブブロックに分割されており、前記第１予測部及び前記第２予測部は、前記第１画素ブロック及び前記第２画素ブロックに対して前記第１サブブロック及び前記第２サブブロック毎に予測を行うように構成される請求項２１記載の画像復号化装置。
32. 前記符号化ストリームは、前記第１サブブロック及び前記第２サブブロックのサイズを示す情報を含み、
    前記復号化部は、さらに前記サイズを示すブロックサイズ情報を復号化するように構成される請求項２１記載の画像復号化装置。
33. 前記符号化ストリームは、前記第１画素ブロック及び前記第２画素ブロック、または前記第１画素ブロック及び前記第２画素ブロックをそれぞれ分割した第１サブブロック及び第２サブブロック毎に、前記第１符号化データ及び前記第２符号化データを出力するか否を示すフラグが前記第１符号化データ及び前記第２符号化データと多重化されており、
    前記復号化部は、前記フラグに従って前記第１符号化データ及び前記第２符号化データを復号化するように構成される請求項２１記載の画像復号化装置。
34. 入力画像を複数の符号化対象ブロックに分割する分割ステップと；
    前記符号化対象ブロック内の各画素を所定の間隔で振り分けることにより、前記符号化対象ブロックを複数の画素ブロックに振り分ける再ブロック化ステップと；
    前記各画素ブロックの予測画像を、符号化済み画素に対応する局部復号画像、及び／又は、前記複数の画素ブロックのうちの予測済み画素ブロックに対応する局部復号画像を用いて予測する予測ステップと；
    前記各画素ブロックと前記各予測画像との差を表す予測誤差画像を直交変換するとともに量子化して変換量子化信号を生成する変換・量子化ステップと、
    前記各画素ブロックに対応する局部復号画像を生成する局部復号ステップと；
    前記各画素ブロックの前記変換量子化信号を符号化する符号化ステップと；
    を具備する画像符号化方法。
35. 前記再ブロック化ステップは、前記符号化対象ブロック内の各画素を１行おきに振り分けて、２つの画素ブロックを生成する、請求項３４に記載の画像符号化方法。
36. 前記再ブロック化ステップは、前記符号化対象ブロック内の各画素を１列おきに振り分けて、２つの画素ブロックを生成する、請求項３４に記載の画像符号化方法。
37. 前記再ブロック化ステップは、前記符号化対象ブロック内の各画素を、１行おきかつ１列おきに振り分けて、４つの画素ブロックを生成する、請求項３４に記載の画像符号化方法。
38. 前記再ブロック化ステップは、前記符号化対象ブロック内の各画素を、（Ａ）１行おき、（Ｂ）１列おき、又は、（Ｃ）１行おきかつ１列おき、に複数の画素ブロックに振り分け、
    前記符号化ステップは、さらに、前記再ブロック化ステップでの振り分け処理の種類を表す情報を符号化する、請求項３４に記載の画像符号化方法。
39. 前記再ブロック化ステップは、符号化シーケンス内、符号化フレーム内、または、符号化フレームの局所領域内、の各符号化対象ブロックに対して、前記振り分け処理のうちの一種類の処理を行い、
    前記符号化ステップは、符号化シーケンス毎、符号化フレーム毎、または、符号化フレームの局所領域毎に、前記振り分け処理の種類を示す情報を符号化する、請求項３８に記載の画像符号化方法。
40. 前記再ブロック化ステップは、前記各画素ブロックをさらに少なくとも一つのサブブロックに分割するステップを含み、
    前記予測ステップは、前記サブブロック毎に予測を行う、請求項３４に記載の画像符号化方法。
41. 前記再ブロック化ステップの前記サブブロックに分割するステップは、前記各画素ブロックを可変なサイズのサブブロックに分割し、
    前記符号化ステップは、前記サイズを示すブロックサイズ情報をさらに符号化する、請求項３４に記載の画像符号化方法。

Images