JP5810700B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置及び画像処理方法に関する。

従来、デジタル画像を効率的に伝送し又は蓄積することを目的とし、画像に特有の冗長性を利用して画像の情報量を圧縮する、Ｈ．２６ｘ（ITU-T Q6/16 VCEG）標準及びＭＰＥＧ（Moving Picture Experts Group）−ｙ標準などの圧縮技術が普及している。ＭＰＥＧ４の活動の一環としてのJoint Model of Enhanced-Compression Video Codingでは、Ｈ．２６ｘ標準をベースとしながら新たな機能をも取り入れることで、より高い圧縮率を実現可能な、Ｈ．２６４及びＭＰＥＧ−４ Ｐａｒｔ１０（Advanced Video Coding；ＡＶＣ）という名称の国際的な標準規格が策定された。

Ｈ．２６４／ＡＶＣでは、画像内に格子状に配置され得るマクロブロックの各々が、画像の符号化及び復号の基本的な処理単位である。これに対し、次世代の画像符号化方式として標準化が進められているＨＥＶＣ（High Efficiency Video Coding）では、画像内にQuad-Tree（四分木）状に配置される符号化単位（ＣＵ：Coding Unit）が、画像の符号化及び復号の基本的な処理単位となる（下記非特許文献１参照）。従って、ＨＥＶＣに準拠するエンコーダにより符号化された符号化ストリームは、画像内に設定されるQuad-Treeを特定するためのQuad-Tree情報を有する。そして、デコーダは、当該Quad-Tree情報を用いて、復号される画像内に、エンコーダにおいて設定されたQuad-Treeと同様のQuad-Treeを設定する。

ＨＥＶＣでは、ＣＵ以外にも、様々な処理が、Quad-Tree状に配置されるブロックを処理単位として行われ得る。例えば、下記非特許文献２は、適応ループフィルタ（ＡＬＦ：Adaptive Loop Filter）のフィルタ係数の決定及びフィルタリングを、Quad-Tree状に配置されるブロックを用いて、ブロックベースで行うことを提案している。また、下記非特許文献３は、Quad-Tree状に配置されるブロックを用いて、適応オフセット（ＡＯ：Adaptive Offset）処理をブロックベースで行うことを提案している。

JCTVC-E603, "WD3: Working Draft 3 of High-Efficiency Video Coding", T.Wiegand, et al， July, 2010 VCEG-AI18， "Block-based Adaptive Loop Filter"， Takeshi Chujoh, et al， July, 2008 JCTVC-D122， "CE8 Subtest 3: Picture Quality Adaptive Offset"，C.-M. Fu ， et al， January, 2011

しかしながら、Quad-Tree情報のために要する符号量は少なくない。特に、スケーラブル符号化（ＳＶＣ（Scalable Video Coding）ともいう）が行われる場合には、冗長なQuad-Tree情報の符号化によって十分な符号化効率が得られない恐れがある。スケーラブル符号化とは、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化が行われる場合、複数のレイヤの各々について、エンコーダ及びデコーダの双方で同等のQuad-Treeを設定することが求められる。

従って、スケーラブル符号化に際して、Quad-Tree情報をより効率的に符号化し及び復号することのできる仕組みが提供されることが望ましい。

本開示によれば、第１のレイヤ及び上記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の上記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報を復号する復号部と、上記復号部により復号される上記Quad-Tree情報を用いて、上記第２のレイヤに第２のQuad-Treeを設定する設定部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。

また、本開示によれば、第１のレイヤ及び上記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の上記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報を復号することと、復号された上記Quad-Tree情報を用いて、上記第２のレイヤに第２のQuad-Treeを設定することと、を含む画像処理方法が提供される。

また、本開示によれば、第１のレイヤ及び上記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の上記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報であって、上記第２のレイヤに第２のQuad-Treeを設定するために使用される上記Quad-Tree情報を符号化する符号化部、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。

また、本開示によれば、第１のレイヤ及び上記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の上記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報であって、上記第２のレイヤに第２のQuad-Treeを設定するために使用される上記Quad-Tree情報を符号化すること、を含む画像処理方法が提供される。

本開示によれば、スケーラブル符号化に際して、Quad-Tree情報をより効率的に符号化し及び復号することのできる仕組みを提供することができる。

一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 空間スケーラビリティについて説明するための説明図である。 ＳＮＲスケーラビリティについて説明するための説明図である。 図１に示した適応オフセット部の詳細な構成の一例を示すブロック図である。 バンドオフセット（ＢＯ）について説明するための説明図である。 エッジオフセット（ＥＯ）について説明するための説明図である。 Quad-Tree構造の各パーティションへのオフセットパターンの設定の一例を示す説明図である。 図１に示した適応ループフィルタの詳細な構成の一例を示すブロック図である。 Quad-Tree構造の各パーティションへのフィルタ係数の設定の一例を示す説明図である。 図１に示した可逆符号化部の詳細な構成の一例を示すブロック図である。 符号化単位（ＣＵ）を設定するためのQuad-Tree情報について説明するための説明図である。 エンハンスメントレイヤにおいて追加的に符号化され得る分割情報について説明するための説明図である。 図１に示した適応オフセット部による適応オフセット処理の流れの一例を示すフローチャートである。 図１に示した適応ループフィルタによる適応ループフィルタ処理の流れの一例を示すフローチャートである。 図１に示した可逆符号化部による符号化処理の流れの一例を示すフローチャートである。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 図１６に示した可逆復号部の詳細な構成の一例を示すブロック図である。 図１６に示した適応オフセット部の詳細な構成の一例を示すブロック図である。 図１６に示した適応ループフィルタの詳細な構成の一例を示すブロック図である。 図１６に示した可逆復号部による復号処理の流れの一例を示すフローチャートである。 図１６に示した適応オフセット部による適応オフセット処理の流れの一例を示すフローチャートである。 図１６に示した適応ループフィルタによる適応ループフィルタ処理の流れの一例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．画像符号化装置の構成例
１−１．全体的な構成
１−２．適応オフセット部の詳細な構成
１−３．適応ループフィルタの詳細な構成
１−４．可逆符号化部の詳細な構成
２．符号化時の処理の流れの例
２−１．適応オフセット処理
２−２．適応ループフィルタ処理
２−３．符号化処理
３．画像復号装置の構成例
３−１．全体的な構成
３−２．可逆復号部の詳細な構成
３−３．適応オフセット部の詳細な構成
３−４．適応ループフィルタの詳細な構成
４．復号時の処理の流れの例
４−１．復号処理
４−２．適応オフセット処理
４−３．適応ループフィルタ処理
５．応用例
６．まとめ

＜１．画像符号化装置の構成例＞
［１−１．全体的な構成］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue to Digital）変換部１１、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ（ＤＦ）２４、適応オフセット部（ＡＯ）２５、適応ループフィルタ（ＡＬＦ）２６、フレームメモリ２７、セレクタ２８及び２９、イントラ予測部３０、並びに動き探索部４０を備える。

Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並び替えバッファ１２へ出力する。

並び替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０及び動き探索部４０へ出力する。

減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明するイントラ予測部３０又は動き探索部４０から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。

直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。

量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。

可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、符号化ストリームのシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダなどのヘッダ領域に、ヘッダ情報を多重化する。可逆符号化部１６により符号化されるヘッダ情報は、後に説明するQuad-Tree情報、分割情報、オフセット情報、フィルタ係数情報、ＰＵ設定情報及びＴＵ設定情報を含み得る。また、可逆符号化部１６により符号化されるヘッダ情報は、セレクタ２９から入力されるイントラ予測に関する情報及びインター予測に関する情報を含んでもよい。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。

蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。

逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又は動き探索部４０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２７へ出力する。

デブロックフィルタ（ＤＦ）２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを適応オフセット部２５へ出力する。

適応オフセット部２５は、ＤＦ後の復号画像の各画素値に適応的に決定されるオフセット値を加えることにより、復号画像の画質を向上させる。本実施形態において、適応オフセット部２５による適応オフセット処理は、Quad-Tree状に画像内に配置されるブロックを処理単位として、上記非特許文献３により提案されている手法に従ってブロックベースで行われてよい。本明細書では、適応オフセット部２５による適応オフセット処理の処理単位となるブロックをパーティションという。適応オフセット部２５は、適応オフセット処理の結果として、オフセットされた画素値を有する復号画像データを適応ループフィルタ２６へ出力する。また、適応オフセット部２５は、オフセット値のセット及びパーティションごとのオフセットパターンを示すオフセット情報を可逆符号化部１６へ出力する。

適応ループフィルタ２６は、ＡＯ後の復号画像をフィルタリングすることにより、復号画像と原画像との誤差を最小化する。適応ループフィルタ２６は、典型的には、ウィーナフィルタ（Wiener Filter）を用いて実現される。本実施形態において、適応ループフィルタ２６による適応ループフィルタ処理は、Quad-Tree状に画像内に配置されるブロックを処理単位として、上記非特許文献２により提案されている手法に従ってブロックベースで行われてよい。本明細書では、適応ループフィルタ２６による適応ループフィルタ処理の処理単位となるブロックをもパーティションという。但し、適応オフセット部２５により使用されるパーティションの配置（即ち、Quad-Tree構造）と適応ループフィルタ２６により使用されるパーティションの配置とは、共通であってもよく又は共通でなくてもよい。適応ループフィルタ２６は、適応ループフィルタ処理の結果として、原画像との差の最小化された復号画像データをフレームメモリ２７へ出力する。また、適応ループフィルタ２６は、パーティションごとのフィルタ係数を示すフィルタ係数情報を可逆符号化部１６へ出力する。

フレームメモリ２７は、加算部２３から入力される復号画像データ、及び適応ループフィルタ２６から入力されるＡＬＦ後の復号画像データを記憶媒体を用いて記憶する。

セレクタ２８は、インター予測のために使用されるＡＬＦ後の復号画像データをフレームメモリ２７から読み出し、読み出した復号画像データを参照画像データとして動き探索部４０に供給する。また、セレクタ２８は、イントラ予測のために使用されるＤＦ前の復号画像データをフレームメモリ２７から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。

セレクタ２９は、インター予測モードにおいて、動き探索部４０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２９は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２９は、インター予測モードとイントラ予測モードとを、イントラ予測部３０及び動き探索部４０から出力されるコスト関数値の大きさに応じて切り替える。

イントラ予測部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びフレームメモリ２７から供給される参照画像データとしての復号画像データに基づいて、画像内に設定されるブロックごとにイントラ予測処理を行う。そして、イントラ予測部３０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２９へ出力する。

動き探索部４０は、並び替えバッファ１２から入力される原画像データ、及びセレクタ２８を介して供給される復号画像データに基づいて、インター予測（フレーム間予測）のための動き探索処理を行う。そして、動き探索部４０は、動きベクトル情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２９へ出力する。

画像符号化装置１０は、ここで説明した一連の符号化処理を、スケーラブル符号化される画像の複数のレイヤの各々について繰り返す。最初に符号化されるレイヤは、ベースレイヤ（base layer）と呼ばれる、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、符号化効率を高めるためにベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤは、３つ以上であってもよい。その場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。本明細書では、依存関係を有する少なくとも２つのレイヤのうち、依存される側のレイヤを下位レイヤ（lower layer）、依存する側のレイヤを上位レイヤ（upper layer）という。

画像符号化装置１０によるスケーラブル符号化に際しては、Quad-Tree情報を効率的に符号化するために、上位レイヤにおいて下位レイヤのQuad-Tree情報が再利用される。具体的には、図１に示した可逆符号化部１６は、符号化単位（ＣＵ）の設定のための下位レイヤのQuad-Tree情報をバッファリングするバッファを有し、当該Quad-Tree情報を用いて上位レイヤのＣＵ構造を判定し得る。また、適応オフセット部２５は、適応オフセット処理のパーティションの設定のための下位レイヤのQuad-Tree情報をバッファリングするバッファを有し、当該Quad-Tree情報を用いて上位レイヤにパーティションを配置し得る。適応ループフィルタ２６もまた、適応ループフィルタ処理のパーティションの設定のための下位レイヤのQuad-Tree情報をバッファリングするバッファを有し、当該Quad-Tree情報を用いて上位レイヤにパーティションを配置し得る。なお、本明細書では、可逆符号化部１６、適応オフセット部２５及び適応ループフィルタ２６がそれぞれQuad-Tree情報を再利用する例を主に説明する。しかしながら、かかる例に限定されず、可逆符号化部１６、適応オフセット部２５及び適応ループフィルタ２６のうち任意の１つ又は２つにおいてのみQuad-Tree情報が再利用されてもよい。また、適応オフセット部２５及び適応ループフィルタ２６は、画像符号化装置１０の構成から省略されてもよい。

スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal to Noise Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。ここで、Quad-Tree情報の再利用は、通常、レイヤ間で画像の相関がある場合に有効である。レイヤ間の画像の相関は、一般的には、時間スケーラビリティを除く種類のスケーラビリティにおいて存在し得る。

図２は、空間スケーラビリティの一例について説明するための説明図である。図２において、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３が示されている。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。このように互いに解像度が異なっているとしても、レイヤＬ１の画像の内容は、レイヤＬ２の画像の内容に類似している可能性が高い。同様に、レイヤＬ２の画像の内容は、レイヤＬ３の画像の内容に類似している可能性が高い。これが、空間スケーラビリティにおけるレイヤ間の画像の相関である。

図３は、ＳＮＲスケーラビリティの一例について説明するための説明図である。図３において、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３が示されている。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。レイヤＬ１、Ｌ２及びＬ３の空間解像度は互いに等しい。しかし、一例として、レイヤＬ１の最小の量子化スケールは２５であり、直交変換係数の量子化によって符号化ストリームのビットレートは２Ｍｂｐｓ程度に抑えられる。一方、例えばレイヤＬ２の最小の量子化スケールは１２であり、符号化ストリームのビットレートは５Ｍｂｐｓ程度となる。また、例えばレイヤＬ３の最小の量子化スケールは０であり、符号化ストリームのビットレートは１０Ｍｂｐｓ程度となる。このように互いにビットレートが異なっているとしても、レイヤＬ１の画像の内容は、レイヤＬ２の画像の内容に類似している可能性が高い。同様に、レイヤＬ２の画像の内容は、レイヤＬ３の画像の内容に類似している可能性が高い。これが、ＳＮＲスケーラビリティにおけるレイヤ間の画像の相関である。

本実施形態に係る画像符号化装置１０は、これらのようなレイヤ間の画像の相関に着目し、上位レイヤにおいて下位レイヤのQuad-Tree情報を再利用する。

［１−２．適応オフセット部の詳細な構成］
本項では、図１に示した適応オフセット部２５の詳細な構成について説明する。図４は、適応オフセット部２５の詳細な構成の一例を示すブロック図である。図４を参照すると、適応オフセット部２５は、構造探索部１１０、選択部１１２、オフセット処理部１１４及びバッファ１１６を有する。

（１）ベースレイヤ
ベースレイヤの適応オフセット処理では、構造探索部１１０は、画像内に設定すべき最適なQuad-Tree構造を探索する。即ち、構造探索部１１０は、まず、デブロックフィルタ２４から入力されるＤＦ後の復号画像を１つ以上のパーティションに分割する。分割は再帰的に行われてよく、１つのパーティションはさらに１つ以上のパーティションに分割され得る。また、構造探索部１１０は、各パーティションについて様々なオフセットパターンで最適なオフセット値を算出する。上記非特許文献３により提案されている手法では、オフセットパターンとして、２種類のバンドオフセット（Band Offset：ＢＯ）、６種類のエッジオフセット（Edge Offset：ＥＯ）及び処理なし（ＯＦＦ）の９種類の候補が存在する。

図５は、バンドオフセットについて説明するための説明図である。バンドオフセットでは、図５に示されているように、輝度の画素値のレンジ（例えば、８ビットであれば０〜２５５）が３２個のバンド（帯域）にクラス分けされる。そして、各バンドについてオフセット値が与えられる。３２個のバンドは、第１グループ及び第２グループにグルーピングされる。第１グループは、レンジの中央に位置する１６個のバンドを含む。第２グループは、レンジの両端に８個ずつ位置する計１６個のバンドを含む。オフセットパターンとしての第１のバンドオフセット（ＢＯ_１）は、これら２つのグループのうち第１グループのバンドについてのオフセット値を符号化するというパターンである。オフセットパターンとしての第２のバンドオフセット（ＢＯ_２）は、これら２つのグループのうち第２グループのバンドについてのオフセット値を符号化するというパターンである。なお、入力画像信号が放送信号である場合には、図５に示した“broadcast legal”のように、両端に２個ずつ位置する計４個のバンドについてのオフセット値は符号化されず、それによりオフセット情報のための符号量が削減され得る。

図６は、エッジオフセットについて説明するための説明図である。図６に示されているように、エッジオフセットの６種類のオフセットパターンは、４種類の１−Ｄパターンと２種類の２−Ｄパターンとを含む。これらオフセットパターンは、各画素をカテゴリ分類する際に参照される参照画素のセットをそれぞれ定義する。各１−Ｄパターンの参照画素の数は、２つである。第１のエッジオフセット（ＥＯ_０）の参照画素は、対象画素の左右の隣接画素である。第２のエッジオフセット（ＥＯ_１）の参照画素は、対象画素の上下の隣接画素である。第３のエッジオフセット（ＥＯ_２）の参照画素は、対象画素の左上及び右下の隣接画素である。第４のエッジオフセット（ＥＯ_３）の参照画素は、対象画素の右上及び左下の隣接画素である。これら参照画素を用いて、各パーティション内の各画素は、表１に示す条件に従って５つのカテゴリのいずれかに分類される。

一方、各２−Ｄパターンの参照画素の数は、４つである。第５のエッジオフセット（ＥＯ_４）の参照画素は、対象画素の左右及び上下の隣接画素である。第６のエッジオフセット（ＥＯ_５）の参照画素は、対象画素の左上、右上、左下及び右下の隣接画素である。これら参照画素を用いて、各パーティション内の各画素は、表２に示す条件に従って７つのカテゴリのいずれかに分類される。

そして、各カテゴリについてオフセット値が与えられ、オフセット値が符号化されると共に、各画素の画素値に当該画素が属するカテゴリに対応するオフセット値が加えられる。

構造探索部１１０は、Quad-Tree状に配置されるパーティションの各々について、これら様々なオフセットパターンで最適なオフセット値を算出し、オフセット処理後の画像を生成する。選択部１１２は、オフセット処理後の画像と原画像との比較に基づいて、最適なQuad-Tree構造、各パーティションについてのオフセットパターン及びオフセット値のセットを選択する。そして、選択部１１２は、Quad-Tree構造を表すQuad-Tree情報とオフセットパターン及びオフセット値を表すオフセット情報とを、オフセット処理部１１４及び可逆符号化部１６へ出力する。また、Quad-Tree情報は、バッファ１１６によって、上位レイヤでの処理のためにバッファリングされる。

オフセット処理部１１４は、デブロックフィルタ２４から入力されるベースレイヤの復号画像のQuad-Tree構造を選択部１１２から入力されるQuad-Tree情報を用いて認識し、各パーティションについて選択されたオフセットパターンに従って各画素値にオフセット値を加算する。そして、オフセット処理部１１４は、オフセットされた画素値を有する復号画像データを適応ループフィルタ２６へ出力する。

（２）エンハンスメントレイヤ
エンハンスメントレイヤの適応オフセット処理では、バッファ１１６によりバッファリングされるQuad-Tree情報が再利用される。

まず、構造探索部１１０は、下位レイヤにおいて画像内に設定されたQuad-Tree構造を表すQuad-Tree情報を、バッファ１１６から取得する。そして、構造探索部１１０は、取得したQuad-Tree情報に従って、エンハンスメントレイヤの画像内に１つ以上のパーティションを配置する。このようなパーティションの配置が、エンハンスメントレイヤのためのQuad-Tree構造として単純に採用されてもよい。その代わりに、構造探索部１１０は、配置されたパーティションを１つ以上のパーティションにさらに分割（以下、再分割という）してもよい。構造探索部１１０は、このようにQuad-Tree状に配置されるパーティションの各々について、上述した様々なオフセットパターンで最適なオフセット値を算出し、オフセット処理後の画像を生成する。選択部１１２は、オフセット処理後の画像と原画像との比較に基づいて、最適なQuad-Tree構造、各パーティションについてのオフセットパターン及びオフセット値のセットを選択する。選択部１１２は、下位レイヤのQuad-Tree構造が再分割される場合には、再分割されるパーティションを識別するための分割情報を生成する。そして、選択部１１２は、分割情報及びオフセット情報を可逆符号化部１６へ出力する。また、選択部１１２は、下位レイヤのQuad-Tree情報、分割情報及びオフセット情報をオフセット処理部１１４へ出力する。エンハンスメントレイヤの分割情報は、バッファ１１６によって上位レイヤでの処理のためにバッファリングされてもよい。

オフセット処理部１１４は、デブロックフィルタ２４から入力されるエンハンスメントレイヤの復号画像のQuad-Tree構造を選択部１１２から入力されるQuad-Tree情報及び分割情報を用いて認識し、各パーティションについて選択されたオフセットパターンに従って各画素値にオフセット値を加算する。そして、オフセット処理部１１４は、オフセットされた画素値を有する復号画像データを適応ループフィルタ２６へ出力する。

図７は、Quad-Tree構造の各パーティションへのオフセットパターンの設定の一例を示す説明図である。図７を参照すると、あるＬＣＵ内に、１０個のパーティションＰＴ_００〜ＰＴ_０３、ＰＴ_１、ＰＴ_２及びＰＴ_３０〜ＰＴ_３３がQuad-Tree状に配置されている。このうち、パーティションＰＴ_００及びＰＴ_０３にはバンドオフセットＢＯ_１、パーティションＰＴ_０２にはバンドオフセットＢＯ_２、パーティションＰＴ_１にはエッジオフセットＥＯ_１、パーティションＰＴ_０１及びＰＴ_３１にはエッジオフセットＥＯ_２、パーティションＰＴ_２にはエッジオフセットＥＯ_４が設定されている。残りのパーティションＰＴ_３０、ＰＴ_３２及びＰＴ_３３には処理なし（ＯＦＦ）が設定されている。本実施形態において、選択部１１２から可逆符号化部１６へ出力されるオフセット情報は、このようなパーティションごとのオフセットパターンと、各オフセットパターンについてのオフセット値のセット（バンド別のオフセット値及びカテゴリ別のオフセット値）とを表す。

［１−３．適応ループフィルタの詳細な構成］
本項では、図１に示した適応ループフィルタ２６の詳細な構成について説明する。図８は、適応ループフィルタ２６の詳細な構成の一例を示すブロック図である。図８を参照すると、適応ループフィルタ２６は、構造探索部１２０、選択部１２２、フィルタリング部１２４及びバッファ１２６を有する。

（１）ベースレイヤ
ベースレイヤの適応ループフィルタ処理では、構造探索部１２０は、画像内に設定すべき最適なQuad-Tree構造を探索する。即ち、構造探索部１２０は、まず、適応オフセット部２５から入力される適応オフセット処理後の復号画像を１つ以上のパーティションに分割する。分割は再帰的に行われてよく、１つのパーティションはさらに１つ以上のパーティションに分割され得る。また、構造探索部１２０は、各パーティションについて原画像と復号画像との誤差を最小化するフィルタ係数を算出し、フィルタリング後の画像を生成する。選択部１２２は、フィルタリング後の画像と原画像との比較に基づいて、最適なQuad-Tree構造及び各パーティションについてのフィルタ係数のセットを選択する。そして、選択部１２２は、Quad-Tree構造を表すQuad-Tree情報とフィルタ係数を表すフィルタ係数情報とを、フィルタリング部１２４及び可逆符号化部１６へ出力する。また、Quad-Tree情報は、バッファ１２６によって、上位レイヤでの処理のためにバッファリングされる。

フィルタリング部１２４は、選択部１２２から入力されるQuad-Tree情報を用いて、ベースレイヤの復号画像のQuad-Tree構造を認識する。次に、フィルタリング部１２４は、各パーティションについて選択されたフィルタ係数を有するウィーナフィルタを用いて、各パーティションの復号画像をフィルタリングする。そして、フィルタリング部１２４は、フィルタリングされた復号画像データをフレームメモリ２７へ出力する。

（２）エンハンスメントレイヤ
エンハンスメントレイヤの適応ループフィルタ処理では、バッファ１２６によりバッファリングされるQuad-Tree情報が再利用される。

まず、構造探索部１２０は、下位レイヤにおいて画像内に設定されたQuad-Tree構造を表すQuad-Tree情報を、バッファ１２６から取得する。そして、構造探索部１２０は、取得したQuad-Tree情報に従って、エンハンスメントレイヤの画像内に１つ以上のパーティションを配置する。このようなパーティションの配置が、エンハンスメントレイヤのためのQuad-Tree構造として単純に採用されてもよい。その代わりに、構造探索部１２０は、配置されたパーティションを１つ以上のパーティションに再分割してもよい。構造探索部１２０は、このようにQuad-Tree状に配置されるパーティションの各々について、フィルタ係数を算出し、フィルタリング後の画像を生成する。選択部１２２は、フィルタリング後の画像と原画像との比較に基づいて、最適なQuad-Tree構造及び各パーティションについてのフィルタ係数を選択する。選択部１２２は、下位レイヤのQuad-Tree構造が再分割される場合には、再分割されるパーティションを識別するための分割情報を生成する。そして、選択部１２２は、分割情報及びフィルタ係数情報を可逆符号化部１６へ出力する。また、選択部１２２は、下位レイヤのQuad-Tree情報、分割情報及びフィルタ係数情報をフィルタリング部１２４へ出力する。エンハンスメントレイヤの分割情報は、バッファ１２６によって上位レイヤでの処理のためにバッファリングされてもよい。

フィルタリング部１２４は、選択部１２２から入力されるQuad-Tree情報及び分割情報を用いて、適応オフセット部２５から入力されるエンハンスメントレイヤの復号画像のQuad-Tree構造を認識する。次に、フィルタリング部１２４は、各パーティションについて選択されたフィルタ係数を有するウィーナフィルタを用いて、各パーティションの復号画像をフィルタリングする。そして、フィルタリング部１２４は、フィルタリングされた復号画像データをフレームメモリ２７へ出力する。

図９は、Quad-Tree構造の各パーティションへのフィルタ係数の設定の一例を示す説明図である。図９を参照すると、あるＬＣＵ内に、７個のパーティションＰＴ_００〜ＰＴ_０３、ＰＴ_１、ＰＴ_２及びＰＴ_３がQuad-Tree状に配置されている。適応ループフィルタ２６は、これらパーティションの各々について、ウィーナフィルタのためのフィルタ係数を算出する。その結果、例えばパーティションＰＴ_００にはフィルタ係数のセットＣｏｅｆ_００が設定される。パーティションＰＴ_０１にはフィルタ係数のセットＣｏｅｆ_０１が設定される。本実施形態において、選択部１２２から可逆符号化部１６へ出力されるフィルタ係数情報は、このようなパーティションごとのフィルタ係数のセットを表す。

［１−４．可逆符号化部の詳細な構成］
本項では、図１に示した可逆符号化部１６の詳細な構成について説明する。図１０は、可逆符号化部１６の詳細な構成の一例を示すブロック図である。図１０を参照すると、可逆符号化部１６は、ＣＵ構造判定部１３０、ＰＵ構造判定部１３２、ＴＵ構造判定部１３４、シンタックス符号化部１３６及びバッファ１３８を有する。

上述したように、ＨＥＶＣでは、画像内にQuad-Tree状に設定される符号化単位（ＣＵ）が、画像の符号化及び復号の基本的な処理単位となる。設定可能な最大の符号化単位はＬＣＵ（Largest Coding Unit）と呼ばれ、最小の符号化単位はＳＣＵ（Smallest Coding Unit）と呼ばれる。ＬＣＵ内のＣＵ構造は、split_flag（分割フラグ）のセットを用いて特定される。図１１に示す例において、ＬＣＵサイズは６４×６４画素、ＳＣＵサイズは８×８画素である。深さ（depth）ゼロにおいてsplit_flag＝１が指定されると、６４×６４画素のＬＣＵは４つの３２×３２画素のＣＵに分割される。３２×３２画素のＣＵもまた、さらにsplit_flag＝１が指定されることで、４つの１６×１６画素のＣＵに分割され得る。このように、ＬＣＵ及びＳＣＵのサイズとsplit_flagのセットとにより、ＣＵのQuad-Tree構造は表現され得る。なお、上述した適応オフセット処理及び適応ループフィルタ処理において用いられるパーティションのQuad-Tree構造もまた、同様の最大パーティションサイズ、最小パーティションサイズ及びsplit_flagのセットによって表現されてよい。

なお、エンハンスメントレイヤにおいて下位レイヤのQuad-Tree情報が再利用される場合において、エンハンスメントレイヤと下位レイヤとの間の空間解像度が異なるときは、空間解像度の比率に応じて拡大されるＬＣＵサイズ又は最大パーティションサイズが、エンハンスメントレイヤのためのＬＣＵサイズ又は最大パーティションサイズとして用いられる。ＳＣＵサイズ又は最小パーティションサイズは、当該比率に応じて拡大されてもよく、又は再分割の可能性を想定に入れて拡大されなくてもよい。

１つの符号化単位は、イントラ予測及びインター予測の処理単位である１つ以上の予測単位（ＰＵ：Prediction Unit）に分割され得る。また、１つの予測単位は、直交変換の処理単位である１つ以上の変換単位（ＴＵ：Transform Unit）に分割され得る。これらＣＵ、ＰＵ及びＴＵのQuad-Tree構造は、典型的には、オフラインでの画像の解析に基づいて予め決定され得る。

（１）ベースレイヤ
ベースレイヤの符号化処理では、ＣＵ構造判定部１３０は、入力画像内に設定されるQuad-Tree状のＣＵ構造を、オフラインでの画像の解析結果に基づいて判定する。そして、ＣＵ構造判定部１３０は、ＣＵ構造を表すQuad-Tree情報を生成し、生成したQuad-Tree情報をＰＵ構造判定部１３２及びシンタックス符号化部１３６へ出力する。ＰＵ構造判定部１３２は、各ＣＵ内に設定されるＰＵ構造を判定する。そして、ＰＵ構造判定部１３２は、各ＣＵ内のＰＵ構造を表すＰＵ設定情報をＴＵ構造判定部１３４及びシンタックス符号化部１３６へ出力する。ＴＵ構造判定部１３４は、各ＰＵ内に設定されるＴＵ構造を判定する。そして、ＴＵ構造判定部１３４は、各ＰＵ内のＴＵ構造を表すＴＵ設定情報をシンタックス符号化部１３６へ出力する。これらQuad-Tree情報、ＰＵ設定情報及びＴＵ設定情報は、バッファ１３８によって上位レイヤでの処理のためにバッファリングされる。

シンタックス符号化部１３６は、量子化部１５から入力されるベースレイヤの量子化データについて可逆符号化処理を行うことにより、ベースレイヤの符号化ストリームを生成する。また、シンタックス符号化部１３６は、画像符号化装置１０の各部から入力されるヘッダ情報を符号化し、符号化されたヘッダ情報を符号化ストリームのヘッダ領域に多重化する。ここで符号化されるヘッダ情報は、適応オフセット部２５から入力されるQuad-Tree情報及びオフセット情報と、適応ループフィルタ２６から入力されるQuad-Tree情報及びフィルタ係数情報とを含み得る。また、シンタックス符号化部１３６により符号化されるヘッダ情報は、ＣＵ構造判定部１３０、ＰＵ構造判定部１３２及びＴＵ構造判定部１３４からそれぞれ入力されるQuad-Tree情報、ＰＵ設定情報及びＴＵ設定情報を含み得る。

（２）エンハンスメントレイヤ
エンハンスメントレイヤの符号化処理では、バッファ１３８によりバッファリングされる情報が再利用される。

ＣＵ構造判定部１３０は、下位レイヤにおいて各ＬＣＵ内に設定されたＣＵのQuad-Tree構造を表すQuad-Tree情報を、バッファ１３８から取得する。ここで取得されるＣＵのためのQuad-Tree情報は、典型的には、ＬＣＵサイズ、ＳＣＵサイズ及びsplit_flagのセットを含む。なお、エンハンスメントレイヤと下位レイヤとの間の空間解像度が異なる場合には、ＬＣＵサイズは空間解像度の比率に応じて拡大されてよい。また、ＣＵ構造判定部１３０は、エンハンスメントレイヤの各ＬＣＵ内に設定されるＣＵ構造を、オフラインでの画像の解析結果に基づいて判定する。そして、ＣＵ構造判定部１３０は、エンハンスメントレイヤにおいてＣＵが再分割される場合には、分割情報を生成し、生成した分割情報をシンタックス符号化部１３６へ出力する。

ＰＵ構造判定部１３２は、下位レイヤにおいて各ＣＵ内に設定されたＰＵの構造を表すＰＵ設定情報を、バッファ１３８から取得する。また、ＰＵ構造判定部１３２は、エンハンスメントレイヤの各ＣＵ内に設定されるＰＵ構造を、オフラインでの画像の解析結果に基づいて判定する。ＰＵ構造判定部１３２は、下位レイヤとは異なるＰＵ構造がエンハンスメントレイヤにおいて使用される場合には、ＰＵ設定情報を追加的に生成し、生成したＰＵ設定情報をシンタックス符号化部１３６へ出力し得る。

ＴＵ構造判定部１３４は、下位レイヤにおいて各ＰＵ内に設定されたＴＵの構造を表すＴＵ設定情報を、バッファ１３８から取得する。また、ＴＵ構造判定部１３４は、エンハンスメントレイヤの各ＰＵ内に設定されるＴＵ構造を、オフラインでの画像の解析結果に基づいて判定する。ＴＵ構造判定部１３４は、下位レイヤとは異なるＴＵ構造がエンハンスメントレイヤにおいて使用される場合には、ＴＵ設定情報を追加的に生成し、生成したＴＵ設定情報をシンタックス符号化部１３６へ出力し得る。

シンタックス符号化部１３６は、量子化部１５から入力されるエンハンスメントレイヤの量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。また、シンタックス符号化部１３６は、画像符号化装置１０の各部から入力されるヘッダ情報を符号化し、符号化されたヘッダ情報を符号化ストリームのヘッダ領域に多重化する。ここで符号化されるヘッダ情報は、適応オフセット部２５から入力される分割情報及びオフセット情報と、適応ループフィルタ２６から入力される分割情報及びフィルタ係数情報とを含み得る。また、シンタックス符号化部１３６により符号化されるヘッダ情報は、ＣＵ構造判定部１３０、ＰＵ構造判定部１３２及びＴＵ構造判定部１３４からそれぞれ入力される分割情報、ＰＵ設定情報及びＴＵ設定情報を含み得る。

図１２は、エンハンスメントレイヤにおいて追加的に符号化され得る分割情報について説明するための説明図である。図１２の左には、下位レイヤにおけるＣＵのQuad-Tree構造が示されている。当該Quad-Tree構造は、７個の符号化単位ＣＵ_０、ＣＵ_１、ＣＵ_２０〜ＣＵ_２３及びＣＵ_３を含む。また、下位レイヤにおいて符号化されるいくつかのsplit_flagが示されている。例えば、split_flag ＦＬ１の値は１であり、図示されたＬＣＵ全体が４つのＣＵに分割されることを表す。split_flag ＦＬ２の値は０であり、符号化単位ＣＵ_１がそれ以上分割されないことを表す。他のsplit_flagもまた、同様に、対応するＣＵがさらに複数のＣＵに分割されるかを表す。

図１２の右には、上位レイヤにおけるＣＵのQuad-Tree構造が示されている。当該上位レイヤのQuad-Tree構造において、下位レイヤの符号化単位ＣＵ_１は、４つの符号化単位ＣＵ_１０〜ＣＵ_１３に再分割されている。また、下位レイヤの符号化単位ＣＵ_２３は、４つの符号化単位に再分割されている。上位レイヤにおいて追加的に符号化され得る分割情報は、これら再分割に関連するいくつかのsplit_flagを含む。例えば、split_flag ＦＵ１の値は１であり、符号化単位ＣＵ_１が４つのＣＵに再分割されることを表す。split_flag ＦＵ２の値は０であり、符号化単位ＣＵ_１１がそれ以上分割されないことを表す。split_flag ＦＵ３の値は１であり、符号化単位ＣＵ_２３が４つのＣＵに再分割されることを表す。このような分割情報は再分割されるＣＵについてのみ符号化されるため、分割情報の符号化によって増加する符号量は少ない。

図１２では、ＣＵのQuad-Tree構造を例にとって、エンハンスメントレイヤにおいて追加的に符号化され得る分割情報について説明した。しかしながら、上述した適応オフセット処理及び適応ループフィルタ処理において設定されるエンハンスメントレイヤのQuad-Tree構造のための分割情報もまた、各パーティションの再分割を表す同様のsplit_flagのセットによって表現されてよい。

＜２．符号化時の処理の流れの例＞
［２−１．適応オフセット処理］
図１３は、図１に示した適応オフセット部２５による適応オフセット処理の流れの一例を示すフローチャートである。なお、図１３のフローチャートは、スケーラブル符号化される画像の複数のレイヤのうち１つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする適応オフセット処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ１１６によってバッファリングされているものとする。また、ここではＬＣＵベースで繰り返し処理が行われるものとする。

図１３を参照すると、まず、適応オフセット部２５の構造探索部１１０は、下位レイヤの処理において生成されたQuad-Tree情報をバッファ１１６から取得する（ステップＳ１１０）。次に、構造探索部１１０は、取得した下位レイヤのQuad-Tree情報に従って、処理対象のＬＣＵ（以下、注目ＬＣＵという）を１つ以上のパーティションに分割する（ステップＳ１１１）。また、構造探索部１１０は、必要に応じて、各パーティションを１つ以上のより小さいパーティションに再分割する（ステップＳ１１２）。次に、構造探索部１１０は、各パーティションについて、上述した様々なオフセットパターンで最適なオフセット値を算出し、オフセット処理後の画像を生成する（ステップＳ１１３）。次に、選択部１１２は、オフセット処理後の画像と原画像との比較に基づいて、最適なQuad-Tree構造、各パーティションの最適なオフセットパターン及びオフセット値のセットを選択する（ステップＳ１１４）。

次に、選択部１１２は、下位レイヤのQuad-Tree情報により表されるQuad-Tree構造とステップＳ１１４において選択したQuad-Tree構造とを比較し、再分割されたパーティションが存在するかを判定する（ステップＳ１１５）。ここで、再分割されたパーティションが存在する場合には、選択部１１２は、下位レイヤに設定されたQuad-Tree構造のパーティションがさらに分割されることを示す分割情報を生成する（ステップＳ１１６）。次に、選択部１１２は、ステップＳ１１４において選択された各パーティションのオフセットパターン及びオフセット値のセットを表すオフセット情報を生成する（ステップＳ１１７）。ここで生成された分割情報及びオフセット情報は、可逆符号化部１６により符号化され、エンハンスメントレイヤの符号化ストリームのヘッダ領域に多重化され得る。また、分割情報は、より上位のレイヤの処理のために、バッファ１１６によってバッファリングされ得る。

次に、オフセット処理部１１４は、注目ＬＣＵ内の各パーティション内の画素値に、当該パーティションについて選択されたオフセットパターンに従って、対応するオフセット値をそれぞれ加算する（ステップＳ１１８）。このようにオフセットされた画素値を有する復号画像データは、適応ループフィルタ２６へ出力される。

その後、処理対象のレイヤ内に未処理のＬＣＵが残っている場合には、処理はステップＳ１１０に戻り、上述した処理が繰り返される（ステップＳ１１９）。一方、未処理のＬＣＵが残っていない場合には、図１３に示した適応オフセット処理は終了する。なお、より上位のレイヤが存在する場合には、より上位のレイヤを処理対象として、図１３に示した適応オフセット処理が繰り返されてよい。

［２−２．適応ループフィルタ処理］
図１４は、図１に示した適応ループフィルタ２６による適応ループフィルタ処理の流れの一例を示すフローチャートである。なお、図１４のフローチャートは、スケーラブル符号化される画像の複数のレイヤのうち１つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする適応ループフィルタ処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ１２６によってバッファリングされているものとする。また、ここではＬＣＵベースで繰り返し処理が行われるものとする。

図１４を参照すると、まず、適応ループフィルタ２６の構造探索部１２０は、下位レイヤの処理において生成されたQuad-Tree情報をバッファ１２６から取得する（ステップＳ１２０）。次に、構造探索部１２０は、取得した下位レイヤのQuad-Tree情報に従って、注目ＬＣＵを１つ以上のパーティションに分割する（ステップＳ１２１）。また、構造探索部１２０は、必要に応じて、各パーティションを１つ以上のより小さいパーティションに再分割する（ステップＳ１２２）。次に、構造探索部１２０は、各パーティションについて、復号画像と原画像との誤差を最小化するフィルタ係数を算出し、フィルタリング後の画像を生成する（ステップＳ１２３）。次に、選択部１２２は、フィルタリング後の画像と原画像との比較に基づいて、最適なQuad-Tree構造とフィルタ係数との組合せを選択する（ステップＳ１２４）。

次に、選択部１２２は、下位レイヤのQuad-Tree情報により表されるQuad-Tree構造とステップＳ１２４において選択したQuad-Tree構造とを比較し、再分割されたパーティションが存在するかを判定する（ステップＳ１２５）。ここで、再分割されたパーティションが存在する場合には、選択部１２２は、下位レイヤに設定されたQuad-Tree構造のパーティションがさらに分割されることを示す分割情報を生成する（ステップＳ１２６）。次に、選択部１２２は、ステップＳ１２４において選択された各パーティションのフィルタ係数を表すフィルタ係数情報を生成する（ステップＳ１２７）。ここで生成された分割情報及びフィルタ係数情報は、可逆符号化部１６により符号化され、エンハンスメントレイヤの符号化ストリームのヘッダ領域に多重化され得る。また、分割情報は、より上位のレイヤの処理のために、バッファ１２６によってバッファリングされ得る。

次に、フィルタリング部１２４は、注目ＬＣＵ内の各パーティション内の復号画像を対応するフィルタ係数を用いてフィルタリングする（ステップＳ１２８）。ここでフィルタリングされた復号画像データは、フレームメモリ２７へ出力される。

その後、処理対象のレイヤ内に未処理のＬＣＵが残っている場合には、処理はステップＳ１２０に戻り、上述した処理が繰り返される（ステップＳ１２９）。一方、未処理のＬＣＵが残っていない場合には、図１４に示した適応ループフィルタ処理は終了する。なお、より上位のレイヤが存在する場合には、より上位のレイヤを処理対象として、図１４に示した適応ループフィルタ処理が繰り返されてよい。

［２−３．符号化処理］
図１５は、図１に示した可逆符号化部１６による符号化処理の流れの一例を示すフローチャートである。なお、図１５のフローチャートは、スケーラブル符号化される画像の複数のレイヤのうち１つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする符号化処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ１３８によってバッファリングされているものとする。また、ここではＬＣＵベースで繰り返し処理が行われるものとする。

図１３を参照すると、まず、可逆符号化部１６のＣＵ構造判定部１３０は、下位レイヤの処理において生成されたQuad-Tree情報をバッファ１３８から取得する（ステップＳ１３０）。同様に、ＰＵ構造判定部１３２は、下位レイヤの処理において生成されたＰＵ設定情報を取得する。また、ＴＵ構造判定部１３４は、下位レイヤの処理において生成されたＴＵ設定情報を取得する。

次に、ＣＵ構造判定部１３０は、注目ＬＣＵ内に設定されるＣＵ構造を判定する（ステップＳ１３１）。同様に、ＰＵ構造判定部１３２は、各ＣＵ内に設定されるＰＵ構造を判定する（ステップＳ１３２）。ＴＵ構造判定部１３４は、各ＰＵ内に設定されるＴＵ構造を判定する（ステップＳ１３３）。

次に、ＣＵ構造判定部１３０は、下位レイヤのQuad-Tree情報により表されるＣＵ構造とステップＳ１３１において判定されたＣＵ構造とを比較し、再分割されたＣＵが存在するかを判定する（ステップＳ１３４）。ここで、再分割されたＣＵが存在する場合には、ＣＵ構造判定部１３０は、下位レイヤに設定されたＣＵがさらに分割されることを示す分割情報を生成する（ステップＳ１３５）。同様に、ＰＵ構造判定部１３２及びＴＵ構造判定部１３４は、新たなＰＵ設定情報及びＴＵ設定情報を生成し得る。

次に、シンタックス符号化部１３６は、ＣＵ構造判定部１３０により生成された分割情報（及び新たに生成され得るＰＵ設定情報及びＴＵ設定情報）を符号化する（ステップＳ１３６）。次に、シンタックス符号化部１３６は、その他のヘッダ情報を符号化する（ステップＳ１３７）。そして、シンタックス符号化部１３６は、分割情報を含み得る符号化されたヘッダ情報を、符号化された量子化データを含む符号化ストリームのヘッダ領域に多重化する（ステップＳ１３８）。このように生成されたエンハンスメントレイヤの符号化ストリームは、シンタックス符号化部１３６から蓄積バッファ１７へ出力される。

その後、処理対象のレイヤ内に未処理のＬＣＵが残っている場合には、処理はステップＳ１３０に戻り、上述した処理が繰り返される（ステップＳ１３９）。一方、未処理のＬＣＵが残っていない場合には、図１５に示した符号化処理は終了する。なお、より上位のレイヤが存在する場合には、より上位のレイヤを処理対象として、図１５に示した符号化処理が繰り返されてよい。

＜３．画像復号装置の構成例＞
［３−１．全体的な構成］
図１６は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図１６を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ（ＤＦ）６６、適応オフセット部（ＡＯ）６７、適応ループフィルタ（ＡＬＦ）６８、並び替えバッファ６９、Ｄ／Ａ（Digital to Analogue）変換部７０、フレームメモリ７１、セレクタ７２及び７３、イントラ予測部８０、並びに動き補償部９０を備える。

蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを一時的に蓄積する。

可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。符号化ストリームに含まれる量子化データは、可逆復号部６２により復号され、逆量子化部６３へ出力される。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されているヘッダ情報を復号する。ここで復号されるヘッダ情報は、例えば、上述したQuad-Tree情報、分割情報、オフセット情報、フィルタ係数情報、ＰＵ設定情報及びＴＵ設定情報を含み得る。可逆復号部６２は、ＣＵに関するQuad-Tree情報、分割情報、ＰＵ設定情報及びＴＵ設定情報を復号すると、復号される画像内に１つ以上のＣＵ、ＰＵ及びＴＵを設定する。また、可逆復号部６２は、適応オフセット処理に関するQuad-Tree情報、分割情報及びオフセット情報を復号すると、復号された情報を適応オフセット部６７へ出力する。また、可逆復号部６２は、適応ループフィルタ処理に関するQuad-Tree情報、分割情報及びフィルタ係数情報を復号すると、復号された情報を適応ループフィルタ６８へ出力する。さらに、可逆復号部６２により復号されるヘッダ情報は、インター予測に関する情報及びイントラ予測に関する情報を含んでもよい。可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報を動き補償部９０へ出力する。

逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。

加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７３から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ７１へ出力する。

デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを適応オフセット部６７へ出力する。

適応オフセット部６７は、ＤＦ後の復号画像の各画素値に適応的に決定されるオフセット値を加えることにより、復号画像の画質を向上させる。本実施形態において、適応オフセット部６７による適応オフセット処理は、可逆復号部６２により復号されるQuad-Tree情報、分割情報及びオフセット情報を用いて、Quad-Tree状に画像内に配置されるパーティションを処理単位として行われる。適応オフセット部６７は、適応オフセット処理の結果として、オフセットされた画素値を有する復号画像データを適応ループフィルタ６８へ出力する。

適応ループフィルタ６８は、ＡＯ後の復号画像をフィルタリングすることにより、復号画像と原画像との誤差を最小化する。適応ループフィルタ６８は、典型的には、ウィーナフィルタを用いて実現される。本実施形態において、適応ループフィルタ６８による適応ループフィルタ処理は、可逆復号部６２により復号されるQuad-Tree情報、分割情報及びフィルタ係数情報を用いて、Quad-Tree状に画像内に配置されるパーティションを処理単位として行われる。適応ループフィルタ６８は、適応ループフィルタ処理の結果として、フィルタリングされた復号画像データを並び替えバッファ６９及びフレームメモリ７１へ出力する。

並び替えバッファ６９は、適応ループフィルタ６８から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６９は、生成した画像データをＤ／Ａ変換部７０へ出力する。

Ｄ／Ａ変換部７０は、並び替えバッファ６９から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部７０は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。

フレームメモリ７１は、加算部６５から入力されるＤＦ前の復号画像データ、及び適応ループフィルタ６８から入力されるＡＬＦ後の復号画像データを記憶媒体を用いて記憶する。

セレクタ７２は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７１からの画像データの出力先をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７２は、イントラ予測モードが指定された場合には、フレームメモリ７１から供給されるＤＦ前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７２は、インター予測モードが指定された場合には、フレームメモリ７１から供給されるＡＬＦ後の復号画像データを参照画像データとして動き補償部９０へ出力する。

セレクタ７３は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７３は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７３は、インター予測モードが指定された場合には、動き補償部９０から出力される予測画像データを加算部６５へ供給する。

イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ７１からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７３へ出力する。

動き補償部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ７１からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部９０は、動き補償処理の結果として生成される予測画像データをセレクタ７３へ出力する。

画像復号装置６０は、ここで説明した一連の復号処理を、スケーラブル符号化された画像の複数のレイヤの各々について繰り返す。最初に復号されるレイヤは、ベースレイヤである。ベースレイヤが復号された後、１つ以上のエンハンスメントレイヤが復号される。エンハンスメントレイヤの復号に際しては、ベースレイヤ又は他のエンハンスメントレイヤである下位レイヤを復号することにより得られた情報が用いられる。

画像符号化装置６０によるスケーラブル復号に際しては、レイヤ間の画像の相関に着目し、上位レイヤにおいて下位レイヤのQuad-Tree情報が再利用される。具体的には、図１６に示した可逆復号部６２は、符号化単位（ＣＵ）の設定のための下位レイヤのQuad-Tree情報をバッファリングするバッファを有し、当該Quad-Tree情報を用いて上位レイヤにＣＵを設定する。また、適応オフセット部６７は、適応オフセット処理のパーティションの設定のための下位レイヤのQuad-Tree情報をバッファリングするバッファを有し、当該Quad-Tree情報を用いて上位レイヤにパーティションを設定する。適応ループフィルタ６８もまた、適応ループフィルタ処理のパーティションの設定のための下位レイヤのQuad-Tree情報をバッファリングするバッファを有し、当該Quad-Tree情報を用いて上位レイヤにパーティションを設定する。なお、本明細書では、可逆復号部６２、適応オフセット部６７及び適応ループフィルタ６８がそれぞれQuad-Tree情報を再利用する例を主に説明する。しかしながら、かかる例に限定されず、可逆復号部６２、適応オフセット部６７及び適応ループフィルタ６８のうち任意の１つ又は２つにおいてのみQuad-Tree情報が再利用されてもよい。また、適応オフセット部６７及び適応ループフィルタ６８は、画像符号化装置６０の構成から省略されてもよい。

［３−２．可逆復号部の詳細な構成］
本項では、図１６に示した可逆復号部６２の詳細な構成について説明する。図１７は、可逆復号部６２の詳細な構成の一例を示すブロック図である。図１７を参照すると、可逆復号部６２は、シンタックス復号部２１０、ＣＵ設定部２１２、ＰＵ設定部２１４、ＴＵ設定部２１６及びバッファ２１８を有する。

（１）ベースレイヤ
ベースレイヤの復号処理では、シンタックス復号部２１０は、蓄積バッファ６１から入力されるベースレイヤの符号化ストリームを復号する。シンタックス復号部２１０は、ベースレイヤに設定されるＣＵのためのQuad-Tree情報を復号すると、復号された当該Quad-Tree情報をＣＵ設定部２１２へ出力する。ＣＵ設定部２１２は、シンタックス復号部２１０により復号されたQuad-Tree情報を用いて、ベースレイヤにQuad-Tree状に１つ以上のＣＵを設定する。そして、シンタックス復号部２１０は、ＣＵ設定部２１２により設定されるＣＵごとにその他のヘッダ情報及び画像データ（量子化データ）を復号する。シンタックス復号部２１０により復号された量子化データは、逆量子化部６３へ出力される。

また、シンタックス復号部２１０は、復号したＰＵ設定情報及びＴＵ設定情報を、ＰＵ設定部２１４及びＴＵ設定部２１６へそれぞれ出力する。ＰＵ設定部２１４は、シンタックス復号部２１０により復号されたＰＵ設定情報を用いて、ＣＵ設定部２１２によりQuad-Tree状に設定されたＣＵの各々にさらに１つ以上のＰＵを設定する。ＰＵ設定部２１４により設定されたＰＵの各々は、イントラ予測部８０によるイントラ予測処理又は動き補償部９０による動き補償処理のための処理単位となる。また、ＴＵ設定部２１６は、シンタックス復号部２１０により復号されたＴＵ設定情報を用いて、ＰＵ設定部２１４により設定されたＰＵの各々にさらに１つ以上のＴＵを設定する。ＴＵ設定部２１６により設定されたＴＵの各々は、逆量子化部６３による逆量子化及び逆直交変換部６４による逆直交変換のための処理単位となる。

また、シンタックス復号部２１０は、適応オフセット処理のためのQuad-Tree情報及びオフセット情報を復号し、復号したこれら情報を適応オフセット部６７へ出力する。また、シンタックス復号部２１０は、適応ループフィルタ処理のためのQuad-Tree情報及びフィルタ係数情報を復号し、復号したこれら情報を適応ループフィルタ６８へ出力する。さらに、シンタックス復号部２１０は、その他のヘッダ情報を復号し、復号した情報を対応する処理部（例えば、イントラ予測に関する情報についてはイントラ予測部８０、インター予測に関する情報については動き補償部９０など）へ出力する。

バッファ２１８は、シンタックス復号部２１０により復号されたＣＵのためのQuad-Tree情報を、上位レイヤでの処理のためにバッファリングする。ＰＵ設定情報及びＴＵ設定情報は、ＣＵのためのQuad-Tree情報と同様にバッファリングされてもよく、又は上位レイヤにおいて新たに復号されてもよい。

（２）エンハンスメントレイヤ
エンハンスメントレイヤの符号化処理では、バッファ２１８によりバッファリングされる情報が再利用される。

シンタックス復号部２１０は、蓄積バッファ６１から入力されるエンハンスメントレイヤの符号化ストリームを復号する。シンタックス復号部２１０は、まず、下位レイヤにＣＵを設定する際に使用されたQuad-Tree情報をバッファ２１８から取得し、取得した当該Quad-Tree情報をＣＵ設定部２１２へ出力する。ＣＵ設定部２１２は、シンタックス復号部２１０により取得された下位レイヤのQuad-Tree情報を用いて、下位レイヤと同等のQuad-Tree構造を有する１つ以上のＣＵをエンハンスメントレイヤに設定する。ここでのQuad-Tree情報は、典型的には、ＬＣＵサイズ、ＳＣＵサイズ及びsplit_flagのセットを含む。なお、エンハンスメントレイヤと下位レイヤとの間の空間解像度が異なる場合には、ＬＣＵサイズは空間解像度の比率に応じて拡大されてよい。シンタックス復号部２１０は、エンハンスメントレイヤの符号化ストリームのヘッダ情報に分割情報が含まれている場合には、当該分割情報を復号し、復号した分割情報をＣＵ設定部２１２へ出力する。ＣＵ設定部２１２は、上記Quad-Tree情報を用いて設定したＣＵを、シンタックス復号部２１０により復号された分割情報に従って再分割し得る。シンタックス復号部２１０は、このようにＣＵ設定部２１２により設定されるＣＵごとに、その他のヘッダ情報及び画像データ（量子化データ）を復号する。シンタックス復号部２１０により復号された量子化データは、逆量子化部６３へ出力される。

また、シンタックス復号部２１０は、バッファ２１８から取得され又はエンハンスメントレイヤにおいて新たに復号されるＰＵ設定情報及びＴＵ設定情報を、ＰＵ設定部２１４及びＴＵ設定部２１６へそれぞれ出力する。ＰＵ設定部２１４は、シンタックス復号部２１０から入力されるＰＵ設定情報を用いて、ＣＵ設定部２１２によりQuad-Tree状に設定されたＣＵの各々にさらに１つ以上のＰＵを設定する。また、ＴＵ設定部２１６は、シンタックス復号部２１０から入力されるＴＵ設定情報を用いて、ＰＵ設定部２１４により設定されたＰＵの各々にさらに１つ以上のＴＵを設定する。

また、シンタックス復号部２１０は、適応オフセット処理のためのオフセット情報をエンハンスメントレイヤの符号化ストリームから復号し、復号したオフセット情報を適応オフセット部６７へ出力する。適応オフセット処理のための分割情報が符号化ストリームに含まれている場合には、シンタックス復号部２１０は、当該分割情報を復号して適応オフセット部６７へ出力する。また、シンタックス復号部２１０は、適応ループフィルタ処理のためのフィルタ係数情報をエンハンスメントレイヤの符号化ストリームから復号し、復号したフィルタ係数情報を適応ループフィルタ６８へ出力する。適応ループフィルタ処理のための分割情報が符号化ストリームに含まれている場合には、シンタックス復号部２１０は、当該分割情報を復号し適応ループフィルタ６８へ出力する。さらに、シンタックス復号部２１０は、その他のヘッダ情報を復号し、復号した情報を対応する処理部へ出力する。

バッファ２１８は、シンタックス復号部２１０により復号されたエンハンスメントレイヤの分割情報、ＰＵ設定情報及びＴＵ設定情報が存在する場合には、さらなる上位レイヤでの処理のためにこれら情報をバッファリングしてもよい。

［３−３．適応オフセット部の詳細な構成］
本項では、図１６に示した適応オフセット部６７の詳細な構成について説明する。図１８は、適応オフセット部６７の詳細な構成の一例を示すブロック図である。図１８を参照すると、適応オフセット部６７は、パーティション設定部２２０、オフセット取得部２２２、オフセット処理部２２４及びバッファ２２６を有する。

（１）ベースレイヤ
ベースレイヤの適応オフセット処理では、パーティション設定部２２０は、ベースレイヤの符号化ストリームから可逆復号部６２により復号されるQuad-Tree情報を取得する。そして、パーティション設定部２２０は、取得した当該Quad-Tree情報を用いて、ベースレイヤにQuad-Tree状に適応オフセット処理のための１つ以上のパーティションを設定する。オフセット取得部２２２は、可逆復号部６２により復号される適応オフセット処理のためのオフセット情報を取得する。ここで取得されるオフセット情報は、上述したように、パーティションごとのオフセットパターンと、各オフセットパターンについてのオフセット値のセットとを表す。そして、オフセット処理部２２４は、オフセット取得部２２２により取得されるオフセット情報を用いて、パーティション設定部２２０により設定されたパーティションごとに、適応オフセット処理を行う。即ち、オフセット処理部２２４は、各パーティション内の各画素値に、オフセット情報により表されるオフセットパターンに従ってオフセット値を加算する。そして、オフセット処理部２２４は、オフセットされた画素値を有する復号画像データを適応ループフィルタ６８へ出力する。パーティション設定部２２０により取得されたQuad-Tree情報は、バッファ２２６によって、上位レイヤでの処理のためにバッファリングされる。

（２）エンハンスメントレイヤ
エンハンスメントレイヤの適応オフセット処理では、バッファ２２６によりバッファリングされるQuad-Tree情報が再利用される。

エンハンスメントレイヤの適応オフセット処理では、パーティション設定部２２０は、バッファ２２６から下位レイヤのQuad-Tree情報を取得する。そして、パーティション設定部２２０は、取得した当該Quad-Tree情報を用いて、エンハンスメントレイヤにQuad-Tree状に適応オフセット処理のための１つ以上のパーティションを設定する。また、可逆復号部６２により分割情報が復号された場合には、パーティション設定部２２０は、復号された分割情報を取得し、取得した当該分割情報に従ってパーティションを再分割し得る。オフセット取得部２２２は、可逆復号部６２により復号される適応オフセット処理のためのオフセット情報を取得する。オフセット処理部２２４は、オフセット取得部２２２により取得されるオフセット情報を用いて、パーティション設定部２２０により設定されたパーティションごとに、適応オフセット処理を行う。そして、オフセット処理部２２４は、オフセットされた画素値を有する復号画像データを適応ループフィルタ６８へ出力する。パーティション設定部２２０により取得された分割情報は、バッファ２２６によって、さらなる上位レイヤでの処理のためにバッファリングされてもよい。

［３−４．適応ループフィルタの詳細な構成］
本項では、図１６に示した適応ループフィルタ６８の詳細な構成について説明する。図１９は、適応ループフィルタ６８の詳細な構成の一例を示すブロック図である。図１９を参照すると、適応ループフィルタ６８は、パーティション設定部２３０、係数取得部２３２、フィルタリング部２３４及びバッファ２３６を有する。

（１）ベースレイヤ
ベースレイヤの適応ループフィルタ処理では、パーティション設定部２３０は、ベースレイヤの符号化ストリームから可逆復号部６２により復号されるQuad-Tree情報を取得する。そして、パーティション設定部２３０は、取得した当該Quad-Tree情報を用いて、ベースレイヤにQuad-Tree状に適応ループフィルタ処理のための１つ以上のパーティションを設定する。係数取得部２３２は、可逆復号部６２により復号される適応ループフィルタ処理のためのフィルタ係数情報を取得する。ここで取得されるフィルタ係数情報は、上述したように、パーティションごとのフィルタ係数のセットを表す。そして、フィルタリング部２３４は、パーティション設定部２３０により設定されたパーティションごとに、フィルタ係数情報により表されるフィルタ係数を有するウィーナフィルタを用いて、復号画像データをフィルタリングする。そして、フィルタリング部２３４は、フィルタリングされた復号画像データを並び替えバッファ６９及びフレームメモリ７１へ出力する。パーティション設定部２３０により取得されたQuad-Tree情報は、バッファ２３６によって、上位レイヤでの処理のためにバッファリングされる。

（２）エンハンスメントレイヤ
エンハンスメントレイヤの適応ループフィルタ処理では、バッファ２３６によりバッファリングされるQuad-Tree情報が再利用される。

エンハンスメントレイヤの適応ループフィルタ処理では、パーティション設定部２３０は、バッファ２３６から下位レイヤのQuad-Tree情報を取得する。そして、パーティション設定部２３０は、取得した当該Quad-Tree情報を用いて、エンハンスメントレイヤにQuad-Tree状に適応ループフィルタ処理のための１つ以上のパーティションを設定する。また、可逆復号部６２により分割情報が復号された場合には、パーティション設定部２３０は、復号された分割情報を取得し、取得した当該分割情報に従ってパーティションを再分割し得る。係数取得部２３２は、可逆復号部６２により復号される適応ループフィルタ処理のためのフィルタ係数情報を取得する。フィルタリング部２３４は、パーティション設定部２３０により設定されたパーティションごとに、フィルタ係数情報により表されるフィルタ係数を有するウィーナフィルタを用いて、復号画像データをフィルタリングする。そして、フィルタリング部２３４は、フィルタリングされた復号画像データを並び替えバッファ６９及びフレームメモリ７１へ出力する。パーティション設定部２３０により取得された分割情報は、バッファ２３６によって、さらなる上位レイヤでの処理のためにバッファリングされてもよい。

＜４．復号時の処理の流れの例＞
［４−１．復号処理］
図２０は、図１６に示した可逆復号部６２による復号処理の流れの一例を示すフローチャートである。なお、図２０のフローチャートは、スケーラブル復号される画像の複数のレイヤのうち１つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする復号処理が行われ、下位レイヤについての情報がバッファ２１８によってバッファリングされているものとする。また、ここではＬＣＵベースで繰り返し処理が行われるものとする。

図２０を参照すると、まず、シンタックス復号部２１０は、下位レイヤにＣＵを設定する際に使用されたQuad-Tree情報をバッファ２１８から取得する（ステップＳ２１０）。また、シンタックス復号部２１０は、ＰＵ設定情報及びＴＵ設定情報を新たに符号化ストリームから復号し、又はバッファ２１８から取得する（ステップＳ２１１）。

次に、シンタックス復号部２１０は、再分割されるＣＵが存在することを示す分割情報が符号化ストリームのヘッダ領域内に存在するかを判定する（ステップＳ２１２）。ここで、分割情報が存在する場合には、シンタックス復号部２１０は、当該分割情報を復号する（ステップＳ２１３）。

次に、ＣＵ設定部２１２は、注目ＬＣＵに対応する下位レイヤのＬＣＵ内にＣＵを設定する際に使用されたQuad-Tree情報を用いて、下位レイヤと同等のQuad-Tree構造を有する１つ以上のＣＵをエンハンスメントレイヤの注目ＬＣＵ内に設定する（ステップＳ２１４）。ここで、ＣＵ設定部２１２は、分割情報が存在する場合には、当該分割情報に従ってＣＵを再分割し得る。

次に、ＰＵ設定部２１４は、シンタックス復号部２１０により取得されたＰＵ設定情報を用いて、ＣＵ設定部２１２により設定されたＣＵの各々にさらに１つ以上のＰＵを設定する（ステップＳ２１５）。

次に、ＴＵ設定部２１６は、シンタックス復号部２１０により取得されたＴＵ設定情報を用いて、ＰＵ設定部２１４により設定されたＰＵの各々にさらに１つ以上のＴＵを設定する（ステップＳ２１６）。

また、シンタックス復号部２１０は、イントラ予測に関する情報及びインター予測に関する情報などの他のヘッダ情報を復号する（ステップＳ２１７）。また、シンタックス復号部２１０は、エンハンスメントレイヤの符号化ストリームに含まれる注目ＬＣＵの量子化データを復号する（ステップＳ２１８）。シンタックス復号部２１０により復号された量子化データは、逆量子化部６３へ出力される。

その後、処理対象のレイヤ内に未処理のＬＣＵが残っている場合には、処理はステップＳ２１０に戻り、上述した処理が繰り返される（ステップＳ２１９）。一方、未処理のＬＣＵが残っていない場合には、図２０に示した復号処理は終了する。なお、より上位のレイヤが存在する場合には、より上位のレイヤを処理対象として、図２０に示した復号処理が繰り返されてよい。

［４−２．適応オフセット処理］
図２１は、図１６に示した適応オフセット部６７による適応オフセット処理の流れの一例を示すフローチャートである。なお、図２１のフローチャートは、スケーラブル復号される画像の複数のレイヤのうち１つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする適応オフセット処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ２２６によってバッファリングされているものとする。また、ここではＬＣＵベースで繰り返し処理が行われるものとする。

図２１を参照すると、まず、パーティション設定部２２０は、下位レイヤにパーティションを設定する際に使用されたQuad-Tree情報をバッファ２２６から取得する（ステップＳ２２０）。

次に、パーティション設定部２２０は、再分割されるパーティションが存在することを示す分割情報が可逆復号部６２により復号されたかを判定する（ステップＳ２２１）。ここで、分割情報が復号されている場合には、パーティション設定部２２０は、当該分割情報を取得する（ステップＳ２２２）。

次に、パーティション設定部２２０は、注目ＬＣＵに対応する下位レイヤのＬＣＵ内にパーティションを設定する際に使用されたQuad-Tree情報を用いて、下位レイヤと同等のQuad-Tree構造を有する１つ以上のパーティションをエンハンスメントレイヤの注目ＬＣＵ内に設定する（ステップＳ２２３）。ここで、パーティション設定部２２０は、分割情報が存在する場合には、当該分割情報に従ってパーティションを再分割し得る。

次に、オフセット取得部２２２は、可逆復号部６２により復号された適応オフセット処理のためのオフセット情報を取得する（ステップＳ２２４）。ここで取得されるオフセット情報は、注目ＬＣＵ内のパーティションごとのオフセットパターンと、各オフセットパターンについてのオフセット値のセットとを表す。

次に、オフセット処理部２２４は、取得されたオフセット情報により表されるオフセットパターンに従い、各パーティション内の画素値にオフセット値を加算する（ステップＳ２２５）。そして、オフセット処理部２２４は、オフセットされた画素値を有する復号画像データを適応ループフィルタ６８へ出力する。

その後、処理対象のレイヤ内に未処理のＬＣＵが残っている場合には、処理はステップＳ２２０に戻り、上述した処理が繰り返される（ステップＳ２２６）。一方、未処理のＬＣＵが残っていない場合には、図２１に示した適応オフセット処理は終了する。なお、より上位のレイヤが存在する場合には、より上位のレイヤを処理対象として、図２１に示した適応オフセット処理が繰り返されてよい。

［４−３．適応ループフィルタ処理］
図２２は、図１６に示した適応ループフィルタ６８による適応ループフィルタ処理の流れの一例を示すフローチャートである。なお、図２２のフローチャートは、スケーラブル復号される画像の複数のレイヤのうち１つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする適応ループフィルタ処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ２３６によってバッファリングされているものとする。また、ここではＬＣＵベースで繰り返し処理が行われるものとする。

図２２を参照すると、まず、パーティション設定部２３０は、下位レイヤにパーティションを設定する際に使用されたQuad-Tree情報をバッファ２３６から取得する（ステップＳ２３０）。

次に、パーティション設定部２３０は、再分割されるパーティションが存在することを示す分割情報が可逆復号部６２により復号されたかを判定する（ステップＳ２３１）。ここで、分割情報が復号されている場合には、パーティション設定部２３０は、当該分割情報を取得する（ステップＳ２３２）。

次に、パーティション設定部２３０は、注目ＬＣＵに対応する下位レイヤのＬＣＵ内にパーティションを設定する際に使用されたQuad-Tree情報を用いて、下位レイヤと同等のQuad-Tree構造を有する１つ以上のパーティションをエンハンスメントレイヤの注目ＬＣＵ内に設定する（ステップＳ２３３）。ここで、パーティション設定部２３０は、分割情報が存在する場合には、当該分割情報に従ってパーティションを再分割し得る。

次に、係数取得部２３２は、可逆復号部６２により復号された適応ループフィルタ処理のためのフィルタ係数情報を取得する（ステップＳ２３４）。ここで取得されるフィルタ係数情報は、注目ＬＣＵ内のパーティションごとのフィルタ係数のセットを表す。

次に、フィルタリング部２３４は、取得されたフィルタ係数情報により表されるフィルタ係数のセットを用いて、各パーティション内の復号画像をフィルタリングする（ステップＳ２３５）。そして、フィルタリング部２３４は、フィルタリングされた復号画像データを並び替えバッファ６９及びフレームメモリ７１へ出力する。

その後、処理対象のレイヤ内に未処理のＬＣＵが残っている場合には、処理はステップＳ２３０に戻り、上述した処理が繰り返される（ステップＳ２３６）。一方、未処理のＬＣＵが残っていない場合には、図２２に示した適応ループフィルタ処理は終了する。なお、より上位のレイヤが存在する場合には、より上位のレイヤを処理対象として、図２２に示した適応ループフィルタ処理が繰り返されてよい。

＜５．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

［５−１．第１の応用例］
図２３は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、テレビジョン装置９００での画像のスケーラブル復号に際して、レイヤ間の画像の相関に基づいてQuad-Tree情報を再利用することにより、符号化効率を高めることができる。

［５−２．第２の応用例］
図２４は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、携帯電話機９２０での画像のスケーラブル符号化及び復号に際して、レイヤ間の画像の相関に基づいてQuad-Tree情報を再利用することにより、符号化効率を高めることができる。

［５−３．第３の応用例］
図２５は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、記録再生装置９４０での画像のスケーラブル符号化及び復号に際して、レイヤ間の画像の相関に基づいてQuad-Tree情報を再利用することにより、符号化効率を高めることができる。

［５−４．第４の応用例］
図２６は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、撮像装置９６０での画像のスケーラブル符号化及び復号に際して、レイヤ間の画像の相関に基づいてQuad-Tree情報を再利用することにより、符号化効率を高めることができる。

＜６．まとめ＞
ここまで、図１〜図２６を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について詳細に説明した。本実施形態によれば、スケーラブル符号化及び復号に際して、下位レイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報を用いて、上位レイヤに第２のQuad-Treeが設定される。従って、上位レイヤのQuad-Tree構造の全体を表すQuad-Tree情報を上位レイヤのために符号化する必要性が排除される。即ち、複数のレイヤにわたる冗長なQuad-Tree情報の符号化が回避されるため、符号化効率が高められる。

また、本実施形態によれば、上記第２のQuad-Treeにおいて上記第１のQuad-Treeをさらに分割するかを示す分割情報が、上位レイヤのために符号化され得る。従って、上位レイヤにおいて、下位レイヤと全く同じQuad-Tree構造を採用する代わりに、Quad-Tree構造をさらに分割することが可能となる。よって、上位レイヤにおいて、符号化及び復号、イントラ／インター予測、直交変換及び逆直交変換、適応オフセット（ＡＯ）、又は適応ループフィルタ（ＡＬＦ）などの処理を、より小さい処理単位で行うことができる。その結果、上位レイヤにおいて精細な画像をより正確に再現することが可能となる。

上記Quad-Treeは、ブロックベースの適応ループフィルタ処理のためのQuad-Treeであってもよい。本実施形態によれば、適応ループフィルタ処理のために、Quad-Tree情報が再利用される一方で、レイヤ間で異なるフィルタ係数が算出され伝送される。従って、Quad-Tree情報が再利用されるとしても、上位レイヤに適用される適応ループフィルタの性能は十分に確保される。

また、上記Quad-Treeは、ブロックベースの適応オフセット処理のためのQuad-Treeであってもよい。本実施形態によれば、適応オフセット処理のために、Quad-Tree情報が再利用される一方で、レイヤ間で異なるオフセット情報が生成され伝送される。従って、Quad-Tree情報が再利用されるとしても、上位レイヤに適用される適応オフセット処理の性能は十分に確保される。

また、上記Quad-Treeは、ＣＵのためのQuad-Treeであってもよい。ＨＥＶＣでは、Quad-Tree状に配置されるＣＵが画像の符号化及び復号の基本的な処理単位となることから、ＣＵのためのQuad-Tree情報をレイヤ間で再利用することで符号量を大きく削減することができる。また、各ＣＵ内のＰＵの配置及び／又はＴＵの配置をもレイヤ間で再利用することで、符号量はさらに削減され得る。一方、各ＣＵ内のＰＵの配置をレイヤごとに符号化すれば、ＰＵの配置が各レイヤについて最適化されるため、予測精度を高めることができる。同様に、各ＰＵ内のＴＵの配置をレイヤごとに符号化すれば、ＴＵの配置が各レイヤについて最適化されるため、直交変換により生じる雑音を抑制することができる。

本実施形態に係るQuad-Tree情報の再利用の仕組みは、空間スケーラビリティ、ＳＮＲスケーラビリティ、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティなど、様々な種類のスケーラブル符号化技術に適用可能である。レイヤ間で空間解像度が異なる場合にも、例えば空間解像度の比率に応じてＬＣＵサイズ又は最大パーティションサイズを拡大することで、Quad-Tree情報の再利用を容易に実現することができる。

なお、本明細書では、Quad-Tree情報、分割情報、オフセット情報及びフィルタ係数情報などのヘッダ情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報を復号する復号部と、
前記復号部により復号される前記Quad-Tree情報を用いて、前記第２のレイヤに第２のQuad-Treeを設定する設定部と、
を備える画像処理装置。
（２）
前記復号部は、前記第１のQuad-Treeをさらに分割するかを示す分割情報を復号し、
前記設定部は、前記Quad-Tree情報を用いて形成されるQuad-Treeを前記分割情報に従ってさらに分割することにより、前記第２のQuad-Treeを設定する、
前記（１）に記載の画像処理装置。
（３）
前記設定部により設定される前記第２のQuad-Treeに含まれるパーティションごとに適応ループフィルタ処理を行うフィルタリング部、をさらに備える、前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記復号部は、前記第２のレイヤの前記適応ループフィルタ処理のための各パーティションのフィルタ係数をさらに復号し、
前記フィルタリング部は、前記フィルタ係数を用いて前記適応ループフィルタ処理を行う、
前記（３）に記載の画像処理装置。
（５）
前記設定部により設定される前記第２のQuad-Treeに含まれるパーティションごとに適応オフセット処理を行うオフセット処理部、をさらに備える、前記（１）又は前記（２）に記載の画像処理装置。
（６）
前記復号部は、前記第２のレイヤの前記適応オフセット処理のためのオフセット情報をさらに復号し、
前記オフセット処理部は、前記オフセット情報を用いて前記適応オフセット処理を行う、
前記（５）に記載の画像処理装置。
（７）
前記第２のQuad-Treeは、ＣＵ（Coding Unit）のためのQuad-Treeであり、
前記復号部は、前記第２のQuad-Treeに含まれるＣＵごとに前記第２のレイヤの画像データを復号する、
前記（１）又は前記（２）に記載の画像処理装置。
（８）
前記設定部は、各ＣＵに１つ以上のＰＵ（Prediction Unit）を設定するためのＰＵ設定情報を用いて、前記第２のQuad-Treeに含まれるＣＵの各々にさらに１つ以上のＰＵを設定する、前記（７）に記載の画像処理装置。
（９）
前記ＰＵ設定情報は、前記第１のレイヤにＰＵを設定するために復号される情報である、前記（８）に記載の画像処理装置。
（１０）
前記ＰＵ設定情報は、前記第２のレイヤにＰＵを設定するために復号される情報である、前記（８）に記載の画像処理装置。
（１１）
前記設定部は、各ＰＵに１つ以上のＴＵ（Transform Unit）を設定するためのＴＵ設定情報を用いて、前記第２のQuad-Treeに含まれるＣＵ内のＰＵの各々にさらに１つ上のＴＵを設定する、前記（８）に記載の画像処理装置。
（１２）
前記ＴＵ設定情報は、前記第１のレイヤにＴＵを設定するために復号される情報である、前記（１１）に記載の画像処理装置。
（１３）
前記ＴＵ設定情報は、前記第２のレイヤにＴＵを設定するために復号される情報である、前記（１１）に記載の画像処理装置。
（１４）
前記設定部は、前記第１のレイヤと前記第２のレイヤとの間の空間解像度の比率に応じて前記第１のレイヤにおけるＬＣＵ（Largest Coding Unit）サイズを拡大し、拡大した前記ＬＣＵサイズに基づいて、前記第２のレイヤに前記第２のQuad-Treeを設定する、前記（７）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記第１のレイヤ及び前記第２のレイヤは、空間解像度の互いに異なるレイヤである、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１６）
前記第１のレイヤ及び前記第２のレイヤは、雑音比率の互いに異なるレイヤである、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１７）
前記第１のレイヤ及び前記第２のレイヤは、ビット深度の互いに異なるレイヤである、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１８）
前記第１のレイヤ及び前記第２のレイヤは、クロマフォーマットの互いに異なるレイヤである、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１９）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル復号される画像の前記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報を復号することと、
復号された前記Quad-Tree情報を用いて、前記第２のレイヤに第２のQuad-Treeを設定することと、
を含む画像処理方法。
（２０）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の前記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報であって、前記第２のレイヤに第２のQuad-Treeを設定するために使用される前記Quad-Tree情報を符号化する符号化部、
を備える画像処理装置。
（２１）
第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含むスケーラブル符号化される画像の前記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報であって、前記第２のレイヤに第２のQuad-Treeを設定するために使用される前記Quad-Tree情報を符号化すること、
を含む画像処理方法。

１０ 画像符号化装置（画像処理装置）
１６ 符号化部
６０ 画像復号装置（画像処理装置）
６２ 復号部
２１２，２１４，２１６，２２０，２３０ 設定部
２２４ オフセット処理部
２３４ フィルタリング部

Claims (13)

1. 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含む画像の前記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報、及び前記第１のQuad-Treeを前記第２のレイヤのフィルタ処理のためにさらに分割するかを示す分割情報を復号する復号部と、
   前記復号部により復号される前記Quad-Tree情報を用いて形成されるQuad-Treeを前記分割情報に従ってさらに分割することにより、前記第２のレイヤに第２のQuad-Treeを設定する設定部と、
   を備え、
   前記設定部により設定される前記第２のQuad-Treeに含まれるパーティションを処理単位として前記フィルタ処理が実行される、
   画像処理装置。
2. 前記設定部により設定される前記第２のQuad-Treeに含まれる前記パーティションごとに適応ループフィルタ処理を行うフィルタリング部、をさらに備える、請求項１に記載の画像処理装置。
3. 前記復号部は、前記第２のレイヤの前記適応ループフィルタ処理のための各パーティションのフィルタ係数をさらに復号し、
   前記フィルタリング部は、前記フィルタ係数を用いて前記適応ループフィルタ処理を行う、
   請求項２に記載の画像処理装置。
4. 前記設定部により設定される前記第２のQuad-Treeに含まれる前記パーティションごとに適応オフセット処理を行うオフセット処理部、をさらに備える、請求項１に記載の画像処理装置。
5. 前記復号部は、前記第２のレイヤの前記適応オフセット処理のためのオフセット情報をさらに復号し、
   前記オフセット処理部は、前記オフセット情報を用いて前記適応オフセット処理を行う、
   請求項４に記載の画像処理装置。
6. 前記Quad-Tree情報は、前記第１のQuad-Treeのパーティションサイズについての情報及びパーティションの分割を示す情報を含む、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記第１のレイヤ及び前記第２のレイヤは、空間解像度の互いに異なるレイヤである、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記第１のレイヤ及び前記第２のレイヤは、雑音比率の互いに異なるレイヤである、請求項１〜６のいずれか１項に記載の画像処理装置。
9. 前記第１のレイヤ及び前記第２のレイヤは、ビット深度の互いに異なるレイヤである、請求項１〜６のいずれか１項に記載の画像処理装置。
10. 前記第１のレイヤ及び前記第２のレイヤは、クロマフォーマットの互いに異なるレイヤである、請求項１〜６のいずれか１項に記載の画像処理装置。
11. 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含む画像の前記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報、及び前記第１のQuad-Treeを前記第２のレイヤのフィルタ処理のためにさらに分割するかを示す分割情報を復号することと、
    復号された前記Quad-Tree情報を用いて形成されるQuad-Treeを前記分割情報に従ってさらに分割することにより、前記第２のレイヤに第２のQuad-Treeを設定することと、
    を含み、
    設定される前記第２のQuad-Treeに含まれるパーティションを処理単位として前記フィルタ処理が実行される、
    画像処理方法。
12. 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含む画像の前記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報であって、前記第２のレイヤに第２のQuad-Treeを設定するために使用される前記Quad-Tree情報と、前記第１のQuad-Treeを前記第２のレイヤのフィルタ処理のためにさらに分割するかを示す分割情報とを符号化する符号化部、
    を備え、
    前記Quad-Tree情報を用いて形成されるQuad-Treeを前記分割情報に従ってさらに分割することにより設定される第２のQuad-Treeに含まれるパーティションを処理単位として前記フィルタ処理が実行される、
    画像処理装置。
13. 第１のレイヤ及び前記第１のレイヤよりも上位の第２のレイヤを含む画像の前記第１のレイヤに設定される第１のQuad-Treeを特定するQuad-Tree情報であって、前記第２のレイヤに第２のQuad-Treeを設定するために使用される前記Quad-Tree情報と、前記第１のQuad-Treeを前記第２のレイヤのフィルタ処理のためにさらに分割するかを示す分割情報とを符号化すること、
    を含み、
    前記Quad-Tree情報を用いて形成されるQuad-Treeを前記分割情報に従ってさらに分割することにより設定される第２のQuad-Treeに含まれるパーティションを処理単位として前記フィルタ処理が実行される、
    画像処理方法。
    

Images