JP2014082729A - 画像復号装置、および画像符号化装置 - Google Patents
画像復号装置、および画像符号化装置 Download PDFInfo
- Publication number
- JP2014082729A JP2014082729A JP2012283956A JP2012283956A JP2014082729A JP 2014082729 A JP2014082729 A JP 2014082729A JP 2012283956 A JP2012283956 A JP 2012283956A JP 2012283956 A JP2012283956 A JP 2012283956A JP 2014082729 A JP2014082729 A JP 2014082729A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- unit
- image
- intra
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】階層符号化における符号化効率を向上させる。
【解決手段】対象予測単位の周辺領域の復号画像を参照してレイヤ内イントラ予測画像を生成するレイヤ内イントラ予測手段と、補正単位分割手段により補正単位に分割されたレイヤ内予測画像から低周波成分抽出手段により抽出した低周波成分を、補正単位分割手段により補正単位に分割された下位レイヤ復号画像から低周波成分抽出手段により抽出した低周波成分に置き換えることで予測画像を生成するハイブリッド予測手段を備え、空間予測モードに応じて上記２つの予測手段を切り替える画像符号化装置および画像復号装置。
【選択図】図１
【解決手段】対象予測単位の周辺領域の復号画像を参照してレイヤ内イントラ予測画像を生成するレイヤ内イントラ予測手段と、補正単位分割手段により補正単位に分割されたレイヤ内予測画像から低周波成分抽出手段により抽出した低周波成分を、補正単位分割手段により補正単位に分割された下位レイヤ復号画像から低周波成分抽出手段により抽出した低周波成分に置き換えることで予測画像を生成するハイブリッド予測手段を備え、空間予測モードに応じて上記２つの予測手段を切り替える画像符号化装置および画像復号装置。
【選択図】図１
Description
本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。
通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
動画像符号化方式としては、ＡＶＣ（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）が知られている（非特許文献１）。
これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。
インター予測については、フレーム間の動き補償により予測画像が生成される。動き補償に関する情報（動き補償パラメータ）は、たいていの場合、符号量の削減のため直接符号化されない。そこで、インター予測では、対象ブロック周辺の復号状況等に基づく動き補償パラメータの推定が行われる。
また、近年、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術が提案されている。
階層符号化の方式としては、ISO/IECとITU-Tの標準としてＳＶＣ（H.264/AVC Annex G Scalable Video Coding）が挙げられる。
ＳＶＣでは空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとしてＡＶＣで符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。
レイヤ間予測としては、動き予測に関する情報を同時刻の下位レイヤの情報から予測する動き情報予測、あるいは同時刻の下位レイヤの復号画像をアップサンプリングした画像から予測するテクスチャ予測がある（非特許文献２）。上記動き情報予測では、参照レイヤの動き情報を推定値として動き情報が符号化される。
ＳＶＣでは、予測画像の生成に、インター予測、レイヤ内イントラ予測、レイヤ間イントラ予測（レイヤ間テクスチャ予測）のいずれかを利用できる。
「High efficiency video coding (HEVC) text specification draft 8 (JCTVC-J1003_d7)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting: Stockholm, SE, 11-20 July 2012 (２０１２年７月２８日公開)
ITU-T H.264 「Advanced video coding for generic audiovisual services」（２００７年１１月公開）
しかしながら、従来技術として挙げたＨＥＶＣにおけるイントラ予測、または、ＳＶＣにおけるレイヤ内イントラ予測では、予測対象領域の周辺領域の復号画素値を利用して予測画像を生成するため、予測対象領域内の低周波成分が正しく予測できない場合があるという課題があった。また、ＳＶＣにおけるレイヤ間イントラ予測では、下位レイヤの復号画像をアップサンプルして得られる画素値を用いて予測画像を生成するため、予測対象領域内の低周波成分は比較的正確に推定できるが、予測対象領域内の高周波成分が正しく推定できないという課題があった。
本発明は、上記問題に鑑みてされたものであり、その目的は、階層符号化方式において、高周波成分と低周波成分の両方を従来の予測方式に比べて正確に推定することで、より効果的に符号化効率の向上を図ることのできる画像復号装置および画像符号化装置を実現することにある。
上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、下位レイヤの復号画像を参照して生成した上位レイヤの予測画像を用いて上位レイヤの復号画像を復元する画像復号装置であって、上位レイヤの復号画像を参照してレイヤ内予測画像を生成するレイヤ内予測画像生成手段と、レイヤ内予測画像の低周波成分を下位レイヤの復号画像の低周波成分により置き換えることで予測画像を生成するハイブリッド予測手段を備えることを特徴としている。
また、上記画像復号装置において、上記レイヤ内予測画像、および、上記下位レイヤ復号画像を補正単位に分割する補正単位分割手段と、上記補正単位で、上記レイヤ内予測画像、および、上記下位レイヤ復号画像の低周波成分を抽出する低周波成分抽出手段を備え、上記ハイブリッド予測手段は、上記補正単位分割手段により補正単位に分割された上記レイヤ内予測画像から上記低周波成分抽出手段により抽出した低周波成分を、上記補正単位分割手段により補正単位に分割された上記下位レイヤ復号画像から上記低周波成分抽出手段により抽出した低周波成分に置き換えることで、予測画像を生成する、ことが好ましい。
また、上記画像復号装置において、予測情報に係るシンタックス値を復号する可変長復号手段と、上記予測情報に係るシンタックス値に基づいて、空間予測モードを含む予測パラメータを復元する予測パラメータ復元手段を備え、上記空間予測モードの示す予測方法で、対象予測単位の周辺領域の復号画像を参照してレイヤ内イントラ予測画像を生成するレイヤ内イントラ予測手段を備え、上記レイヤ内予測画像は、上記レイヤ内イントラ予測画像である、ことが好ましい。
また、上記画像復号装置において、上記低周波成分抽出手段は、上記補正単位の画素値の平均値を上記低周波成分として抽出する、ことが好ましい。
また、上記画像復号装置において、上記イントラ予測選択手段は、上記空間予測モードと対象予測単位のサイズの組み合わせに基づいて、対象予測単位において、上記ハイブリッド予測と上記レイヤ内イントラ予測の何れを適用するかを示すハイブリッド予測フラグを導出する、ことが好ましい。
また、上記画像復号装置において、上記イントラ予測選択手段は、上記空間予測モードがＤＣ予測である場合に上記レイヤ内イントラ予測を適用することを示し、上記空間予測モードがＰｌａｎａｒ予測、または、方向予測である場合に上記ハイブリッド予測を適用することを示すハイブリッド予測フラグを導出する、ことが好ましい。
また、上記画像復号装置において、上記補正単位分割手段における補正単位サイズを決定する補正単位決定手段を備え、上記補正単位決定手段は、上記空間予測モードと対象予測単位のサイズの組み合わせに基づいて、補正単位サイズを決定する、ことが好ましい。
また、上記画像復号装置において、上記補正単位決定手段は、上記空間予測モードが水平方向に近い方向に対応する方向予測である場合に縦長矩形の補正単位を選択し、上記空間予測モードが垂直方向に近い方向に対応する方向予測である場合に横長矩形の補正単位を選択する、ことが好ましい。
また、上記画像復号装置において、上記補正単位決定手段は、上記空間予測モードがＰｌａｎａｒ予測またはＤＣ予測である場合、上記縦長矩形の補正単位または上記横長矩形の補正単位を選択する、ことが好ましい。
また、上記画像復号装置において、上記補正単位は、対象符号化単位のサイズに依存せず一定である、ことが好ましい。
また、上記画像復号装置において、上記補正単位は、予測単位の最小サイズに等しいこと、が好ましい。
また、上記画像復号装置において、上記レイヤ内イントラ予測画像の生成処理には、予測画像生成に用いる参照領域へ既定の低域フィルタを適用する参照画素フィルタ適用処理を含み、上記予測タイプがレイヤ内イントラ予測を示す場合は、上記参照画像フィルタ適用処理を実行し、上記予測タイプがハイブリッド予測を示す場合は、上記参照画像フィルタ適用処理の実行を省略する、ことが好ましい。
また、上記画像復号装置において、対象予測単位に対応する位置のベース参照画像の画素値に基づいて予測画像を生成するレイヤ間イントラ予測手段を備え、上記予測情報に係るシンタックスにはレイヤ間予測フラグがさらに含まれ、上記イントラ予測選択手段は、上記レイヤ間予測フラグがレイヤ間予測を行うことを示し、かつ、上記空間予測モードがＤＣ予測モードである場合に、上記予測タイプとしてレイヤ間イントラ予測を選択し、上記レイヤ間予測フラグがレイヤ間予測を行うことを示し、かつ、上記空間予測モードがＤＣ予測モード以外である場合に、上記予測タイプとしてハイブリッド予測を選択し、上記レイヤ間予測フラグがレイヤ間予測を行わないことを示す場合、上記予測タイプとしてレイヤ内イントラ予測を選択する、ことが好ましい。
本発明に係る画像符号化装置は、原画像から下位レイヤの復号画像を参照して生成した上位レイヤの予測画像を減算して得られる残差を階層符号化して上位レイヤの符号化データを生成する画像符号化装置であって、予め定められた複数の予測モードの少なくとも一部を含む予測モード群から、一つの予測モードを選択する選択手段と、上記選択手段によって選択された予測モードに基づいて、上位レイヤにおける対象予測単位の予測画像を生成する予測画像生成手段とを備え、上記予測画像生成手段は、該対象予測単位の予測画像として、上位レイヤの復号画像を参照して生成されるレイヤ内予測画像、または上記レイヤ内予測画像の低周波成分を下位レイヤの復号画像の低周波成分により置き換えることで生成されるハイブリッド予測画像を生成する、ことを特徴とする。
本発明に係る画像復号装置は、空間予測画像の高周波成分と、ベース参照画像の低周波成分を組み合わせてハイブリッド予測画像を生成するハイブリッド予測部を備えている。したがって、動画像復号装置１は、ハイブリッド予測画像を用いることで生成された従来より少ない符号量の符号化データを復号して、復号画像を再生できる。
本発明に係る画像復号装置は、空間予測画像の高周波成分と、ベース参照画像の低周波成分を組み合わせてハイブリッド予測画像を生成するハイブリッド予測部を備えている。したがって、動画像符号化装置２は、ハイブリッド予測画像を用いることで従来より少ない符号量で符号化データを生成できる。
図１〜図２１に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２について説明すれば以下のとおりである。
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、ＳＶＣにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、ＳＶＣにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
また、ＳＶＣは、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、および（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレーム・レート（単位時間のフレーム数）において階層化する技術である。また、ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。
本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造について説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。
まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。
また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。
このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号することができる。
なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
上位レイヤ ： ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
下位レイヤ ： ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
対象レイヤ ： 復号または符号化の対象となっている階層のことをいう。
参照レイヤ（reference layer） ： 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。
図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
基本レイヤ（base layer） ： 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
拡張レイヤ ： 基本レイヤの上位レイヤは、拡張レイヤと称される。
レイヤ識別子 ： レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
レイヤ間予測 ： レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を（同時刻の）参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、（同時刻の）下位レイヤの復号画像をアップサンプリングした画像から予測するレイヤ間予測のことをテクスチャ予測（あるいはレイヤ間イントラ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどの符号化方式により生成してもよい。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどの符号化方式により生成してもよい。
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されるものであってもよいし、同一の伝送路を介して階層動画像復号装置１に供給されるものであってもよい。
例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ−２またはＨ．２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をＨＥＶＣにより符号化して、インターネットで伝送してもよい。
（基本レイヤ）
図３は、基本レイヤにおいて採用することができる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造について例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
図３は、基本レイヤにおいて採用することができる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造について例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーブロック（Coding Tree block；ＣＴＢ）を規定するＣＴＢレイヤ、符号化ツリーブロックＣＴＢに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。なお、符号化パラメータ群は、必ずしもピクチャヘッダＰＨ内に直接含んでいる必要はなく、例えばピクチャパラメータセットＰＰＳへの参照を含むことで、間接的に含めても良い。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、スライスヘッダＳＨ、及び、符号化ツリーブロックＣＴＢ1〜ＣＴＢNC（ＮＣはスライスＳに含まれるＣＴＢの総数）のシーケンスを含んでいる。
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、スライスヘッダＳＨ、及び、符号化ツリーブロックＣＴＢ1〜ＣＴＢNC（ＮＣはスライスＳに含まれるＣＴＢの総数）のシーケンスを含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）を含んでいても良い。
（ＣＴＢレイヤ）
ＣＴＢレイヤでは、処理対象の符号化ツリーブロックＣＴＢ（以下、対象ＣＴＢとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーブロックのことをツリーブロック（TB: Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
ＣＴＢレイヤでは、処理対象の符号化ツリーブロックＣＴＢ（以下、対象ＣＴＢとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーブロックのことをツリーブロック（TB: Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
符号化ツリーブロックＣＴＢは、ＣＴＢヘッダＣＴＢＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはＣＴＢに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーブロックＣＴＢと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
符号化ツリーブロックＣＴＢは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。
符号化ツリーブロックＣＴＢの上記パーティションは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するパーティションを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。なお、符号化ノードは、符号化ブロック（CB: Coding Block）と呼ぶこともある。
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
また、符号化ツリーのルート（root）は、符号化ツリーブロックＣＴＢに対応付けられる。換言すれば、符号化ツリーブロックＣＴＢは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのパーティション）のサイズの縦横とも半分である。
また、符号化ツリーブロックＣＴＢのサイズ、および、各符号化ノードのとり得るサイズは、階層符号化データＤＡＴＡ＃ＣのシーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーブロックＣＴＢのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
（ＣＴＢヘッダ）
ＣＴＢヘッダＣＴＢＨには、対象ＣＴＢの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＢの各ＣＵへの分割パターンを指定するＣＴＢ分割情報ＳＰ＿ＣＴＢ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
ＣＴＢヘッダＣＴＢＨには、対象ＣＴＢの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＢの各ＣＵへの分割パターンを指定するＣＴＢ分割情報ＳＰ＿ＣＴＢ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
ＣＴＢ分割情報ＳＰ＿ＣＴＢは、ＣＴＢを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＢに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＢ内での位置を指定する情報である。
なお、ＣＴＢ分割情報ＳＰ＿ＣＴＢは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＢ分割情報ＳＰ＿ＴＢＬＫは、対象ＣＴＢ全体またはＣＴＢの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＢの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
また、量子化パラメータ差分Δｑｐは、対象ＣＴＢにおける量子化パラメータｑｐと、当該対象ＣＴＢの直前に符号化されたＣＴＢにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤでは、イントラ予測の場合にイントラ予測情報ＰＰ＿Ｉｎｔｒａが含まれる。また、インター予測の場合にはインター予測情報ＰＰ＿Ｉｎｔｅｒを含む。
インター予測情報ＰＰ＿Ｉｎｔｅｒは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報ＰＰ＿Ｉｎｔｅｒは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照画像インデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。
イントラ予測情報ＰＰ＿Ｉｎｔｒａは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報ＰＰ＿Ｉｎｔｒａには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
ここで、イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデックスであるmpm_idx、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。
また、イントラ予測パラメータは、イントラレイヤ間予測モードを用いるのか否かを指定するフラグintra_layer_pred_flagを更に含む構成とすることもできる。
また、イントラ予測パラメータは、複数種類のイントラレイヤ間予測モードの何れかを指定するためのフラグintra_layer_pred_modeを更に含む構成とすることもできる。
また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。
なお、mpm_flag、mpm_idx、rem_idx、およびchroma_modeのパラメータの詳細については、後述する。また、mpm_flagおよびrem_idxは、それぞれ、例えば、非特許文献１における“prev_intra_luma_pred_flag”および“rem_intra_luma_pred_mode”に対応している。また、ｃｈｒｏｍａ＿ｍｏｄｅは、“intra_chroma_pred_mode”に対応している。
［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。
ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズをとり得る。
各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる領域のことをパーティションとも称する。
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる領域のことをパーティションとも称する。
図４（ａ）〜（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。
図４（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割タイプを示している。また、図４（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。また、図４（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。また、図４（ｈ）は、ＰＵ分割タイプが、Ｎ×Ｎである場合のパーティションの形状を示している。
また、図４（ａ）〜（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。
［インター予測の場合の分割タイプ］
インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４（ｈ））以外の７種類が定義されている。
インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４（ｈ））以外の７種類が定義されている。
また、Ｎの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、３２×３２画素のインターＣＵは、３２×３２画素、３２×１６画素、１６×３２画素、３２×１６画素、３２×８画素、３２×２４画素、８×３２画素、および、２４×３２画素のインターＰＵへ分割できる。
［イントラ予測の場合の分割タイプ］
イントラＰＵでは、次の２種類の分割パターンが定義されている。対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。
イントラＰＵでは、次の２種類の分割パターンが定義されている。対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。
したがって、イントラＰＵでは、図４に示した例でいえば、（ａ）および（ｈ）の分割パターンを取ることができる。
例えば、３２×３２画素のイントラＣＵは、３２×３２画素、および、１６×１６画素のイントラＰＵへ分割できる。
（拡張レイヤ）
拡張レイヤの符号化データについても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用することができる。ただし、拡張レイヤの符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略したりすることができる。
拡張レイヤの符号化データについても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用することができる。ただし、拡張レイヤの符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略したりすることができる。
ＳＰＳには階層符号化を示す情報が符号化されていてもよい。
また、スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、および、quality_id）が符号化されていてもよい。
また、ＣＵ情報ＣＵでは、スキップフラグ（skip_flag）、レイヤ間予測フラグ（inter_layer_pred_flag）および予測モードフラグ（pred_mode_flag）が符号化されていてもよい。
また、これらのフラグにより対象ＣＵのＣＵタイプが、レイヤ内イントラＣＵ、レイヤ間イントラＣＵ、インターＣＵ、スキップＣＵのいずれであるかが指定されていてもよい。
レイヤ内イントラＣＵは、ベースレイヤにおけるイントラＣＵと同様に定義できる。レイヤ内イントラＣＵでは、レイヤ間予測フラグが“０”に、予測モードフラグが“０”に設定される。
レイヤ間イントラＣＵは、対象ピクチャと同時刻の参照レイヤのピクチャの復号画像を予測画像生成に用いるＣＵと定義できる。レイヤ間イントラＣＵでは、レイヤ間予測フラグが“１”に、予測モードフラグが“０”に設定される。
スキップＣＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。
インターＣＵは、非スキップかつ動き補償（ＭＣ；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。
また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。
下位レイヤが、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式によって符号化されていてもよい。
対象レイヤと参照レイヤとが異なる符号化方式によって符号化されている場合、参照レイヤのパラメータを、対象レイヤの対応するパラメータ、または、類似のパラメータに変換することでレイヤ間における相応の互換性を保つことができる。例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式におけるマクロブロックは、ＨＥＶＣにおけるＣＴＢに読み替えて解釈することが可能である。
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略することができる。
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図５〜図１６を参照して説明する。
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図５〜図１６を参照して説明する。
（階層動画像復号装置の構成）
図５を用いて、階層動画像復号装置１の概略的構成について説明すると次のとおりである。図５は、階層動画像復号装置１の概略的構成について示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。
図５を用いて、階層動画像復号装置１の概略的構成について説明すると次のとおりである。図５は、階層動画像復号装置１の概略的構成について示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。
図５に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２（可変長復号手段）、予測パラメータ復元部１４、テクスチャ復元部１５（予測画像生成手段）、およびベース復号部１６を備える。
ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。
ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。
なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニット格納されることでＮＡＬ多重化されて階層動画像復号装置１に伝送される。
ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１６に供給する。
可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号する。復号されたシンタックス値は、分類されて出力される。シンタックス値の分類には、図３（ｅ）のＰＴＩに相当する予測情報、図３（ｅ）のＴＴＩに相当する変換係数情報が含まれる。
また、可変長復号部１２は、ＣＵ情報を符号化データＤＡＴＡ＃Ｔから復号する。ＣＵ情報には、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。
可変長復号部１２は、復号した予測情報およびＣＵ情報を予測パラメータ復元部１４に供給する。
また、可変長復号部１２は、復号した変換係数情報およびＣＵ情報をテクスチャ復元部１５に供給する。
可変長復号部１２におけるイントラ予測に係る予測情報の復号処理について図６と図７を参照して説明する。
図６は、可変長復号部１２がＣＵ単位の予測情報復号時に参照するシンタックス表の一部を示す。可変長復号部１２は、まず、非Ｉスライスである場合（slice_type!=Iの場合）、ＣＵ予測モードフラグpred_mode_flagを復号する。pred_mode_flagが０の場合、対象ＣＵは「イントラＣＵ」であり、対象ＣＵのＣＵ予測モード（PredMode[x0][y0]）の値はMODE_INTRAに設定される。pred_mode_flagが１の場合、対象ＣＵは「インターＣＵ」であり、対象ＣＵのＣＵ予測モードの値はMODE_INTERに設定される。なお、Ｉスライスでは、PredMode[x0][y0]は初期値であるMODE_INTRAに設定される。続いて、対象ＣＵがイントラＣＵの場合（PredMode[x0][y0]==MODE_IONTRA）、レイヤ間予測フラグinter_layer_pred_flagを復号する。なお、対象ＣＵがイントラＣＵの場合、inter_layer_pred_flagは復号されず、初期値である０に設定される。
なお、inter_layer_pred_flagはＣＡＢＡＣ（Context Adaptive Binary Arithmatic Coding；コンテキスト適応算術符号化）により復号されてもよい。ＣＡＢＡＣによる復号には単一のコンテキストを用いる。具体的には、inter_layer_pred_flagに単一のコンテキストインデックスを割り当て、当該コンテキストインデックスに関連付けられて記録および更新されている確立状態変数の値に基づいて算術復号を行うことでinter_layer_pred_flagを復号する。なお、スライスタイプに応じて異なるコンテキストインデックスを割り当てるようにしても構わない。
図７は、可変長復号部１２が、イントラＣＵ内のＰＵ単位の予測情報復号時に参照するシンタックス表の一部を示す。可変長復号部１２は、ＭＰＭフラグprev_intra_luma_pred_flag（以下mpm_flagとも呼ぶ）を復号する。続いて、prev_intra_luma_pred_flagの値が１の場合、ＭＰＭインデックスmpm_idxを復号する。それ以外（mpm_flagの値が０）の場合、残余予測モードrem_intra_luma_pred_mode（以下rem_idxとも呼ぶ）を復号する。
ベース復号部１６は、参照レイヤ符号化データＤＡＴＡ＃Ｒから、対象レイヤに対応する復号画像を復号する際に参照される参照レイヤの復号画像であるベース復号画像を復号する。ベース復号部１６は、復号したベース復号画像をテクスチャ復元部１５に供給する。
なお、ベース復号部１６は、参照レイヤ符号化データ＃Ｒから、参照レイヤにおける予測パラメータに相当するベース予測パラメータを復号して予測パラメータ復元部１４に供給してもよい。
予測パラメータ復元部１４は、ＣＵ情報と予測情報を用いて、予測パラメータを復元する。予測パラメータ復元部１４は、復元した予測パラメータを、テクスチャ復元部１５に供給する。なお、予測パラメータ復元部１４は、予測パラメータを復元する際に、テクスチャ復元部１５が備えるフレームメモリ１５５（後述）に格納された動き情報を参照することができる。
テクスチャ復元部１５は、ＣＵ情報、変換係数情報、ベース復号画像および予測パラメータを用いて、復号画像ＰＯＵＴ＃Ｔを生成し、外部に出力する。なお、テクスチャ復元部１５では、復元された復号画像に関する情報が、内部に備えるフレームメモリ１５５（後述）に格納される。
以下において、テクスチャ復元部１４、予測パラメータ復元部１５、およびベース復号部１６それぞれの詳細について説明する。
（テクスチャ復元部）
図８を用いて、テクスチャ復元部１５の詳細構成について説明する。図８は、テクスチャ復元部１５の構成について例示した機能ブロック図である。
図８を用いて、テクスチャ復元部１５の詳細構成について説明する。図８は、テクスチャ復元部１５の構成について例示した機能ブロック図である。
図８に示すように、テクスチャ復元部１５は、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、フレームメモリ１５５を備える。
逆直交変換・逆量子化部１５１は、（１）可変長復号部１２から供給される変換係数情報に含まれる量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）し、（３）逆直交変換によって得られた予測残差Ｄを加算器１５３に供給する。なお、予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。
テクスチャ予測部１５２は、予測パラメータに応じて、ベース復号情報に含まれるベース復号画像（ベース参照画像とも呼ぶ）またはフレームメモリに格納されている復号済みの復号画像を参照し、予測画像を生成する。
テクスチャ予測部１５２は、より詳細には、インター予測部１５２Ｔ、レイヤ内イントラ予測部１５２Ｓ（レイヤ内イントラ予測手段）、レイヤ間イントラ予測部１５２Ｂ（レイヤ間イントラ予測手段）、および、ハイブリッド予測部１５２Ｈ（ハイブリッド予測手段）を備える。
テクスチャ予測部１５２は、インター予測部１５２Ｔ、レイヤ内イントラ予測部１５２Ｓ、レイヤ間イントラ予測部１５２Ｂ、または、ハイブリッド予測部１５２Ｈが生成した予測画像を加算器１５３に供給する。
インター予測部１５２Ｔは、各ＰＵの予測画像をインター予測により生成する。具体的には、予測パラメータに含まれる動き情報を用いた動き補償予測により、参照画像から予測画像を生成する。
レイヤ内イントラ予測部１５２Ｓは、各イントラ予測パーティションに関する予測画像をレイヤ内イントラ予測により生成する。具体的には、レイヤ内イントラ予測情報復元部１４４Ｓから予測パラメータとして供給される空間予測モードを用いて、対象ＰＵの復号済周辺画素値を参照する空間予測により、予測画像を生成する。
空間予測モードについて、図１０に基づいて、定義の一例を説明する。図１０は、空間予測モードの定義の一例を示す。同図に示す例においては、３６種類の予測モードが定義されており、それぞれの予測モードは、「０」〜「３５」の番号（IntraPredModeまたはIntraPredModeCの各値であり、イントラ予測モードインデックスとも呼称することがある）により特定される。また、図１１に示すように、各予測モードには次の名称が割り当てられている。すなわち、「０」は、“Intra Planar（プラナー予測モード、平面予測モード）”であり、「１」は、“Intra DC（イントラＤＣ予測モード）”であり、「２」〜「３４」は、“Intra Angular（方向予測）”であり、「３５」は、“Intra From Luma”である。
「３５」は、色差予測モード固有のものであり、輝度の予測に基づいて色差の予測を行うモードである。言い換えれば、色差予測モード「３５」は、輝度画素値と色差画素値との相関を利用した予測モードである。色差予測モード「３５」はＬＭモードとも称する。予測モード数（intraPredModeNum）は、対象ブロックのサイズによらず「３６」である。
レイヤ内イントラ予測部１５２Ｓにおいて、対象ＰＵのレイヤ内イントラ予測画像の生成は、以下のＳ１０１〜Ｓ１０６ｃの手順で実行される。
（Ｓ１０１）対象ＰＵに隣接する領域の局所復号画像を参照して、予測画像生成に用いる参照領域を設定する。例えば、図１２に示すように、対象ＰＵ（CURR_PU）の左側隣接領域（REFREG_L）上の画素と、対象ＰＵの上側隣接領域（REFREG_U）上の画素を合わせ得て参照領域（REFREG）とする。
（Ｓ１０２）局所復号画像が存在しない、または、利用できない参照領域上の画素の画素値を、近傍の局所復号画像の画素値のコピーまたは、既定の値（例えば１２７）を代入により設定する。
（Ｓ１０３）参照領域上の画素値に対してフィルタ（参照画素フィルタ）を適用する。参照画素フィルタには、低域通過フィルタ（例えば、［１、２、１］のフィルタ係数により表現されるフィルタ）が利用できる。また、参照画素フィルタは、空間予測モードに応じて適用有無を切り替えてもよい。また、空間予測モードに応じて異なるフィルタ係数を用いてもよい。
（Ｓ１０４）空間予測モードの種類に応じて、Ｓ１０５ａ〜Ｓ１０５ｃのいずれかを選択して、レイヤ内予測画像を生成する。
（Ｓ１０５ａ）空間予測モードが方向予測の場合、予測画像の各画素値を、予測方向の示す位置の参照領域上の画素値を参照して生成する。なお、空間予測モードに対応する予測方向は、図１０で説明した通りとなる。
（Ｓ１０５ｂ）空間予測モードがイントラＤＣ予測モードの場合、参照領域上の画素値の平均値を計算して参照領域のＤＣ値を導出する。予測画像の各画素の値は、導出したＤＣ値に設定する。
（Ｓ１０６ｃ）空間予測モードがプラナー予測モードの場合、予測画像の各画素値は、当該画素の上方に位置する参照領域の画素値と、当該画素の左方に位置する参照画素の画素値との距離を考慮した加重平均により導出される。
レイヤ間イントラ予測部１５２Ｂは、各ＰＵの予測画像をレイヤ間イントラ予測により生成する。具体的には、レイヤ間イントラ予測情報復元部１４４Ｂから予測パラメータとして供給されるレイヤ間予測モードに基づいて、ベース復号画像を参照して予測画像を生成する。
図１３を参照して、ベースレイヤの復号画像（ベース復号画像）を用いたレイヤ間イントラ予測について説明する。図１３は、ベースレイヤの復号画像を用いたレイヤ間イントラ予測を概略的に示す模式図である。
図１３に示すように、レイヤ間イントラ予測では、拡張レイヤの対象ブロック（復号される予測ブロックのことを指す（以下同様））のイントラ予測画像が、ベースレイヤにおいて、時間的に該対象ブロックと同時刻に位置するブロックであって、空間的に該対象ブロックに対応する位置に配置されたブロックである参照ブロック（参照される予測ブロックのことを指す（以下同様））の復号画像に基づいて生成される。
なお、対象ブロックと、参照ブロックとで、画素数が異なる場合はアップサンプルを行う構成とすればよい。また、必要に応じて、参照ブロックの復号画像に対してフィルタリング（サンプル適応オフセット（Sample Adaptive Offset；ＳＡＯ）、適応ループフィルタ（Adaptive Loop Filter；ＡＬＦ）、エッジ強調、ノイズ除去、インタレース解除など）を適用したベース復号画像を参照してイントラ予測画像を生成する構成としてもよい。
ハイブリッド予測部１５２Ｈは、各イントラ予測パーティションの予測画像をハイブリッド予測により生成する。ハイブリッド予測は、レイヤ内イントラ予測部１５２Ｓで生成されるレイヤ内イントラ予測画像を、ベース参照画像の画素値に基づいて修正する。ハイブリッド予測部１５２Ｈによるハイブリッド予測詳細については後述する。
加算器１５３は、テクスチャ予測部１５２から供給された予測画像と、逆直交変換・逆量子化部１５１から供給された予測残差Ｄとを加算することによって復号画像を生成する。
ループフィルタ部１５４は、加算器１５３から供給される復号画像に対し、デブロッキング処理や、適応フィルタパラメータによるフィルタ処理を施すものである。
フレームメモリ１５５は、ループフィルタ部１５４によるフィルタ済み復号画像を格納する。
（ベース復号部）
図９を用いて、ベース復号部１６の詳細構成について説明する。図９は、ベース復号部１６の構成について例示した機能ブロック図である。
図９を用いて、ベース復号部１６の詳細構成について説明する。図９は、ベース復号部１６の構成について例示した機能ブロック図である。
図９に示すように、ベース復号部１６は、可変長復号部１６１、ベース予測パラメータ復元部１６２、ベース変換係数復元部１６３、およびベーステクスチャ復元部１６４を備える。
可変長復号部１６１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種のシンタックス値を復号する。
具体的には、可変長復号部１６１は、予測情報および変換係数情報を符号化データＤＡＴＡ＃Ｒから復号する。可変長復号部１６１が復号する予測情報および変換係数のシンタックスは、可変長復号部１２と同様であるのでここではその詳細な説明を省略する。
可変長復号部１６１は、復号した予測情報をベース予測パラメータ復元部１６２に供給するとともに、復号した変換係数情報をベース変換係数復元部１６３に供給する。
ベース予測パラメータ復元部１６２は、可変長復号部１６１から供給される予測情報に基づいて、ベース予測パラメータを復元する。ベース予測パラメータ復元部１６２が、ベース予測パラメータを復元する方法については、予測パラメータ復元部１４と同様であるので、ここではその詳細な説明を省略する。ベース予測パラメータ復元部１６２は、復元したベース予測パラメータを、ベーステクスチャ復元部１６４に供給する。
ベース変換係数復元部１６３は、可変長復号部１６１から供給される変換係数情報に基づいて、変換係数を復元する。ベース変換係数復元部１６３が変換係数を復元する方法については、逆直交変換・逆量子化部１５１と同様であるので、ここではその詳細な説明を省略する。ベース変換係数復元部１６３は、復元したベース変換係数を、ベーステクスチャ復元部１６４に供給する。
ベーステクスチャ復元部１６４は、ベース予測パラメータ復元部１６２から供給されるベース予測パラメータと、ベース変換係数復元部１６３から供給されるベース変換係数とを用いて、復号画像を生成する。具体的には、ベーステクスチャ復元部１６４は、ベース予測パラメータに基づき、テクスチャ予測部１５２と同様のテクスチャ予測を行って、予測画像を生成する。また、ベーステクスチャ復元部１６４は、ベース変換係数に基づいて予測残差を生成し、生成した予測残差と、テクスチャ予測により生成した予測画像とを加算することでベース復号画像を生成する。
なお、ベーステクスチャ復元部１６４は、ベース復号画像に対して、ループフィルタ部１５４と同様のフィルタ処理を施してもよい。また、ベーステクスチャ復元部１６４は、復号済みのベース復号画像を格納するためのフレームメモリを備えていてもよく、テクスチャ予測においてフレームメモリに格納されている復号済みのベース復号画像を参照してもよい。
（予測パラメータ復元部）
図１５を用いて、予測パラメータ復元部１４の詳細構成について説明する。図１５は、予測パラメータ復元部１４の構成について例示した機能ブロック図である。
図１５を用いて、予測パラメータ復元部１４の詳細構成について説明する。図１５は、予測パラメータ復元部１４の構成について例示した機能ブロック図である。
図１５に示すように、予測パラメータ復元部１４は、イントラインター選択部１４１、イントラ予測選択部１４２、イントラ予測モード復元部１４３、イントラ情報復元部１４４、および、動き情報復元部１４５を備える。
イントラ情報復元部１４４は、内部にハイブリッド予測情報復元部１４４Ｈ、レイヤ内イントラ予測情報復元部１４４Ｓ、および、レイヤ間イントラ予測情報復元部１４４Ｂをさらに含む
イントラインター選択部１４１は、対象ＣＵがイントラＣＵかインターＣＵかを入力される予測情報に含まれるpred_mode_flagの値から判定する。pred_mode_flagの値が０の場合、対象ＣＵはイントラＣＵと判定される。pred_mode_flagの値が１の場合、対象ＣＵはインターＣＵと判定される。対象ＣＵがイントラＣＵの場合、イントラＣＵの予測パラメータ復元に係る各構成要素、ここでは、イントラ予測選択部１４２、イントラ予測モード復元部１４３、および、イントラ情報復元部１４４にそれぞれ予測情報を出力する。対象ＣＵがインターＣＵの場合、インターＣＵの予測パラメータ復元に係る各構成要素、ここでは、動き情報復元部１４５に予測情報を出力する。
イントラインター選択部１４１は、対象ＣＵがイントラＣＵかインターＣＵかを入力される予測情報に含まれるpred_mode_flagの値から判定する。pred_mode_flagの値が０の場合、対象ＣＵはイントラＣＵと判定される。pred_mode_flagの値が１の場合、対象ＣＵはインターＣＵと判定される。対象ＣＵがイントラＣＵの場合、イントラＣＵの予測パラメータ復元に係る各構成要素、ここでは、イントラ予測選択部１４２、イントラ予測モード復元部１４３、および、イントラ情報復元部１４４にそれぞれ予測情報を出力する。対象ＣＵがインターＣＵの場合、インターＣＵの予測パラメータ復元に係る各構成要素、ここでは、動き情報復元部１４５に予測情報を出力する。
イントラ予測選択部１４２は、対象ＣＵ、または、対象ＣＵを構成する各ＰＵに適用されるイントラ予測の種類を、予測情報に含まれるシンタックス値に基づいて判定して、判定結果をイントラ情報復元部１４４に出力する。
上記判定は、図１６に基づいて実行される。図１６は、シンタックス値inter_layer_pred_flagの値と空間予測モードの組み合わせから、予測タイプを一意に特定する表である。図１６ではinter_layer_pred_flagの値が０の場合、イントラ予測モードの種類に関わらず、対象ＣＵおよび対象ＰＵの予測タイプを「レイヤ内イントラ予測」と判定する。inter_layer_pred_flagの値が１、かつ、イントラ予測モードが１（イントラ予測モードがＤＣ予測を示す）場合、対象ＰＵの予測タイプを「レイヤ間イントラ予測」と判定する。inter_layer_pred_flagの値が１、かつ、イントラ予測モードが０、２〜３４のいずれかの場合（イントラ予測モードが非ＤＣ予測を示す場合）、対象ＰＵの予測タイプを「ハイブリッド予測」と判定する。
イントラ予測モード復元部１４３は、入力される予測情報に基づいて、対象ＣＵを構成する各ＰＵの空間予測モード（イントラ予測モードとも呼ぶ）を復元して、イントラ情報復元部１４４（ハイブリッド予測情報復元部１４４Ｈ、レイヤ内イントラ予測情報復元部１４４Ｓ）に出力する。
イントラ予測モード復元部１４３における対象ＰＵの空間予測モード（IntraPredMode[xB][yB]）復元処理の詳細を説明する。
イントラ予測モード復元部１４３は、予測情報に含まれる対象ＰＵの空間予測モードに係るシンタックス、mpm_flag、mpm_idx、rem_idxの各値に基づいて、対象ＰＵの空間予測モードを復元する。空間予測モード復元の手順は、Ｓ２０１〜Ｓ２０２に示した通りである。
（Ｓ２０１）対象ＰＵの周辺ＰＵの空間予測モード、つまり、対象ＰＵの左に隣接するＰＵ、および、対象ＰＵの上に隣接するＰＵの空間予測モードに基づいて、３つのＭＰＭ候補を含むＭＰＭ候補リストを生成する。次にＳ２０２を実行する。
（Ｓ２０２）mpm_flagの値が１の場合、Ｓ２０３を実行する。そうでなければ（mpm_flagの値が０の場合）、Ｓ２０４を実行する。
（Ｓ２０３）mpm_idxが示すＭＰＭ候補をＭＰＭ候補リストから選択して、対象ＰＵの空間予測モードとして処理を終了する。
（Ｓ２０４）mpm_flagの値が０の場合、残余予測モードリストを生成してＳ２０５を実行する。残余予測モードリストは、対象ＰＵで選択可能な空間予測モードのうち、ＭＰＭ候補リストに含まれる空間予測モードを除外して生成される空間予測モードのリストである。
（Ｓ２０５）rem_idxが示す予測モードを残余予測モードリストから選択して対象ＰＵの空間予測モードとして処理を終了する。
イントラ情報復元部１４４は、入力されたＰＵ予測タイプに対応する予測パラメータを導出して、外部に出力する。ＰＵ予測タイプがハイブリッド予測の場合、ハイブリッド予測情報復元部１４４Ｈにより予測パラメータを導出する。ＰＵ予測タイプがレイヤ内イントラ予測の場合、レイヤ内イントラ予測情報復元部１４４Ｓにより予測パラメータを導出する。ＰＵ予測タイプがレイヤ間イントラ予測の場合、レイヤ間イントラ予測復元部１４４Ｂにより予測パラメータを導出する。
ハイブリッド予測情報復元部１４４Ｈは、「ハイブリッド予測」に設定された対象ＰＵの予測タイプと、入力された空間予測モードを合わせて対象ＰＵの予測パラメータとして出力する。
レイヤ内イントラ予測情報復元部１４４Ｓは、「レイヤ内イントラ予測」に設定された対象ＰＵの予測タイプを対象ＰＵの予測パラメータと、入力された空間予測モードを合わせて対象ＰＵの予測パラメータとしてとして出力する。
レイヤ間イントラ予測情報復元部１４４Ｂは、「レイヤ間イントラ予測」に設定された対象ＰＵの予測タイプを予測パラメータとして出力する。なお、レイヤ内イントラ予測に２以上の予測方法が含まれる場合は、予測情報から何れの予測方法を用いるかの情報を読出し、対象ＰＵの予測パラメータに追加して出力してもよい。
動き情報復元部１４５は、入力された予測情報から動き補償パラメータを復元するとともに、「動き補償予測」に設定された対象ＰＵの予測タイプを対象ＰＵの予測パラメータとして出力する。
ここで、動き補償パラメータは、動き補償予測に用いるパラメータである。動き補償パラメータには、例えば、動きベクトル（mv）、インター予測フラグ（inter_pred_flag）および、参照画像インデックス（refIdx）が含まれる。
＜＜ハイブリッド予測＞
以下では、ハイブリッド予測部１５２Ｈの詳細を説明する。
以下では、ハイブリッド予測部１５２Ｈの詳細を説明する。
前述の通り、ハイブリッド予測部１５２Ｈは、対象ＰＵの予測画像をハイブリッド予測により生成する。ハイブリッド予測は、概略的には、レイヤ内イントラ予測部１５２Ｓで生成されるレイヤ内イントラ予測画像を、ベース参照画像の画素値に基づいて修正する。
ハイブリッド予測部１５２Ｈは、テクスチャ予測部１５２に入力される予測パラメータが、対象ＰＵの予測タイプがハイブリッド予測であることを示す場合に起動される。その際、予測パラメータに含まれる空間予測モードに基づいてレイヤ内イントラ予測部１５２Ｓで生成された予測画像（レイヤ内イントラ予測画像）がハイブリッド予測部１５２Ｈへ入力される。また、対象ＰＵの位置に対応するベース復号画像（ベース参照画像）が入力される。ハイブリッド予測部１５２Ｈは、入力されるレイヤ内イントラ予測画像とベース参照画像に基づいてハイブリッド予測画像を生成して、対象ＰＵの予測画像として出力する。
図１を参照してハイブリッド予測部１５２Ｈの詳細構成を説明する。図１は、ハイブリッド予測部１５２Ｈの概略的構成を示した機能ブロック図である。ハイブリッド予測部１５２Ｈは、補正単位分割部１５２Ｈ１Ｂ、補正単位分割部１５２Ｈ１Ｅ、低周波成分抽出部１５２Ｈ２Ｂ、低周波成分抽出部１５２Ｈ２Ｅ、加算器１５２Ｈ３、および、加算器１５２Ｈ４を備える。
補正単位分割部１５２Ｈ１Ｂと補正単位分割部１５２Ｈ１Ｅは、入力される画像上の対象ＰＵに対応する領域（ＰＵ対応領域）を１以上の補正単位に分割する。ＰＵ対応領域に対応する画像に、当該領域の補正単位分割を示す情報（補正分割情報）を付加して出力する。
なお、補正単位分割部１５２Ｈ１Ｂは、入力された対象ＰＵに対応するベース復号画像を補正単位に分割する。一方、補正単位分割部１５２Ｈ１Ｅは、入力された対象ＰＵに対応する空間予測画像を補正単位に分割する。本実施形態では、両者は同一の機能を有するとし、補正単位分割部１５２Ｈ１（補正単位分割手段）と総称する。また、補正単位分割部１５２Ｈ１に入力される画像（レイヤ内イントラ予測画像、ベース参照画像）を分割対象画像と総称し、出力を分割後画像と総称する。
補正単位分割部１５２Ｈ１は、分割対象画像を４×４画素から構成される補正単位に分割する。例えば、対象ＰＵのサイズが３２×３２画素である場合、３２×３２画素の分割対象画像は、８×８個の補正単位（各補正単位は４×４画素）に分割される。
低周波成分抽出部１５２Ｈ２Ｂと低周波成分抽出部１５２Ｈ２Ｅは、入力される画像のＰＵ対応領域を、同じく入力される補正単位情報に基づいて分割して得られる各補正単位毎に低周波成分を抽出する。各補正単位から抽出した低周波成分から、対象ＰＵ単位の画像を構成して低周波画像として出力する。本実施形態では、低周波成分抽出部１５２Ｈ２Ｂと低周波成分抽出部１５２Ｈ２Ｅは同一の機能を有するとして、両者を低周波成分抽出部１５２Ｈ２（低周波成分抽出手段）と総称する。
レイヤ内イントラ予測画像を補正単位分割部１５２Ｈ１Ｅと低周波成分抽出部１５２Ｈ２Ｅに順次入力して得られる低周波画像をレイヤ内イントラ低周波画像と呼ぶ。また、ベース参照画像を補正単位分割部１５２Ｈ１Ｂと低周波成分抽出部１５２Ｈ２Ｂに順次入力して得られる低周波画像をベース参照低周波画像と呼ぶ。
なお、補正単位における低周波成分の抽出は、例えば、補正単位の画素値の平均を導出する処理である。言い換えると、補正単位のＤＣ成分を抽出する低周波成分としてもよい。この場合、低周波成分抽出部が出力する低周波画像の各画素値は、当該画素位置を含む補正単位の画素値平均となる。
なお、ＤＣ成分以外の低周波成分を抽出してもよい。例えば、次のＳ３０１〜Ｓ３０３の手順で低周波画像を生成してもよい。
（Ｓ３０１）補正単位毎に周波数変換を適用して補正単位変換係数を導出する。
（Ｓ３０２）補正単位変換係数のうち、高周波成分に相当する変換係数を０に置き換えることで、補正単位低周波変換係数を導出する。
（Ｓ３０３）補正単位低周波変換係数に逆周波数変換を適用して補正単位の低周波画像とする。
上記周波数変換としては、例えば、ＤＣＴ変換、ＤＳＴ変換、アダマール変換、ＫＬＴ等の直交変換を用いることができる。
加算記１５２Ｈ３は、入力されるレイヤ内イントラ予測画像から、入力されるレイヤ内イントラ予測低周波画像を引いてレイヤ内イントラ予測高周波画像として出力する。
加算記１５２Ｈ４は、入力されるレイヤ内イントラ予測高周波画像と、入力されるベース参照低周波画像を加算してハイブリッド予測画像として出力する。
次に、ハイブリッド予測部１５２Ｈにおける予測画像生成処理の手順（Ｓ４０１〜Ｓ４０６）を説明する。ここでは、対象ＰＵに対するレイヤ内イントラ予測画像とベース参照画像を入力として、対象ＰＵのハイブリッド予測画像をハイブリッド予測部１５２Ｈの各構成要素を用いて導出する処理である。
（Ｓ４０１）補正単位分割部１５２Ｈ１Ｅは、入力される空間予測画像を補正単位に分割し、空間予測画像と分割情報を合わせて低周波成分抽出部１５２Ｈ２Ｅに出力する。
（Ｓ４０２）低周波成分抽出部１５２Ｈ２Ｅは、入力された分割情報に基づいて空間予測画像を分割し、得られる分割単位毎に空間予測画像の低周波成分を抽出して、レイヤ内イントラ予測低周波画像を生成して、加算器１５２Ｈ３に出力する。
（Ｓ４０３）加算器１５２Ｈ３は、入力される空間予測画像から、低周波成分抽出部１５２Ｈ２Ｅから入力される空間予測低周波画像を減算して、空間予測高周画像を生成して、加算記１５２Ｈ４へ入力する。
（Ｓ４０４）補正単位分割部１５２Ｈ１Ｂは、入力されたベース参照画像を補正単位に分割し、ベース参照画像と分割情報を合わせて低周波成分抽出部１５２Ｈ２Ｂへ出力する。
（Ｓ４０５）低周波成分抽出部１５２Ｈ２Ｂは、入力された分割情報に基づいてベース参照画像を分割し、得られる分割単位毎にベース参照画像の低周波成分を抽出して、ベース参照低周波画像を生成して、加算器１５２Ｈ４に出力する。
（Ｓ４０６）加算器１５２Ｈ４は、加算器１５２Ｈ３から入力されたレイヤ内イントラ予測高周波画像と、低周波成分抽出部１５２Ｈ２Ｂから入力された参照レイヤ低周波画像とを加算してハイブリッド予測画像を生成して、対象ＰＵの予測画像として外部に出力する。
なお、上記のハイブリッド予測部１５２Ｈでは、まず、レイヤ内イントラ予測低周波画像をレイヤ内イントラ予測画像から減算し、その後にベース参照低周波画像を加算することでハイブリッド予測画像を生成することを示したが、加算や減算の順序を変えてもよいし、また、途中の高周波画像や低周波画像に対して画素値の範囲を制限するクリップ処理を設けていてもよい。例えば、まず、ベース参照低周波画像からレイヤ内イントラ予測低周波画像を減算し、得られた差分低周波画像をレイヤ内イントラ予測画像に加算することでハイブリッド予測画像を生成してもよい。
上記ハイブリッド予測画像の導出手順によれば、対象ＰＵにおけるレイヤ内イントラ予測画像（空間予測画像）を複数の補正単位に分割し、補正単位毎に空間予測画像の低周波成分を、ベース参照画像の低周波成分に置き換えることができる。言い換えると、補正単位毎に、空間予測画像の高周波成分と、ベース参照画像の低周波成分とを組み合わせたハイブリッド予測画像が生成できる。ハイブリッド予測画像は、空間予測画像や参照レイヤ画像よりも高精度の（入力画像に類似の）予測画像となる可能性が高い。したがって、ハイブリッド予測画像を予測画像として用いることで、予測残差の符号量を減らして、動画像符号化データの符号量を削減できる。
ここで、ハイブリッド予測画像が、高精度の予測画像となる理由を説明する。
一般に、対象ＰＵにおける高周波成分の予測には、対象レイヤの局所復号画像を用いて生成される空間予測画像の高周波成分を用いる方が、ベース参照画像の画素値を用いて生成されるレイヤ間イントラ予測画像の高周波成分を用いる場合に比べて、入力画像の高周波成分に類似の成分が得られるため好適な場合が多い。
これは、対象レイヤの局所復号画像には、ベース参照画像に較べてより多くの高周波成分が含まれているためである。言い換えると、ベース参照画像の生成に用いる参照レイヤが対象レイヤに対する下位レイヤであるためである。例えば、空間スケーラビリティを用いる場合、参照レイヤの解像度は対象レイヤの解像度に較べて低い。したがって、ベース参照画像は参照レイヤの局所復号画像にアップサンプルを適用して生成されるため、高周波成分が十分に含まれていない。
また、一般に、対象ＰＵにおける低周波成分の予測には、ベース参照画像の画素値を用いて生成されるレイヤ間イントラ予測画像の低周波成分を用いる方が、対象レイヤの局所復号画像を用いて生成される空間予測画像の低周波成分を用いる場合に比べて、入力画像の低周波成分に類似の成分が得られて好適な場合が多い。
これは、対象レイヤの局所復号画像を用いる場合とは異なり、参照レイヤの局所復号画像を用いる場合は、対象ＰＵと空間内の同一位置であり、かつ、時間的に同一時刻の情報を利用できるためである。対象レイヤの局所復号画像を用いて生成される空間予測画像と、参照レイヤの局所復号画像を用いて生成されるレイヤ間イントラ予測画像とは、共に低周波成分を有している。しかし、前述の通り空間内の同一位置、かつ、時間的に同一時刻の情報を利用できるという利点により、レイヤ間イントラ予測画像の低周波成分の方が正確である可能性が高い。
（動画像復号装置１の効果）
以上説明した本実施形態に係る動画像復号装置１は、空間予測画像の高周波成分と、ベース参照画像の低周波成分を組み合わせてハイブリッド予測画像を生成するハイブリッド予測部を備えている。したがって、従来より、動画像復号装置１は、ハイブリッド予測画像を用いることで生成された少ない符号量の符号化データを復号して、復号画像を再生できる。
＜付記事項１：補正単位のサイズ＞
ハイブリッド予測部１５２Ｈの説明では、ベース参照画像の低周波成分を用いた補正処理について、補正単位のサイズを４×４画素とする例を記載した。この例では、４×４画素の予測単位を用いる場合には、予測単位と同一サイズの補正単位を用いる。一方で、予測単位のサイズが８×８画素以上の場合に、予測単位より小さい補正単位を用いている。この例に示すように、補正単位のサイズは、予測単位のサイズが一定より大きい場合（予測単位のサイズが４×４より大きい場合）には、予測単位よりも小さい所定のサイズの補正単位（４×４画素の補正単位）を用いることが好ましい。
以上説明した本実施形態に係る動画像復号装置１は、空間予測画像の高周波成分と、ベース参照画像の低周波成分を組み合わせてハイブリッド予測画像を生成するハイブリッド予測部を備えている。したがって、従来より、動画像復号装置１は、ハイブリッド予測画像を用いることで生成された少ない符号量の符号化データを復号して、復号画像を再生できる。
＜付記事項１：補正単位のサイズ＞
ハイブリッド予測部１５２Ｈの説明では、ベース参照画像の低周波成分を用いた補正処理について、補正単位のサイズを４×４画素とする例を記載した。この例では、４×４画素の予測単位を用いる場合には、予測単位と同一サイズの補正単位を用いる。一方で、予測単位のサイズが８×８画素以上の場合に、予測単位より小さい補正単位を用いている。この例に示すように、補正単位のサイズは、予測単位のサイズが一定より大きい場合（予測単位のサイズが４×４より大きい場合）には、予測単位よりも小さい所定のサイズの補正単位（４×４画素の補正単位）を用いることが好ましい。
特定の低周波成分に係る空間予測画像の誤差を補償する方法は、ベース参照画像の低周波性成分を用いた補正処理の他に、予測残差の変換係数として復号した値の利用がある。一般に、大きい予測単位が適用されるＣＵでは、大きい変換ブロックが適用される可能性が高い。例えば、予測単位と同サイズの変換ブロックが設定される可能性が高い。その場合、予測単位と同サイズの範囲の低周波成分の補正は、予測残差の変換係数を復号することで比較的少ない符号量の増加で実現できる。一方、予測単位よりも小さい単位での低周波成分の補正は、予測残差の変換係数による補正では実現できない。そこで、ベース参照画像の低周波成分による補正を予測単位よりも小さい単位で実行することで、従来実現不可能であった単位で低周波成分を補正できるため、予測残差の符号量を削減できる。
上記の例は次のように言い換えられる。すなわち、最小の予測単位よりも大きい予測単位が用いられる場合、最小の予測単位と等しいサイズの補正単位で補正処理を行うことでハイブリッド予測画像を生成してもよい。
また、上記の例では、予測単位のサイズに関わらず共通の補正単位のサイズを用いている。それにより、ハードウェアまたはソフトウェアによる補正処理の実行において、予測単位のサイズに関わらず共通のモジュールを利用できるため、復号装置の実装が簡略化できるという効果を奏する。
一方で、予測単位のサイズに応じて異なる補正単位を用いる構成が有効である場合もある。例えば、大きい予測単位における補正単位を、小さい予測単位における補正単位以上のサイズとする構成が好ましい。大きい予測単位ほど、低周波成分を補正するためにより大きい補正単位が必要となるため、上記のような構成をとることで、実装の複雑度は上昇するが、より好適な補正単位を選択できる可能性が高まるという効果を奏する。
なお、上記のような予測単位よりも小さい単位での補正は、低周波成分の補正として、ＤＣ成分による補正を用いる時に特に好適である。補正単位が予測単位に比べて小さい場合、補正単位におけるＤＣ成分を除く低周波成分は、予測単位では比較的高周波成分となる場合がある。そこでＤＣ成分のみを用いて補正を行うことで、より好適な補正を行える可能性を高めることができ、それにより符号化効率を向上できる。
＜変形例１：ハイブリッド予測の条件付適用＞
本実施形態では、全てのイントラＣＵにおいてハイブリッド予測を選択可能であるとして説明したが、それに限らない。特定の条件を満たすイントラＣＵにおいて、ハイブリッド予測を選択しないようにしてもよい。具体的には、ＣＵサイズが所定のサイズ（例えば３２×３２）以上のイントラＣＵにおいて、レイヤ内イントラ予測、及び、レイヤ間イントラ予測を選択可能とし、ハイブリッド予測を選択不可とする構成を用いてもよい。ハイブリッド予測を選択不可とする場合、図６で復号されるinter_layer_pred_flagが１である場合、図７で説明した空間予測モードに係るシンタックス（prev_intra_luma_pred_flag、mpm_idx、および、rem_intra_luma_pred_mode）の復号を省略できる。
＜変形例１：ハイブリッド予測の条件付適用＞
本実施形態では、全てのイントラＣＵにおいてハイブリッド予測を選択可能であるとして説明したが、それに限らない。特定の条件を満たすイントラＣＵにおいて、ハイブリッド予測を選択しないようにしてもよい。具体的には、ＣＵサイズが所定のサイズ（例えば３２×３２）以上のイントラＣＵにおいて、レイヤ内イントラ予測、及び、レイヤ間イントラ予測を選択可能とし、ハイブリッド予測を選択不可とする構成を用いてもよい。ハイブリッド予測を選択不可とする場合、図６で復号されるinter_layer_pred_flagが１である場合、図７で説明した空間予測モードに係るシンタックス（prev_intra_luma_pred_flag、mpm_idx、および、rem_intra_luma_pred_mode）の復号を省略できる。
ハイブリッド予測は、小さい予測単位に対してより有効である。そのため、入力画像によっては、大きい予測単位でハイブリッド予測を選択不可とすることで、予測情報の符号量が低減できるという効果を奏する。
＜変形例２：非正方形の補正単位＞
予測単位を複数の正方形の補正単位に分割して補正処理を行う例を記載したが、それに限らない。非正方形の補正単位、例えば横長矩形、または、縦長矩形の補正単位を用いてもよい。特に、垂直方向のエッジが多く含まれる入力画像では、縦長矩形の補正単位を用いることが好ましい。これは、エッジと垂直な方向に補正単位を設定した場合、エッジの影響により補正に適さない低周波成分が検出される可能性が高いためである。エッジと平行な方向に長い矩形の補正単位を設定することで、補正に適した低周波成分を検出できる可能性が高まるため、予測に好適なハイブリッド予測画像が生成できる可能性を高められる。それにより、予測残差の符号量を削減して符号化効率を高められるという効果を奏する。
＜変形例３：空間予測モードに応じた補正形状選択＞
補正単位の形状を、対象ＣＵまたは対象ＰＵに係る予測情報に基づいて適応的に選択する構成を用いてもよい。例えば、対象ＰＵの空間予測モードに応じて、補正単位の形状を選択する構成としてもよい。具体例として、１６×１６画素のＣＵにおいて、４×４画素、８×２画素、２×８画素の補正単位から選択可能である場合に、以下のＳ５０１〜Ｓ５０３に示した手順で補正単位の形状を選択してもよい。
＜変形例２：非正方形の補正単位＞
予測単位を複数の正方形の補正単位に分割して補正処理を行う例を記載したが、それに限らない。非正方形の補正単位、例えば横長矩形、または、縦長矩形の補正単位を用いてもよい。特に、垂直方向のエッジが多く含まれる入力画像では、縦長矩形の補正単位を用いることが好ましい。これは、エッジと垂直な方向に補正単位を設定した場合、エッジの影響により補正に適さない低周波成分が検出される可能性が高いためである。エッジと平行な方向に長い矩形の補正単位を設定することで、補正に適した低周波成分を検出できる可能性が高まるため、予測に好適なハイブリッド予測画像が生成できる可能性を高められる。それにより、予測残差の符号量を削減して符号化効率を高められるという効果を奏する。
＜変形例３：空間予測モードに応じた補正形状選択＞
補正単位の形状を、対象ＣＵまたは対象ＰＵに係る予測情報に基づいて適応的に選択する構成を用いてもよい。例えば、対象ＰＵの空間予測モードに応じて、補正単位の形状を選択する構成としてもよい。具体例として、１６×１６画素のＣＵにおいて、４×４画素、８×２画素、２×８画素の補正単位から選択可能である場合に、以下のＳ５０１〜Ｓ５０３に示した手順で補正単位の形状を選択してもよい。
（Ｓ５０１）空間予測モードが垂直方向に近い場合、縦長矩形（８×２画素）の補正単位を選択する。
（Ｓ５０２）それ以外の場合であって、空間予測モードが水平方向に近い場合、横長矩形（２×８画素）の補正単位を選択する。
（Ｓ５０３）それ以外の場合、正方形（４×４画素）の補正単位を選択する。
ここで、空間予測モードが垂直方向に近い場合とは、例えば、図１０の空間予測モード定義において、２４〜２８に対応する方向の空間予測モードである場合である。空間予測モードが垂直方向に近い場合とは、例えば、図１０の空間予測モード定義において、８〜１２に対応する方向の空間予測モードである場合である。
＜変形例４：インター予測とのハイブリッド予測＞
本実施形態では、ハイブリッド予測部１５２Ｈは、ベース参照画像の低周波成分を用いて、レイヤ内イントラ予測の予測画像を補正する例を示した。しかしながら、補正対象の予測画像は、レイヤ内イントラ予測に限らず、ベース参照画像に較べて高周波成分を多く含む他の予測画像を用いてもよい。例えば、インター予測画像を用いてもよい。その場合、図８に示したテクスチャ復元部の構成において、ハイブリッド予測部１５２Ｈへレイヤ内イントラ予測部１５２Ｓから出力されるレイヤ内イントラ予測画像を入力する代わりに、インター予測部１５２Ｔから出力されるインター予測画像を入力すればよい。
＜変形例４：インター予測とのハイブリッド予測＞
本実施形態では、ハイブリッド予測部１５２Ｈは、ベース参照画像の低周波成分を用いて、レイヤ内イントラ予測の予測画像を補正する例を示した。しかしながら、補正対象の予測画像は、レイヤ内イントラ予測に限らず、ベース参照画像に較べて高周波成分を多く含む他の予測画像を用いてもよい。例えば、インター予測画像を用いてもよい。その場合、図８に示したテクスチャ復元部の構成において、ハイブリッド予測部１５２Ｈへレイヤ内イントラ予測部１５２Ｓから出力されるレイヤ内イントラ予測画像を入力する代わりに、インター予測部１５２Ｔから出力されるインター予測画像を入力すればよい。
インター予測画像もレイヤ内イントラ予測画像と同様に、対象レイヤと同一レイヤのピクチャの局所復号画像を参照して予測画像を生成する。そのため、対象レイヤの下位レイヤのピクチャの局所復号画像に基づいて生成されるベース参照画像に較べて高周波成分を多く含んでいる。したがって、ハイブリッド予測部１５２Ｈにおいて、インター予測画像の低周波成分をベース参照画像の低周波成分で置き換える補正を適用することで、予測に適したハイブリッド予測画像を生成できる。それにより、予測残差の符号量を削減でき、符号化効率を向上できるという効果を奏する。
＜変形例５：参照画素フィルタリングの制御＞
レイヤ内イントラ予測部１５２Ｓにおけるレイヤ内予測画像の生成処理において、参照領域フィルタを適用すると説明した。レイヤ内イントラ予測部１５２Ｓの出力をハイブリッド予測部１５２Ｈへの入力として用いる場合には、参照領域フィルタを省略してもよい。
＜変形例５：参照画素フィルタリングの制御＞
レイヤ内イントラ予測部１５２Ｓにおけるレイヤ内予測画像の生成処理において、参照領域フィルタを適用すると説明した。レイヤ内イントラ予測部１５２Ｓの出力をハイブリッド予測部１５２Ｈへの入力として用いる場合には、参照領域フィルタを省略してもよい。
参照領域フィルタは、局所復号画像に存在する高周波ノイズを除去することで、レイヤ内予測画像を直接用いる場合に好適な予測画像を生成することを意図して用いられる。しかしながら、ハイブリッド予測部１５２Ｈにおいては、入力されるレイヤ内予測画像の高周波成分を主としてハイブリッド予測画像の生成に用いるため、レイヤ内予測画像にはより多くの高周波成分が存在していることが好ましい。そのため、レイヤ内予測画像を直接予測画像として用いる場合には、レイヤ内予測画像生成時に参照領域フィルタを適用し、ハイブリッド予測画像を用いる場合には、レイヤ内予測画像生成時に参照領域フィルタを適用しないことが好ましい。これにより、より多くの高周波成分を含むレイヤ内予測画像を用いてハイブリッド予測画像を生成できるため、予測残差の符号量を低減できる。
＜変形例６：補正オンオフ適応選択＞
本実施形態のハイブリッド予測部１５２Ｈでは、空間予測モードの値に関わらず補正処理を適用する例を説明したが、それに限らない。特定の空間予測モードが選択されたＰＵにおいて補正処理を省略する構成であっても構わない。
＜変形例６：補正オンオフ適応選択＞
本実施形態のハイブリッド予測部１５２Ｈでは、空間予測モードの値に関わらず補正処理を適用する例を説明したが、それに限らない。特定の空間予測モードが選択されたＰＵにおいて補正処理を省略する構成であっても構わない。
具体的には、空間予測モードが水平方向（空間予測モード１０）、垂直方向（空間予測モード２６）、または、プラナー予測モード（空間予測モード０）の場合のみ補正処理を実行し、それ以外の場合（水平と垂直を除く方向予測モード）、補正処理を省略する構成としてもよい。
水平方向予測、垂直方向予測、および、プラナー予測による予測画像生成処理は、その他の空間予測モードによる予測画像生成処理に較べて処理量が少ない。そのため、比較的処理量が少ない、水平方向予測、垂直方向予測、および、プラナー予測によりレイヤ内イントラ予測画像が生成される場合のみ補正処理を行うことで、ハイブリッド予測の利用による最悪処理量の、レイヤ内イントラ予測の最悪処理量に対する増加を最小限に抑制することができるという効果を奏する。
＜変形例７：ハイブリッド予測部１５２Ｈの別の例＞
本実施形態のハイブリッド予測部１５２Ｈでは、レイヤ内イントラ予測画像の低周波成分を導出し、導出した低周波成分画像をレイヤ内イントラ予測画像から減算することで、レイヤ内イントラ予測画像の高周波成分を抽出する例を示したが、それに限らない。例えば、レイヤ内イントラ予測画像の高周波成分を直接抽出する手段を設けてもよい。
＜変形例７：ハイブリッド予測部１５２Ｈの別の例＞
本実施形態のハイブリッド予測部１５２Ｈでは、レイヤ内イントラ予測画像の低周波成分を導出し、導出した低周波成分画像をレイヤ内イントラ予測画像から減算することで、レイヤ内イントラ予測画像の高周波成分を抽出する例を示したが、それに限らない。例えば、レイヤ内イントラ予測画像の高周波成分を直接抽出する手段を設けてもよい。
図１４は、レイヤ内イントラ予測画像の高周波成分を直接抽出する場合のハイブリッド予測部１５２ＨＲ１を示す。ハイブリッド予測部１５２ＨＲ１は、補正単位分割部１５２ＨＲ１、高周波成分抽出部１５２Ｈ５、補正単位分割部１５２Ｈ１Ｂ、低周波成分抽出部１５２ＨＢ、および加算器１５２Ｈ４を備える。以外の構成要素は、図１で説明したハイブリッド予測部１５２Ｈに含まれる対応する構成要素と同一であり説明を省略する。
高周波成分抽出部１５２Ｈ５は、入力される画像のＰＵ対応領域を、同じく入力される補正単位情報に基づいて分割して得られる各補正単位毎に高周波成分を抽出する。各補正単位から抽出した高周波成分から、対象ＰＵ単位の画像を構成して高周波画像として出力する。
ハイブリッド予測部１５２Ｈでは、低周波成分抽出部１５２Ｈ２Ｅの出力であるレイヤ内イントラ予測低周波画像を、レイヤ内イントラ予測画像から減算することで、レイヤ内イントラ予測高周波画像を生成する。一方、ハイブリッド予測部１５ＨＲ１では、高周波成分抽出部１５２Ｈ５の出力として、直接レイヤ内イントラ予測高周波画像を生成する。
ハイブリッド予測部１５２ＨＲ１を用いて構成した階層動画像復号装置も、ハイブリッド予測部１５２Ｈを用いて構成した階層動画像復号装置１と同等の符号化効率を実現できる。
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図１７〜図１９を参照して説明する。
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図１７〜図１９を参照して説明する。
（階層動画像符号化装置の構成）
図１７を用いて、階層動画像符号化装置２の概略的構成について説明すると次のとおりである。図１７は、階層動画像符号化装置２の概略的構成について示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
図１７を用いて、階層動画像符号化装置２の概略的構成について説明すると次のとおりである。図１７は、階層動画像符号化装置２の概略的構成について示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
図１７に示すように階層動画像符号化装置２は、予測パラメータ決定部２１、予測情報生成部２２、ベース復号部２３、テクスチャ情報生成部２４、可変長符号化部２５、およびＮＡＬ多重化部２６を備える。
予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔに基づいて、予測画像の予測に用いられる予測パラメータおよびその他の符号化の設定を決定する。
予測パラメータ決定部２１は、予測パラメータをはじめとする符号化の設定を、以下のとおり行う。
まず、予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔを、スライス単位、ＣＴＢ単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像を生成する。
また、予測パラメータ決定部２１は、分割処理の結果に基づいて、符号化情報（ヘッダ情報とも称されることがある）を生成する。 符号化情報は、（１）対象スライスに属するＣＴＢのサイズ、形状および対象スライス内での位置についての情報であるＣＴＢ情報と、（２）各ＣＴＢに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についての情報であるＣＵ情報とを含んでいる。
さらに、予測パラメータ決定部２１は、ＣＵ画像、ＣＴＢ情報、およびＣＵ情報を参照して、対象ＣＵのＣＵ予測タイプ、対象ＣＵのＰＵへの分割情報、および、予測パラメータ（対象ＣＵがイントラＣＵであればレイヤ間予測フラグと空間予測モード、インターＣＵであれば動き補償パラメータ）を導出する。
予測パラメータ決定部２１は、（１）対象ＣＵの予測タイプ、（２）対象ＣＵの各ＰＵへの可能な分割パターン、および、（３）各ＰＵに割り付ける可能な予測モード（対象ＣＵがイントラＣＵであればレイヤ間予測フラグと空間予測モード、インターＣＵであれば動き補償パラメータ）、の全ての組み合わせについて、コストを算出し、最低コストの予測タイプ、分割パターン、および、予測モードを決定する。
予測パラメータ決定部２１は、符号化情報および予測パラメータを予測情報生成部２２およびテクスチャ情報生成部２４に供給する。なお、説明の簡便のため図示しないが、予測パラメータ決定部２１において決定された上記の符号化の設定は、階層動画像符号化装置２の各部において参照可能とする。
予測情報生成部２２は、予測パラメータ決定部２１から供給される予測パラメータに基づいて予測パラメータに関するシンタックス値を含む予測情報を生成する。予測情報生成部２２は、生成した予測情報を可変長符号化部２５に供給する。なお、予測情報生成部２２は、予測パラメータを復元する際に、テクスチャ情報生成２４が備えるフレームメモリ２４７（後述）に格納された予測パラメータを参照することができる。
ベース復号部２３は、階層動画像復号装置１のベース復号部１６と同様であるので、ここではその説明を省略する。
テクスチャ情報生成部２４は、入力画像ＰＩＮ＃Ｔから予測画像を減算して得られる予測残差を、直交変換・量子化した変換係数を含む変換係数情報を生成する。テクスチャ情報生成部２４は、生成した変換係数情報を可変長符号化部２５に供給する。なお、テクスチャ情報生成２４では、復元された復号画像に関する情報が、内部に備えるフレームメモリ２４７（後述）に格納される。
可変長符号化部２５は、予測情報生成部２２から供給される予測情報およびテクスチャ情報生成部２４から供給される変換係数情報を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔを生成する。可変長符号化部２５は、生成した対象レイヤ符号化データＤＡＴＡ＃ＴをＮＡＬ多重化部２６に供給する。
ＮＡＬ多重化部２６は、可変長符号化部２５から供給される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。
以下において、予測情報生成部２２、およびテクスチャ情報生成部２４それぞれの詳細について説明する。
（予測情報生成部）
図１８を用いて、予測情報生成部２２の詳細構成について説明する。図１８は、予測情報生成部２２の構成について例示した機能ブロック図である。
図１８を用いて、予測情報生成部２２の詳細構成について説明する。図１８は、予測情報生成部２２の構成について例示した機能ブロック図である。
図１８に示すように、予測情報生成部２２は、イントラインター予測情報設定部２２１、空間予測モード予測情報設定部２２３、イントラ予測情報設定部２２４、および動き補償予測情報設定部２２５を備える。イントラ予測情報設定部２２４は、ハイブリッド予測情報設定部２２４Ｈ、レイヤ内イントラ予測情報設定部２２４Ｓ、およびレイヤ間イントラ予測情報設定部２２４Ｂを内部に備える。
イントラインター予測情報設定部２２１は、予測パラメータがイントラＣＵとインターＣＵの何れを示すかに基づいて、ＣＵ予測モードフラグpred_mode_flagを対応する値に設定して予測情報の一部として出力する。
空間予測モード予測情報設定部２２３は、予測パラメータが対象ＰＵにおいてハイブリッド予測またはレイヤ内イントラ予測を適用することを示す場合、予測パラメータに含まれる空間予測モードと、フレームメモリに記録されている対象ＰＵの隣接領域におけえる空間予測モードを参照して、ＭＰＭフラグprev_intra_luma_pred_flag、ＭＰＭインデックスmpm_idx、および残余予測モードrem_intra_luma_pred_modeの各シンタックス値を設定する。
イントラ予測情報設定部２２４は、入力される予測パラメータの示すイントラ予測方法に関する予測情報を設定して出力する。
ハイブリッド予測情報設定部２２４Ｈは、イントラ予測方法がハイブリッド予測である場合に選択され、レイヤ間予測フラグinter_layer_pred_flagの値を１（レイヤ間予測を利用する）に設定し、入力される空間予測モードに係るシンタックス値と合わせて予測情報として出力する。
レイヤ内イントラ予測情報設定部２２４Ｓは、イントラ予測方法がレイヤ内イントラ予測である場合に選択され、レイヤ間予測フラグinter_layer_pred_flagの値を０（レイヤ間予測を利用しない）に設定して予測情報として出力する。
レイヤ間イントラ予測情報設定部２２４Ｂは、イントラ予測方法がレイヤ内イントラ予測である場合に選択され、レイヤ間予測フラグinter_layer_pred_flagの値を１（レイヤ間予測を利用する）に設定し、入力される空間予測モードに係るシンタックス値と合わせて予測情報として出力する。
動き補償予測情報設定部２２５は、予測パラメータに含まれる動き情報と、フレームメモリに記録されている動き情報を参照して、動き情報に係る各シンタックス値（skip_flag、merge_flag、merge_idx、inter_pred_flag、ref_idx、mvd、mvp_idx）を設定して予測情報として出力する。
（テクスチャ情報生成部）
図１９を用いて、テクスチャ情報生成部２４の詳細構成について説明する。図１９は、テクスチャ情報生成部２４の構成について例示した機能ブロック図である。
図１９を用いて、テクスチャ情報生成部２４の詳細構成について説明する。図１９は、テクスチャ情報生成部２４の構成について例示した機能ブロック図である。
図１９に示すように、テクスチャ情報生成部２４は、テクスチャ予測部２４１、減算器２４２、直交変換・量子化部２４３、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ２４７を備える。
減算器２４２は、入力画像ＰＩＮ＃Ｔからテクスチャ予測部２４１から供給される予測画像を減算することによって、予測残差Ｄを生成する。減算器２４２は、生成した予測残差Ｄを、変換・量子化部２４３に供給する。
直交変換・量子化部２４３は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。また、具体的な量子化過程については、すでに説明した通りであるので、ここではその説明を省略する。直交変換・量子化部２４３は、生成した量子化予測残差を含む変換係数情報を逆変換・逆量子化部２４４および可変長符号化部２５に供給する。
テクスチャ予測部２４１、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ２４７は、それぞれ、階層動画像復号装置１に含まれるテクスチャ予測部１５２、逆直交変換・逆量子化部１５１、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５と同様であるので、ここではその説明は省略する。ただし、テクスチャ予測部２４１は、加算器２４５だけでなく減算器２４２にも予測画像を供給する。
〔第２の実施形態〕
図２２〜図３６に基づいて、本発明の一実施形態（第２の実施形態）に係る階層動画像復号装置３および階層動画像符号化装置４について説明すれば以下のとおりである。
〔第２の実施形態〕
図２２〜図３６に基づいて、本発明の一実施形態（第２の実施形態）に係る階層動画像復号装置３および階層動画像符号化装置４について説明すれば以下のとおりである。
本実施形態に係る階層動画像復号装置（画像復号装置）３は、階層動画像符号化装置（画像符号化装置）４によって階層符号化された符号化データを復号する。
〔階層動画像復号装置（第２の実施形態）〕
以下では、本実施形態に係る階層動画像復号装置３の構成について、図２２〜図３６を参照して説明する。
〔階層動画像復号装置（第２の実施形態）〕
以下では、本実施形態に係る階層動画像復号装置３の構成について、図２２〜図３６を参照して説明する。
（階層動画像復号装置の構成）
図２２を用いて、階層動画像復号装置３の概略的構成について説明すると次のとおりである。図２２は、階層動画像復号装置３の概略的構成について示した機能ブロック図である。階層動画像復号装置３は、階層動画像符号化装置４から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。
図２２を用いて、階層動画像復号装置３の概略的構成について説明すると次のとおりである。図２２は、階層動画像復号装置３の概略的構成について示した機能ブロック図である。階層動画像復号装置３は、階層動画像符号化装置４から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。
図２２に示すように階層動画像復号装置３は、ＮＡＬ逆多重化部１１、可変長復号部３２（可変長復号手段）、予測パラメータ復元部３４、テクスチャ復元部３５（予測画像生成手段）、およびベース復号部１６を備える。なお、階層動画像復号装置１と共通の構成要素については、同一の符号を付与して説明を省略する。
（可変長復号部３２）
可変長復号部３２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号する。復号されたシンタックス値は、分類されて出力される。
可変長復号部３２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号する。復号されたシンタックス値は、分類されて出力される。
また、可変長復号部３２は、ＣＵ情報を符号化データＤＡＴＡ＃Ｔから復号する。ＣＵ情報には、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。
可変長復号部３２は、復号した予測情報およびＣＵ情報を予測パラメータ復元部３４に供給する。
また、可変長復号部３２は、復号した変換係数情報およびＣＵ情報をテクスチャ復元部３５に供給する。
可変長復号部３２におけるイントラ予測に係る予測情報の復号処理について図２３を参照して説明する。
図２３は、可変長復号部３２がＣＵ単位の予測情報復号時に参照するシンタックス表の一部を示す。可変長復号部３２は、まず、レイヤ間予測フラグinter_layer_pred_flagを復号する。続いて、inter_layer_pred_flagが０の場合、ＣＵ予測モードフラグpred_mode_flag、ＰＵ分割情報part_mode、輝度予測モードに係るシンタックス（ＭＰＭフラグprev_intra_luma_pred_flag、ＭＰＭインデックスmpm_idx、残余予測モードrem_intra_luma_pred_mode）、色差イントラ予測モードintra_chroma_pred_modeを順に復号する。なお、pred_mode_flagは、非Ｉスライス（slice_type != I）の場合に復号される。part_modeは、対象ＣＵが「インターＣＵ」である場合（PredMode[x0][y0] == MODE_INTER）、または、対象ＣＵのサイズが最小である場合（log2CbSize == Log2MinCbSizeY）に復号される。輝度予測モードに係るシンタックスは、対象ＣＵが「イントラＣＵ」である場合に、対象ＣＵ内の各予測単位毎に復号される。
inter_layer_pred_flagはＣＡＢＡＣ（Context Adaptive Binary Arithmatic Coding；コンテキスト適応算術符号化）により復号される。ＣＡＢＡＣによる復号には対象ＣＵのサイズに応じて決定されるコンテキストを用いる。具体的には、inter_layer_pred_flagに単一のコンテキストインデックスを割り当て、当該コンテキストインデックスに関連付けられて記録および更新されている確立状態変数の値に基づいて算術復号を行うことでinter_layer_pred_flagを復号する。なお、階層動画像復号装置１の可変長復号部１２で用いた方法を含め、別の方法により決定したコンテキストを用いてinter_layer_pred_flagを復号してもよい。
（予測パラメータ復元部３４）
図２４を用いて、予測パラメータ復元部３４の詳細構成について説明する。図２４は、予測パラメータ復元部３４の構成について例示した機能ブロック図である。
図２４を用いて、予測パラメータ復元部３４の詳細構成について説明する。図２４は、予測パラメータ復元部３４の構成について例示した機能ブロック図である。
図２４に示すように、予測パラメータ復元部３４は、イントラインター選択部１４１、イントラ予測選択部３４２、イントラ予測モード選択部１４３、イントラ情報復元部１４４、および、動き情報復元部１４５を備える。なお、階層動画像復号装置１の予測パラメータ復元部１４（図１５）と共通の構成要素については、同一の符号を付与して説明を省略する。
イントラ予測モード復元部１４３は、階層動画像復号装置１の予測パラメータ復元部１４に含まれるイントラ予測モード復元部と同じ構成要素だが、予測パラメータ復元部３４においては、生成された空間予測モード（イントラ予測モード）が、イントラ予測選択部３４２にも追加で出力される。
イントラインター選択部３４１は、対象ＣＵがイントラＣＵかインターＣＵかを入力される予測情報に含まれるinter_layer_pred_flagおよびpred_mode_flagの値から判定する。inter_layer_pred_flagが０の場合、または、pred_mode_flagの値が０の場合、対象ＣＵはイントラＣＵと判定される。それ以外の場合、対象ＣＵはインターＣＵと判定される。対象ＣＵがイントラＣＵの場合、イントラＣＵの予測パラメータ復元に係る各構成要素、ここでは、イントラ予測選択部３４２、イントラ予測モード復元部１４３、および、イントラ情報復元部１４４にそれぞれ予測情報を出力する。対象ＣＵがインターＣＵの場合、インターＣＵの予測パラメータ復元に係る各構成要素、ここでは、動き情報復元部１４５に予測情報を出力する。
イントラ予測選択部３４２は、対象ＣＵ、または、対象ＣＵを構成する各ＰＵに適用されるイントラ予測の種類を、予測情報に含まれるシンタックス値に基づいて判定して、判定結果をイントラ情報復元部１４４に出力する。
上記判定は、図２５に基づいて実行される。図２５は、シンタックス値inter_layer_pred_flagの値と変数hybridPredFlagの組み合わせから、予測タイプを一意に特定する表である。ここで、変数hybridPredFlag（ハイブリッド予測フラグ）は対象ＣＵにハイブリッド予測を適用するか、レイヤ内イントラ予測を適用するかを示すフラグである。hybridPredFlagの具体的な導出方法は後述する。inter_layer_pred_flagが１の場合、hybridPredFlagは参照されず、対象ＣＵおよび対象ＰＵの予測タイプを「レイヤ間イントラ予測」と判定する。inter_layer_pred_flagの値が０、かつ、hybridPredFlagが０（ハイブリッド予測未適用）の場合、対象ＣＵおよび対象ＰＵの予測タイプを「レイヤ内イントラ予測」と判定する。inter_layer_pred_flagの値が０、かつ、hybridPredFlagが１（ハイブリッド予測適用）の場合、対象ＣＵおよび対象ＰＵの予測タイプを「ハイブリッド予測」と判定する。
＜ハイブリッド予測フラグhybridPredFlagの決定方法＞
図２６を参照して、ハイブリッド予測フラグhybridPredFlagの具体的導出方法について説明する。hybridPredFlagは、対象ＰＵのタイプを表す変数predBlkTypeと対象ＰＵのイントラ予測モード（IntraPredMode）の組み合わせにより決定される。変数predBlkTypeは、次式により導出される。
図２６を参照して、ハイブリッド予測フラグhybridPredFlagの具体的導出方法について説明する。hybridPredFlagは、対象ＰＵのタイプを表す変数predBlkTypeと対象ＰＵのイントラ予測モード（IntraPredMode）の組み合わせにより決定される。変数predBlkTypeは、次式により導出される。
predBlkType = cuDepth + (partMode==2Nx2N) ? 0 : 1
ここで、cuDepthは対象ＰＵを含むＣＵのデプスであり、最大ＣＵの幅の２の対数をlog2MaxCuWidth、ＣＵの幅の２の対数をlog2CuWidthと表した場合、次式で定義される。
ここで、cuDepthは対象ＰＵを含むＣＵのデプスであり、最大ＣＵの幅の２の対数をlog2MaxCuWidth、ＣＵの幅の２の対数をlog2CuWidthと表した場合、次式で定義される。
cuDepth = log2MaxCuWidth - log2CuWidth
また、partModeはＰＵ分割タイプであり、評価式「partMode==2Nx2N」は、対象ＣＵのＰＵ分割タイプが２Ｎ×２Ｎの場合に真となる。上記式により導出される変数predBlkTypeは、対象ＰＵのサイズ（面積）が小さいほど小さい値を取り、加えて、変数predBlkTypeは、対象ＰＵのサイズが等しい場合、対象ＰＵを含むＣＵのサイズが小さいほど大きい値を取るという性質を有している。
また、partModeはＰＵ分割タイプであり、評価式「partMode==2Nx2N」は、対象ＣＵのＰＵ分割タイプが２Ｎ×２Ｎの場合に真となる。上記式により導出される変数predBlkTypeは、対象ＰＵのサイズ（面積）が小さいほど小さい値を取り、加えて、変数predBlkTypeは、対象ＰＵのサイズが等しい場合、対象ＰＵを含むＣＵのサイズが小さいほど大きい値を取るという性質を有している。
図２６によると、predBlkTypeが１以上であって、かつ、イントラ予測モードがＤＣ（ＤＣ予測）以外の場合にhybridPredFlagを１（ハイブリッド予測を適用する）に設定する。それ以外の場合には、hybridPredFlagを０（ハイブリッド予測を適用しない）に設定する。
ＣＴＢサイズ（最大ＣＵサイズ）が６４×６４の場合、次のように言い換えることができる。ＣＵサイズが３２×３２以下であって、かつ、イントラ予測モードがＤＣ以外の場合にhybridPredFlagを１に設定し、それ以外の場合にhybridPredFlagを０に設定する。
より一般的には、次のように言い換えることができる。ＣＵサイズが所定のサイズ以下であって、かつ、イントラ予測イントラが非ＤＣ予測の場合にハイブリッド予測を適用し、それ以外の場合にハイブリッド予測を適用しないことを示すようhybridPredFlagの値を設定する。
上記hybridPredFlagの決定は、ハイブリッド予測およびレイヤ内イントラ予測に係る以下の性質から有用である。
（性質１）ハイブリッド予測は、小さいＣＵに含まれる領域に対して、大きいＣＵに含まれる領域に較べて有効である。ハイブリッド予測では特定の補正単位毎にＤＣ成分を補正することで予測画像を入力画像に近づけるが、大きいＣＵに含まれる領域（大きいＣＵが選択される領域）は一般的に空間相関が高く、ＤＣ成分を補正単位毎に補正することによる効果が小さい。したがって、所定ＣＵサイズよりも小さいＣＵに含まれる予測単位ではハイブリッド予測を適用し、所定ＣＵサイズ以上のＣＵに含まれる予測単位ではハイブリッド予測を適用しないことが好ましい。
（性質２）ＣＴＢサイズが６４×６４であり、最大変換サイズが３２×３２の場合、ＣＵサイズが６４×６４と３２×３２の何れのＣＵにおいても、３２×３２のＰＵサイズ（予測単位）が適用される。つまり、予測画像生成に適用されるイントラ予測モードが同一であれば、６４×６４ＣＵの場合と３２×３２ＣＵの場合で同一の予測画像が生成される。したがって、６４×６４ＣＵでハイブリッド予測を適用せず、３２×３２ＣＵでハイブリッド予測を適用することで、異なる予測画像が生成でき、予測画像の選択肢が増えるため好ましい。したがって、３２×３２ＣＵでハイブリッド予測を適用し、６４×６４ＣＵでハイブリッド予測を適用しないことが好ましい。
（性質３）ハイブリッド予測は、ＤＣ予測に比べて方向予測（Angular予測）に対してより有効である。これは、ＤＣ予測が方向予測に比べて空間相関の比較的高い領域で選択されるためである。ハイブリッド予測では、参照レイヤ上の対象ＰＵと同一位置にある復号画素値を参照して予測画像を補正する。そのため、空間相関が比較的低い領域に適用される方向予測による予測画像に対して適用することで、ＤＣ予測による予測画像に適用する場合に較べて予測画像を入力画像に近づける効果が大きい。したがって、方向予測に対してハイブリッド予測を適用し、ＤＣ予測に対してハイブリッド予測を適用しないことが好ましい。
（性質４）ＤＣ予測は、Ｐｌａｎａｒ予測や方向予測に較べて、予測画像生成の処理量が小さい。ＤＣ予測にハイブリッド予測を適用しない場合、階層動画像復号装置における最小の処理量をハイブリッド予測方式を採用しない階層動画像復号装置と同一にできる。そのため、Ｐｌａｎａｒ予測とＤＣ予測は共に空間相関が比較的高い領域で選択されるが、Ｐｌａｎａｒ予測に対してハイブリッド予測を適用し、ＤＣ予測に対してハイブリッド予測を適用しないことが好ましい。
（性質１）ハイブリッド予測は、小さいＣＵに含まれる領域に対して、大きいＣＵに含まれる領域に較べて有効である。ハイブリッド予測では特定の補正単位毎にＤＣ成分を補正することで予測画像を入力画像に近づけるが、大きいＣＵに含まれる領域（大きいＣＵが選択される領域）は一般的に空間相関が高く、ＤＣ成分を補正単位毎に補正することによる効果が小さい。したがって、所定ＣＵサイズよりも小さいＣＵに含まれる予測単位ではハイブリッド予測を適用し、所定ＣＵサイズ以上のＣＵに含まれる予測単位ではハイブリッド予測を適用しないことが好ましい。
（性質２）ＣＴＢサイズが６４×６４であり、最大変換サイズが３２×３２の場合、ＣＵサイズが６４×６４と３２×３２の何れのＣＵにおいても、３２×３２のＰＵサイズ（予測単位）が適用される。つまり、予測画像生成に適用されるイントラ予測モードが同一であれば、６４×６４ＣＵの場合と３２×３２ＣＵの場合で同一の予測画像が生成される。したがって、６４×６４ＣＵでハイブリッド予測を適用せず、３２×３２ＣＵでハイブリッド予測を適用することで、異なる予測画像が生成でき、予測画像の選択肢が増えるため好ましい。したがって、３２×３２ＣＵでハイブリッド予測を適用し、６４×６４ＣＵでハイブリッド予測を適用しないことが好ましい。
（性質３）ハイブリッド予測は、ＤＣ予測に比べて方向予測（Angular予測）に対してより有効である。これは、ＤＣ予測が方向予測に比べて空間相関の比較的高い領域で選択されるためである。ハイブリッド予測では、参照レイヤ上の対象ＰＵと同一位置にある復号画素値を参照して予測画像を補正する。そのため、空間相関が比較的低い領域に適用される方向予測による予測画像に対して適用することで、ＤＣ予測による予測画像に適用する場合に較べて予測画像を入力画像に近づける効果が大きい。したがって、方向予測に対してハイブリッド予測を適用し、ＤＣ予測に対してハイブリッド予測を適用しないことが好ましい。
（性質４）ＤＣ予測は、Ｐｌａｎａｒ予測や方向予測に較べて、予測画像生成の処理量が小さい。ＤＣ予測にハイブリッド予測を適用しない場合、階層動画像復号装置における最小の処理量をハイブリッド予測方式を採用しない階層動画像復号装置と同一にできる。そのため、Ｐｌａｎａｒ予測とＤＣ予測は共に空間相関が比較的高い領域で選択されるが、Ｐｌａｎａｒ予測に対してハイブリッド予測を適用し、ＤＣ予測に対してハイブリッド予測を適用しないことが好ましい。
（テクスチャ復元部３５）
図２７を参照して、テクスチャ復元部３５の詳細構成を説明する。図２７は、テクスチャ復元部３５の構成を例示した機能ブロック図である。
図２７を参照して、テクスチャ復元部３５の詳細構成を説明する。図２７は、テクスチャ復元部３５の構成を例示した機能ブロック図である。
図２７に示すように、テクスチャ復元部３５は、逆直交変換・逆量子化部１５１、テクスチャ予測部３５２、加算器１５３、ループフィルタ部１５４、フレームメモリ１５５を備える。なお、階層動画像復号装置１のテクスチャ復元部１５（図８）と共通の構成要素については、同一の符号を付与して説明を省略する。
テクスチャ予測部３５２は、予測パラメータに応じて、ベース復号情報に含まれるベース復号画像（ベース参照画像とも呼ぶ）またはフレームメモリに格納されている復号済みの復号画像を参照し、予測画像を生成する。
テクスチャ予測部３５２は、より詳細には、インター予測部１５２Ｔ、レイヤ内イントラ予測部１５２Ｓ（レイヤ内イントラ予測手段）、レイヤ間イントラ予測部１５２Ｂ（レイヤ間イントラ予測手段）、および、ハイブリッド予測部３５２Ｈ（ハイブリッド予測手段）を備える。これらの構成要素のうち、ハイブリッド予測部３５２Ｈを除く構成要素はテクスチャ予測部１５２に含まれる構成要素と同じであり、同一の符号を付与して説明を省略する。
テクスチャ予測部３５２は、インター予測部１５２Ｔ、レイヤ内イントラ予測部１５２Ｓ、レイヤ間イントラ予測部１５２Ｂ、または、ハイブリッド予測部３５２Ｈが生成した予測画像を加算器１５３に供給する。
＜ハイブリッド予測＞
（予測方向と垂直な長方形補正単位の効果）
ハイブリッド予測部３５２Ｈは、各イントラ予測パーティションの予測画像をハイブリッド予測により生成する。ハイブリッド予測は、レイヤ内イントラ予測部１５２Ｓで生成されるレイヤ内イントラ予測画像を、ベース参照画像の画素値に基づいて修正する。
（予測方向と垂直な長方形補正単位の効果）
ハイブリッド予測部３５２Ｈは、各イントラ予測パーティションの予測画像をハイブリッド予測により生成する。ハイブリッド予測は、レイヤ内イントラ予測部１５２Ｓで生成されるレイヤ内イントラ予測画像を、ベース参照画像の画素値に基づいて修正する。
ハイブリッド予測部３５２Ｈは、テクスチャ予測部３５２に入力される予測パラメータが、対象ＰＵの予測タイプがハイブリッド予測であることを示す場合に起動される。その際、予測パラメータに含まれる空間予測モードに基づいてレイヤ内イントラ予測部１５２Ｓで生成された予測画像（レイヤ内イントラ予測画像）がハイブリッド予測部３５２Ｈへ入力される。また、対象ＰＵの位置に対応するベース復号画像（ベース参照画像）が入力される。ハイブリッド予測部３５２Ｈは、入力されるレイヤ内イントラ予測画像、イントラ予測モード、及び、ベース参照画像に基づいてハイブリッド予測画像を生成して、対象ＰＵの予測画像として出力する。
以下の説明において、ハイブリッド予測部３５２Ｈに入力されるベース復号画像は、対象レイヤ上の対象ＰＵに対して空間上の同一位置に対応する参照レイヤ上の領域の復号画像を、対象レイヤと参照レイヤの解像度の比に基づいて補正して得られる画像とする。すなわち、空間スケーラビリティが用いられる場合であって、対象レイヤと参照レイヤの解像度が異なる場合、対象ＰＵに対応する参照レイヤ上の領域の復号画像を解像度の比を考慮してアップサンプルすることで得られる画像をベース復号画像（ベース参照画像）とする。
図２８を参照してハイブリッド予測部３５２Ｈの詳細構成を説明する。図２８は、ハイブリッド予測部３５２Ｈの概略的構成を示した機能ブロック図である。ハイブリッド予測部３５２Ｈは、補正単位分割部３５２Ｈ１Ｂ、補正単位分割部３５２Ｈ１Ｅ、ＤＣ成分抽出部３５２Ｈ２Ｂ、ＤＣ成分抽出部３５２Ｈ２Ｅ、加算器３５２Ｈ３、加算器３５２Ｈ４、および、補正単位決定部３５２Ｈ５を備える。
補正単位分割部３５２Ｈ１Ｂと補正単位分割部３５２Ｈ１Ｅは、入力される画像上の対象ＰＵに対応する領域（ＰＵ対応領域）を、入力される補正単位サイズを単位として１以上の補正単位に分割する。ＰＵ対応領域に対応する画像に、当該領域の補正単位分割を示す情報（補正分割情報）を付加して出力する。なお、補正単位分割部３５２Ｈ１Ｂは、入力された対象ＰＵに対応するベース復号画像を補正単位に分割する。一方、補正単位分割部３５２Ｈ１Ｅは、入力された対象ＰＵに対応する空間予測画像を補正単位に分割する。本実施形態では、両者は同一の機能を有するとし、補正単位分割部３５２Ｈ１（補正単位分割手段）と総称する。また、補正単位分割部３５２Ｈ１に入力される画像（レイヤ内イントラ予測画像、ベース参照画像）を分割対象画像と総称し、出力を分割後画像と総称する。
補正単位分割部３５２Ｈ１は、分割対象画像を補正単位決定部３５２Ｈ５より入力される補正単位サイズの補正単位に分割する。
ＤＣ成分抽出部３５２Ｈ２ＢとＤＣ成分抽出部３５２Ｈ２Ｅは、入力される画像のＰＵ対応領域を、同じく入力される補正単位情報に基づいて分割して得られる各補正単位毎にＤＣ成分を抽出する。各補正単位から抽出したＤＣ成分から、対象ＰＵ単位の画像を構成してＤＣ画像として出力する。本実施形態では、ＤＣ成分抽出部３５２Ｈ２ＢとＤＣ成分抽出部３５２Ｈ２Ｅは同一の機能を有するとして、両者をＤＣ成分抽出部３５２Ｈ２（ＤＣ成分抽出手段）と総称する。
レイヤ内イントラ予測画像を補正単位分割部３５２Ｈ１ＥとＤＣ成分抽出部３５２Ｈ２Ｅに順次入力して得られる低周波画像をレイヤ内イントラ低周波画像と呼ぶ。また、ベース参照画像を補正単位分割部３５２Ｈ１ＢとＤＣ成分抽出部１５２Ｈ２Ｂに順次入力して得られる低周波画像をベース参照低周波画像と呼ぶ。
なお、補正単位におけるＤＣ成分の抽出は、例えば、補正単位の画素値の平均を導出する処理である。この場合、ＤＣ成分抽出部が出力する低周波画像の各画素値は、当該画素位置を含む補正単位の画素値平均となる。
加算記３５２Ｈ３は、入力されるレイヤ内イントラ予測低周波画像から、入力されるベース参照低周波画像を引いて低周波差分画像として出力する。なお、低周波差分画像の画素値の絶対値が所定の値（例えば５）以下となるようクリップ処理を適用してもよい。
加算記３５２Ｈ４は、入力されるレイヤ内イントラ予測画像と、入力される低周波差分画像を加算してハイブリッド予測画像として出力する。なお、レイヤ内イントラ予測画像と低周波差分画像の加算後に、各画素値を復号画素の画素値が取り得る値の範囲内となるようクリップすることが好ましい。例えば、復号画像の画素値が取り得る範囲が０〜２５５である場合、０以下の画素値を０、２５５以上の画素値を２５５とするクリップ処理を適用することが好ましい。
＜補正単位決定部＞
補正単位決定部３５２Ｈ５は、入力されるイントラ予測モードに基づいて補正単位サイズを決定し、補正単位分割部３５２Ｈ１Ｂおよび補正単位分割部３５２Ｈ１Ｅにそれぞれ出力する。
補正単位決定部３５２Ｈ５は、入力されるイントラ予測モードに基づいて補正単位サイズを決定し、補正単位分割部３５２Ｈ１Ｂおよび補正単位分割部３５２Ｈ１Ｅにそれぞれ出力する。
補正単位サイズの決定方法について、図２９を参照して説明する。図２９は対象ＰＵのイントラ予測モードに対応する補正単位サイズを示す表である。対象ＰＵのイントラ予測モードがＰｌａｎａｒ予測（IntraPredModeが０）の場合、補正単位サイズ（adjustUnitSize）を４×１（４画素×１画素）に設定する。イントラ予測モードが水平方向に近い方向の方向予測（IntraPredModeが２以上１７以下）の場合、補正単位サイズを１×４に設定する。イントラ予測モードが垂直方向に近い方向の方向予測（IntraPredModeが１８以上３４以下）の場合、補正単位サイズを４×１に設定する。なお、イントラ予測モードがＤＣ予測の場合、本実施形態ではハイブリッド予測が適用されないため、図２９では、適用付加を意味する「ｎａ」を記載している。
上記のようなイントラ予測モードに応じた補正単位サイズの決定は、ハイブリッド予測およびレイヤ内イントラ予測に係る以下の性質から有用である。
（性質４）方向予測をハイブリッド予測により補正する場合、予測方向に沿った方向により小さい単位で補正することで、予測画像を入力画像に近づけられる。これは、方向予測は、概略的には、対象ＰＵ周辺の復号済画像の画素値を指定された予測方向に外挿することで予測画像を生成することから、予測方向に沿った方向の変化を予測することができないという性質に起因する。補正単位を予測方向に沿って小さく設定してハイブリッド予測による補正を適用することで、予測方向に沿った方向の画素値の変化を、ベース参照画像の情報を用いて推定することができるため、予測画像をより入力画像に近づけることができる。したがって、水平方向に近い方向予測に対して縦長矩形（垂直方向に長い矩形）の補正単位サイズを選択し、垂直方向に近い方向予測に対して横長矩形（水平方向に長い矩形）の補正単位サイズを選択することが好ましい。
（性質５）ハイブリッド予測による補正単位のサイズの数を少なくすることで、階層動画像復号装置を実装する際の回路規模を低減できる。また、したがって、方向予測以外のイントラ予測モードに対応する補正単位のサイズとして、方向予測に適用される補正単位のサイズのうちの何れかを適用することが好ましい。
（性質４）方向予測をハイブリッド予測により補正する場合、予測方向に沿った方向により小さい単位で補正することで、予測画像を入力画像に近づけられる。これは、方向予測は、概略的には、対象ＰＵ周辺の復号済画像の画素値を指定された予測方向に外挿することで予測画像を生成することから、予測方向に沿った方向の変化を予測することができないという性質に起因する。補正単位を予測方向に沿って小さく設定してハイブリッド予測による補正を適用することで、予測方向に沿った方向の画素値の変化を、ベース参照画像の情報を用いて推定することができるため、予測画像をより入力画像に近づけることができる。したがって、水平方向に近い方向予測に対して縦長矩形（垂直方向に長い矩形）の補正単位サイズを選択し、垂直方向に近い方向予測に対して横長矩形（水平方向に長い矩形）の補正単位サイズを選択することが好ましい。
（性質５）ハイブリッド予測による補正単位のサイズの数を少なくすることで、階層動画像復号装置を実装する際の回路規模を低減できる。また、したがって、方向予測以外のイントラ予測モードに対応する補正単位のサイズとして、方向予測に適用される補正単位のサイズのうちの何れかを適用することが好ましい。
補正単位決定部３５２Ｈ５では、上記２つの性質を考慮して、図２９に示した対応関係でイントラ予測モードから補正単位サイズを決定したが、いずれか一方の性質のみを利用した対応関係で補正サイズを決定してもよい。
＜ハイブリッド予測画像生成処理＞
次に、ハイブリッド予測部３５２Ｈにおける予測画像生成処理の手順（Ｓ６０１〜Ｓ４０６）を説明する。ここでは、対象ＰＵに対するレイヤ内イントラ予測画像とベース参照画像を入力として、対象ＰＵのハイブリッド予測画像をハイブリッド予測部３５２Ｈの各構成要素を用いて導出する処理である。
次に、ハイブリッド予測部３５２Ｈにおける予測画像生成処理の手順（Ｓ６０１〜Ｓ４０６）を説明する。ここでは、対象ＰＵに対するレイヤ内イントラ予測画像とベース参照画像を入力として、対象ＰＵのハイブリッド予測画像をハイブリッド予測部３５２Ｈの各構成要素を用いて導出する処理である。
（Ｓ６０１）補正単位決定部３５２Ｈ５は、入力されるイントラ予測モードに基づいて補正単位サイズを決定し、補正単位分割部３５２Ｈ１Ｅと補正単位分割部３５２Ｈ１Ｂに出力する。
（Ｓ６０２）補正単位分割部３５２Ｈ１Ｅは、入力される空間予測画像を入力される補正単位サイズで補正単位に分割し、空間予測画像と分割情報を合わせてＤＣ成分抽出部３５２Ｈ２Ｅに出力する。
（Ｓ６０３）ＤＣ成分抽出部３５２Ｈ２Ｅは、入力された分割情報に基づいて空間予測画像を分割し、得られる分割単位毎に空間予測画像の低周波成分を抽出して、レイヤ内イントラ予測低周波画像を生成して、加算器３５２Ｈ３に出力する。
（Ｓ６０４）補正単位分割部３５２Ｈ１Ｂは、入力されたベース参照画像を入力される補正単位サイズで補正単位に分割し、ベース参照画像と分割情報を合わせてＤＣ成分抽出部３５２Ｈ２Ｂへ出力する。
（Ｓ６０５）ＤＣ成分抽出部３５２Ｈ２Ｂは、入力された分割情報に基づいてベース参照画像を分割し、得られる分割単位毎にベース参照画像の低周波成分を抽出して、ベース参照低周波画像を生成して、加算器３５２Ｈ３に出力する。
（Ｓ６０６）加算器３５２Ｈ３は、入力されるベース参照低周波画像から、入力されるレイヤ内イントラ予測低周波画像を引いて低周波差分画像を生成して加算器３５２Ｈ４に出力する。
（Ｓ６０７）加算器３５２Ｈ４は、入力されるレイヤ内イントラ予測画像と、加算器１５２Ｈ３から入力される低周波差分画像とを加算してハイブリッド予測画像を生成して、対象ＰＵの予測画像として外部に出力する。
上記ハイブリッド予測画像の導出手順によれば、対象ＰＵにおけるレイヤ内イントラ予測画像（空間予測画像）を複数の補正単位に分割し、補正単位毎に空間予測画像の低周波成分を、ベース参照画像の低周波成分に置き換えることができる。言い換えると、補正単位毎に、空間予測画像の高周波成分と、ベース参照画像の低周波成分とを組み合わせたハイブリッド予測画像が生成できる。ハイブリッド予測画像は、空間予測画像や参照レイヤ画像よりも高精度の（入力画像に類似の）予測画像となる可能性が高い。したがって、ハイブリッド予測画像を予測画像として用いることで、予測残差の符号量を減らして、動画像符号化データの符号量を削減できる。
（階層動画像復号装置３の効果）
以上説明した本実施形態に係る動画像復号装置３は、空間予測画像の高周波成分と、ベース参照画像の低周波成分を組み合わせてハイブリッド予測画像を生成するハイブリッド予測部を備えている。したがって、動画像復号装置１は、ハイブリッド予測画像を用いることで生成された少ない符号量の符号化データを復号して、復号画像を再生できる。
以上説明した本実施形態に係る動画像復号装置３は、空間予測画像の高周波成分と、ベース参照画像の低周波成分を組み合わせてハイブリッド予測画像を生成するハイブリッド予測部を備えている。したがって、動画像復号装置１は、ハイブリッド予測画像を用いることで生成された少ない符号量の符号化データを復号して、復号画像を再生できる。
＜変形例８：DC/Planarへの適用省略＞
予測パラメータ復元部３４の説明では、図２６を参照して、ハイブリッド予測フラグhybridPredFlagの決定方法を示したが、異なる決定方法でhybridPredFlagを決定してもよい。例えば、図３０や図３１に示す決定方法でhybridPredFlagを決定できる。
予測パラメータ復元部３４の説明では、図２６を参照して、ハイブリッド予測フラグhybridPredFlagの決定方法を示したが、異なる決定方法でhybridPredFlagを決定してもよい。例えば、図３０や図３１に示す決定方法でhybridPredFlagを決定できる。
図３０は、方向予測にハイブリッド予測を適用し、ＤＣ予測およびＰｌａｎａｒ予測にハイブリッド予測を適用しない場合のhybridPredFlagの決定方法を示している。
図３１は、一部の方向予測に対してハイブリッド予測を適用し、それ以外の方向予測、ＤＣ予測、およびＰｌａｎａｒ予測に対してはハイブリッド予測を適用しない場合のhybridPredModeの決定方法を示している。具体的には、方向予測が水平方向または垂直方向のいずれかに近い場合にハイブリッド予測を適応している。図３１では、イントラ予測モードが７以上１３以下の範囲内（水平方向に対応するイントラ予測モード１０から±３の範囲）にある場合に水平方向に近いと判定し、２３以上２９以下の範囲内（垂直方向に対応するイントラ予測モード２６から±３の範囲）にある場合に垂直方向に近いと判定してhybridPredFlagを１に設定する。
なお、図３０、図３１ともに、predBlkTypeに依存せずhybridPredFlagを決定しているが、図２６で説明したようにpredBlkTypeに依存してhybridPredFlagを決定するようにしてもよい。
＜変形例９：DC/Planarへ4x4の補正単位を適用＞
補正単位決定部３５２Ｈ５の説明では、図２９を参照して、補正単位サイズの決定方法を示したが、異なる決定方法で補正単位サイズを決定してもよい。例えば、図３２に示した方法で補正単位サイズを決定できる。
補正単位決定部３５２Ｈ５の説明では、図２９を参照して、補正単位サイズの決定方法を示したが、異なる決定方法で補正単位サイズを決定してもよい。例えば、図３２に示した方法で補正単位サイズを決定できる。
図３２に示す補正単位サイズ決定方法によれば、対象ＰＵのイントラ予測モードがＰｌａｎａｒ予測（IntraPredModeが０）の場合、補正単位サイズ（adjustUnitSize）を４×４（４画素×４画素）に設定する。イントラ予測モードがＤＣ予測の場合、ハイブリッド予測は適用されない（「ｎａ」）。イントラ予測モードが水平方向に近い方向の方向予測（IntraPredModeが２以上１７以下）の場合、補正単位サイズを１×４に設定する。イントラ予測モードが垂直方向に近い方向の方向予測（IntraPredModeが１８以上３４以下）の場合、補正単位サイズを４×１に設定する。
上記補正単位サイズ決定方法によれば、図２９に示す補正単位サイズ決定方法に比べて、補正単位サイズの種類が増加するため実装負荷が増加するが、方向性を持たないPlanar予測に対して、方向性を持たない正方形の補正単位を用いてハイブリッド予測を適用することで入力画像に近い予測画像を生成できる可能性が高まるという効果を奏する。
なお、ＤＣ予測に対してもハイブリッド予測を適用する構成である場合、ＤＣ予測に対して４×４の補正単位サイズを適用することでも、同様の効果が得られる。
上記の例は、より一般化すると、次のように換言できる。イントラ予測モードに応じてハイブリッド予測に用いる補正単位を決定する際、イントラ予測モードが特定の方向性と関連付けられている予測（Angular予測、方向予測）である場合には、関連付けられている方向と垂直な方向に長い矩形の補正単位を選択し、イントラ予測モードが特定の方向性と関連付けられていない予測（Planar予測、DC予測）である場合には、正方形の補正単位を選択する。
＜変形例１０：長方形補正単位のバリエーション＞
補正単位決定部３５２Ｈ５の説明では、補正単位として横長矩形（４×１画素）、および、縦長矩形（１×４画素）を用いた処理を説明したが、異なる横長矩形や縦長矩形の補正単位により処理を実行してもよい。例えば、横長矩形として８×２画素、縦長矩形として２×８画素の補正単位を用いても良い。
補正単位決定部３５２Ｈ５の説明では、補正単位として横長矩形（４×１画素）、および、縦長矩形（１×４画素）を用いた処理を説明したが、異なる横長矩形や縦長矩形の補正単位により処理を実行してもよい。例えば、横長矩形として８×２画素、縦長矩形として２×８画素の補正単位を用いても良い。
図３３を参照して、横長矩形の補正単位として４×１と８×２、縦長矩形の補正単位として１×４と２×８の補正単位を併用する例を挙げる。図３３に示す補正単位サイズ決定方法では、対象ＰＵのイントラ予測モードがＰｌａｎａｒ予測（IntraPredModeが０）、または、垂直方向の方向予測（IntraPredModeが１８〜３４）の場合、横長矩形の補正単位サイズを設定する。より詳細には、予測単位の幅（predBlkWidth）が８以上の場合に８×２の補正単位を、予測単位の幅が８未満の場合に４×１の補正単位を選択する。一方、水平方向の方向予測（IntraPredModeが２〜１７）の場合、縦長矩形の補正単位サイズを選択する。より詳細には、予測単位の幅が８以上の場合に２×８の補正単位を、予測単位の幅が８未満の場合に１×４の補正単位を選択する。なお、イントラ予測モードがＤＣ予測の場合、ハイブリッド予測は適用されない（「ｎａ」）。
上記補正単位サイズ決定方法によれば、図２９に示す補正単位サイズ決定方法に比べて、予測単位の大きさに適した大きさの横長矩形または縦長矩形の補正単位を適用できる。一般に、小さい補正単位は、予測画像をより入力画像に近づけられる可能性が高い一方で、大きい補正単位に比べて複雑度が増加する。大きい予測単位が選択される領域では空間相関は比較的高いため、そのような領域では大きい補正単位を用いても小さい補正単位を用いる場合に近い予測画像が生成できる。したがって、本変形例で説明したように、大きい予測単位に対して、小さい予測単位に比べてより大きい横長矩形または縦長矩形の補正単位を用いることで、ハイブリッド予測による予測画像を入力画像に近づけつつ、予測画像生成処理の複雑度低減を実現できる効果を奏する。
＜変形例１１：最小予測単位で４×４＞
図２９を参照して説明した、補正単位決定部３５２Ｈ５における補正単位サイズの決定方法では、全ての方向予測に対して縦長矩形または横長矩形の補正単位を選択する例を示したが、特定の条件で方向予測に対して正方形の補正単位を適用してもよい。
図２９を参照して説明した、補正単位決定部３５２Ｈ５における補正単位サイズの決定方法では、全ての方向予測に対して縦長矩形または横長矩形の補正単位を選択する例を示したが、特定の条件で方向予測に対して正方形の補正単位を適用してもよい。
例えば、図３４に示すように、予測単位のサイズが小さい場合に正方形の補正単位を適用してもよい。図３４に示す補正単位サイズ決定方法では、対象ＰＵのイントラ予測モードがＰｌａｎａｒ予測（IntraPredModeが０）、または、垂直方向の方向予測（IntraPredModeが１８〜３４）の場合、横長矩形または正方形の補正単位サイズを設定する。より詳細には、予測単位の幅（predBlkWidth）が８以上の場合に４×１の補正単位を、予測単位の幅が８未満の場合（予測単位が最小の場合）に４×４の補正単位を選択する。一方、水平方向の方向予測（IntraPredModeが２〜１７）の場合、縦長矩形または正方形の補正単位サイズを選択する。より詳細には、予測単位の幅が８以上の場合に１×４の補正単位を、予測単位の幅が８未満の場合（予測単位が最小の場合）に４×４の補正単位を選択する。なお、イントラ予測モードがＤＣ予測の場合、ハイブリッド予測は適用されない（「ｎａ」）。
上記補正単位サイズ決定方法では、最小の予測単位に対して正方形の補正単位、それ以外の予測単位に対して縦長矩形または横長矩形の補正単位が選択されている。イントラ予測による予測画像生成処理は、一般に予測単位が小さいほど複雑度が増加する。また、４×４単位での補正処理は、４×１や１×４単位での補正処理に較べて複雑度が小さい。そのため、上記補正単位サイズ決定方法では、複雑度の比較的大きい小さい予測単位に対してハイブリッド予測を適用する場合、比較的複雑度の小さい正方形の補正単位を選択することで、最悪の場合の複雑度増加を抑えつつ、ハイブリッド予測による入力画像に近い予測画像を生成する効果を得られる。
また、例えば、図３５に示すように、方向予測の予測方向が水平または垂直から離れている場合（予測方向が対角方向に近い場合）、縦長矩形や横長矩形の補正単位ではなく正方形の補正単位を選択してもよい。図３５に示す補正単位サイズ決定方法では、対象ＰＵのイントラ予測モードがＰｌａｎａｒ予測（IntraPredModeが０）、または、垂直方向に近い方向予測（IntraPredModeが７〜１３）の場合、横長矩形の補正単位サイズを設定する。一方、水平方向に近い方向予測（IntraPredModeが２３〜２９）の場合、縦長矩形の補正単位サイズを選択する。一方、方向予測であって、予測方向が水平方向と垂直方向のいずれからも離れている方向予測（IntraPredModeが２〜６、１４〜２２、３０〜３４）の場合、正方形の補正単位サイズを設定する。なお、イントラ予測モードがＤＣ予測の場合、ハイブリッド予測は適用されない（「ｎａ」）。
上記補正単位サイズ決定方法では、方向予測の予測方向が水平または垂直から一定以上離れている場合（予測方向が対角方向に近い場合）、正方形の補正単位を選択している。長方形の補正単位による補正は、その長方形が予測方向と垂直である場合に特に有効である。予測方向が対角方向に近い場合、予測方向と補正単位の長方形の方向のなす角度が垂直から遠くなるため、長方形の補正単位を適用する効果が小さい。したがって、そのような場合に正方形の予測単位を選択することで、予測画像をより入力画像に近づける効果を奏する。
＜変形例１２：倍率に応じた補正単位の切り替え＞
上記第２の実施形態の説明では、ハイブリッド予測フラグhybridPredFlagの決定方法や補正単位サイズの決定方法において、ＣＵサイズ、予測単位サイズ、イントラ予測モードの組み合わせに基づいて所定の判定基準によりハイブリッド予測の適用可否や、補正単位サイズを決定する方法を説明した。前記判定基準は、複雑度低減の観点からは一種類であることが好ましいが、２以上の判定基準を設け条件により切り替えて利用しても構わない。特に、ベースレイヤ（参照レイヤ）の復号画像の解像度と対象レイヤの復号画像の解像度の比率に応じて異なる判定基準を設けることが好ましい。
上記第２の実施形態の説明では、ハイブリッド予測フラグhybridPredFlagの決定方法や補正単位サイズの決定方法において、ＣＵサイズ、予測単位サイズ、イントラ予測モードの組み合わせに基づいて所定の判定基準によりハイブリッド予測の適用可否や、補正単位サイズを決定する方法を説明した。前記判定基準は、複雑度低減の観点からは一種類であることが好ましいが、２以上の判定基準を設け条件により切り替えて利用しても構わない。特に、ベースレイヤ（参照レイヤ）の復号画像の解像度と対象レイヤの復号画像の解像度の比率に応じて異なる判定基準を設けることが好ましい。
例えば、ベースレイヤの復号画像の解像度に対して、対象レイヤの復号画像の解像度が高いほどより大きい補正単位が適用されるよう、補正単位選択の判定基準を切り替えてもよい。具体的には、対象レイヤとベースレイヤの復号画像の解像度が等しい場合、図２９で説明した方法で補正単位を選択し、ベースレイヤに較べて対象レイヤの復号画像の解像度が高い場合、図３６に示す方法で補正単位を選択してもよい。図３６では、予測単位の幅（predBlkWidth）が４の場合、図２９と同じ補正単位サイズを選択する。一方、予測単位の幅が８以上の場合、対象ＰＵのイントラ予測モードがＰｌａｎａｒ予測（IntraPredModeが０）、または、垂直方向に近い方向の方向予測（IntraPredModeが１８以上３４以下）の場合、補正単位サイズを８×１に設定する。それ以外で、イントラ予測モードが水平方向に近い方向の方向予測（IntraPredModeが２以上１７以下）の場合、補正単位サイズを１×８に設定する。
対象レイヤとベースレイヤの復号画像の解像度が等しい場合、解像度が異なる場合に比べて、ベースレイヤの復号画像から対象レイヤにおける対応する領域の入力画像をより正確に推定できる。そのため、対象レイヤとベースレイヤの復号画像の解像度が異なる場合に比べて、対象レイヤとベースレイヤの復号画像の解像度が等しい場合に、より小さい補正単位を用いて補正を行うことで、より入力画像に近い予測画像をハイブリッド予測により生成できる効果を奏する。
＜変形例１３：フィルタ適用前の画素値を利用した補正＞
上記第２の実施形態において、ハイブリッド予測部３５２Ｈへ入力されるベース復号画像として、対象ＰＵに対応する領域のベースレイヤの復号画像をアップサンプルして得られる画像を用いると説明したが、アップサンプルを適用せずにベースレイヤの復号画像を入力するようハイブリッド予測部３５２Ｈを構成することもできる。
上記第２の実施形態において、ハイブリッド予測部３５２Ｈへ入力されるベース復号画像として、対象ＰＵに対応する領域のベースレイヤの復号画像をアップサンプルして得られる画像を用いると説明したが、アップサンプルを適用せずにベースレイヤの復号画像を入力するようハイブリッド予測部３５２Ｈを構成することもできる。
例えば、ベースレイヤの解像度に対して、対象レイヤの解像度が縦横各２倍の場合に、４×４画素の補正単位を用いてハイブリッド予測を適用する処理は、以下の手順で実行される。
（Ｓ７０１）空間予測画像を４×４の補正単位に分割し、補正単位毎にＤＣ成分を算出する。
（Ｓ７０２）ベース参照画像（対象ＰＵに対応するベースレイヤの復号画像）を２×２の補正単位に分割し、補正単位毎にＤＣ成分を算出する。
（Ｓ７０３）空間予測画像の各補正単位において、ベース参照画像のＤＣ成分から当該補正単位のＤＣ成分を減算した値を、当該補正単位内の各画素値に加算してハイブリッド予測画像を生成する。
上記手順では、対象レイヤと参照レイヤの解像度の違いを考慮して、対象レイヤの補正単位（４×４）より小さい補正単位（２×２）でＤＣ成分（低周波成分）を計算している。アップサンプル適用後のベースレイヤ復号画像を入力としてハイブリッド予測画像を生成する場合に比べて、アップサンプル処理が省略でき、加えて、ベースレイヤの補正単位の面積が小さいため、ＤＣ成分の計算処理が少ないため、予測画像生成処理の複雑度を低減する効果を奏する。
〔階層動画像符号化装置（第２の実施形態）〕
以下では、本実施形態に係る階層動画像符号化装置４の構成について、図３７〜図３９を参照して説明する。
〔階層動画像符号化装置（第２の実施形態）〕
以下では、本実施形態に係る階層動画像符号化装置４の構成について、図３７〜図３９を参照して説明する。
（階層動画像符号化装置の構成）
図３７を用いて、階層動画像符号化装置４の概略的構成について説明すると次のとおりである。図３７は、階層動画像符号化装置４の概略的構成について示した機能ブロック図である。階層動画像符号化装置４は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
図３７を用いて、階層動画像符号化装置４の概略的構成について説明すると次のとおりである。図３７は、階層動画像符号化装置４の概略的構成について示した機能ブロック図である。階層動画像符号化装置４は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
図３７に示すように階層動画像符号化装置４は、予測パラメータ決定部２１、予測情報生成部４２、ベース復号部２３、テクスチャ情報生成部４４、可変長符号化部４５、およびＮＡＬ多重化部２６を備える。階層動画像符号化装置２（図１７）の構成要素と同じ機能を有する階層動画像符号化装置４の構成要素に対して、同一の符号を付与して説明を省略する。
予測情報生成部４２は、予測パラメータ決定部２１から供給される予測パラメータに基づいて予測パラメータに関するシンタックス値を含む予測情報を生成する。予測情報生成部４２は、生成した予測情報を可変長符号化部４５に供給する。なお、予測情報生成部４２は、予測パラメータを復元する際に、テクスチャ情報生成４４が備えるフレームメモリ２４７に格納された予測パラメータを参照することができる。
テクスチャ情報生成部４４は、入力画像ＰＩＮ＃Ｔから予測画像を減算して得られる予測残差を、直交変換・量子化した変換係数を含む変換係数情報を生成する。テクスチャ情報生成部４４は、生成した変換係数情報を可変長符号化部４５に供給する。なお、テクスチャ情報生成４４では、復元された復号画像に関する情報が、内部に備えるフレームメモリ２４７に格納される。
可変長符号化部４５は、予測情報生成部４２から供給される予測情報およびテクスチャ情報生成部４４から供給される変換係数情報を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔを生成する。可変長符号化部４５は、生成した対象レイヤ符号化データＤＡＴＡ＃ＴをＮＡＬ多重化部２６に供給する。
（予測情報生成部）
図３８を参照して、予測情報生成部４２の詳細構成を説明する。図３８は、予測情報生成部４２の構成を例示した機能ブロック図である。
図３８を参照して、予測情報生成部４２の詳細構成を説明する。図３８は、予測情報生成部４２の構成を例示した機能ブロック図である。
図３８に示すように、予測情報生成部４２は、イントラインター予測情報設定部２２１、空間予測モード予測情報設定部２２３、イントラ予測情報設定部４２４、および動き補償予測情報設定部２２５を備える。イントラ予測情報設定部４２４は、ハイブリッド予測情報設定部４２４Ｈ、レイヤ内イントラ予測情報設定部４２４Ｓ、およびレイヤ間イントラ予測情報設定部４２４Ｂを内部に備える。なお、予測情報生成部２２の構成要素と同じ機能の構成要素には同一の符号を付与して説明を省略する。
イントラ予測情報設定部４２４は、入力される予測パラメータの示すイントラ予測方法に関する予測情報を設定して出力する。
ハイブリッド予測情報設定部４２４Ｈは、イントラ予測方法がハイブリッド予測である場合に選択され、レイヤ間予測フラグinter_layer_pred_flagの値を０、hybridPredFlagを１に設定し、入力される空間予測モードに係るシンタックス値と合わせて予測情報として出力する。
レイヤ内イントラ予測情報設定部４２４Ｓは、イントラ予測方法がレイヤ内イントラ予測である場合に選択され、レイヤ間予測フラグinter_layer_pred_flagの値を０、hybridPredFlagを０に設定して予測情報として出力する。
レイヤ間イントラ予測情報設定部４２４Ｂは、イントラ予測方法がレイヤ内イントラ予測である場合に選択され、レイヤ間予測フラグinter_layer_pred_flagの値を１に設定し、入力される空間予測モードに係るシンタックス値と合わせて予測情報として出力する。
（テクスチャ情報生成部）
図３９を用いて、テクスチャ情報生成部４４の詳細構成について説明する。図３９は、テクスチャ情報生成部４４の構成について例示した機能ブロック図である。
図３９を用いて、テクスチャ情報生成部４４の詳細構成について説明する。図３９は、テクスチャ情報生成部４４の構成について例示した機能ブロック図である。
図３９に示すように、テクスチャ情報生成部４４は、テクスチャ予測部４４１、減算器２４２、直交変換・量子化部２４３、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ２４７を備える。テクスチャ予測部４４１は、内部にインター予測部４４１Ｔ、レイヤ内イントラ予測部４４１Ｓ、レイヤ間イントラ予測部４４１Ｂ、ハイブリッド予測部４４１Ｈを備える。なお、テクスチャ情報生成部２４（図１９）の構成要素と同じ機能の構成要素には同一の符号を付与して説明を省略する。
テクスチャ予測部４４１、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ２４７は、それぞれ、階層動画像復号装置３に含まれるテクスチャ予測部３５２、逆直交変換・逆量子化部１５１、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５と同様であるので、ここではその説明は省略する。ただし、テクスチャ予測部４４１は、加算器２４５だけでなく減算器２４２にも予測画像を供給する。
（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
図２０に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図２０の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。
図２０の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２０の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
図２０の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２０の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２０の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
図２１に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図２１の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。
図２１の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２１の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
図２１の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２１の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２１の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用することができる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。
１、３ 階層動画像復号装置（画像復号装置）
１１ ＮＡＬ逆多重化部
１２、３２ 可変長復号部（可変長復号手段）
１４、３４ 予測パラメータ復元部
１５、３５ テクスチャ復元部
１６ ベース復号部
１４１、３４１ イントラインター選択部
１４２、３４２ イントラ予測選択部
１４３、３４３ イントラ予測モード復元部
１４４ イントラ情報復元部
１４４Ｈ ハイブリッド予測情報復元部
１４４Ｓ レイヤ内イントラ予測情報復元部
１４４Ｂ レイヤ間イントラ予測情報復元部
１４５ 動き情報復元部
１５１ 逆直行変換・逆量子化部
１５２、３５２ テクスチャ予測部（予測画像生成手段）
１５２Ｔ インター予測部（レイヤ内予測画像生成手段）
１５２Ｓ レイヤ内イントラ予測部（レイヤ内イントラ予測手段、レイヤ内予測画像生成手段）
１５２Ｂ レイヤ間イントラ予測部（レイヤ間イントラ予測手段）
１５２Ｈ、３５２Ｈ ハイブリッド予測部
１５２Ｈ１Ｅ、１５２Ｈ１Ｂ 補正単位分割部（補正単位分割手段）
１５２Ｈ２Ｅ、１５２Ｈ２Ｂ 低周波成分抽出部（低周波成分抽出手段）
１６１ 可変長復号部
１６２ ベース予測パラメータ復元部
１６３ ベース変換係数復号部
１６４ ベーステクスチャ復元部
２ 階層動画像符号化装置（画像符号化装置）
２１ 予測パラメータ決定部
２２、４２ 予測情報生成部
２２１ イントラインター予測情報設定部
２２３ 空間予測モード予測情報設定部
２２４、４２４ イントラ予測情報設定部
２２４Ｈ、４２４Ｈ ハイブリッド予測情報設定部
２２４Ｓ、４２４Ｓ レイヤ内イントラ予測情報設定部
２２４Ｂ、４２４Ｂ レイヤ間イントラ予測情報設定部
２２５ 動き補償予測情報設定部
２３、４３ ベース復号部
２４、４４ テクスチャ情報生成部
２４１、４４１ テクスチャ予測部
２４１Ｔ、４４１Ｔ インター予測部
２４１Ｓ、４４１Ｓ レイヤ内イントラ予測部
２４１Ｂ、４４１Ｂ レイヤ間イントラ予測部
２４１Ｈ、４４１Ｈ ハイブリッド予測部
２５ 可変長符号化部
２６ ＮＡＬ多重化部
３５２Ｈ１Ｅ、３５２Ｈ１Ｂ 補正単位分割部（補正単位分割手段）
３５２Ｈ２Ｅ、３５２Ｈ２Ｂ 低周波成分抽出部（低周波成分抽出手段）
３５２Ｈ５ 補正単位決定部（補正単位決定手段）
１１ ＮＡＬ逆多重化部
１２、３２ 可変長復号部（可変長復号手段）
１４、３４ 予測パラメータ復元部
１５、３５ テクスチャ復元部
１６ ベース復号部
１４１、３４１ イントラインター選択部
１４２、３４２ イントラ予測選択部
１４３、３４３ イントラ予測モード復元部
１４４ イントラ情報復元部
１４４Ｈ ハイブリッド予測情報復元部
１４４Ｓ レイヤ内イントラ予測情報復元部
１４４Ｂ レイヤ間イントラ予測情報復元部
１４５ 動き情報復元部
１５１ 逆直行変換・逆量子化部
１５２、３５２ テクスチャ予測部（予測画像生成手段）
１５２Ｔ インター予測部（レイヤ内予測画像生成手段）
１５２Ｓ レイヤ内イントラ予測部（レイヤ内イントラ予測手段、レイヤ内予測画像生成手段）
１５２Ｂ レイヤ間イントラ予測部（レイヤ間イントラ予測手段）
１５２Ｈ、３５２Ｈ ハイブリッド予測部
１５２Ｈ１Ｅ、１５２Ｈ１Ｂ 補正単位分割部（補正単位分割手段）
１５２Ｈ２Ｅ、１５２Ｈ２Ｂ 低周波成分抽出部（低周波成分抽出手段）
１６１ 可変長復号部
１６２ ベース予測パラメータ復元部
１６３ ベース変換係数復号部
１６４ ベーステクスチャ復元部
２ 階層動画像符号化装置（画像符号化装置）
２１ 予測パラメータ決定部
２２、４２ 予測情報生成部
２２１ イントラインター予測情報設定部
２２３ 空間予測モード予測情報設定部
２２４、４２４ イントラ予測情報設定部
２２４Ｈ、４２４Ｈ ハイブリッド予測情報設定部
２２４Ｓ、４２４Ｓ レイヤ内イントラ予測情報設定部
２２４Ｂ、４２４Ｂ レイヤ間イントラ予測情報設定部
２２５ 動き補償予測情報設定部
２３、４３ ベース復号部
２４、４４ テクスチャ情報生成部
２４１、４４１ テクスチャ予測部
２４１Ｔ、４４１Ｔ インター予測部
２４１Ｓ、４４１Ｓ レイヤ内イントラ予測部
２４１Ｂ、４４１Ｂ レイヤ間イントラ予測部
２４１Ｈ、４４１Ｈ ハイブリッド予測部
２５ 可変長符号化部
２６ ＮＡＬ多重化部
３５２Ｈ１Ｅ、３５２Ｈ１Ｂ 補正単位分割部（補正単位分割手段）
３５２Ｈ２Ｅ、３５２Ｈ２Ｂ 低周波成分抽出部（低周波成分抽出手段）
３５２Ｈ５ 補正単位決定部（補正単位決定手段）
Claims (13)
- 階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、下位レイヤの復号画像を参照して生成した上位レイヤの予測画像を用いて上位レイヤの復号画像を復元する画像復号装置であって、
上位レイヤの復号画像を参照してレイヤ内予測画像を生成するレイヤ内予測画像生成手段と、
レイヤ内予測画像の低周波成分を下位レイヤの復号画像の低周波成分により置き換えることで予測画像を生成するハイブリッド予測手段を備えることを特徴とする画像復号装置。 - 上記レイヤ内予測画像、および、上記下位レイヤ復号画像を補正単位に分割する補正単位分割手段と、
上記補正単位で、上記レイヤ内予測画像、および、上記下位レイヤ復号画像の低周波成分を抽出する低周波成分抽出手段を備え、
上記ハイブリッド予測手段は、上記補正単位分割手段により補正単位に分割された上記レイヤ内予測画像から上記低周波成分抽出手段により抽出した低周波成分を、上記補正単位分割手段により補正単位に分割された上記下位レイヤ復号画像から上記低周波成分抽出手段により抽出した低周波成分に置き換えることで、予測画像を生成することを特徴とする請求項１に記載の画像復号装置。 - 予測情報に係るシンタックス値を復号する可変長復号手段と、
上記予測情報に係るシンタックス値に基づいて、空間予測モードを含む予測パラメータを復元する予測パラメータ復元手段を備え、
上記空間予測モードの示す予測方法で、対象予測単位の周辺領域の復号画像を参照してレイヤ内イントラ予測画像を生成するレイヤ内イントラ予測手段を備え、
上記レイヤ内予測画像は、上記レイヤ内イントラ予測画像であることを特徴とする請求項１から請求項２に記載の画像復号装置。 - 上記低周波成分抽出手段は、上記補正単位の画素値の平均値を上記低周波成分として抽出することを特徴とする請求項２および請求項３に記載の画像復号装置。
- 上記イントラ予測選択手段は、上記空間予測モードと対象予測単位のサイズの組み合わせに基づいて、対象予測単位において、上記ハイブリッド予測と上記レイヤ内イントラ予測の何れを適用するかを示すハイブリッド予測フラグを導出することを特徴とする請求項１から請求項４に記載の画像復号装置。
- 上記イントラ予測選択手段は、上記空間予測モードがＤＣ予測である場合に上記レイヤ内イントラ予測を適用することを示し、上記空間予測モードがＰｌａｎａｒ予測、または、方向予測である場合に上記ハイブリッド予測を適用することを示すハイブリッド予測フラグを導出することを特徴とする請求項５に記載の画像復号装置。
- 上記補正単位分割手段における補正単位サイズを決定する補正単位決定手段を備え、
上記補正単位決定手段は、上記空間予測モードと対象予測単位のサイズの組み合わせに基づいて、補正単位サイズを決定することを特徴とする請求項２に記載の画像復号装置。 - 上記補正単位決定手段は、上記空間予測モードが水平方向に近い方向に対応する方向予測である場合に縦長矩形の補正単位を選択し、上記空間予測モードが垂直方向に近い方向に対応する方向予測である場合に横長矩形の補正単位を選択することを特徴とする請求項７に記載の画像復号装置。
- 上記補正単位決定手段は、上記空間予測モードがＰｌａｎａｒ予測またはＤＣ予測である場合、上記縦長矩形の補正単位または上記横長矩形の補正単位を選択することを特徴とする請求項７に記載の画像復号装置。
- 上記補正単位は、対象符号化単位のサイズに依存せず一定であることを特徴とする請求項２に記載の画像復号装置。
- 上記補正単位は、予測単位の最小サイズに等しいことを特徴とする請求項１０に記載の画像復号装置。
- 上記レイヤ内イントラ予測画像の生成処理には、予測画像生成に用いる参照領域へ既定の低域フィルタを適用する参照画素フィルタ適用処理を含み、
上記予測タイプがレイヤ内イントラ予測を示す場合は、上記参照画像フィルタ適用処理を実行し、
上記予測タイプがハイブリッド予測を示す場合は、上記参照画像フィルタ適用処理の実行を省略することを特徴とする請求項４に記載の画像復号装置。 - 原画像から下位レイヤの復号画像を参照して生成した上位レイヤの予測画像を減算して得られる残差を階層符号化して上位レイヤの符号化データを生成する画像符号化装置であって、
予め定められた複数の予測モードの少なくとも一部を含む予測モード群から、一つの予測モードを選択する選択手段と、
上記選択手段によって選択された予測モードに基づいて、上位レイヤにおける対象予測単位の予測画像を生成する予測画像生成手段とを備え、
上記予測画像生成手段は、該対象予測単位の予測画像として、
上位レイヤの復号画像を参照して生成されるレイヤ内予測画像、または
上記レイヤ内予測画像の低周波成分を下位レイヤの復号画像の低周波成分により置き換えることで生成されるハイブリッド予測画像を生成することを特徴とする画像符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012283956A JP2014082729A (ja) | 2012-09-28 | 2012-12-27 | 画像復号装置、および画像符号化装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012215915 | 2012-09-28 | ||
| JP2012215915 | 2012-09-28 | ||
| JP2012283956A JP2014082729A (ja) | 2012-09-28 | 2012-12-27 | 画像復号装置、および画像符号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014082729A true JP2014082729A (ja) | 2014-05-08 |
Family
ID=50786515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012283956A Pending JP2014082729A (ja) | 2012-09-28 | 2012-12-27 | 画像復号装置、および画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014082729A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246093A (zh) * | 2019-05-05 | 2019-09-17 | 北京大学 | 一种解码图像增强方法 |
-
2012
- 2012-12-27 JP JP2012283956A patent/JP2014082729A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246093A (zh) * | 2019-05-05 | 2019-09-17 | 北京大学 | 一种解码图像增强方法 |
| CN110246093B (zh) * | 2019-05-05 | 2021-05-04 | 北京大学 | 一种解码图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6284661B2 (ja) | 画像符号化装置、および画像符号化方法 | |
| JP6456535B2 (ja) | 画像符号化装置、画像符号化方法および記録媒体 | |
| US10136151B2 (en) | Image decoding device and image decoding method | |
| US10841600B2 (en) | Image decoding device, an image encoding device and a decoding method | |
| JP6352248B2 (ja) | 画像復号装置、および画像符号化装置 | |
| WO2014007131A1 (ja) | 画像復号装置、および画像符号化装置 | |
| WO2013161690A1 (ja) | 画像復号装置および画像符号化装置 | |
| JP2014176039A (ja) | 画像復号装置、および画像符号化装置 | |
| WO2014104242A1 (ja) | 画像復号装置、および画像符号化装置 | |
| JP2014013975A (ja) | 画像復号装置、符号化データのデータ構造、および画像符号化装置 | |
| WO2013161689A1 (ja) | 動画像復号装置、および動画像符号化装置 | |
| JP2014082729A (ja) | 画像復号装置、および画像符号化装置 | |
| WO2014050554A1 (ja) | 画像復号装置、および画像符号化装置 | |
| JP2013251827A (ja) | 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造 | |
| JP2014013976A (ja) | 画像復号装置、および画像符号化装置 | |
| JP2015076807A (ja) | 画像復号装置、画像符号化装置、および符号化データのデータ構造 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150423 |