JP5995448B2 - 画像復号装置、および画像符号化装置 - Google Patents
画像復号装置、および画像符号化装置 Download PDFInfo
- Publication number
- JP5995448B2 JP5995448B2 JP2012009446A JP2012009446A JP5995448B2 JP 5995448 B2 JP5995448 B2 JP 5995448B2 JP 2012009446 A JP2012009446 A JP 2012009446A JP 2012009446 A JP2012009446 A JP 2012009446A JP 5995448 B2 JP5995448 B2 JP 5995448B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- prediction mode
- color difference
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、画像を表す符号化データを復号する画像復号装置、および画像を符号化することによって符号化データを生成する画像符号化装置に関する。
動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式や、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている方式（非特許文献１）などが挙げられる。
これらの動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
インター予測においては、フレーム全体が復号された参照フレーム（復号画像）内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位（例えば、ブロック）毎に生成される。
一方、イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。具体的には、イントラ予測においては、通常、予測単位（例えば、ブロック）毎に、予め定められた予測モード群に含まれる予測モードの中から何れかの予測モードが選択されると共に、選択された予測モードに対応付けられる予測方式に基づいて予測画像が生成される。予測方式には、水平予測、垂直予測、ＤＣ予測、Planar予測、Angular予測が含まれる。各予測モードには一意の予測モード番号が割り当てられており、動画像復号装置では、符号化データより復号された予測モード番号に基づいて予測対象領域に適用すべき予測方式を決定する。なお、Angular予測には複数の予測方向に対応する予測モードが対応付けられており、動画像復号装置では、予測モード番号に基づいて予測方向を決定し、決定した予測方向に基づいて予測画像が生成される。
輝度の予測モードについては、隣接予測単位の予測モードに基づいて導出される推定予測モードに対して短い符号が割り当てられている。一方、色差の予測モードについては、対応する輝度予測単位に適用された予測モードを再利用する推定予測モード（輝度予測モード再利用）に対して、短い符号が割り当てられている。
「WD5: Working Draft 5 of High-Efficiency Video Coding (JCTVC-G1103_d3)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting:Geneva, CH, 21-30 November, 2011（２０１２年１月９日公開）
しかしながら、上述の輝度予測モード再利用は、入力画像の色フォーマット（ＹＵＶフォーマット）が４：２：０形式の場合は適切だが、色フォーマットが４：２：２形式である場合は、符号化効率の低下を生じさせてしまう。以下、具体的に説明する。
非特許文献１では、輝度予測モード再利用を用いる場合、輝度の予測単位に適用された予測モードと同一の予測モードを色差の対象予測単位における予測画像生成に用いる。ここで、入力画像の色フォーマットが４：２：０形式で、予測モードが方向予測である場合、輝度予測モード再利用は、輝度領域における予測方向と色差領域における予測方向とが一致することを意味する。
一方、入力画像の色フォーマットが４：２：２形式の場合、特定の輝度領域に対応する色差領域のサイズを画素数で表現すれば、輝度領域の画素数を横方向に半分にしたサイズとなる。したがって、色差画素の座標系は、輝度画素の座標系を水平方向に２倍にした形状であり、輝度領域においてある予測モードに対応づけられる予測方向は、色差領域において同じ予測モードに対応づけられる予測方向と必ずしも一致しない。
そのため、非特許文献１の方式では、入力画像の色フォーマットが４：２：２形式であって、輝度の予測単位に適用された予測モードが方向予測である場合に、輝度予測モード再利用によって生成された予測画像が、輝度領域と色差領域のサイズの関係を反映できておらず不正確であるという問題を生じる。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、入力画像における輝度領域と色差領域とが相似でない場合でも、輝度予測モード再利用により生成される予測画像を正確にすることで復号画像の画質を向上する画像復号装置等を実現することにある。
上記課題を解決するために、本発明に係る画像復号装置は、予測モードに対応付けられたイントラ予測方式によって、輝度および色差について予測画像を生成することで符号化データから画像を復元する画像復号装置において、方向予測のイントラ予測方式に関して、主方向からの勾配により表現される予測方向に対応する予測モードが使用可能であり、輝度予測画像生成に用いた該予測モードに基づいて色差予測画像生成を行う際、上記輝度画素と上記色差画素との間で画素の形状が異なる場合に予測方向を補正する色差予測手段を備えることを特徴としている。
上記の構成では、方向予測のイントラ予測方式に関して、主方向からの勾配により表現される予測方向に対応する予測モードを使用する。主方向は、基準となる方向のことを意味しており、例えば、垂直方向および水平方向である。また、勾配は、予測方向と主方向とのなす角度により規定され得る。
また、上記構成では、輝度および色差について予測モードが指定され、当該指定された予測モードに基づいて予測画像が生成される。
また、輝度予測画像生成に用いた予測モードを色差予測画像生成に用いることができる。このような予測モードは、いわゆる輝度予測モード再利用を行うものであり、ＤＭモードと呼ばれることもある。
ここで、輝度画素と色差画素との間で画素の形状が異なる場合について説明すると次のとおりである。
画素は、輝度成分（Ｙ）と、色差成分（Ｕ，Ｖ）の組み合わせにより表現される。また、動画像の符号化においては、色差画素の解像度を、輝度画素の解像度よりも下げてデータ量の削減を図ることがある。
このように、さまざまな解像度の輝度および色差の組み合わせで画像を表現する画像フォーマットには、例えば、４：４：４形式、４：２：２形式、４：１：１形式、４：２：０形式などがある。
４：４：４形式では、輝度の解像度と、色差の解像度とが同じである。
４：２：２形式は、４：４：４形式において水平方向の解像度を１／２としたものである。
４：１：１形式は、４：２：２形式において、さらに水平方向の解像度を１／２としたものである。
４：２：０形式は、輝度の解像度に対して、色差の解像度を水平方向および垂直方向ともに１／２としたものである。
また、４：４：４形式および４：２：０形式では、それぞれ、輝度画素と色差画素との間でアスペクト比が同じである。これに対して、４：２：２形式および４：１：１形式は、輝度画素と色差画素との間でアスペクト比が異なる。
輝度画素と色差画素との間で画素の形状が異なるとは、上記のように、輝度画素と色差画素との間で、アスペクト比が異なり、両者が相似形でないような場合のことをいう。さらに言えば、画素の拡大縮小を行っても、輝度画素の形状と色差画素の形状とが一致しないような場合のことをいう。
上記の構成によれば、ＤＭモードを用いて色差予測画像生成を生成する際、このように輝度画素と色差画素との間で画素の形状が異なる場合において、予測方向を補正する。よって、ＤＭモードにおいて、輝度画素と色差画素とが相似形でないことにより生じる予測方向のずれを補正することができ、これにより色差領域により適した予測方向を得ることができる。その結果、輝度予測モード再利用によって生成される色差予測画像をより正確なものにして復号画像の画質を向上させることができるという効果を奏する。
本発明に係る画像復号装置では、上記色差予測手段は、上記主方向と、上記輝度画素および上記色差画素のサイズ比とに基づいて上記予測方向の勾配を補正するものであってもよい。
予測方向は、２次元ベクトルで表現することもできる。また、輝度空間での予測方向ベクトル(vxL,vyL)と色差空間での予測方向ベクトル(vxC,vyC)との間に、vxL=α・vxC、vyL=β・vyCの関係がある場合には、色差に適用する勾配intraPredAngleの値は、輝度に適用する勾配intraPredAngleの値に対して、主方向が水平方向の場合は（α/β）倍、主方向が垂直方向の場合は（β/α）倍にすることが好ましい。また、係数αは、輝度画素および色差画素の間の水平方向のサイズ比を表し、係数βは、輝度画素および色差画素の間の垂直方向のサイズ比を表しているといえる。
上記の構成によれば、上記主方向と、輝度画素および色差画素のサイズ比とに基づいて上記予測方向の勾配を補正する。このような補正では、輝度の予測方向を表すベクトルに対して上述のサイズ比を適用する演算を行う。そしてこのような演算により、補正後の色差の予測方向を表すベクトルを得ることができる。
このように演算により予測方向の勾配を補正することができるので、輝度の予測方向と色差の予測方向とを対応付けるためのテーブルを設けなくても済む。その結果、色差予測画像生成処理におけるメモリ削減を図ることができる。
本発明に係る画像復号装置では、上記色差予測手段は、輝度予測画像生成に用いる予測モードに基づいて得られる予測画像を、上記主方向に応じて、上記輝度画素の形状と上記色差画素の形状との違いによって定まる縮小率で縮小することで、上記予測方向を補正するものであってもよい。
上記の構成によれば、予測方向の補正は、輝度予測画像を、上記主方向に応じて、色差画素のサイズに縮小することによって間接的に行う。これにより、輝度画素および色差画素のサイズ（解像度）の差異に基づいて、輝度予測画像のサイズを、色差画素のサイズに変換することができる。
このため、輝度予測画像を再利用して色差予測画素を生成することができるという効果を奏する。
本発明に係る画像復号装置では、輝度予測画像生成に用いる予測モードと、色差予測画像生成に用いる予測モードとを対応付ける予測モード変換テーブルを備え、上記色差予測手段は、上記予測モード変換テーブルを参照して、予測モードを変換することで、上記予測方向を補正するものであってもよい。
上記の構成によれば、輝度予測画像生成に用いる予測モードを、色差予測画像生成に用いる予測モードに変換する。この変換テーブルでは、輝度の予測モードと色差の予測モードとがほぼ同じ勾配の予測方向となるように対応付けることができる。
例えば、４：２：２形式の場合において、輝度の予測モードＶＥＲ＋８は、色差の予測モードとしては、ＶＥＲ＋５に変換してもよい。具体的に説明すると次のとおりである。
ＶＥＲ＋８の勾配の値が水平方向に+32であるとすると、色差でＶＥＲ＋８に対応する変位の値は+32を2で割った+16である。
ここで、ＶＥＲ＋５の勾配が+17であり、上記の+16に最も近い水平方向の勾配であったとする。このとき輝度における予測モードＶＥＲ＋８は、色差においては予測モードＶＥＲ＋５に対応付ければよい。
このように対応付けておけば、予測モードＶＥＲ＋５の勾配は、輝度および色差においてともに+17であり、予測モードＶＥＲ＋８の勾配は、輝度および色差においてともに+32である。
このように、補正により予測方向の精度の向上を図りつつ、予測モードと勾配との対応を、輝度および色差の間で統一することができる。
本発明に係る画像復号装置では、上記輝度画素と上記色差画素との間で画素の形状が異なる場合とは、色フォーマットが、４：２：２フォーマットである場合であり、上記色差予測手段は、色差に適用する勾配を、輝度に適用する勾配の値に対して、主方向が水平方向である場合には２倍に設定し、主方向が垂直方向である場合には１／２倍に設定するものであってもよい。
上記の構成によれば、水平方向の解像度が１／２である４：２：２形式において予測方向の補正を好ましく施すことができる。
上記課題を解決するために、本発明に係る画像符号化装置は、予測モードに対応付けられたイントラ予測方式によって、輝度および色差について予測画像を生成して、原画像と該予測画像との差をとることで得られる予測残差を符号化する画像符号化装置において、方向予測のイントラ予測方式に関して、主方向からの勾配により表現される予測方向に対応する予測モードが使用可能であり、輝度予測画像生成に用いた該予測モードに基づいて色差予測画像生成を行う際、上記輝度画素と上記色差画素との間で画素の形状が異なる場合に予測方向を補正する色差予測手段を備えることを特徴としている。
上記の構成では、方向予測のイントラ予測方式に関して、主方向からの勾配により表現される予測方向に対応する予測モードを使用する。主方向は、基準となる方向のことを意味しており、例えば、垂直方向および水平方向である。また、勾配は、予測方向と主方向とのなす角度により規定され得る。
また、上記構成では、輝度および色差について予測モードが指定され、当該指定された予測モードに基づいて予測画像が生成される。
また、輝度予測画像生成に用いた予測モードを色差予測画像生成に用いることができる。このような予測モードは、いわゆる輝度予測モード再利用を行うものであり、ＤＭモードと呼ばれることもある。
そして、画像フォーマットの種類によっては、輝度画素と色差画素との間で、アスペクト比が異なり、両者が相似形でない場合、すなわち、輝度画素と色差画素との間で画素の形状が異なる場合がある。
上記の構成によれば、ＤＭモードを用いて色差予測画像生成を生成する際に輝度画素と色差画素との間で画素の形状が異なる場合において、予測方向を補正する。よって、ＤＭモードにおいて、輝度画素と色差画素とが相似形でないことにより生じる予測方向のずれを補正することができ、これにより色差領域により適した予測方向を得ることができる。その結果、輝度予測モード再利用によって生成される色差予測画像をより正確なものとすることができるという効果を奏する。
以上のように、本発明に係る画像復号装置は、方向予測のイントラ予測方式に関して、主方向からの勾配により表現される予測方向に対応する予測モードが使用可能であり、輝度予測画像生成に用いた該予測モードに基づいて色差予測画像生成を行う際、上記輝度画素と上記色差画素との間で画素の形状が異なる場合に予測方向を補正する色差予測手段を備える構成である。
上記の構成によれば、ＤＭモードを用いて色差予測画像生成を生成する際、このように輝度画素と色差画素との間で画素の形状が異なる場合において、予測方向を補正する。よって、ＤＭモードにおいて、輝度画素と色差画素とが相似形でないことにより生じる予測方向のずれを補正することができ、これにより色差領域により適した予測方向を得ることができる。その結果、輝度予測モード再利用によって生成される色差予測画像をより正確なものにして復号画像の画質を向上させることができるという効果を奏する。
また、本発明に係る画像符号化装置は、予測モードに対応付けられたイントラ予測方式によって、輝度および色差について予測画像を生成して、原画像と該予測画像との差をとることで得られる予測残差を符号化する画像符号化装置において、方向予測のイントラ予測方式に関して、主方向からの勾配により表現される予測方向に対応する予測モードが使用可能であり、輝度予測画像生成に用いた該予測モードに基づいて色差予測画像生成を行う際、上記輝度画素と上記色差画素との間で画素の形状が異なる場合に予測方向を補正する色差予測手段を備えることを特徴としている。
上記の構成によれば、ＤＭモードを用いて色差予測画像生成を生成する際に輝度画素と色差画素との間で画素の形状が異なる場合において、予測方向を補正する。よって、ＤＭモードにおいて、輝度画素と色差画素とが相似形でないことにより生じる予測方向のずれを補正することができ、これにより色差領域により適した予測方向を得ることができる。その結果、輝度予測モード再利用によって生成される色差予測画像をより正確なものとすることができるという効果を奏する。
〔概要〕
本発明の一実施形態について図１〜図３２を参照して説明する。まず、図２を参照しながら、動画像復号装置（画像復号装置）１および動画像符号化装置（画像符号化装置）２の概要について説明する。図２は、動画像復号装置１の概略的構成を示す機能ブロック図である。
本発明の一実施形態について図１〜図３２を参照して説明する。まず、図２を参照しながら、動画像復号装置（画像復号装置）１および動画像符号化装置（画像符号化装置）２の概要について説明する。図２は、動画像復号装置１の概略的構成を示す機能ブロック図である。
図２に示す動画像復号装置１および動画像符号化装置２は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格に採用されている技術、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている技術、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている技術、および、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている技術を実装している。
動画像符号化装置２は、これらの動画像符号化方式において、エンコーダからデコーダに伝送されることが規定されているシンタックス（syntax）の値をエントロピー符号化して符号化データ＃１を生成する。
エントロピー符号化方式としては、コンテキスト適応型可変長符号化（CAVLC：Context-based Adaptive Variable Length Coding）、および、コンテキスト適応型２値算術符号化（CABAC：Context-based Adaptive Binary Arithmetic Coding）が知られている。
ＣＡＶＬＣおよびＣＡＢＡＣによる符号化／復号においては、コンテキストに適応した処理が行われる。コンテキストとは、符号化／復号の状況（文脈）のことであり、関連シンタックスの過去の符号化／復号結果により定まるものである。関連シンタックスとしては、例えば、イントラ予測、インター予測に関する各種シンタックス、輝度（Luma）、色差（Chroma）に関する各種シンタックス、およびＣＵ(Coding Unit 符号化単位)サイズに関する各種シンタックスなどがある。また、ＣＡＢＡＣでは、シンタックスに対応する２値データ（バイナリ列）における、符号化／復号対象となるバイナリの位置をコンテキストとして用いる場合もある。
ＣＡＶＬＣでは、符号化に用いるＶＬＣテーブルを適応的に変更して、各種シンタックスが符号化される。一方、ＣＡＢＡＣでは、予測モードおよび変換係数等の多値を取り得るシンタックスに対して２値化処理が施され、この２値化処理によって得られた２値データが発生確率に応じて適応的に算術符号化される。具体的には、バイナリ値（０または１）の発生確率を保持するバッファを複数用意し、コンテキストに応じて一つのバッファを選択し、当該バッファに記録されている発生確率に基づいて算術符号化を行う。また、復号／符号化するバイナリ値に基づいて、当該バッファの発生確率を更新することで、コンテキストに応じて適切な発生確率を維持できる。
動画像復号装置１には、動画像符号化装置２が動画像を符号化した符号化データ＃１が入力される。動画像復号装置１は、入力された符号化データ＃１を復号して動画像＃２を外部に出力する。動画像復号装置１の詳細な説明に先立ち、符号化データ＃１の構成を以下に説明する。
〔符号化データの構成〕
図３を用いて、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成例について説明する。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
〔符号化データの構成〕
図３を用いて、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成例について説明する。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図３に示す。図３の（ａ）〜（ｄ）は、それぞれ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、予測残差の量子化ステップのピクチャ内における基準値（pic_init_qp_minus26）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。
なお、ピクチャヘッダＰＨは、ピクチャー・パラメーター・セット（ＰＰＳ：Picture Parameter Set）とも称される。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｂ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1〜ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）を含んでいる。
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｂ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1〜ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）を含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
また、スライスヘッダＳＨには、動画像復号装置１の備えるループフィルタ（不図示）によって参照されるフィルタパラメータが含まれていてもよい。
（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのユニットに分割される。
ツリーブロックＴＢＬＫの上記ユニットは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するユニットを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのユニット）のサイズの縦横とも半分である。
また、各符号化ノードの取り得るサイズは、ツリーブロックのサイズと、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報に依存する。ツリーブロックが符号化ノードのルートとなることから、符号化ノードの最大サイズはツリーブロックのサイズとなる。ツリーブロックの最大サイズが符号化ノード（ＣＵ）の最大サイズに一致することから、ツリーブロックの呼称としてＬＣＵ（Largest CU）が用いられることもある。最小サイズに関しては、例えば、サイズ指定情報として最小符号化ノードサイズ（log2_min_coding_block_size_minus3）と最大と最小の符号化ノードサイズの差（log2_diff_max_min_coding_block_size）が用いられる。一般的な設定では、最大符号化ノードサイズが６４×６４画素、最小符号化ノードサイズが８×８画素となる符号化ノードのサイズ指定情報が用いられる。その場合、符号化ノードと符号化単位ＣＵのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、または、８×８画素のいずれかとなる。
（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、Ｎ×２Ｎ、および、Ｎ×Ｎなどがある。
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
（ＣＵ情報のデータ構造）
続いて、図３の（ｄ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３の（ｄ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。
続いて、図３の（ｄ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３の（ｄ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
ＰＴ情報ＰＴＩは、ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３の（ｄ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報より構成される。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。
また、予測情報ＰＩｎｆｏは、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれる。上述のとおり予測画像の生成は、ＰＵを単位として行われる。予測情報ＰＩｎｆｏの詳細については後述する。
ＴＴ情報ＴＴＩは、ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことを変換ブロックと称することもある。
ＴＴ情報ＴＴＩは、図３の（ｄ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＵ、および、ＴＵ情報ＴＵＩ1〜ＴＵＩNT（ＮＴは、対象ＣＵに含まれる変換ブロックの総数）を含んでいる。
ＴＴ分割情報ＳＰ＿ＴＵは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＵは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズを取り得る。
また、ＴＵ分割情報ＳＰ＿ＴＵには、各ＴＵに非ゼロの変換係数が存在するか否かの情報が含まれる。例えば、個々のＴＵに対する非ゼロ係数の存否情報（CBP；Coded Block Flag）や、複数のＴＵに対する非ゼロ係数の存否情報（no_residual_data_flag）が ＴＵ分割情報ＳＰ＿ＴＵに含まれる。
ＴＵ情報ＴＵＩ1〜ＴＵＩNTは、ＴＴに含まれる１または複数のＴＵそれぞれに関する個別の情報である。例えば、ＴＵ情報ＴＵＩは、量子化予測残差を含んでいる。
各量子化予測残差は、動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
（予測情報ＰＩｎｆｏ）
上述のとおり、予測情報ＰＩｎｆｏには、インター予測情報およびイントラ予測情報の２種類がある。
上述のとおり、予測情報ＰＩｎｆｏには、インター予測情報およびイントラ予測情報の２種類がある。
インター予測情報には、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、インター予測情報には、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータが含まれる。
インター予測パラメータには、参照画像インデックスと、推定動きベクトルインデックスと、動きベクトル残差とが含まれる。
一方、イントラ予測情報には、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、イントラ予測情報には、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。
予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるｍｐｍ＿ｆｌａｇ、ＭＰＭを選択するためのインデックスであるｍｐｍ＿ｉｄｘ、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるｒｅｍ＿ｉｄｘが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。
また、以下において、単に“予測モード”と表記する場合、輝度予測モードのことを指す。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるｃｈｒｏｍａ＿ｍｏｄｅが含まれる。
なお、ｍｐｍ＿ｆｌａｇ、ｍｐｍ＿ｉｄｘ、ｒｅｍ＿ｉｄｘ、およびｃｈｒｏｍａ＿ｍｏｄｅのパラメータの詳細については、後述する。
また、ｍｐｍ＿ｆｌａｇおよびｒｅｍ＿ｉｎｄｅｘは、それぞれ、非特許文献１における“prev_intra_luma_pred_flag”および“rem_intra_luma_pred_mode”に対応している。また、ｃｈｒｏｍａ＿ｍｏｄｅは、“intra_chroma_pred_mode”に対応している。
〔動画像復号装置〕
以下では、本実施形態に係る動画像復号装置１の構成について、図１〜図２０を参照して説明する。
〔動画像復号装置〕
以下では、本実施形態に係る動画像復号装置１の構成について、図１〜図２０を参照して説明する。
（動画像復号装置の概要）
動画像復号装置１は、ＰＵ毎に予測画像を生成し、生成された予測画像と、符号化データ＃１から復号された予測残差とを加算することによって復号画像＃２を生成し、生成された復号画像＃２を外部に出力する。
動画像復号装置１は、ＰＵ毎に予測画像を生成し、生成された予測画像と、符号化データ＃１から復号された予測残差とを加算することによって復号画像＃２を生成し、生成された復号画像＃２を外部に出力する。
ここで、予測画像の生成は、符号化データ＃１を復号することによって得られる符号化パラメータを参照して行われる。符号化パラメータとは、予測画像を生成するために参照されるパラメータのことである。符号化パラメータには、画面間予測において参照される動きベクトルや画面内予測において参照される予測モードなどの予測パラメータに加えて、ＰＵのサイズや形状、ブロックのサイズや形状、および、原画像と予測画像との残差データなどが含まれる。以下では、符号化パラメータに含まれる情報のうち、上記残差データを除く全ての情報の集合を、サイド情報と呼ぶ。
また、以下では、復号の対象となるピクチャ（フレーム）、スライス、ツリーブロック、ＣＵ、ブロック、および、ＰＵをそれぞれ、対象ピクチャ、対象スライス、対象ツリーブロック、対象ＣＵ、対象ブロック、および、対象ＰＵと呼ぶことにする。
なお、ツリーブロックのサイズは、例えば６４×６４画素であり、ＣＵのサイズは、例えば、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素であり、ＰＵのサイズは、例えば、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素や４×４画素などである。しかしながら、これらのサイズは、単なる例示であり、ツリーブロック、ＣＵ、および、ＰＵのサイズは以上に示したサイズ以外のサイズであってもよい。特に、色フォーマットが４：２：２形式である場合には、３２×６４画素、１６×３２画素、８×１６画素、４×８画素などのサイズのＰＵを利用することが好ましい。これは、色フォーマットが４：２：２形式の画像では色差画素のアスペクト比が、縦：横＝１：２と横長であることから、色差領域においては、垂直方向の画素数が水平方向の画素数の２倍である領域が視覚的には正方形となるためである。
（動画像復号装置の構成）
再び、図２を参照して、動画像復号装置１の概略的構成について説明すると次のとおりである。図２は、動画像復号装置１の概略的構成について示した機能ブロック図である。
再び、図２を参照して、動画像復号装置１の概略的構成について説明すると次のとおりである。図２は、動画像復号装置１の概略的構成について示した機能ブロック図である。
図２に示すように動画像復号装置１は、可変長復号部１１、逆量子化・逆変換部１３、予測画像生成部１４、加算器１５およびフレームメモリ１６を備えている。
［可変長復号部］
可変長復号部１１は、動画像復号装置１から入力された符号化データ＃１に含まれる各種のパラメータを復号する。以下の説明では、可変長復号部１１が、ＣＡＢＡＣおよびＣＡＶＬＣ等のエントロピー符号化方式により符号化されているパラメータの復号を適宜行うものとする。可変長復号部１１は、具体的には、以下の手順により、１フレーム分の符号化データ＃１を復号する。
可変長復号部１１は、動画像復号装置１から入力された符号化データ＃１に含まれる各種のパラメータを復号する。以下の説明では、可変長復号部１１が、ＣＡＢＡＣおよびＣＡＶＬＣ等のエントロピー符号化方式により符号化されているパラメータの復号を適宜行うものとする。可変長復号部１１は、具体的には、以下の手順により、１フレーム分の符号化データ＃１を復号する。
まず、可変長復号部１１は、１フレーム分の符号化データ＃１を、逆多重化することで、図３に示した階層構造に含まれる各種情報に分離する。例えば、可変長復号部１１は、各種ヘッダに含まれる情報を参照して、符号化データ＃１を、スライス、ツリーブロックに順次分離する。
ここで、各種ヘッダには、（１）対象ピクチャのスライスへの分割方法についての情報、および（２）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報が含まれる。
そして、可変長復号部１１は、ツリーブロックヘッダＴＢＬＫＨに含まれるツリーブロック分割情報ＳＰ＿ＴＢＬＫを参照して、対象ツリーブロックを、ＣＵに分割する。また、可変長復号部１１は、対象ＣＵについて得られる変換ツリーに関するＴＴ情報ＴＴＩ、および、対象ＣＵについて得られる予測ツリーに関するＰＴ情報ＰＴＩを復号する。
なお、ＴＴ情報ＴＴＩには、上述のとおり、変換ツリーに含まれるＴＵに対応するＴＵ情報ＴＵＩが含まれる。また、ＰＴ情報ＰＴＩには、上述のとおり、対象予測ツリーに含まれるＰＵに対応するＰＵ情報ＰＵＩが含まれる。
可変長復号部１１は、対象ＣＵについて得られたＴＴ情報ＴＴＩをＴＵ情報復号部１２に供給する。また、可変長復号部１１は、対象ＣＵについて得られたＰＴ情報ＰＴＩを予測画像生成部１４に供給する。なお、可変長復号部１１の構成については、後ほど、より詳しく説明する。
［逆量子化・逆変換部］
逆量子化・逆変換部１３は、対象ＣＵに含まれる各ブロックについて、ＴＴ情報ＴＴＩに基づいて逆量子化・逆変換処理を実行する。具体的には、逆量子化・逆変換部１３は、各対象ＴＵについて、対象ＴＵに対応するＴＵ情報ＴＵＩに含まれる量子化予測残差を逆量子化および逆直交変換することによって、画素毎の予測残差Ｄを復元する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことを指す。したがって、逆直交変換は、周波数領域から画素領域への変換である。また、逆直交変換の例としては、逆ＤＣＴ変換（Inverse Discrete Cosine Transform）、および逆ＤＳＴ変換（Inverse Discrete Sine Transform）等が挙げられる。逆量子化・逆変換部１３は、復元した予測残差Ｄを加算器１５に供給する。
逆量子化・逆変換部１３は、対象ＣＵに含まれる各ブロックについて、ＴＴ情報ＴＴＩに基づいて逆量子化・逆変換処理を実行する。具体的には、逆量子化・逆変換部１３は、各対象ＴＵについて、対象ＴＵに対応するＴＵ情報ＴＵＩに含まれる量子化予測残差を逆量子化および逆直交変換することによって、画素毎の予測残差Ｄを復元する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことを指す。したがって、逆直交変換は、周波数領域から画素領域への変換である。また、逆直交変換の例としては、逆ＤＣＴ変換（Inverse Discrete Cosine Transform）、および逆ＤＳＴ変換（Inverse Discrete Sine Transform）等が挙げられる。逆量子化・逆変換部１３は、復元した予測残差Ｄを加算器１５に供給する。
［予測画像生成部］
予測画像生成部１４は、対象ＣＵに含まれる各ＰＵについて、ＰＴ情報ＰＴＩに基づいて予測画像を生成する。具体的には、予測画像生成部１４は、各対象ＰＵについて、対象ＰＵに対応するＰＵ情報ＰＵＩに含まれるパラメータに従ってイントラ予測またはインター予測を行うことにより、復号済み画像である局所復号画像Ｐ’から予測画像Ｐｒｅｄを生成する。予測画像生成部１４は、生成した予測画像Ｐｒｅｄを加算器１５に供給する。なお、予測画像生成部１４の構成については、後ほど、より詳しく説明する。
予測画像生成部１４は、対象ＣＵに含まれる各ＰＵについて、ＰＴ情報ＰＴＩに基づいて予測画像を生成する。具体的には、予測画像生成部１４は、各対象ＰＵについて、対象ＰＵに対応するＰＵ情報ＰＵＩに含まれるパラメータに従ってイントラ予測またはインター予測を行うことにより、復号済み画像である局所復号画像Ｐ’から予測画像Ｐｒｅｄを生成する。予測画像生成部１４は、生成した予測画像Ｐｒｅｄを加算器１５に供給する。なお、予測画像生成部１４の構成については、後ほど、より詳しく説明する。
［加算器］
加算器１５は、予測画像生成部１４より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部１３より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。
加算器１５は、予測画像生成部１４より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部１３より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。
［フレームメモリ］
フレームメモリ１６には、復号された復号画像Ｐが順次記録される。フレームメモリ１６には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が記録されている。
フレームメモリ１６には、復号された復号画像Ｐが順次記録される。フレームメモリ１６には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が記録されている。
また、対象ＣＵを復号する時点において、当該対象ＣＵよりも先に復号された全てのＣＵに対応する復号画像が記録されている。
なお、動画像復号装置１において、画像内の全てのツリーブロックに対して、ツリーブロック単位の復号画像生成処理が終わった時点で、動画像復号装置１に入力された１フレーム分の符号化データ＃１に対応する復号画像＃２が外部に出力される。
（予測モードの定義）
前述の通り、予測画像生成部１４は、ＰＴ情報ＰＴＩに基づいて予測画像を生成して出力する。対象ＣＵがイントラＣＵの場合、予測画像生成部１４に入力されるＰＵ情報ＰＴＩは、予測モード（IntraPredMode）と、色差予測モード（IntraPredModeC）を含む。以下、予測モード（輝度・色差）の定義について、図４〜６を参照して説明する。
（概要）
図４は、動画像復号装置１で利用されるイントラ予測方式の分類と対応する予測モード番号の例を示している。Planar予測（Intra_Planar）に‘０’、垂直予測（Intra_Vertical）に‘１’、水平予測（Intra_Horizontal）に‘２’、ＤＣ予測（Intra_DC）に‘３’、Angular予測（Intra_Angular）に‘４’〜 ‘３４’、ＬＭ予測（Intra_FromLuma）に‘３５’の予測モード番号がそれぞれ割り当てられている。ＬＭ予測は輝度の復号画素値に基づいて色差の画素値を予測する方式であり、色差の予測時のみ選択可能である。その他の予測モードは輝度と色差いずれにおいても選択され得る。なお、水平予測、垂直予測、Angular予測を総称して方向予測と呼ぶ。方向予測は、対象ＰＵ周辺の隣接画素値を特定の方向に外挿することで予測画像を生成する予測方式である。
前述の通り、予測画像生成部１４は、ＰＴ情報ＰＴＩに基づいて予測画像を生成して出力する。対象ＣＵがイントラＣＵの場合、予測画像生成部１４に入力されるＰＵ情報ＰＴＩは、予測モード（IntraPredMode）と、色差予測モード（IntraPredModeC）を含む。以下、予測モード（輝度・色差）の定義について、図４〜６を参照して説明する。
（概要）
図４は、動画像復号装置１で利用されるイントラ予測方式の分類と対応する予測モード番号の例を示している。Planar予測（Intra_Planar）に‘０’、垂直予測（Intra_Vertical）に‘１’、水平予測（Intra_Horizontal）に‘２’、ＤＣ予測（Intra_DC）に‘３’、Angular予測（Intra_Angular）に‘４’〜 ‘３４’、ＬＭ予測（Intra_FromLuma）に‘３５’の予測モード番号がそれぞれ割り当てられている。ＬＭ予測は輝度の復号画素値に基づいて色差の画素値を予測する方式であり、色差の予測時のみ選択可能である。その他の予測モードは輝度と色差いずれにおいても選択され得る。なお、水平予測、垂直予測、Angular予測を総称して方向予測と呼ぶ。方向予測は、対象ＰＵ周辺の隣接画素値を特定の方向に外挿することで予測画像を生成する予測方式である。
次に、図５を用いて、方向予測に含まれる各予測モードの識別子を説明する。図５には方向予測に属する３３種類の予測モードについて、予測モードの識別子と対応する予測方向が図示されている。図５中の矢印の方向は予測方向を表すが、より正確には、予測対象画素から予測対象画素が参照する復号済画素へのベクトルの向きを示している。その意味で、予測方向のことを参照方向とも呼ぶ。各予測モードの識別子は、主方向が水平方向（ＨＯＲ）か垂直方向（ＶＥＲ）かを表す符号と、主方向に対する変位の組み合わせからなる識別子が対応付けられている。例えば、水平予測にはＨＯＲ、垂直予測にはＶＥＲ、右上４５度方向の周辺画素を参照する予測モードにはＶＥＲ＋８、左上４５度方向の周辺画素を参照する予測モードにはＶＥＲ−８、左下４５度方向の周辺画素を参照する予測モードにはＨＯＲ＋８の符号がそれぞれ割り当てられる。方向予測には、ＶＥＲ−８〜ＶＥＲ＋８の１７個の主方向が垂直方向の予測モードと、ＨＯＲ−７〜ＨＯＲ＋８の１６個の主方向が水平予測の予測モードが定義されている。
動画像復号装置１で適用されるイントラ予測方式と予測モード番号との対応は、例えば、図６に示すように定義されていてもよい。図６は、イントラ予測方式と予測モード番号との対応の定義である予測モード定義ＤＥＦＰＭ１の一例を示す図である。図６に示す予測モード定義ＤＥＦＰＭ１では、Planar予測に‘０’、垂直予測に‘１’、水平予測に‘２’、ＤＣ予測に‘３’の予測モード番号が割り当てられている。予測モード番号‘４’〜‘１８’までは、主方向からの変位が偶数であるAngular予測モードが、変位が小さい予測モードの順であって、変位が等しい場合は主方向が垂直、水平となる順に、予測モード番号に割り当てられている。予測モード番号‘１９’〜‘３５’までは、主方向からの変位が奇数であるAngular予測モードが、変位が小さい予測モードの順であって、変位が等しい場合は主方向が垂直、水平となる順に、予測モード番号に割り当てられている。
（予測画像生成部の詳細）
次に、図７を用いて予測画像生成部１４の構成についてさらに詳しく説明する。図７は予測画像生成部１４の構成例について示す機能ブロック図である。なお、本構成例は、予測画像生成部１４の機能のうち、イントラＣＵの予測画像生成に係る機能ブロックを図示している。
次に、図７を用いて予測画像生成部１４の構成についてさらに詳しく説明する。図７は予測画像生成部１４の構成例について示す機能ブロック図である。なお、本構成例は、予測画像生成部１４の機能のうち、イントラＣＵの予測画像生成に係る機能ブロックを図示している。
図７に示すように、予測画像生成部１４は、予測単位設定部１４１、参照画素設定部１４２、スイッチ１４３、参照画素フィルタ部１４４、輝度予測部１４５、および色差予測部１４６を備える。
予測単位設定部１４１は、対象ＣＵに含まれるＰＵを規定の設定順序で対象ＰＵに設定し、対象ＰＵに関する情報（対象ＰＵ情報）を出力する。対象ＰＵ情報には、対象ＰＵのサイズ、対象ＰＵのＣＵ内の位置、対象ＰＵの輝度または色差プレーンを示すインデックス（輝度色差インデックスcIdx）が少なくとも含まれる。
ＰＵの設定順序は、例えば、入力画像がＹＵＶフォーマットである場合、対象ＣＵに含まれるＹに対応するＰＵをラスタスキャン順に設定し、続いて、Ｕ、Ｖの順に対応するＰＵをそれぞれラスタスキャン順に設定する順序を利用する。
入力画像が４：２：０のＹＵＶフォーマットである場合のＰＵの設定順序およびＣＵ内に含まれるＰＵを図示した図８を用いて説明する。
図８の（Ａ）は、対象ＣＵのサイズが８×８画素であり、かつ、分割タイプがＮ×Ｎである場合のＣＵ内のＰＵを図示している。まず、輝度Ｙに対応する４個の４×４画素のＰＵがラスタスキャン順（ＰＵ＿Ｙ０、ＰＵ＿Ｙ１、ＰＵ＿Ｙ２、ＰＵ＿Ｙ３の順）に設定される。次に、色差Ｕに対応する１個の４×４画素のＰＵ（ＰＵ＿Ｕ０）が設定される。最後に、色差Ｖに対応する１個の４×４画素の予測単位（ＰＵ＿Ｖ０）が設定される。
図８の（Ｂ）は、対象ＣＵのサイズが１６×１６画素であり、かつ、分割タイプが２Ｎ×２Ｎである場合のＣＵ内のＰＵを図示している。まず、輝度Ｙに対応する１個の１６×１６画素の予測単位（ＰＵ＿Ｙ０）が設定される。次に、色差Ｕに対応する１個の８×８画素の予測単位（ＰＵ＿Ｕ０）が設定される。最後に、色差Ｖに対応する１個の８×８画素の予測単位（ＰＵ＿Ｖ０）が設定される。
次に、入力画像が４：２：２のＹＵＶフォーマットである場合のＰＵの設定順序およびＣＵ内に含まれるＰＵを図示した図９を用いて説明する。
図９の（Ａ）は、対象ＣＵのサイズが８×８画素であり、かつ、分割タイプがＮ×Ｎである場合のＣＵ内のＰＵを図示している。まず、輝度Ｙに対応する４個の４×４画素のＰＵがラスタスキャン順（ＰＵ＿Ｙ０、ＰＵ＿Ｙ１、ＰＵ＿Ｙ２、ＰＵ＿Ｙ３の順）に設定される。次に、色差Ｕに対応する１個の４×８画素のＰＵ（ＰＵ＿Ｕ０）が設定される。最後に、色差Ｖに対応する１個の４×８画素の予測単位（ＰＵ＿Ｖ０）が設定される。
図９の（Ｂ）は、対象ＣＵのサイズが１６×１６画素であり、かつ、分割タイプが２Ｎ×２Ｎである場合のＣＵ内のＰＵを図示している。まず、輝度Ｙに対応する１個の１６×１６画素の予測単位（ＰＵ＿Ｙ０）が設定される。次に、色差Ｕに対応する１個の８×１６画素の予測単位（ＰＵ＿Ｕ０）が設定される。最後に、色差Ｖに対応する１個の８×１６画素の予測単位（ＰＵ＿Ｖ０）が設定される。
また、図１０は、別のＰＵ設定を示している。図１０の（Ａ）は、対象ＣＵのサイズが８×８画素であり、かつ、分割タイプがＮ×Ｎである場合のＣＵ内のＰＵの別の例を図示している。まず、輝度Ｙに対応する４個の４×４画素のＰＵがラスタスキャン順（ＰＵ＿Ｙ０、ＰＵ＿Ｙ１、ＰＵ＿Ｙ２、ＰＵ＿Ｙ３の順）に設定される。次に、色差Ｕに対応する２個の４×４画素のＰＵ（ＰＵ＿Ｕ０、ＰＵ＿Ｕ１）が設定される。最後に、色差Ｖに対応する２個の４×４画素のＰＵ（ＰＵ＿Ｖ０、ＰＵ＿Ｖ１）が設定される。
図１０の（Ｂ）は分割タイプが２Ｎ×２Ｎの場合であり、図９の（Ｂ）と同じＰＵ設定を示している。
以下の説明では、図９に図示した分割を用いるものとするが、図１０に図示した分割を用いた場合にも、色差の各ＰＵにおいて同様の処理を適用可能である。
参照画素設定部１４２は、入力される対象ＰＵ情報に基づいて、フレームメモリに記録されている対象ＰＵ周辺の復号画像の画素値（複号画素値）を読出し、予測画像生成時に参照される参照画素を設定する。参照画素値p(x,y)は復号画素値r(x,y)を利用して次式により設定される。
p(x,y)=r(xB+x,yB+y) x=-1, y=-1 .. (nS*2-1)、および、x=0..(nS*2-1),y=-1
ここで、(xB,yB)は対象ＰＵ内左上画素の位置、ｎＳは対象ＰＵのサイズを表し、対象ＰＵの幅または高さのうち大きい方の値を示す。上式では、基本的には、対象ＰＵの上辺に隣接する復号画素のラインおよび対象ＰＵの左辺に隣接する復号画素のコラムに含まれる復号画素値を対応する参照画素値にコピーしている。なお、特定の参照画素位置に対応する復号画素値が存在しない、または、参照できない場合には、既定の値を利用してもよいし、対応する復号画素値の近傍に存在する参照可能な復号画素値を利用してもよい。
ここで、(xB,yB)は対象ＰＵ内左上画素の位置、ｎＳは対象ＰＵのサイズを表し、対象ＰＵの幅または高さのうち大きい方の値を示す。上式では、基本的には、対象ＰＵの上辺に隣接する復号画素のラインおよび対象ＰＵの左辺に隣接する復号画素のコラムに含まれる復号画素値を対応する参照画素値にコピーしている。なお、特定の参照画素位置に対応する復号画素値が存在しない、または、参照できない場合には、既定の値を利用してもよいし、対応する復号画素値の近傍に存在する参照可能な復号画素値を利用してもよい。
スイッチ１４３は、入力される対象ＰＵ情報に基づいて、対象ＰＵが輝度か色差かを判定し、対応する出力方向に対して入力される参照画素を出力する。
参照画素フィルタ部１４４は、入力される予測モードに応じて、入力される参照画素値にフィルタを適用して、フィルタ適用後の参照画素値を出力する。具体的には、参照画素フィルタ部１４４は、フィルタの適用有無を、対象ＰＵサイズと予測モードとに応じて決定する。
輝度予測部１４５は、入力される予測モードと参照画素に基づいて対象ＰＵの輝度予測画像を生成して出力する。輝度予測部１４５の詳細な説明は後述する。
色差予測部１４６は、入力される予測モードと参照画素に基づいて対象ＰＵの色差予測画像を生成して出力する。色差予測部１４６の詳細な説明は後述する。
（予測画像生成処理の流れ）
次に、予測画像生成部１４におけるＣＵ単位の予測画像生成処理の概略を図１１のフローチャートを用いて説明する。ＣＵ単位の予測画像生成処理が始まると、まず、予測単位設定部１４１がＣＵ内に含まれるＰＵの一つを既定の順序に従って対象ＰＵに設定して対象ＰＵ情報を参照画素設定部１４２およびスイッチ１４３に出力する（Ｓ１１）。次に、参照画素設定部１４２は対象ＰＵの参照画素を、外部のフレームメモリから読み出した復号画素値を用いて設定する（Ｓ１２）。次に、スイッチ１４３が、入力された対象ＰＵ情報に基づいて対象ＰＵが輝度か色差かを判定し、当該判定結果に応じて出力を切り替える（Ｓ１３）。
次に、予測画像生成部１４におけるＣＵ単位の予測画像生成処理の概略を図１１のフローチャートを用いて説明する。ＣＵ単位の予測画像生成処理が始まると、まず、予測単位設定部１４１がＣＵ内に含まれるＰＵの一つを既定の順序に従って対象ＰＵに設定して対象ＰＵ情報を参照画素設定部１４２およびスイッチ１４３に出力する（Ｓ１１）。次に、参照画素設定部１４２は対象ＰＵの参照画素を、外部のフレームメモリから読み出した復号画素値を用いて設定する（Ｓ１２）。次に、スイッチ１４３が、入力された対象ＰＵ情報に基づいて対象ＰＵが輝度か色差かを判定し、当該判定結果に応じて出力を切り替える（Ｓ１３）。
対象ＰＵが輝度である場合（Ｓ１３でＹＥＳ）、スイッチ１４３の出力は参照画素フィルタ部１４４に接続される。続いて、参照画素フィルタ部１４４に対し参照画素が入力され、別途入力された予測モードに応じて参照画素フィルタが適用され、フィルタ適用後の参照画素が輝度予測部１４５に出力される（Ｓ１４）。次に、輝度予測部１４５は、入力される参照画素と予測モードに基づいて対象ＰＵにおける輝度予測画像を生成して出力する（Ｓ１５）。
一方、対象ＰＵが色差の場合（Ｓ１３でＮＯ）、スイッチ１４３の出力は色差予測部１４６に接続される。続いて、色差予測部１４６は、入力される参照画素と予測モードに基づいて対象ＰＵにおける色差予測画像を生成して出力する（Ｓ１６）。対象ＰＵの輝度または色差の予測画像の生成が終わると、予測単位設定部１４１が、対象ＣＵ内の全てのＰＵの予測画像が生成されたかを判定する（Ｓ１７）。対象ＣＵ内の一部のＰＵの予測画像が生成されていない場合（Ｓ１７でＮＯ）、上記Ｓ１に戻り、対象ＣＵ内の次のＰＵの予測画像生成処理を実行する。対象ＣＵ内の全てのＰＵの予測画像が生成されている場合（Ｓ１７でＹＥＳ）、対象ＣＵ内の各ＰＵの輝度および色差の予測画像を合わせて対象ＣＵの予測画像として出力し、処理を終了する。
（輝度予測部の詳細）
続いて図１２を用いて、輝度予測部１４５の詳細について説明する。図１２に輝度予測部１４５の詳細構成を示す。図１２に示すように、輝度予測部１４５は、予測方式選択部１４５１および予測画像導出部１４５２を備える。
（輝度予測部の詳細）
続いて図１２を用いて、輝度予測部１４５の詳細について説明する。図１２に輝度予測部１４５の詳細構成を示す。図１２に示すように、輝度予測部１４５は、予測方式選択部１４５１および予測画像導出部１４５２を備える。
予測方式選択部１４５１は、入力される予測モードに基づいて予測画像生成に用いる予測方式を選択して選択結果を出力する。予測方式の選択は、前述の図４の定義に基づいて、入力される予測モードの予測モード番号に対応する予測方式を選択することで実現される。
予測画像導出部１４５２は、予測方式選択部１４５１が出力した予測方式の選択結果に応じた予測画像を導出する。予測画像導出部１４５２は、より具体的には、ＤＣ予測部１４５２Ｄ、Planar予測部１４５２Ｐ、水平予測部１４５２Ｈ、垂直予測部１４５２Ｖ、Angular予測部１４５２Ａ、および、予測方向導出部１４５３を備える。また、予測画像導出部１４５２は、予測方式が、Planer、垂直予測、水平予測、ＤＣ予測、およびAngularの場合、それぞれ、 Planar予測部１４５２Ｐ、垂直予測部１４５２Ｖ、水平予測部１４５２Ｈ、およびAngular予測部１４５２Ａにより予測画像を導出する。
ＤＣ予測部１４５２Ｄは、入力される参照画素の画素値の平均値に相当するＤＣ予測値を導出し、導出されたＤＣ予測値を画素値とする予測画像を出力する。
Planar予測部１４５２Ｐは、予測対象画素との距離に応じて複数の参照画素を線形加算することで導出した画素値により予測画像を生成して出力する。例えば、予測画像の画素値predSamples[x,y]は、参照画素値p[x,y]と対象ＰＵのサイズｎＳを用いて以下の式により導出できる。
predSamples[ x, y ] = (
( nS - 1 - x ) * p[ -1, y ] + ( x + 1 ) * p[ nS, -1 ] +
( nS - 1 - y ) * p[ x ,-1 ] + ( y + 1 ) * p[ -1, nS ] + nS ) >> ( k + 1 )
ここで、x, y = 0..nS-1であり、 k = log2( nS )と定義される。
( nS - 1 - x ) * p[ -1, y ] + ( x + 1 ) * p[ nS, -1 ] +
( nS - 1 - y ) * p[ x ,-1 ] + ( y + 1 ) * p[ -1, nS ] + nS ) >> ( k + 1 )
ここで、x, y = 0..nS-1であり、 k = log2( nS )と定義される。
水平予測部１４５２Ｈは、対象ＰＵの左辺隣接画素を水平方向に外挿して得られる予測画像を入力される参照画素に基づいて生成し、結果を予測画像として出力する。
垂直予測部１４５２Ｖは、対象ＰＵの上辺隣接画素を鉛直方向に外挿して得られる予測画像を入力される参照画素に基づいて生成し、結果を予測画像として出力する。
予測方向導出部１４５３は、入力される予測モードが方向予測モードである場合、当該予測モードに関連付けられる予測方向（参照方向）を決定して出力する。出力される予測方向は、主方向が垂直方向か否かを表す主方向フラグbRefVer、および、予測方向の主方向に対する勾配（オフセット）intraPredAngleの組み合わせで表現される。主方向フラグbRefVerの値が０である場合、主方向が水平方向であることを示し、値が１の場合、主方向が垂直方向であることを示す。
図１を用いて、予測方向導出部１４５３の具体的構成について説明すると次のとおりである。図１は、予測方向導出部１４５３の一構成例を示す機能ブロック図である。図１に示すように、予測方向導出部１４５３は、より具体的には、主方向導出部１４５３Ａおよび勾配導出部１４５３Ｂを備える。
主方向導出部１４５３Ａは、主方向フラグbRefVerを導出する。また、主方向導出部１４５３Ａは、図６の予測モード定義ＤＥＦＰＭ１を参照することができる。主方向フラグbRefVerは、予測モード番号mに対応づけられる主方向に基づいて導出される。
勾配導出部１４５３Ｂは、勾配intraPredAngleを導出する。また、勾配導出部１４５３Ｂは、図１３に示す勾配定義テーブルＤＥＦＡＮＧ１を参照することができる。図１３に示す勾配定義テーブルＤＥＦＡＮＧ１は、予測モード識別子と勾配intraPredAngleとの値の対応関係を示すテーブルである。勾配導出部１４５３Ｂは、勾配定義テーブルＤＥＦＡＮＧ１に基づいて、勾配intraPredAngleを導出してもよい。勾配intraPredAngleの値は、予測方向の勾配を表す値である。より正確には、主方向が垂直方向である場合、（intraPredAngle，−３２）で表現されるベクトルの方向が予測方向となる。主方向が水平方向である場合、（−３２，intraPredAngle）で表現されるベクトルの方向が予測方向となる。図１３に示す勾配定義テーブルＤＥＦＡＮＧ１よると、主方向に対する変位の絶対値０〜８に対応する勾配intraPredAngleの絶対値は、輝度領域の場合には順に０、２、５、９、１３、１７、２１、２６、３２となる。主方向に対する変位の符号と勾配intraPredAngleの符号は等しい。例えば、識別子ＨＯＲ−１に対応する勾配intraPredAngleの値は輝度領域の場合には−２となる。
また、勾配導出部１４５３Ｂは、予測画像生成対象が色差画素の場合には、図１６に示す色差勾配定義テーブルＤＥＦＡＮＧ１Ｃも参照することができる。予測画像生成対象が色差画素の場合における勾配導出部１４５３Ｂの処理については後述する。
Angular予測部１４５２Ａは、入力される予測方向（参照方向）の参照画素を用いて対象ＰＵ内に対応する予測画像を生成して出力する。Angular予測による予測画像の生成処理では、主方向フラグbRefVerの値に応じて主参照画素を設定し、予測画像をＰＵ内のラインまたはコラムの単位で主参照画素を参照して生成する。主方向フラグbRefVerの値が１（主方向が垂直方向）の場合、予測画像の生成単位をラインに設定するとともに対象ＰＵの上方の参照画素を主参照画素に設定する。具体的には次式により参照画素p[x,y]の値を用いて主参照画素refMain[x]が設定される。
refMain[x] = p[ -1+x, -1 ], with x=0..2*nS
refMain[x] = p[ -1, -1+( ( x*invAngle+128 )>>8 ) ], with x=-nS..-1
なお、ここでinvAngleは予測方向の変位intraPredAngleの逆数をスケール（８１９２を乗算）した値に相当する。上記の式により、ｘが０以上の範囲では、refMain[x]の値は対象ＰＵの上辺に隣接する画素の復号画素値が設定される。また、ｘが０未満の範囲では、refMain[x]の値として、対象ＰＵの左辺に隣接する画素の復号画素値が、予測方向に基づき導出される位置に設定される。予測画像predSamples[x,y]は次式により計算される。
refMain[x] = p[ -1, -1+( ( x*invAngle+128 )>>8 ) ], with x=-nS..-1
なお、ここでinvAngleは予測方向の変位intraPredAngleの逆数をスケール（８１９２を乗算）した値に相当する。上記の式により、ｘが０以上の範囲では、refMain[x]の値は対象ＰＵの上辺に隣接する画素の復号画素値が設定される。また、ｘが０未満の範囲では、refMain[x]の値として、対象ＰＵの左辺に隣接する画素の復号画素値が、予測方向に基づき導出される位置に設定される。予測画像predSamples[x,y]は次式により計算される。
predSamples[x,y] =
((32-iFact)*refMain[x+iIdx+1] + iFact*refMain[x+iIdx+2] + 16) >> 5
ここで、iIdxとiFactは、予測対象ラインと主参照画素の距離（ｙ＋１）と勾配intraPredAngleに応じて計算される予測対象画素の生成に用いる主参照画素の位置を表す。iIdxは画素単位における整数精度の位置、iFactは画素単位における小数精度の位置に相当し、以下の式で導出される。
((32-iFact)*refMain[x+iIdx+1] + iFact*refMain[x+iIdx+2] + 16) >> 5
ここで、iIdxとiFactは、予測対象ラインと主参照画素の距離（ｙ＋１）と勾配intraPredAngleに応じて計算される予測対象画素の生成に用いる主参照画素の位置を表す。iIdxは画素単位における整数精度の位置、iFactは画素単位における小数精度の位置に相当し、以下の式で導出される。
iIdx = ( ( y + 1 )*intraPredAngle ) >> 5
iFact = ( ( y + 1 )*intraPredAngle ) && 31
主方向フラグbRefVerの値が０（主方向が水平方向）の場合、予測画像の生成単位をコラムに設定するとともに対象ＰＵの左側の参照画素を主参照画素に設定する。具体的には次式により参照画素p[x,y]の値を用いて主参照画素refMain[x]が設定される。
iFact = ( ( y + 1 )*intraPredAngle ) && 31
主方向フラグbRefVerの値が０（主方向が水平方向）の場合、予測画像の生成単位をコラムに設定するとともに対象ＰＵの左側の参照画素を主参照画素に設定する。具体的には次式により参照画素p[x,y]の値を用いて主参照画素refMain[x]が設定される。
refMain[ x ] = p[ -1, -1+x ], with x=0..nS
refMain[ x ] = p[ -1+( ( x*invAngle+128 )>>8 ), -1 ], with x=-nS..-1
予測画像predSamples[x,y]は次式により計算される。
refMain[ x ] = p[ -1+( ( x*invAngle+128 )>>8 ), -1 ], with x=-nS..-1
予測画像predSamples[x,y]は次式により計算される。
predSamples[x,y] =
((32-iFact)*refMain[y+iIdx+1] + iFact*refMain[y+iIdx+2] + 16) >> 5
ここで、iIdxとiFactは、予測対象コラムと主参照画素の距離（ｘ＋１）と勾配intraPredAngleに応じて計算される予測参照画素の生成に用いる主参照画素の位置を表す。iIdxは画素単位における整数精度の位置、iFactは画素単位における少数精度の位置に相当し、以下の式で導出される。
((32-iFact)*refMain[y+iIdx+1] + iFact*refMain[y+iIdx+2] + 16) >> 5
ここで、iIdxとiFactは、予測対象コラムと主参照画素の距離（ｘ＋１）と勾配intraPredAngleに応じて計算される予測参照画素の生成に用いる主参照画素の位置を表す。iIdxは画素単位における整数精度の位置、iFactは画素単位における少数精度の位置に相当し、以下の式で導出される。
iIdx = ( ( x + 1 )*intraPredAngle ) >> 5
iFact = ( ( x + 1 )*intraPredAngle ) & 31
ここで、‘＆’は論理積のビット演算を表す演算子であり、“Ａ＆３１”の結果は、整数Ａを３２で除算した余りを意味する。
（Angular予測処理の流れ）
次に、予測モードがAngular予測である場合の輝度予測部１４５における予測画像生成処理について、図１４のフローチャートを用いて説明する。図１４は、輝度予測部におけるAngular予測処理を示すフローチャートである。まず、予測方式選択部１４５１に入力された予測モードがAngular予測である場合、Angular予測による予測画像生成処理が開始される。予測方向導出部１４５３は、入力される予測モードに基づいて予測方向の主方向を決定してAngular予測部１４５２Ａに出力する（Ｓ２１）。次に、予測方向導出部１４５３は、入力される予測モードに基づいて予測方向の主方向に対するオフセットintraPredAngleを決定してAngular予測部１４５２Ａに出力する（Ｓ２２）。Angular予測部１４５２Ａは、入力された主方向に基づいて主参照画素を設定する（Ｓ２３）。続いて、Angular予測部１４５２Ａは予測対象ラインまたはコラムを設定し（Ｓ２４）、対象ラインまたはコラムに対する予測画像を生成する（Ｓ２５）。対象ＰＵの全ライン／コラムの予測画像生成が完了しているかどうかを確認し（Ｓ２６）、完了していない場合（Ｓ２６でＮＯ）、Ｓ２４の処理を実行する。完了している場合（Ｓ２６でＹＥＳ）、対象ＰＵの予測画像を出力して処理を終了する。
（色差予測部の詳細）
続いて、図１５を用いて、色差予測部１４６の詳細について説明する。図１５に色差予測部１４６の詳細構成を示す。色差予測部１４６は、予測方式選択部１４５１、予測画像導出部１４５２、および、予測方向導出部１４５３を備える。予測画像導出部１４５２は、ＤＣ予測部１４５２Ｄ、Planar予測部１４５２Ｐ、水平予測部１４５２Ｈ、垂直予測部１４５２Ｖ、Angular予測部１４５２Ａ、およびＬＭ予測部１４５２Ｌを備える。なお、ＬＭ予測部１４５２Ｌ以外の構成要素は、輝度予測部１４５に含まれる対応する構成要素と同じ機能を有するため、同じ符号を付与して説明を省略する。ただし、予測方向導出部１４５３に含まれる、勾配導出部１４５３Ｂについては、色差画像に対して輝度画像と異なる動作をするため、ここで説明する。
iFact = ( ( x + 1 )*intraPredAngle ) & 31
ここで、‘＆’は論理積のビット演算を表す演算子であり、“Ａ＆３１”の結果は、整数Ａを３２で除算した余りを意味する。
（Angular予測処理の流れ）
次に、予測モードがAngular予測である場合の輝度予測部１４５における予測画像生成処理について、図１４のフローチャートを用いて説明する。図１４は、輝度予測部におけるAngular予測処理を示すフローチャートである。まず、予測方式選択部１４５１に入力された予測モードがAngular予測である場合、Angular予測による予測画像生成処理が開始される。予測方向導出部１４５３は、入力される予測モードに基づいて予測方向の主方向を決定してAngular予測部１４５２Ａに出力する（Ｓ２１）。次に、予測方向導出部１４５３は、入力される予測モードに基づいて予測方向の主方向に対するオフセットintraPredAngleを決定してAngular予測部１４５２Ａに出力する（Ｓ２２）。Angular予測部１４５２Ａは、入力された主方向に基づいて主参照画素を設定する（Ｓ２３）。続いて、Angular予測部１４５２Ａは予測対象ラインまたはコラムを設定し（Ｓ２４）、対象ラインまたはコラムに対する予測画像を生成する（Ｓ２５）。対象ＰＵの全ライン／コラムの予測画像生成が完了しているかどうかを確認し（Ｓ２６）、完了していない場合（Ｓ２６でＮＯ）、Ｓ２４の処理を実行する。完了している場合（Ｓ２６でＹＥＳ）、対象ＰＵの予測画像を出力して処理を終了する。
（色差予測部の詳細）
続いて、図１５を用いて、色差予測部１４６の詳細について説明する。図１５に色差予測部１４６の詳細構成を示す。色差予測部１４６は、予測方式選択部１４５１、予測画像導出部１４５２、および、予測方向導出部１４５３を備える。予測画像導出部１４５２は、ＤＣ予測部１４５２Ｄ、Planar予測部１４５２Ｐ、水平予測部１４５２Ｈ、垂直予測部１４５２Ｖ、Angular予測部１４５２Ａ、およびＬＭ予測部１４５２Ｌを備える。なお、ＬＭ予測部１４５２Ｌ以外の構成要素は、輝度予測部１４５に含まれる対応する構成要素と同じ機能を有するため、同じ符号を付与して説明を省略する。ただし、予測方向導出部１４５３に含まれる、勾配導出部１４５３Ｂについては、色差画像に対して輝度画像と異なる動作をするため、ここで説明する。
勾配導出部１４５３Ｂは、予測画像生成対象が色差画素である場合、勾配定義テーブルとして、図１６に示す色差勾配定義テーブルＤＥＦＡＮＧ１Ｃを用いる。図１６に示す勾配定義テーブルＤＥＦＡＮＧ１Ｃよると、主方向に対する変位の絶対値０〜８に対応する勾配intraPredAngleの絶対値は、主方向が垂直方向の場合には順に０、１、２、４、６、８、１０、１３、１６となり、主方向が水平方向の場合には順に０、４、１０、１８、２６、３４、４２、５２、６４となる。図１６に示す色差勾配定義テーブルＤＥＦＡＮＧ１Ｃでは、主方向が垂直方向の場合には、図１３に示す勾配定義テーブルＤＥＦＡＮＧ１において同一のIntraPredModeに対応づけられたintraPredAngleの値の半分の値（整数未満切り捨て）であり、主方向が水平方向の場合には、図１３に示す勾配定義テーブルＤＥＦＡＮＧ１において同一のIntraPredModeに対応づけられたintraPredAngleの値の２倍である。
なお、勾配導出部１４５３Ｂは、図１３に示す色差勾配定義テーブルＤＥＦＡＮＧ１のみを参照し、予測画像生成対象が色差画素である場合には、主方向が垂直方向であれば図１５に示す勾配定義テーブルＤＥＦＡＮＧ１を参照して得た値を２で割った値、主方向が水平方向であれば図１３に示す勾配定義テーブルＤＥＦＡＮＧ１を参照して得た値を２倍した値をintraPredAngleとして用いれば、同一の処理が実現できる。このとき図１６に示す色差勾配定義テーブルＤＥＦＡＮＧ１Ｃの定義および選択的な参照は不要であり、メモリを節約することができる。
また、上記の輝度と色差の間の勾配intraPredAngleの値の関係は、４：２：２フォーマットの画像において、輝度空間でのベクトル(vxL,vyL)と色差空間でのベクトル(vxC,vyC)の間に、vxL=2vxC、vyL=vyCの関係があることに基づく。色差空間におけるベクトル(vxC,vyC)の水平方向の勾配は(vyC/vxC)=2(vyL/vxL)であり、輝度空間におけるベクトルの水平方向の勾配の２倍となる。一方、色差空間におけるベクトル(vxC,vyC)の垂直方向の勾配は(vxC/vyC)=0.5(vxL/vyL)であり、輝度空間におけるベクトルの垂直方向の勾配の半分となる。一般に、入力画像において、輝度空間でのベクトル(vxL,vyL)と色差空間でのベクトル(vxC,vyC)の間に、vxL=α・vxC、vyL=β・vyCの関係がある場合には、色差に適用する勾配intraPredAngleの値は、輝度に適用する勾配intraPredAngleの値に対して、主方向が水平方向の場合は（α/β）倍、主方向が垂直方向の場合は（β/α）倍にすることが好ましい。
ＬＭ予測部１４５２Ｌは、対象ＰＵ内における輝度画素値と色差画素値の相関に係るパラメータを対象ＰＵ周辺の輝度復号画素値と、参照画素値（色差復号画素値）の相関に基づいて推定する。相関パラメータは相関係数ａとオフセットｂを含む。予測対象ＰＵ、すなわち色差の予測画像predSamuplesC[xC,yC]は、対象ＰＵに対応する輝度復号画像の画素値recY[xL,yL]と相関パラメータを用いて次式により計算される。
predSamplesC[xC,yC] = a * recY[xL,yL] + b
ここで、xC,yCは色差画素単位の座標値であり、xL,yLは、それぞれxC,yCと対応する位置を示す輝度画素単位の座標値である。４：２：２のＹＵＶフォーマットである場合、例えば xL = 2 * xC および yL = yC と対応づける。
ここで、xC,yCは色差画素単位の座標値であり、xL,yLは、それぞれxC,yCと対応する位置を示す輝度画素単位の座標値である。４：２：２のＹＵＶフォーマットである場合、例えば xL = 2 * xC および yL = yC と対応づける。
以上で予測画像生成部１４における対象ＣＵの予測画像生成処理の説明を終える。
（可変長復号部の詳細）
次に、図１７を用いて可変長復号部１１の構成についてさらに詳しく説明する。図１７は、可変長復号部１１の構成例について示す機能ブロック図である。なお、図１７では、可変長復号部１１の構成のうち、予測モードを復号する構成について詳細に示している。
次に、図１７を用いて可変長復号部１１の構成についてさらに詳しく説明する。図１７は、可変長復号部１１の構成例について示す機能ブロック図である。なお、図１７では、可変長復号部１１の構成のうち、予測モードを復号する構成について詳細に示している。
図１７に示すように、可変長復号部１１は、予測セット決定部１１１、ＭＰＭ導出部１１２、ＭＰＭ判定部１１３、予測モード復元部１１４、色差予測モード復元部１１６、およびコンテキスト記憶部１１７を備える。
予測セット決定部１１１は、予測処理に用いる予測モードの集合である予測セットを決定する。予測セット決定部１１１は、一例として、対象ブロックのサイズに応じて予測処理に用いる予測モードの数を算出し、予測モードの定義から、算出した数だけ予測モードを選択することで予測セットを決定する。言い換えれば、予測セットは、対象ブロックのサイズごと、あるいは対象ＰＵにおいて利用可能な予測モードの数ごとに定義されている。
ＭＰＭ導出部１１２は、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいてＭＰＭを導出する。
ＭＰＭ導出部１１２は、例示的に、２つのＭＰＭを導出する。ＭＰＭ導出部１１２は、第１のＭＰＭ候補（以下、ＭＰＭ０と表記する）および第２のＭＰＭ候補（以下、ＭＰＭ１と表記する）を、それぞれ以下のとおり導出する。
まず、図１８に示すように、ｐｍＡに対象ＰＵ：ＲＴの左に隣接する左隣接ＰＵ：ＮＡの予測モード、ｐｍＢに対象ＰＵ：ＲＴの上に隣接する上隣接ＰＵ：ＮＢの予測モードを設定する。左隣接ＰＵまたは上隣接ＰＵの予測モードが利用不可の場合、既定の予測モード、例えば“Intra_Planar”を設定する。隣接ＰＵが利用不可の場合には、隣接ＰＵの予測モードが未復号の場合、隣接ＰＵが上隣接ＰＵであって異なるＬＣＵ（ツリーブロック）に属する場合が含まれる。
そして、ＭＰＭ導出部１１２は、ＭＰＭ０を、次の式（１）に従って導出する。
MPM0 = pmA … （１）
次に、ＭＰＭ導出部１１２は、ＭＰＭ１を、ｐｍＡとｐｍＢが一致するか否かに応じて導出する。ｐｍＡとｐｍＢが一致しない場合、ＭＰＭ１を次の式（２）に従って導出する。
次に、ＭＰＭ導出部１１２は、ＭＰＭ１を、ｐｍＡとｐｍＢが一致するか否かに応じて導出する。ｐｍＡとｐｍＢが一致しない場合、ＭＰＭ１を次の式（２）に従って導出する。
MPM1 = pmB … （２）
一方、ｐｍＡと、ｐｍＢとが一致する場合、ＭＰＭ導出部１１２は、ｐｍＡが“Intra_DC”ならば、“Intra_Planar”をＭＰＭ１に設定し、ｐｍＡが“Intra_DC”以外であれば、“Intra_DC”をＭＰＭ１に設定する。
一方、ｐｍＡと、ｐｍＢとが一致する場合、ＭＰＭ導出部１１２は、ｐｍＡが“Intra_DC”ならば、“Intra_Planar”をＭＰＭ１に設定し、ｐｍＡが“Intra_DC”以外であれば、“Intra_DC”をＭＰＭ１に設定する。
ＭＰＭ判定部１１３は、符号化データに含まれるｍｐｍ＿ｆｌａｇに基づいて、対象ＰＵの予測モードが、推定予測モードＭＰＭと一致しているか否かを判定する。ｍｐｍ＿ｆｌａｇは、対象ＰＵの予測モードが推定予測モードＭＰＭと一致している場合、“１”であり、対象ＰＵの予測モードが推定予測モードＭＰＭと一致していない場合、“０”である。ＭＰＭ判定部１１３は、判定結果を、予測モード復元部１１４に通知する。
なお、ＭＰＭ判定部１１３は、コンテキスト記憶部１１７に記憶されているコンテキストに応じて、符号化データからｍｐｍ＿ｆｌａｇを復号する。
予測モード復元部１１４は、対象ＰＵについての予測モードを復元する。予測モード復元部１１４は、ＭＰＭ判定部１１３から通知される判定結果に応じて、予測モードを復元する。
対象ＰＵの予測モードが推定予測モードＭＰＭと一致している場合、予測モード復元部１１４は、符号化データからｍｐｍ＿ｉｄｘを復号し、その値に基づいて予測モードを復元する。ｍｐｍ＿ｉｄｘは、対象ＰＵの予測モードが、ＭＰＭ０と一致する場合、“０”であり、対象ＰＵの予測モードが、ＭＰＭ１と一致する場合、“１”である。
対象ＰＵの予測モードが推定予測モードＭＰＭと一致していない場合、予測モード復元部１１４は、符号化データに含まれるｒｅｍ＿ｉｄｘに基づいて予測モードを復元する。具体的には、まず、ＭＰＭ０とＭＰＭ１のうち、小さい予測モード番号がＭＰＭ０に割り当てられるようＭＰＭ０とＭＰＭ１の値を条件付きでスワップする。次に、ｒｅｍ＿ｉｄｘの値がＭＰＭ０の値以上の場合、ｒｅｍ＿ｉｄｘの値を１加算する。次に、ｒｅｍ＿ｉｄｘの値がＭＰＭ１の値以上の場合、ｒｅｍ＿ｉｄｘの値を１加算する。最後に、ｒｅｍ＿ｉｄｘの値の予測モード番号に対応する予測モードを復元する。
色差予測モード復元部１１６は、対象ＰＵについての色差予測モードを復元する。より詳細には、色差予測モード復元部１１６は、以下のようにして色差予測モードを復元する。
まず、色差予測モード復元部１１６は、符号化データ＃１に含まれるイントラ色差予測モード指定情報ｃｈｒｏｍａ＿ｍｏｄｅ（intra_chroma_pred_mode）を復号する。そして、色差予測モード復元部１１６は、復元したイントラ色差予測モード指定情報ｃｈｒｏｍａ＿ｍｏｄｅと、輝度の予測モード（IntraPredMode[xB][yB]）とに基づいて、色差予測モードを復元する。これについて、以下で詳細に説明する。
図１９は、イントラ色差予測モード指定情報ｃｈｒｏｍａ＿ｍｏｄｅおよび輝度の予測モード（IntraPredMode[xB][yB]）と、色差予測モード（IntraPredModeC）の対応付けを定義したテーブルである。テーブル中、“ＬＭ”は既に説明したＬＭモードを用いることを示している。また、“Ｘ”は、輝度の予測モード（IntraPredMode[xB][yB]）の値をそのまま用いることを示している。ここでは、“Ｘ”に該当する予測モードをＤＭモードと呼ぶ。
［概略的な流れ］
まず、図２０に示すフローチャートを用いて、動画像復号装置１における予測モード復元処理の概略的な流れの一例について説明する。
まず、図２０に示すフローチャートを用いて、動画像復号装置１における予測モード復元処理の概略的な流れの一例について説明する。
動画像復号装置１において予測モード復元処理が開始されると、ＭＰＭ導出部１１２が、ＭＰＭ０を導出する（Ｓ２１）。続いてＭＰＭ導出部１１２が、ＭＰＭ１を導出する（Ｓ２２）。
次に、ＭＰＭ判定部１１３が、ｍｐｍ＿ｆｌａｇに基づいて、対象ＰＵの予測モードが推定予測モードＭＰＭと一致しているか否かを判定する（Ｓ２３）。
対象ＰＵの予測モードが推定予測モードＭＰＭ、すなわちＭＰＭ０またはＭＰＭ１と一致している場合（Ｓ２３においてＹＥＳ）、予測モード復元部１１４が、ｍｐｍ＿ｉｄｘに基づいて予測モードを復元する。予測モード復元部１１４は、ｍｐｍ＿ｉｄｘが“０”であれば、ＭＰＭ０を、対象ＰＵの予測モードｐｍＴとする一方で、ｍｐｍ＿ｉｄｘが“１”であれば、ＭＰＭ１を、対象ＰＵの予測モードｐｍＴとする（Ｓ２４）。
一方、対象ＰＵの予測モードが推定予測モードＭＰＭと一致していない場合（Ｓ２３においてＮＯ）、予測モード復元部１１４は、ＭＰＭ０とＭＰＭ１を比較し、ＭＰＭ１の予測モード番号がＭＰＭ０の予測モード番号より小さければ、ＭＰＭ０とＭＰＭ１をスワップする（Ｓ２５）。続いて、予測モード復元部１１４は、ｒｅｍ＿ｍｏｄｅの配列を生成する（Ｓ２６）。最後に、予測モード復元部１１４は、ｒｅｍ＿ｍｏｄｅの配列のうちｒｅｍ＿ｉｄｘ番目の要素を予測モードとして選択する（Ｓ２７）。
〔動画像符号化装置〕
以下において、本実施形態に係る動画像符号化装置２について、図２１〜図２３を参照して説明する。
以下において、本実施形態に係る動画像符号化装置２について、図２１〜図２３を参照して説明する。
（動画像符号化装置の概要）
動画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。
動画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。
（動画像符号化装置の構成）
まず、図２１を用いて、動画像符号化装置２の構成例について説明する。図２１は、動画像符号化装置２の構成について示す機能ブロック図である。図２１に示すように、動画像符号化装置２は、符号化設定部２１、逆量子化・逆変換部２２、予測画像生成部２３、加算器２４、フレームメモリ２５、減算器２６、変換・量子化部２７、および符号化データ生成部２９を備えている。
まず、図２１を用いて、動画像符号化装置２の構成例について説明する。図２１は、動画像符号化装置２の構成について示す機能ブロック図である。図２１に示すように、動画像符号化装置２は、符号化設定部２１、逆量子化・逆変換部２２、予測画像生成部２３、加算器２４、フレームメモリ２５、減算器２６、変換・量子化部２７、および符号化データ生成部２９を備えている。
符号化設定部２１は、入力画像＃１０に基づいて、符号化に関する画像データおよび各種の設定情報を生成する。
具体的には、符号化設定部２１は、次の画像データおよび設定情報を生成する。
まず、符号化設定部２１は、入力画像＃１０を、スライス単位、ツリーブロック単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像＃１００を生成する。
また、符号化設定部２１は、分割処理の結果に基づいて、ヘッダ情報Ｈ’を生成する。ヘッダ情報Ｈ’は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報、並びに、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についてのＣＵ情報ＣＵ’を含んでいる。
さらに、符号化設定部２１は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照して、ＰＴ設定情報ＰＴＩ’を生成する。ＰＴ設定情報ＰＴＩ’には、（１）対象ＣＵの各ＰＵへの可能な分割パターン、および、（２）各ＰＵに割り付ける可能な予測モード、の全ての組み合わせに関する情報が含まれる。
符号化設定部２１は、ＣＵ画像＃１００を減算器２６に供給する。また、符号化設定部２１は、ヘッダ情報Ｈ’を符号化データ生成部２９に供給する。また、符号化設定部２１は、ＰＴ設定情報ＰＴＩ’を予測画像生成部２３に供給する。
逆量子化・逆変換部２２は、変換・量子化部２７より供給される、ブロック毎の量子化予測残差を、逆量子化、および、逆直交変換することによって、ブロック毎の予測残差を復元する。逆直交変換については、図１に示す逆量子化・逆変換部１３について、既に説明したとおりであるので、ここではその説明を省略する。
また、逆量子化・逆変換部２２は、ブロック毎の予測残差を、ＴＴ分割情報（後述）により指定される分割パターンに従って統合し、対象ＣＵについての予測残差Ｄを生成する。逆量子化・逆変換部２２は、生成した対象ＣＵについての予測残差Ｄを、加算器２４に供給する。
予測画像生成部２３は、フレームメモリ２５に記録されている局所復号画像Ｐ’、および、ＰＴ設定情報ＰＴＩ’を参照して、対象ＣＵについての予測画像Ｐｒｅｄを生成する。予測画像生成部２３は、予測画像生成処理により得られた予測パラメータを、ＰＴ設定情報ＰＴＩ’に設定し、設定後のＰＴ設定情報ＰＴＩ’を符号化データ生成部２９に転送する。なお、予測画像生成部２３による予測画像生成処理は、動画像復号装置１の備える予測画像生成部１４と同様であるので、ここでは説明を省略する。
加算器２４は、予測画像生成部２３より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部２２より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。
フレームメモリ２５には、復号された復号画像Ｐが順次記録される。フレームメモリ２５には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が記録されている。
減算器２６は、ＣＵ画像＃１００から予測画像Ｐｒｅｄを減算することによって、対象ＣＵについての予測残差Ｄを生成する。減算器２６は、生成した予測残差Ｄを、変換・量子化部２７に供給する。
変換・量子化部２７は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への変換のことをさす。また、逆直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。
具体的には、変換・量子化部２７は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照し、対象ＣＵの１または複数のブロックへの分割パターンを決定する。また、決定された分割パターンに従って、予測残差Ｄを、各ブロックについての予測残差に分割する。
また、変換・量子化部２７は、各ブロックについての予測残差を直交変換することによって周波数領域における予測残差を生成した後、当該周波数領域における予測残差を量子化することによってブロック毎の量子化予測残差を生成する。
また、変換・量子化部２７は、生成したブロック毎の量子化予測残差と、対象ＣＵの分割パターンを指定するＴＴ分割情報と、対象ＣＵの各ブロックへの可能な全分割パターンに関する情報とを含むＴＴ設定情報ＴＴＩ’を生成する。変換・量子化部２７は、生成したＴＴ設定情報ＴＴＩ’を逆量子化・逆変換部２２および符号化データ生成部２９に供給する。
符号化データ生成部２９は、ヘッダ情報Ｈ’、ＴＴ設定情報ＴＴＩ’、およびＰＴ設定情報ＰＴＩ’を符号化し、符号化したヘッダ情報Ｈ、ＴＴ設定情報ＴＴＩ、およびＰＴ設定情報ＰＴＩを多重化して符号化データ＃１を生成し、出力する。
（符号化データ生成部の詳細）
次に、図２２を用いて、符号化データ生成部２９の詳細について説明する。図２２は、符号化データ生成部２９の構成例について示す機能ブロック図である。
次に、図２２を用いて、符号化データ生成部２９の詳細について説明する。図２２は、符号化データ生成部２９の構成例について示す機能ブロック図である。
なお、以下では、符号化データ生成部２９が、ＴＴ設定情報ＴＴＩ’に含まれるパラメータのうち、予測モード（輝度）および色差予測モードに関するパラメータを符号化するための構成について説明する。
しかしながら、これに限られず符号化データ生成部２９は、ＴＴ情報ＴＴＩ’に含まれる変換係数以外のデータ、例えば、サイド情報等を符号化することができる。
図２２に示すように、符号化データ生成部２９は、コンテキスト記憶部１１７、予測セット決定部２９１、ＭＰＭ導出部２９２、ＭＰＭ判定部２９３、予測モード符号化部２９４、および色差予測モード符号化部２９６を備える。
また、例えば、ＭＰＭの導出については、動画像復号装置１および動画像符号化装置２の間で相違しない。
このように、動画像復号装置１および動画像符号化装置２の間で対応している構成または同様の処理を行う構成については、動画像符号化装置２において、動画像復号装置１の構成を用いることができる。
従って、予測セット決定部２９１、ＭＰＭ導出部２９２は、それぞれ、図１に示したコンテキスト記憶部１５１、色差予測モード定義記憶部１５４、予測セット決定部１１１、およびＭＰＭ導出部１１２と同様である。よって、ここではその説明を省略する。
以下では、ＭＰＭ判定部２９３、予測モード符号化部２９４、および色差予測モード符号化部２９６について説明する。
ＭＰＭ判定部２９３は、ＭＰＭが予測モードと一致するか否かを判定し、判定結果に応じてｍｐｍ＿ｆｌａｇを符号化する。符号化の処理については、図１に示した可変長復号部１１について、既に説明済みであるので、ここではその説明を省略する。
予測モード符号化部２９４は、ＭＰＭ判定部２９３の判定結果に応じて、予測モードに関する情報（ｍｐｍ＿ｉｄｘ、ｒｅｍ＿ｉｄｘ）を符号化する。予測モード符号化部２９４は、ＭＰＭを用いる場合は、ｍｐｍ＿ｉｄｘを符号化し、ＭＰＭを用いない場合は、ｒｅｍ＿ｉｄｘを符号化する。
ｍｐｍ＿ｉｄｘの符号化については、図１に示した可変長復号部１１について、既に説明済みであるので、ここではその説明を省略する。
ｒｅｍ＿ｉｄｘの符号化については後述する。
色差予測モード符号化部２９６は、対象ＰＵについての色差予測モードを符号化する。より詳細には、色差予測モード符号化部２９６は、以下のようにして色差予測モードを符号化する。
まず、色差予測モード符号化部２９６は、輝度に対する予測モードおよび色差予測モードを用いて、イントラ色差予測モード指定情報ｃｈｒｏｍａ＿ｍｏｄｅ（intra_chroma_pred_mode）の値を取得する。
そして、色差予測モード符号化部２９６は、取得したイントラ色差予測モード指定情報ｃｈｒｏｍａ＿ｍｏｄｅの値を符号化する。
次に、図２３を用いて、動画像符号化装置２における予測モード符号化処理の流れについて説明する。
まず、図２３に示すフローチャートを用いて、動画像符号化装置２における予測モード符号化処理の概略的な流れの一例について説明する。
動画像符号化装置２において予測モード符号化処理が開始されると、ＭＰＭ導出部２９２が、ＭＰＭ０を導出する（Ｓ３１）。続いて、ＭＰＭ導出部２９２が、ＭＰＭ１を導出する（Ｓ３２）。
次に、ＭＰＭ判定部２９３が、予測モードと、ＭＰＭ（ＭＰＭ０またはＭＰＭ１）とが一致しているか否かを判定する（Ｓ３３）。
ここで、予測モードと、ＭＰＭとが一致している場合（Ｓ３３においてＹＥＳ）、ＭＰＭ判定部２９３が、ｍｐｍ＿ｆｌａｇ＝１を符号化する（Ｓ３４）とともに、予測モード符号化部２９４が、ＭＰＭ０およびＭＰＭ１のうち、予測モードと一致している方について、ｍｐｍ＿ｉｄｘを導出する（Ｓ３５）。
一方、予測モードと、ＭＰＭとが一致していない場合（Ｓ３３においてＮＯ）、ＭＰＭ判定部２９３が、ｍｐｍ＿ｆｌａｇ＝０を符号化する（Ｓ３６）。予測モード符号化部２９４は、ＭＰＭ０とＭＰＭ１を比較し、ＭＰＭ１の予測モード番号がＭＰＭ０の予測モード番号より小さければ、ＭＰＭ０とＭＰＭ１をスワップする（Ｓ３７）。続いて、予測モード符号化部２９４は、ｒｅｍ＿ｍｏｄｅの配列を生成する（Ｓ３８）。最後に、予測モード符号化部２９４が、ｒｅｍ＿ｉｄｘを導出する（Ｓ３９）。
（作用・効果）
以上に示したように、動画像復号装置１は、４：２：２のＹＵＶフォーマットの画像データを復号し、予測モードに対応付けられたイントラ予測方式により予測画像を生成する動画像復号装置１において、Angular予測の輝度予測モードを色差予測モードとして再利用する際に、輝度画素と色差画素の画素アスペクト比の差異に基づいて輝度画像における予測方向を補正して色差画像における予測方向を導出する予測方向導出部を備える構成である。
以上に示したように、動画像復号装置１は、４：２：２のＹＵＶフォーマットの画像データを復号し、予測モードに対応付けられたイントラ予測方式により予測画像を生成する動画像復号装置１において、Angular予測の輝度予測モードを色差予測モードとして再利用する際に、輝度画素と色差画素の画素アスペクト比の差異に基づいて輝度画像における予測方向を補正して色差画像における予測方向を導出する予測方向導出部を備える構成である。
また、以上に示したように、動画像符号化装置２は、４：２：２のＹＵＶフォーマットの画像データを復号し、予測モードに対応付けられたイントラ予測方式により予測画像を生成する動画像符号化装置２において、Angular予測の輝度予測モードを色差予測モードとして再利用する際に、輝度画素と色差画素の画素形状の差異に基づいて輝度画像における予測方向を補正して色差画像における予測方向を導出する予測方向導出部を備える構成である。
上記構成において、輝度画素と色差画素の画素形状の差異に基づいて予測方向を補正することにより、輝度の予測方向を色差の予測方向としてそのまま適用した場合に生じる角度の違いを低減でき、より高精度な予測画像を生成することができる。
〔変形例〕
＜変形例１：予測画像生成時における予測方向の補正＞
ＤＭモード使用時、すなわち、輝度予測モードを再利用して色差予測モードとして用いる際、動画像復号装置１の予測方向導出部１４５３において方向の補正を行わず、Angular予測部１４５２Ａにおいて補正を行ってもよい。例えば、図１の予測方向導出部１４５３の構成を図２４で示すように変更し、また、図１５の色差予測部１４６の構成を図２５で示すように変更すればよい。
〔変形例〕
＜変形例１：予測画像生成時における予測方向の補正＞
ＤＭモード使用時、すなわち、輝度予測モードを再利用して色差予測モードとして用いる際、動画像復号装置１の予測方向導出部１４５３において方向の補正を行わず、Angular予測部１４５２Ａにおいて補正を行ってもよい。例えば、図１の予測方向導出部１４５３の構成を図２４で示すように変更し、また、図１５の色差予測部１４６の構成を図２５で示すように変更すればよい。
以下では、図２４と図２５を用いて、これを説明する。既に説明した構成要素と同じ機能を有する構成要素は、同じ符号を付与して説明を省略する。
図２４は、図１の予測方向導出部１４５３の変形例である予測方向導出部１４５３＿１を示している。予測方向導出部１４５３＿１は予測方向導出部１４５３の勾配導出部１４５３Ｂに代えて勾配導出部１４５３Ｂ＿１を備える。勾配導出部１４５３Ｂ＿１は、処理対象が輝度領域であるか色差領域であるかによらず、常に図１３に示す勾配定義テーブルＤＥＦＡＮＧ１を用いる。したがって、予測方向導出部１４５３＿１では勾配の補正は行われない。
図２５は、図１５の色差予測部１４６の変形例である色差予測部１４６＿１を示している。色差予測部１４６＿１は、色差予測部１４６の予測方向導出部１４５３に代えて予測方向導出部１４５３＿１を、また、Angular予測部１４５２Ａに代えてAngular予測部１４５２Ａ＿１を備える。Angular予測部１４５２Ａ＿１においては、一旦、輝度画像と同一の座標系を用いて色差予測画像を生成し、それを４：２：２のＹＵＶフォーマットにおける色差座標系に合わせて再度間引き処理あるいはフィルタリングして縮小する。この処理における縮小率は、上記輝度画素の形状と上記色差画素の形状との違いによって定まる。
具体的には、Angular予測部１４５２Ａにおける予測画像の生成処理において、水平方向には色差予測画像で必要な画素数の２倍の画素数を持つような中間画像predSamples’[x,y]を生成する。つまり、対象ＰＵにおける色差予測画像の幅と高さをそれぞれnWc画素およびnHc画素とすれば、中間画像predSamples’[x,y]のサイズは、2nWc×nHc画素である。中間画像predSamples’[x,y]の生成方法をさらに詳細に説明すれば、以下のようになる。
主方向フラグbRefVerの値が１（主方向が垂直方向）の場合には、主参照画素refMain[x]を以下の式で導出する。
refMain[2*x] = p[ -1+x, -1 ], with x=0..2*nWc
refMain[2*x] = p[ -1, -1+( ( x*invAngle+128 )>>8 ) ], with x=-nWc..-1
refMain[2*x+1] = (refMain[2*x] + refMain[2*x+2]+1)>>1, with x=-nWc..2*nWc-1
これにより、水平方向の画素数が２倍の主参照画素refMain[x]を得ることができる。
refMain[2*x] = p[ -1, -1+( ( x*invAngle+128 )>>8 ) ], with x=-nWc..-1
refMain[2*x+1] = (refMain[2*x] + refMain[2*x+2]+1)>>1, with x=-nWc..2*nWc-1
これにより、水平方向の画素数が２倍の主参照画素refMain[x]を得ることができる。
なお、主方向フラグbRefVerの値が０（主方向が水平方向）の場合には、この変形は不要である。これは、色フォーマットが４：２：２の場合、垂直方向の解像度は輝度と色差で等しいためであり、refMain[x]は以下の式で導出する。
refMain[x] = p[ -1+x, -1 ], with x=0..2*nHc
refMain[x] = p[ -1, -1+( ( x*invAngle+128 )>>8 ) ], with x=-nHc..-1
次に、この主参照画素refMain[x]から生成される予測画像を、中間画像predSamples’[x,y]に格納する。
refMain[x] = p[ -1, -1+( ( x*invAngle+128 )>>8 ) ], with x=-nHc..-1
次に、この主参照画素refMain[x]から生成される予測画像を、中間画像predSamples’[x,y]に格納する。
predSamples’[x,y] =
((32-iFact)*refMain[x+iIdx+1] + iFact*refMain[x+iIdx+2] + 16) >> 5
ここで、x,yの範囲はそれぞれ、x=0..2*nWc-1 および y=0..nHc-1 である。
((32-iFact)*refMain[x+iIdx+1] + iFact*refMain[x+iIdx+2] + 16) >> 5
ここで、x,yの範囲はそれぞれ、x=0..2*nWc-1 および y=0..nHc-1 である。
最後に、予測画像predSamples[x,y]は、中間画像predSamples’[x,y]から以下の式で導出される。
predSamples[x,y] = predSamples’[2*x,y], with x=0..nWc, y=0..nHc
上記の式では中間画像predSamples’[x,y]のうちxが奇数である画素は参照されないため、半数の画素は導出を省略することができる。あるいは、中間画像predSamples’[x,y]のうちxが奇数である画素を導出しておけば、中間画像predSamples’[x,y]をフィルタリングしてより高精度な予測画像predSamples[x,y]を生成する際に用いることもできる。
上記の式では中間画像predSamples’[x,y]のうちxが奇数である画素は参照されないため、半数の画素は導出を省略することができる。あるいは、中間画像predSamples’[x,y]のうちxが奇数である画素を導出しておけば、中間画像predSamples’[x,y]をフィルタリングしてより高精度な予測画像predSamples[x,y]を生成する際に用いることもできる。
なお、中間画像predSamples’[x,y] の生成は説明の便宜上のものである。中間画像predSamples’[x,y]を介さずに画素値の導出結果をpredSamples[x,y]に直接格納してもよい。
このようにすれば、色フォーマットが４：２：２形式である画像において輝度の予測モードを再利用する場合であっても、輝度と相似の座標系を用いて中間的に生成した予測画像を色差の座標系に変換して色差予測画像を生成することで、輝度の予測モードが表す予測方向と一致するように予測方向を補正できる。これにより、輝度と色差の予測画像における予測方向の相違が解消され、色差予測画像の正確さを向上することができる。
＜変形例２：予測モードのマッピングによる予測方向の補正＞
ＤＭモード使用時、すなわち、輝度予測モードを再利用して色差予測モードとして用いる際、動画像復号装置１の予測方向導出部１４５３において、勾配定義テーブルの切り換えを行わず、輝度の予測モードを他の予測モードにマッピングすることで、予測方向を補正してもよい。例えば、図１の予測方向導出部１４５３を図２６に示すように変形し、図１５の色差予測部１４６を図２７に示すように変更するとよい。
＜変形例２：予測モードのマッピングによる予測方向の補正＞
ＤＭモード使用時、すなわち、輝度予測モードを再利用して色差予測モードとして用いる際、動画像復号装置１の予測方向導出部１４５３において、勾配定義テーブルの切り換えを行わず、輝度の予測モードを他の予測モードにマッピングすることで、予測方向を補正してもよい。例えば、図１の予測方向導出部１４５３を図２６に示すように変形し、図１５の色差予測部１４６を図２７に示すように変更するとよい。
図２６に示す勾配導出部１４５３Ｂ＿２は、勾配定義テーブルの切り換えを行わず、常に図１３に示す勾配定義テーブルＤＥＦＡＮＧ１を用いるようにする一方、図２８に示す変換テーブルＣＮＶＰＭ１を参照できるようにする。勾配導出部１４５３Ｂ＿２は、色差領域に対しては、予測モード定義ＤＥＦＰＭ１によって輝度の予測モード（IntraPredMode）に対応する予測方向(NAME(Luma)で表される）を、図２８に示す変換テーブルＣＮＶＰＭ１を用いて変換し、色差の予測モード（IntraPredModeC）に対応する予測方向（NAME(Chroma)で表される）を得る。図２８に示す変換テーブルＣＮＶＰＭ１は、色フォーマットが４：２：２形式である場合において、輝度の予測モードと色差の予測モードとがほぼ同じ勾配の予測方向となるように対応づけたテーブルである。例えば、輝度の予測モードＶＥＲ＋８は、色差の予測モードとしては、ＶＥＲ＋５に変換される。ＶＥＲ＋８の変位の値は水平方向に+32であり、色差でＶＥＲ＋８に対応する変位の値は+32を2で割った+16である。ここで、+16に最も近い水平方向の変位を持つ予測モードは+17の変位をもつＶＥＲ＋５であることから、輝度における予測モードＶＥＲ＋８は、色差においては予測モードＶＥＲ＋５に対応付けられる。また別の例では、輝度における予測モードＨＯＲ＋８の変位の値は垂直方向に+32である。しかし色差において垂直方向の変位が+32*2=64となる予測モードは主方向が水平である予測モードとしては存在していない。そこで、主方向が垂直である予測モードのうちで勾配が最も近い、ＶＥＲ＋５に対応付けられている。ＶＥＲ＋５の勾配は[+17, -32] であり、ＨＯＲ＋８の勾配[-32, +64]と近い値である。
図２８に示す変換テーブルＣＮＶＰＭ１では、他の予測モードについても同様に、それぞれ勾配の類似した予測モードに対応付けられている。
図２８に示す変換テーブルＣＮＶＰＭ１では、他の予測モードについても同様に、それぞれ勾配の類似した予測モードに対応付けられている。
図２７に示す色差予測部１４６＿２は、図１５の予測方向導出部１４５３の代わりに予測方向導出部１４５３＿２を備えるようにしたものである。
このようにすれば、輝度の予測モードが再利用される場合にも、色差領域で同じ方向を示す予測モードに適切に変換され、色差予測画像の精度が向上する。
＜変形例３：色差における予測モードの制限＞
また別の変形例としては、色差における予測モードを制限する方法がある。例えば、図１５の色差予測部１４６を、図２９で示すように変更するとよい。図２９で示す色差予測部１４６＿３は、図１５の予測方式選択部１４５１に代えて予測方式選択部１４５１＿３を備える。また、図２９で示す色差予測部１４６＿３は、予測方向導出部とAngular予測部を備えていない。
＜変形例３：色差における予測モードの制限＞
また別の変形例としては、色差における予測モードを制限する方法がある。例えば、図１５の色差予測部１４６を、図２９で示すように変更するとよい。図２９で示す色差予測部１４６＿３は、図１５の予測方式選択部１４５１に代えて予測方式選択部１４５１＿３を備える。また、図２９で示す色差予測部１４６＿３は、予測方向導出部とAngular予測部を備えていない。
図２９に示す予測方式選択部１４５１_３は、入力される予測モードに基づいて予測画像生成に用いる予測方式を選択して選択結果を出力する。予測方式の選択は、輝度については図４に示した定義に基づいて、色差については図３０に示した定義に基づいて、入力される予測モードの予測モード番号に対応する予測方式を選択することで実現される。
図３０は、色差領域で用いられるイントラ予測方式の分類と対応する予測モード番号の例である。図４に示した例と異なり、Angular予測にあたる‘４’〜‘３４’には予測モード番号を割り当てていない。色差領域においては図３０に示した予測モードの定義を用いることにより、Angular予測が用いられることがなく、予測方向の誤差による予測画像の精度の低下を回避することができる。
〔応用例〕
上述した動画像符号化装置２及び動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
上述した動画像符号化装置２及び動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
まず、上述した動画像符号化装置２及び動画像復号装置１を、動画像の送信及び受信に利用できることを、図３１を参照して説明する。
図３１の（ａ）は、動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図３１の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、及び、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図３１の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
図３１の（ｂ）は、動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図３１の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図３１の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
次に、上述した動画像符号化装置２及び動画像復号装置１を、動画像の記録及び再生に利用できることを、図３２を参照して説明する。
図３２の（ａ）は、上述した動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図３２の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、及び、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図３２の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤ（Hard Disk）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
図３２の（ｂ）は、上述した動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図３２の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図３２の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
（ハードウェア的実現およびソフトウェア的実現）
また、上述した動画像復号装置１および動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
また、上述した動画像復号装置１および動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ−Ｒ（CD Recordable）／ブルーレイディスク（Blu-ray Disc:登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）／ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read-Only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１ 動画像復号装置（画像復号装置）
１４ 予測画像生成部
１４１ 予測単位設定部
１４２ 参照画素設定部
１４３ スイッチ
１４４ 参照画素フィルタ部
１４５ 輝度予測部
１４６ 色差予測部
１４５１ 予測方式選択部
１４５２ 予測画像導出部
１４５２Ｄ ＤＣ予測部
１４５２Ｐ Planar予測部
１４５２Ｈ 水平予測部
１４５２Ｖ 垂直予測部
１４５２Ａ Angular予測部
１４５２Ｌ ＬＭ予測部
１４５３ 予測方向導出部
１４５３Ａ 主方向導出部
１４５３Ｂ 勾配導出部（色差予測手段）
２ 動画像符号化装置（画像符号化装置）
２３ 予測画像生成部（色差予測手段）
１４ 予測画像生成部
１４１ 予測単位設定部
１４２ 参照画素設定部
１４３ スイッチ
１４４ 参照画素フィルタ部
１４５ 輝度予測部
１４６ 色差予測部
１４５１ 予測方式選択部
１４５２ 予測画像導出部
１４５２Ｄ ＤＣ予測部
１４５２Ｐ Planar予測部
１４５２Ｈ 水平予測部
１４５２Ｖ 垂直予測部
１４５２Ａ Angular予測部
１４５２Ｌ ＬＭ予測部
１４５３ 予測方向導出部
１４５３Ａ 主方向導出部
１４５３Ｂ 勾配導出部（色差予測手段）
２ 動画像符号化装置（画像符号化装置）
２３ 予測画像生成部（色差予測手段）
Claims (2)
- 予測モードに対応付けられたイントラ予測方式によって、輝度および色差について予測画像を生成することで符号化データから画像を復元する画像復号装置において、
輝度予測画像生成に用いた該予測モードに基づいて色差予測画像生成を行う際、上記画像の色フォーマットが４：２：２形式である場合に予測方向を補正する色差予測手段を備え、
上記色差予測手段は、少なくとも輝度予測画像生成に用いる第１の予測モードより少ない個数を持つイントラ色差予測モード指定インデックスに基づいて、色差予測画像生成に用いる第２の予測モードを導出し、
前記イントラ色差予測モード指定インデックスの値が第１の値であり、前記第１の予測モードがＰｌａｎａｒ予測モードである場合、前記色差予測手段は、前記第２の予測モードとして、斜め方向予測モードに対応するインデックス値を導出し、
前記イントラ色差予測モード指定インデックスの値が第１の値であり、前記第１の予測モードがＰｌａｎａｒ予測モード以外である場合、前記色差予測手段は、前記第２の予測モードとして、Ｐｌａｎａｒ予測モードに対応するインデックス値を導出することを特徴とする画像復号装置。 - 予測モードに対応付けられたイントラ予測方式によって、輝度および色差について予測画像を生成することで符号化データから画像を復元する画像復号方法であって、
輝度予測画像生成に用いた該予測モードに基づいて色差予測画像生成を行う際、上記画像の色フォーマットが４：２：２形式である場合に予測方向を補正する色差予測ステップを備え、
上記色差予測ステップは、少なくとも輝度予測画像生成に用いる第１の予測モードより少ない個数を持つイントラ色差予測モード指定インデックスに基づいて、色差予測画像生成に用いる第２の予測モードを導出し、
前記イントラ色差予測モード指定インデックスの値が第１の値であり、前記第１の予測モードがＰｌａｎａｒ予測モードである場合、前記色差予測ステップは、前記第２の予測モードとして、斜め方向予測モードに対応するインデックス値を導出し、
前記イントラ色差予測モード指定インデックスの値が第１の値であり、前記第１の予測モードがＰｌａｎａｒ予測モード以外である場合、前記色差予測ステップは、前記第２の予測モードとして、Ｐｌａｎａｒ予測モードに対応するインデックス値を導出することを特徴とする画像復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012009446A JP5995448B2 (ja) | 2012-01-19 | 2012-01-19 | 画像復号装置、および画像符号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012009446A JP5995448B2 (ja) | 2012-01-19 | 2012-01-19 | 画像復号装置、および画像符号化装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016096811A Division JP6162289B2 (ja) | 2016-05-13 | 2016-05-13 | 画像復号装置および画像復号方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013150178A JP2013150178A (ja) | 2013-08-01 |
| JP2013150178A5 JP2013150178A5 (ja) | 2015-03-05 |
| JP5995448B2 true JP5995448B2 (ja) | 2016-09-21 |
Family
ID=49047274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012009446A Active JP5995448B2 (ja) | 2012-01-19 | 2012-01-19 | 画像復号装置、および画像符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5995448B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2501535A (en) | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| JP6112031B2 (ja) * | 2013-03-29 | 2017-04-12 | 株式会社Ｊｖｃケンウッド | 画像復号装置、画像復号方法及び画像復号プログラム |
| AU2013202653A1 (en) * | 2013-04-05 | 2014-10-23 | Canon Kabushiki Kaisha | Method, apparatus and system for generating intra-predicted samples |
| KR101749855B1 (ko) * | 2013-04-05 | 2017-06-21 | 미쓰비시덴키 가부시키가이샤 | 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법 |
| WO2018116925A1 (ja) * | 2016-12-21 | 2018-06-28 | シャープ株式会社 | イントラ予測画像生成装置、画像復号装置、および画像符号化装置 |
| EP3737093A4 (en) * | 2017-11-28 | 2022-02-09 | Electronics and Telecommunications Research Institute | METHOD AND DEVICE FOR CODING/DECODING IMAGES AND RECORDING MEDIA STORED WITH A BITSTREAM |
| EP3751855A4 (en) * | 2018-02-06 | 2021-03-10 | Panasonic Intellectual Property Corporation of America | CODING DEVICE, DECODING DEVICE, CODING METHOD AND DECODING METHOD |
| CN113709459B (zh) * | 2019-01-02 | 2023-06-23 | Oppo广东移动通信有限公司 | 帧内预测方法、装置及计算机存储介质 |
| CN113965764B (zh) * | 2020-07-21 | 2023-04-07 | Oppo广东移动通信有限公司 | 图像编码方法、图像解码方法及相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5678818B2 (ja) * | 2011-06-23 | 2015-03-04 | 株式会社Ｊｖｃケンウッド | 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム |
-
2012
- 2012-01-19 JP JP2012009446A patent/JP5995448B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013150178A (ja) | 2013-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6441418B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置、および画像符号化方法 | |
| WO2014115283A1 (ja) | 画像復号装置、および画像符号化装置 | |
| JP5995448B2 (ja) | 画像復号装置、および画像符号化装置 | |
| WO2016203981A1 (ja) | 画像復号装置及び画像符号化装置 | |
| US10136161B2 (en) | DMM prediction section, image decoding device, and image coding device | |
| WO2016203881A1 (ja) | 算術復号装置及び算術符号化装置 | |
| WO2017068856A1 (ja) | 予測画像生成装置、画像復号装置および画像符号化装置 | |
| JP6653860B2 (ja) | 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体 | |
| JPWO2015163456A1 (ja) | 画像復号装置、画像符号化装置、および、符号化データ変換装置 | |
| WO2017195532A1 (ja) | 画像復号装置及び画像符号化装置 | |
| CN114902669A (zh) | 使用颜色空间转换对图像编码/解码的方法和装置及发送比特流的方法 | |
| WO2014007131A1 (ja) | 画像復号装置、および画像符号化装置 | |
| WO2012121352A1 (ja) | 動画像復号装置、動画像符号化装置、および、データ構造 | |
| JP6162289B2 (ja) | 画像復号装置および画像復号方法 | |
| JP2014176039A (ja) | 画像復号装置、および画像符号化装置 | |
| WO2014050554A1 (ja) | 画像復号装置、および画像符号化装置 | |
| JP2016076904A (ja) | Ｄｃオフセット情報復号装置、画像復号装置、およびｄｃオフセット情報符号化装置。 | |
| JP2016072941A (ja) | Ｄｍｍ予測装置、画像復号装置、および画像符号化装置 | |
| JP2013251827A (ja) | 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造 | |
| JP2014082729A (ja) | 画像復号装置、および画像符号化装置 | |
| WO2012081636A1 (ja) | 画像復号装置、画像符号化装置、および符号化データのデータ構造 | |
| JP2020195013A (ja) | 画像復号装置および画像符号化装置 | |
| WO2012043676A1 (ja) | 復号装置、符号化装置、および、データ構造 | |
| JP2014013976A (ja) | 画像復号装置、および画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150116 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160108 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160513 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160531 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160823 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5995448 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |