JP5656998B2 - 動画像復号装置及び動画像復号方法 - Google Patents

Description

この発明は、イントラ予測処理又はインター予測処理を実施して予測符号化を実施する動画像復号装置及び動画像復号方法に関するものである。

動画像符号化装置が実施するイントラ予測処理のうち、ＡＶＣ／Ｈ．２６４符号化方式におけるイントラ予測モードについて説明する。
輝度のイントラ予測モードでは、複数の予測モードの中から、ブロック単位に１つの予測モードを選択することができる。
図１５は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
輝度のブロックサイズが４×４画素の場合には、モード０からモード８の９つのイントラ予測モードが規定されている。

図１５の例では、白丸が符号化対象のブロック内の画素であり、黒丸が予測に用いる画素であって、符号化済みの隣接ブロック内の画素である。
ただし、モード２は平均値予測に係るイントラ予測モードであり、上と左のブロックの隣接画素の平均値で、符号化対象ブロック内の画素を予測するモードである。モード２以外のモードは方向性予測に係るイントラ予測モードである。

モード０は垂直方向予測に係るイントラ予測モードであり、上のブロックの隣接画素を垂直方向に繰り返すことにより、予測画像を生成する。例えば、符号化対象ブロックが縦縞模様のときにはモード０が選択される。
また、モード１は水平方向予測に係るイントラ予測モードであり、左のブロックの隣接画素を水平方向に繰り返すことにより、予測画像を生成する。
モード３からモード８は、上のブロック又は左のブロックの隣接画素を用いて、所定の方向（矢印で示す方向）に補間画素を生成することにより、予測画像を生成する。

ここで、イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、８×８画素の場合には、４×４画素と同様に、９つのイントラ予測モードが規定されている。
これに対し、１６×１６画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、平面予測と呼ばれる４つのイントラ予測モードが規定されている。
平面予測に係るイントラ予測モードは、上のブロックの隣接画素と左のブロックの隣接画素を斜め方向に内挿補間して生成した画素を予測値とするモードである。

なお、ブロックサイズが４×４画素又は８×８画素の場合の方向性予測モードでは、予め定められている方向（例えば、４５度の方向）で予測値を生成するため、ブロック内のオブジェクトの境界（エッジ）の方向が、予測モードが示す方向と一致すれば、予測効率が高くなって符号量を削減することができる。
ただし、ブロック内のオブジェクトのエッジの方向が、予測モードが示す方向と一致しなければ、予測効率が低下するため、符号量を削減することができない。
以下の特許文献１には、イントラ予測モードの発生頻度をカウントしている頻度情報テーブルを使用すれば、イントラ予測モードに係る符号量を削減することができる技術を開示しているが、予め、頻度情報テーブルを用意する必要がある。

国際公開第２００８／１２３２５４号公報

従来の動画像符号化装置は以上のように構成されているので、選択可能な方向性予測のモード数を増やせば、エッジの方向と予測モードが示す方向が一致する確率が高まり、予測効率を高めることができる。しかし、選択可能な方向性予測のモード数を増やせば、イントラ予測モードに係る情報の符号量が増加してしまうなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、イントラ予測モードに係る情報の符号量の増加を抑えることができる動画像符号化装置及び動画像符号化方法に適用することができる動画像復号装置及び動画像復号方法を得ることを目的とする。

この発明に係る動画像復号装置は、可変長復号手段が、ビットストリームから情報を可変長復号し、情報が、復号対象ブロックに対する色差信号のイントラ予測処理を示す情報であって、復号対象ブロックの輝度信号と同じイントラ予測パラメータを用いた色差信号のイントラ予測処理か、または平均値予測を用いたイントラ予測処理かを、一つの情報で示すものであり、予測画像生成手段が、情報に対応する復号対象ブロックに対する色差信号のイントラ予測処理を実施して色差信号の予測画像を生成するようにしたものである。

この発明によれば、可変長復号手段が、ビットストリームから情報を可変長復号し、情報が、復号対象ブロックに対する色差信号のイントラ予測処理を示す情報であって、復号対象ブロックの輝度信号と同じイントラ予測パラメータを用いた色差信号のイントラ予測処理か、または平均値予測を用いたイントラ予測処理かを、一つの情報で示すものであり、予測画像生成手段が、情報に対応する復号対象ブロックに対する色差信号のイントラ予測処理を実施して色差信号の予測画像を生成するように構成したので、予測効率を低下させることなく、色差信号のイントラ予測モードに係る符号量を削減して符号化されたビットストリームを復号することができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の可変長符号化部１３の内部を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。 （ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を示す説明図である。 符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合のパーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 パーティションＰ_ｉ ^ｎのイントラ予測パラメータの予測値の算出に用いる符号化済み周辺パーティションの一例を示す説明図である。 １７種類のイントラ予測モードのインデックス値と平均値予測を除く、１６種類の方向性予測モードの予測方向ベクトルの一例を示す説明図である。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の可変長復号部３１の内部を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。 輝度信号及び色差信号のパーティションＰ_ｉ ^ｎの一例を示す説明図である。 フィルタ処理前後の予測画像を示す説明図である。 輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像を示す映像信号を入力すると、その入力画像を符号化制御部２により決定された符号化ブロックサイズのブロック（予測処理単位のブロック）に分割して、予測処理単位のブロックである符号化対象ブロックを出力する処理を実施する。なお、ブロック分割部１はブロック分割手段を構成している。

符号化制御部２は符号化ブロックサイズを決定するとともに、選択可能な１以上のイントラ符号化モード及びインター符号化モードの中から、ブロック分割部１から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを決定する処理を実施する。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部２は符号化制御手段を構成している。

切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化対象ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化対象ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４はイントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、切換スイッチ３から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像（予測画像）を生成する処理を実施する。
なお、切換スイッチ３、イントラ予測部４及びイントラ予測用メモリ１０から予測画像生成手段が構成されている。

動き補償予測部５は切換スイッチ３から出力された符号化対象ブロックと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。

減算部６はブロック分割部１より出力された符号化対象ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部７に出力する処理を実施する。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データ（差分画像の量子化係数）を逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、減算部６及び変換・量子化部７から量子化手段が構成されている。

逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。

イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１２はフィルタリング処理後の局所復号画像を格納する記録媒体である。

可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。
ただし、可変長符号化部１３は、符号化モードがイントラ符号化モードである場合、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、符号化制御部２により決定されたイントラ予測パラメータの可変長符号化として、符号化制御部２により決定された符号化対象ブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトルを特定し、その特定した予測方向代表ベクトルのインデックスを可変長符号化するとともに、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長符号化する。
なお、可変長符号化部１３は可変長符号化手段を構成している。

図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図３はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。

図２はこの発明の実施の形態１による動画像符号化装置の可変長符号化部１３の内部を示す構成図である。
可変長符号化部１３は、構成要素の１つとして、イントラ予測パラメータ可変長符号化部１３ａを内蔵している。
イントラ予測パラメータ可変長符号化部１３ａのイントラ予測パラメータ予測値算出部２１はブロック分割部１から出力された符号化対象ブロックに隣接している符号化済みブロックのイントラ予測パラメータから、符号化対象ブロックのイントラ予測パラメータの予測値を算出する処理を実施する。

イントラ予測パラメータ二値化インデックス算出部２２はイントラ予測パラメータ予測値算出部２１により算出された予測値と、符号化対象ブロックのイントラ予測パラメータから、その予測値と予測方向代表ベクトルのインデックスが一致しているか否かを判定し、一致していれば、その判定結果を示すフラグの他に、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分値を含むイントラ予測パラメータ二値化インデックスを算出し、一致していなければ、その判定結果を示すフラグの他に、予測方向代表ベクトルのインデックスと上記差分値を含むイントラ予測パラメータ二値化インデックスを算出する処理を実施する。
エントロピー符号化部２３はイントラ予測パラメータ二値化インデックス算出部２２により算出されたイントラ予測パラメータ二値化インデックスを算術符号化などの可変長符号化を行って、イントラ予測パラメータ符号語を出力する処理を実施する。

図１０はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図１０において、可変長復号部３１は動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。
ただし、可変長復号部３１は符号化モードがイントラ符号化モードである場合、イントラ予測パラメータの可変長復号として、予測方向代表ベクトルのインデックスを可変長復号するとともに、復号済みブロック（図１の動画像符号化装置の「符号化済みブロック」に相当するブロック）のイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長復号し、その予測方向代表ベクトルのインデックスと上記差分を表すインデックスから、そのイントラ予測パラメータを決定する処理を実施する。
なお、可変長復号部３１は可変長復号手段を構成している。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の減算部６から出力された予測差分信号に相当する復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部３２は逆量子化手段を構成している。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。

イントラ予測部３４はイントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施してイントラ予測画像（予測画像）を生成する処理を実施する。
なお、切換スイッチ３３、イントラ予測部３４及びイントラ予測用メモリ３７から予測画像生成手段が構成されている。

動き補償部３５は動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１のブロック分割部１から出力された符号化対象ブロックに相当する復号画像を算出する処理を実施する。

イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３９はフィルタリング処理後の復号画像を格納する記録媒体である。

図１０の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図１２はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。

図１１はこの発明の実施の形態１による動画像復号装置の可変長復号部３１の内部を示す構成図である。
可変長復号部３１には、構成要素の１つとして、イントラ予測パラメータ可変長復号部３１ａを内蔵している。
イントラ予測パラメータ可変長復号部３１ａのエントロピー復号部４１はイントラ予測パラメータ符号語からイントラ予測パラメータ二値化インデックスを可変長復号する処理を実施する。
イントラ予測パラメータ予測値算出部４２は復号対象ブロックに隣接している復号済みブロックのイントラ予測パラメータから、復号対象ブロックのイントラ予測パラメータの予測値を算出する処理を実施する。

イントラ予測パラメータインデックス算出部４３はエントロピー復号部４１により可変長復号されたイントラ予測パラメータ二値化インデックスに含まれているフラグが予測値と予測方向代表ベクトルのインデックスが一致している旨を示していれば、イントラ予測パラメータ予測値算出部４２により算出された予測値と、そのイントラ予測パラメータ二値化インデックスに含まれている復号済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分値とから、イントラ予測パラメータを算出し、そのフラグが予測値と予測方向代表ベクトルのインデックスが一致していない旨を示していれば、イントラ予測パラメータ予測値算出部４２により算出された予測値と、そのイントラ予測パラメータ二値化インデックスに含まれている予測方向代表ベクトルのインデックスと、上記差分値とからイントラ予測パラメータを算出する処理を実施する。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、近接フレーム間で動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分差信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の諧調は、８ビットでもよいし、１０ビットや１２ビットなどの諧調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図３のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、すべてのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定するなどの方法がある。

ブロック分割部１は、入力画像の映像信号を入力すると、符号化制御部２により決定された最大符号化ブロックサイズで、入力画像のピクチャに分割し、分割後の各ピクチャを出力する。
また、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化対象ブロックに分割して、各符号化対象ブロックに対する符号化モードを決定する（ステップＳＴ２）。

ここで、図４は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
図４において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化対象ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さｎにおいては、符号化対象ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図４では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化対象ブロックをＢ^ｎで表し、符号化対象ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、すべての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化モードｍ（Ｂ^ｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックＢ^ｎに対する符号化効率が最も高い符号化モードを選択する。

さらに、符号化対象ブロックＢ^ｎは、図４に示すように、ブロック分割部１によって、１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化対象ブロックＢ^ｎに属するパーティションをＰ_ｉ ^ｎ（ｉは、第ｎ階層におけるパーティション番号）と表記する。
符号化対象ブロックＢ^ｎのパーティション分割が、どのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
パーティションＰ_ｉ ^ｎは、すべて符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、パーティションＰ_ｉ ^ｎ毎に、個別の予測パラメータを選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図５に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
図５（ａ）の斜線部分は、分割後のパーティションの分布を示しており、図５（ｂ）は階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示している。
図５（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化対象ブロック）である。
符号化制御部２における階層分割・符号化モード判定の詳細な処理は後述する。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化対象ブロックＢ^ｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化対象ブロックＢ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化対象ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。
なお、画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化対象ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。
なお、画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。

減算部６は、ブロック分割部１から符号化対象ブロックＢ^ｎを受けると、その符号化対象ブロックＢ^ｎ内のパーティションＰ_ｉ ^ｎから、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを減算して、その減算結果である予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎとを加算して、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部１から出力された符号化対象ブロックＢ^ｎに相当する局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測用の画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像が入力された後に１画面分まとめて行ってもよい。

可変長符号化部１３は、全ての符号化対象ブロックＢ^ｎに対するステップＳＴ３〜ＳＴ９の処理が完了すると（ステップＳＴ１１、ＳＴ１２）、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された符号化モードｍ（Ｂ^ｎ）と、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。
可変長符号化部１３の処理内容の詳細は後述する。

次に、イントラ予測部４の処理内容を詳細に説明する。
図６は符号化対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
図６では、イントラ予測モードと、そのイントラ予測モードが示す予測方向ベクトルを示しており、図６の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

イントラ予測部４は、上述したように、パーティションＰ_ｉ ^ｎのイントラ予測パラメータを参照して、そのパーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、パーティションＰ_ｉ ^ｎの輝度信号に対するイントラ予測パラメータ（イントラ予測モード）に基づいて、輝度信号のイントラ予測信号を生成するイントラ処理について説明する。

パーティションＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図７はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合のパーティションＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図７では、パーティションＰ_ｉ ^ｎに隣接している符号化済みの上パーティションの画素（２×ｌ_ｉ ^ｎ＋１）個と、左パーティションの画素（２×ｍ_ｉ ^ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図７に示す画素より多くても少なくてもよい。
また、図７では、隣接している１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

パーティションＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、上パーティションの隣接画素と左パーティションの隣接画素の平均値をパーティションＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルυ_ｐ＝（ｄｘ，ｄｙ）に基づいて、パーティションＰ_ｉ ^ｎ内の画素の予測値を生成する。
予測値を生成する画素（予測対象画素）のパーティションＰ_ｉ ^ｎ内の相対座標（パーティションの左上画素を原点とする）を（ｘ，ｙ）とすると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図７の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素の平均値を予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
同様の手順で、パーティションＰ_ｉ ^ｎ内の輝度信号の全ての画素に対する予測画素を生成してイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。
なお、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力される。

パーティションＰ_ｉ ^ｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。

次に、可変長符号化部１３の処理内容を詳細に説明する。
可変長符号化部１３は、イントラ予測パラメータを可変長符号化する際、周辺の符号化済みパーティションのイントラ予測パラメータに基づき、符号化対象のパーティションＰ_ｉ ^ｎのイントラ予測パラメータの予測値を算出し、その予測値を用いて予測符号化を行う。
即ち、可変長符号化部１３の一部を構成しているイントラ予測パラメータ可変長符号化部１３ａのイントラ予測パラメータ予測値算出部２１は、符号化済み周辺のパーティションのイントラ予測パラメータに基づき、符号化対象であるパーティションＰ_ｉ ^ｎのイントラ予測パラメータの予測値を算出する。
ここで、図８はパーティションＰ_ｉ ^ｎのイントラ予測パラメータの予測値の算出に用いる符号化済み周辺パーティションの一例を示す説明図である。
図８の例では、パーティションＰ_ｉ ^ｎの左（Ａ）、上（Ｂ）、右上（Ｃ）、左上（Ｄ）のパーティションのイントラ予測パラメータを予測値の算出に用いている。

イントラ予測パラメータ予測値算出部２１が予測値を算出する処理を、イントラ予測モード数が図６に示す１７種類の場合を例にして説明する。
図６において、１７種類のイントラ予測モードは、平均値予測モードと１６種類の方向性予測モードからなる。
図９は１７種類のイントラ予測モードのインデックス値と平均値予測を除く、１６種類の方向性予測モードの予測方向ベクトルの一例を示す説明図である。１６種類の予測方向ベクトルの中から代表的な方向を示す予測方向代表ベクトルを予め決めおくものとする。
以下の説明では、図９に示す“０”から“８”の９方向の予測方向ベクトルを予測方向代表ベクトルとして予め決めた場合を例に説明する。

イントラ予測パラメータ予測値算出部２１は、予測値の算出に用いる符号化済み周辺パーティションのイントラ予測モードから予測方向代表インデックスを算出する。
ただし、方向性予測モードの予測方向代表インデックスは、その方向性予測モードが示す予測方向ベクトルに対する相対角度が最も小さい予測方向代表ベクトルのインデックスとする。
即ち、方向性予測モードが示す予測方向ベクトルと方向が近い予測方向代表ベクトルのインデックス値である。なお、平均値予測モードの予測方向代表インデックスは、自身（平均値予測モード）のインデックス値とする。
図９は１７種類のイントラ予測モードの予測方向代表インデックスを示している。さらに、同じ予測方向代表インデックスを有するイントラ予測モードインデックスに対して、予測方向差分インデックスを割り当てている。

次に、符号化済み周辺パーティションのイントラ予測モードの予測方向代表インデックスに基づき、符号化対象であるパーティションＰ_ｉ ^ｎのイントラ予測パラメータの予測値を算出する処理について説明する。
例えば、予測値の算出に用いる周辺パーティションがパーティションＰ_ｉ ^ｎの左（Ａ）、上（Ｂ）、右上（Ｃ）、左上（Ｄ）のパーティションである場合、パーティションＡ，Ｂ，Ｃ，Ｄの予測方向代表インデックスをそれぞれｍ_Ａ，ｍ_Ｂ，ｍ_Ｃ，ｍ_Ｄとしたときに、ｍ_Ａ，ｍ_Ｂ，ｍ_Ｃ，ｍ_Ｄの最頻値や最小値、メディアンなどの統計値の中から予め決められた統計値を予測値ｐｍ_ｐとする。あるいは、周囲のパーティションの予測方向ベクトルの向きに応じて、例えば、パーティションＣの予測方向ベクトルの向きが左斜め下の場合（図９の例では、イントラ予測モードインデックスが８、１０、１６の場合）、エッジの連続性から考えて、パーティションＰ_ｉ ^ｎの予測方向ベクトルの向きも左斜め下になる確率が高いことから、予測方向代表ベクトルの向きが左斜め下を表す予測方向代表インデックス（図９の例では８）を、パーティションＰ_ｉ ^ｎの予測値ｐｍ_ｐとする。あるいは、Ａ、Ｂ、Ｃ、Ｄのパーティションの中から予め決められた１つのパーティションの予測方向代表インデックスを予測値ｐｍ_ｐとしてもよい。あるいは、周辺パーティションの予測方向代表インデックスを用いずに、予め決められた予測方向代表インデックス(例えば平均値予測モードのインデックス)を予測値ｐｍ_ｐとしてもよい。
そして、算出した予測値ｐｍ_ｐをイントラ予測パラメータ二値化インデックス算出部２２に出力する。

イントラ予測パラメータ二値化インデックス算出部２２は、符号化対象であるパーティションＰ_ｉ ^ｎのイントラ予測パラメータ（イントラ予測モードのインデックス）ｍ_ｐと予測値ｐｍ_ｐを入力し、イントラ予測パラメータ二値化インデックスｄｍ_ｐを算出する。
以下、イントラ予測パラメータ二値化インデックスの算出方法について説明する。

イントラ予測モードｍ_ｐの予測方向代表インデックスをｒｍ_ｐとする。

ただし、ｍは予測方向代表インデックスの個数であり、図９の例では、ｍ＝９，ｎ＝３である。

次に、イントラ予測モードｍ_ｐの予測方向差分インデックスをｄｒ_ｐとして、上記のイントラ予測パラメータ二値化インデックスｄｍ_ｐに対して、さらに、下式に基づく処理を行う。

ただし、ｌは同じ予測方向代表インデックスを有するイントラ予測モードの個数であり、図９の例では、イントラ予測モードが平均値予測の場合には、ｌ＝１，ｋ＝０、イントラ予測モードが平均値予測以外の場合には、ｌ＝２，ｋ＝１である。

上記の算出方法で求めたイントラ予測パラメータ二値化インデックスｄｍ_ｐは、１ビット目が、イントラ予測モードの予測方向代表インデックスｒｍ_ｐと予測値ｐｍ_ｐが一致しているか否かを示すフラグビット（上記の算出式では、一致している場合は“０”、一致していない場合は“１”を割り当てている）である。
イントラ予測モードの予測方向代表インデックスｒｍ_ｐと予測値ｐｍ_ｐが一致している場合、イントラ予測パラメータ二値化インデックスｄｍ_ｐの２〜（ｋ＋１）ビットが、予測方向差分インデックス値を表すビットになる。
一方、イントラ予測モードの予測方向代表インデックスｒｍ_ｐと予測値ｐｍ_ｐが一致していない場合、イントラ予測パラメータ二値化インデックスｄｍ_ｐの２〜（ｎ＋１）ビットが、予測方向代表インデックス値を表すビットになり、（ｎ＋２）〜（ｎ＋ｋ＋１）ビットが、予測方向差分インデックス値を表すビットになる。
以上の処理により算出されたイントラ予測パラメータ二値化インデックスｄｍ_ｐは、エントロピー符号化部２３に出力される。

エントロピー符号化部２３は、イントラ予測パラメータ二値化インデックス算出部２２から出力されたイントラ予測パラメータ二値化インデックスｄｍ_ｐを、予測方向代表インデックスｒｍ_ｐと予測方向差分インデックス毎に、それぞれの確率モデルに応じて、コンテキストを切り替えて算術符号化などのハフマン符号化を行う。
その符号化結果であるイントラ予測パラメータ符号語は、可変長符号化部１３のビットストリーム多重化部（図示せず）でビットストリームに多重化される。

図１の動画像符号化装置の可変長符号化部１３は、イントラ予測パラメータを符号化する際に、複数の方向性予測の予測方向ベクトルの中から、代表的な予測方向ベクトル（予測方向代表ベクトル）を選択し、イントラ予測パラメータを予測方向代表ベクトルのインデックス（予測方向代表インデックス）と、予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）で表して、それぞれのインデックス毎に確率モデルに応じた算術符号化などのハフマン符号化を行うことで、符号量を削減して符号化することができる。

次に、図１０の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図１２のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。

即ち、可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズが映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化された場合には、ビットストリームから復号した値を用いる。
動画像符号化装置は、図４で示されるように、最大符号化ブロックを出発点に階層的に複数の符号化対象ブロックに分割して得られる符号化対象ブロック単位に符号化モードや変換・量子化して得られる圧縮データをビットストリームに多重化する。
当該ビットストリームを受け取った可変長復号部３１は、決定された最大符号化ブロック単位に符号化モードに含まれる最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号対象ブロック（図１の動画像符号化装置の「符号化対象ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、符号化対象ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、符号化対象ブロックをさらに１つないし複数の予測処理単位に分割し、予測処理単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

可変長復号部３１は、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードがイントラ符号化モードである場合、復号対象ブロック（符号化対象ブロック）に含まれており、予測処理単位となる１つ以上のパーティション毎にイントラ予測パラメータを復号する。
イントラ予測パラメータの復号は、動画像符号化装置側と同じ手順で周辺の復号済みパーティションのイントラ予測パラメータに基づき、復号対象であるパーティションＰ_ｉ ^ｎのイントラ予測パラメータの予測値を算出し、その予測値を用いて復号する。

即ち、可変長復号部３１の一部を構成しているイントラ予測パラメータ可変長復号部３１ａ内のエントロピー復号部４１は、ビットストリームに含まれているイントラ予測パラメータ符号語を入力し、そのイントラ予測パラメータ符号語からイントラ予測パラメータ二値化インデックスを可変長復号する。
イントラ予測パラメータ予測値算出部４２は、動画像符号化装置のイントラ予測パラメータ予測値算出部２１と同じ手順で、復号対象ブロックに隣接している復号済みブロックのイントラ予測パラメータから、復号対象ブロックのイントラ予測パラメータの予測値を算出する。

イントラ予測パラメータインデックス算出部４３は、エントロピー復号部４１により可変長復号されたイントラ予測パラメータ二値化インデックスと、イントラ予測パラメータ予測値算出部４２により算出された予測値とから、イントラ予測パラメータを算出する。
以下、イントラ予測パラメータの算出方法を説明する。

イントラ予測パラメータインデックス算出部４３は、イントラ予測パラメータインデックスを算出するために、予測方向代表インデックスと予測方向差分インデックスを算出する。
イントラ予測パラメータ二値化インデックスをｄｍ_ｐとする。
イントラ予測パラメータ二値化インデックスｄｍ_ｐの１ビット目が“０”の場合、予測値ｐｍ_ｐを予測方向代表インデックス値ｒｍ_ｐとする。
イントラ予測パラメータ二値化インデックスｄｍ_ｐの１ビット目が“１”の場合、続いて、２〜（ｋ＋１）ビットを復号し、２〜（ｎ＋１）ビットを復号した値ＲＭ_ｐに対して、下式により予測方向代表インデックス値ｒｍ_ｐを算出する。

次に、イントラ予測パラメータインデックス算出部４３は、イントラ予測パラメータ二値化インデックスｄｍ_ｐの１ビット目が“０”の場合、２〜（ｋ＋１）ビット目を復号し、１ビット目が“１”の場合には、（ｎ＋２）〜（ｎ＋ｋ＋１）ビット目を復号し、その復号した値を予測方向差分インデックスｄｒ_ｐとする。

動画像復号装置においても、動画像符号化装置と同様に、予測方向代表インデックスと予測方向差分インデックスに基づき、イントラ予測パラメータインデックスを復号する。
可変長復号部３１は、符号化モードに割り当てられている符号化モードがインター符号化モードの場合、復号対象ブロック（符号化対象ブロック）に含まれており、予測処理単位となる１つ以上パーティション毎にインター予測パラメータを復号する。
可変長復号部３１は、予測処理単位となるパーティションを、更に予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数のパーティションに分割され、変換処理単位となるパーティション毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３３からイントラ予測パラメータを受けると（ステップＳＴ２５）、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている局所復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いて、復号対象ブロックＢ^ｎ内の各パーティションＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３３から符号化対象ブロックＢ^ｎを受けると（ステップＳＴ２５）、動き補償予測フレームメモリ３９に格納されているフィルタリング処理後の復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の減算部６から出力された予測差分信号に相当する復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償部３５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎとを加算して、復号対象ブロック内に含まれる１つないし複数の復号パーティション画像の集まりとして、復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測用の画像信号になる。

ループフィルタ部１１は、全ての復号対象ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

図１０の動画像復号装置の可変長復号部３１は、イントラ予測パラメータを復号する際に、複数の方向性予測の予測方向ベクトルの中から選択された代表的な予測方向ベクトル（予測方向代表ベクトル）のインデックスと、予測方向代表ベクトルからの差分を表すインデックス（予測方向差分インデックス）とをそれぞれの確率モデルに応じた算術復号などによりエントロピー復号することで、符号量を削減して符号化されたイントラ予測パラメータを正しく復号することができる。

以上で明らかなように、この実施の形態１によれば、動画像符号化装置の可変長符号化部１３が、イントラ予測処理における複数の方向性予測に係る予測方向ベクトルの中で、ブロック分割部１から出力された符号化対象ブロックに隣接している符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと方向が最も近い予測方向ベクトル（予測方向代表ベクトル）を特定し、符号化制御部２により決定されたイントラ予測パラメータの可変長符号化として、その予測方向代表ベクトルのインデックスを可変長符号化するとともに、符号化済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長符号化するように構成したので、選択可能な方向性予測のモード数を増やしても、イントラ予測モードに係る情報の符号量の増加を抑えることができる効果を奏する。

また、この実施の形態１によれば、動画像復号装置の可変長復号部３１が、イントラ予測パラメータの可変長復号として、予測方向代表ベクトルのインデックスを可変長復号するとともに、復号済みブロックのイントラ予測パラメータが示す予測方向ベクトルと予測方向代表ベクトルの差分を表すインデックスを可変長復号して、その予測方向代表ベクトルのインデックスと上記差分を表すインデックスから、そのイントラ予測パラメータを決定するように構成したので、予測効率を低下させることなくイントラ予測パラメータの符号量を削減して符号化されたビットストリームを正しく復号することができる効果を奏する。

実施の形態２．
上記実施の形態１では、動画像符号化装置のイントラ予測部４が、映像信号における輝度信号と色差信号を同様に取り扱い、輝度信号の符号化対象ブロックに対するイントラ予測処理と、色差信号の符号化対象ブロックに対するイントラ予測処理とを別個独立に実施している。
このため、可変長符号化部１３は、輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータと、色差信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータとを個別に可変長符号化してビットストリームに多重化するようにしている。
この場合、例えば、輝度信号の符号化対象ブロックと色差信号の符号化対象ブロックとの特徴が近似しており、双方の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータがほぼ同じであれば、ビットストリームに多重化しているイントラ予測パラメータが冗長的となる。

そこで、この実施の形態２では、イントラ予測部４が、色差信号の予測画像を生成する際、例えば、輝度信号の符号化対象ブロックと色差信号の符号化対象ブロックとの特徴が近似している場合、その輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータと同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施することで、ビットストリームに多重化するイントラ予測パラメータを削減する例を説明する。

具体的には、以下の通りである。
図１３は輝度信号及び色差信号のパーティションＰ_ｉ ^ｎの一例を示す説明図である。
動画像符号化装置のイントラ予測部４は、図１３（ａ）に示すように、パーティションＰ_ｉ ^ｎの輝度信号（Ｙ）にエッジがある場合、色差信号（Ｃｂ，Ｃｒ）に対しても同様のエッジが存在することが多いという特徴を利用して、輝度信号で適用されたイントラ予測パラメータを色差信号のイントラ予測パラメータとしてそのまま適用し、イントラ予測画像を生成する。
ただし、図１３（ｂ）に示すように、パーティションＰ_ｉ ^ｎの輝度信号（Ｙ）にエッジがあっても、グレースケールのエッジである場合、色差信号（Ｃｂ，Ｃｒ）にはエッジがないこともある。
このような場合には、輝度信号のイントラ予測パラメータを適用せずに、平均値予測を適用して、イントラ予測画像を生成するようにする。

また、図１３（ｃ）に示すように、パーティションＰ_ｉ ^ｎの輝度信号（Ｙ）にエッジがある場合でも、色差信号（Ｃｂ，Ｃｒ）では、エッジの境界がぼけていたり、切れていたりすることもある。
このような場合には、エッジの境界がぼけていたり、切れていたりする領域の画素で予測残差が大きくなって、予測残差に係る符号量が増えるおそれがある。
そこで、予測残差に係る符号量が増える状況の発生を避けるため、図１４に示すように、輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いているイントラ予測パラメータと同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施することで予測画像を生成したのち、エッジをぼかすように、その予測画像に対して、平滑化フィルタをかけるようにする。
この場合、フィルタ処理後の予測画像が、色差信号の予測画像となる。

可変長符号化部１３は、輝度信号で適用されたイントラ予測パラメータについては、上記実施の形態１と同様に、可変長符号化してビットストリームに多重化するが、色差信号で適用されたイントラ予測パラメータについては次のようにする。
即ち、可変長符号化部１３は、色差信号で適用されたイントラ予測パラメータ自体は可変長符号化せずに、そのイントラ予測パラメータの代わりに、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施しているか、平均値予測を適用しているかを示す１ビットのフラグを算術符号化などによりエントロピー符号化する。
これにより、色差信号で適用されたイントラ予測パラメータとして、１ビットのフラグがビットストリームに多重化される。
なお、必要に応じて、予測画像に対して平滑化フィルタをかける場合、平滑化フィルタをかけているか否かを示す１ビットのフラグを算術符号化などによりエントロピー符号化する。

ここでは、イントラ予測部４が、色差信号の予測画像を生成する際、輝度信号のイントラ予測パラメータを適用しない場合、平均値予測を適用して、イントラ予測画像を生成するものについて示したが、平均値予測に加えて、水平予測や垂直予測など、複数の代表的な予測方向ベクトルに対応するモード（方向性予測モード）を適用して予測画像を生成するようにしてもよい。
また、方向性予測モードを適用して生成された予測画像に対して平滑化フィルタをかけた画像を色差信号の予測画像としてもよい。

図１０の動画像復号装置の可変長復号部３１は、色差信号で適用されたイントラ予測パラメータとして、ビットストリームから１ビットのフラグを可変長復号する。
イントラ予測部３４は、可変長復号部３１により可変長復号されたフラグが、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施している旨を示している場合、図１のイントラ予測部４と同様に、輝度信号と同じイントラ予測パラメータを用いて、色差信号の復号対象ブロック（符号化対象ブロック）に対するイントラ予測処理を実施して色差信号の予測画像を生成する。
一方、そのフラグが、平均値予測を適用している旨を示している場合（輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施していない旨を示している場合）、図１のイントラ予測部４と同様に、平均値予測を適用して、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成する。
また、そのフラグが、水平予測（あるいは、垂直予測）を適用している旨を示している場合、水平予測（あるいは、垂直予測）を適用して、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成する。

イントラ予測部３４は、可変長復号部３１により、平滑化フィルタをかけているか否かを示す１ビットのフラグが可変長復号された場合、そのフラグが、平滑化フィルタをかけている旨を示していれば、輝度信号と同じイントラ予測パラメータを用いて、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成したのち、その予測画像に対して、平滑化フィルタをかけるようにする。
この場合、フィルタ処理後の予測画像が、色差信号の予測画像となる。

以上で明らかなように、この実施の形態２によれば、動画像符号化装置のイントラ予測部４が、色差信号の予測画像を生成する際、輝度信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータと同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施し、あるいは、平均値予測を適用して、色差信号の符号化対象ブロックに対するイントラ予測処理を実施し、可変長符号化部１３が、色差信号の符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータとして、イントラ予測部４が輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施しているか否かを示すフラグを可変長符号化するように構成したので、予測効率を低下させることなく、色差信号のイントラ予測モードに係る符号量を削減することができる効果を奏する。

また、この実施の形態２によれば、動画像符号化装置のイントラ予測部４が、色差信号の符号化対象ブロックに対するイントラ予測処理を実施して、色差信号の予測画像を生成してから、その予測画像に対して平滑化フィルタをかけるように構成したので、予測効率を高めて、残差信号の符号量を削減することができる効果を奏する。

この実施の形態２によれば、動画像復号装置の可変長復号部３１が、ビットストリームからフラグを可変長復号し、イントラ予測部３４が、可変長復号部３１により可変長復号されたフラグが、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施している旨を示している場合、輝度信号と同じイントラ予測パラメータを用いて、色差信号の復号対象ブロック（符号化対象ブロック）に対するイントラ予測処理を実施して色差信号の予測画像を生成し、そのフラグが、輝度信号と同じイントラ予測パラメータを用いて、色差信号の符号化対象ブロックに対するイントラ予測処理を実施していない旨を示している場合、平均値予測を適用して、色差信号の復号対象ブロックに対するイントラ予測処理を実施して色差信号の予測画像を生成するように構成したので、予測効率を低下させることなく、色差信号のイントラ予測パラメータの符号量を削減して符号化されたビットストリームを正しく復号することができる効果を奏する。

また、この実施の形態２によれば、動画像復号装置のイントラ予測部３４が、色差信号の復号対象ブロックに対するイントラ予測処理を実施して、色差信号の予測画像を生成してから、その予測画像に対して平滑化フィルタをかけるように構成したので、予測効率を高めて、残差信号に係る符号量を削減して符号化されたビットストリームを正しく復号することができる効果を奏する。

１ ブロック分割部（ブロック分割手段）、２ 符号化制御部（符号化制御手段）、３ 切換スイッチ（予測画像生成手段）、４ イントラ予測部（予測画像生成手段）、５ 動き補償予測部、６ 減算部（量子化手段）、７ 変換・量子化部（量子化手段）、８ 逆量子化・逆変換部、９ 加算部、１０ イントラ予測用メモリ（予測画像生成手段）、１１ ループフィルタ部、１２ 動き補償予測フレームメモリ、１３ 可変長符号化部（可変長符号化手段）、１３ａ イントラ予測パラメータ可変長符号化部、２１ イントラ予測パラメータ予測値算出部、２２ イントラ予測パラメータ二値化インデックス算出部、２３ エントロピー符号化部、３１ 可変長復号部（可変長復号手段）、３１ａ イントラ予測パラメータ可変長復号部、３２ 逆量子化・逆変換部（逆量子化手段）、３３ 切換スイッチ（予測画像生成手段）、３４ イントラ予測部（予測画像生成手段）、３５ 動き補償部、３６ 加算部、３７ イントラ予測用メモリ（予測画像生成手段）、３８ ループフィルタ部、３９ 動き補償予測フレームメモリ、４１ エントロピー復号部、４２ イントラ予測パラメータ予測値算出部、４３ イントラ予測パラメータインデックス算出部。

Claims (2)

1. ビットストリームから量子化係数及びイントラ予測パラメータを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された量子化係数を逆量子化する逆量子化手段と、
   上記可変長復号手段により可変長復号された上記イントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施して、輝度信号及び色差信号からなる予測画像を生成する予測画像生成手段と、
   上記予測画像生成手段により生成された上記予測画像と上記逆量子化手段の逆量子化結果を逆変換した差分画像を加算して復号画像を得る画像加算手段とを備え、
   上記可変長復号手段は、上記ビットストリームから情報を可変長復号し、
   上記情報は、上記復号対象ブロックに対する色差信号のイントラ予測処理を示す情報であって、上記復号対象ブロックの輝度信号と同じイントラ予測パラメータを用いた色差信号のイントラ予測処理か、または平均値予測を用いたイントラ予測処理かを、一つの情報で示すものであり、
   上記予測画像生成手段は、上記情報に対応する上記復号対象ブロックに対する色差信号のイントラ予測処理を実施して色差信号の上記予測画像を生成する
   ことを特徴とする動画像復号装置。
2. ビットストリームから量子化係数及びイントラ予測パラメータを可変長復号する可変長復号処理ステップと、
   上記可変長復号処理ステップで可変長復号された量子化係数を逆量子化する逆量子化処理ステップと、
   上記可変長復号処理ステップで可変長復号された上記イントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施して、輝度信号及び色差信号の予測画像を生成する予測画像生成処理ステップと、
   上記予測画像生成処理ステップで生成された上記予測画像と上記逆量子化処理ステップでの逆量子化結果を逆変換した差分画像を加算して復号画像を得る画像加算処理ステップとを備え、
   上記可変長復号処理ステップが、上記ビットストリームから情報を可変長復号し、
   上記情報は、上記復号対象ブロックに対する色差信号のイントラ予測処理を示す情報であって、上記復号対象ブロックの輝度信号と同じイントラ予測パラメータを用いた色差信号のイントラ予測処理か、または平均値予測を用いたイントラ予測処理かを、一つの情報で示すものであり、
   上記予測画像生成処理ステップが、上記情報に対応する上記復号対象ブロックに対する色差信号のイントラ予測処理を実施して色差信号の上記予測画像を生成する
   ことを特徴とする動画像復号方法。

Images