JP5551837B2 - 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法 - Google Patents

Description

この発明は、動画像を高効率で符号化を行う画像符号化装置及び画像符号化方法と、高効率で符号化されている動画像を復号する画像復号装置及び画像復号方法とに関するものである。

従来、ＭＰＥＧやＩＴＵ−Ｔ Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を実施した後、予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行うようにしている。
ただし、圧縮率が高くなると、動き補償予測を実施する際に用いる予測参照画像の品質が低下することに起因して、圧縮効率が妨げられる問題がある。
そのため、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、ループ内ブロッキングフィルタの処理を実施することで、直交変換係数の量子化に伴って発生する予測参照画像のブロック歪みを除去するようにしている。

特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
そして、その動きベクトルを用いて、メモリ１０７により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測誤差信号を算出する。
また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。

圧縮部１０３は、予測部１０２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、量子化することで圧縮データを得る。
局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部１０２から出力された予測誤差信号に相当する予測誤差信号を算出する。

加算器１０５は、局所復号部１０４から予測誤差信号を受けると、その予測誤差信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。

可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。

ここで、非特許文献１に開示されている符号化方式では、ループフィルタ１０６が、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて平滑化強度を決定して、ブロック境界に発生する歪みの低減を図っている。
これによって、参照画像信号の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。

一方、非特許文献１に開示されている符号化方式では、高圧縮率で符号化する程、信号の高周波成分が失われてしまい、画面全体が過度に平滑化されて映像がぼやけてしまうという問題がある。
この問題を解決するために、以下の特許文献１では、ループフィルタ１０６としてウィーナフィルタ（Ｗｉｅｎｅｒ Ｆｉｌｔｅｒ）を適用し、原画像信号である符号化対象の画像信号と、これに対応する参照画像信号との二乗誤差歪みが最小化するように、ループフィルタ１０６を構成する技術を提案している。

図２２は特許文献１に開示されている画像符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を示す説明図である。
図２２において、信号ｓは、図２１のブロック分割部１０１に入力される符号化対象の画像信号に相当する信号であり、信号ｓ’は、図２１の加算器１０５から出力される局所復号画像信号、または、非特許文献１におけるループフィルタ１０６によるブロック境界に発生する歪みが低減された局所復号画像信号に相当する信号である。
つまり、信号ｓ’は、信号ｓに符号化歪み（雑音）ｅが重畳された信号である。

ウィーナフィルタは、この符号化歪み（雑音）ｅを二乗誤差歪みの規範で最小化するように、信号ｓ’に対して施されるフィルタとして定義され、一般的に、信号ｓ’の自己相関行列Ｒ_s's'と、信号ｓ，ｓ’の相互相関ベクトルＲ_ss'とによって、下記の式（１）からフィルタ係数ｗを求めることができる。行列Ｒ_s's'，Ｒ_ss'の大きさは、求められるフィルタのタップ数に対応する。

フィルタ係数ｗのウィーナフィルタを施すことにより、品質改善がなされた信号ｓハット（電子出願の関係上、アルファベット文字に付いている「＾」をハットと表記する）が、参照画像信号に相当する信号として得られる。
なお、特許文献１では、動き情報や画像の局所的な信号特性に応じてフレームを領域分類（クラス分類）し、クラス毎に最適なウィーナフィルタを設計することで画像の局所性に応じた高精度な歪み補償を実現している。

国際公開第２００８／０１０９２９号公報

ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ.２６４規格

従来の画像符号化装置は以上のように構成されているので、符号化対象の画像の局所性に応じた高精度な歪み補償を実現することができる。しかし、クラス分類については動き情報や画像の局所的な信号特性に応じた決められた手法で行われるため、符号化対象の画像によってはフィルタ処理の効果が大きく異なり、フィルタ処理による歪み補償効果がほとんど見られない画像が発生してしまうことがある課題があった。

この発明は上記のような課題を解決するためになされたもので、画像品質の改善精度を高めることができる画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法を得ることを目的とする。

この発明に係る画像復号装置は、ビットストリームに多重化された符号化データからピクチャに対する最大サイズの符号化ブロックのサイズの情報と、最大サイズの符号化ブロックから階層的に分割されている各々の符号化ブロックに係る圧縮データを可変長復号するとともに、符号化データからピクチャに対するフィルタ処理の有無情報と、ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、最大サイズの符号化ブロックのフィルタパラメータを可変長復号する可変長復号手段と、符号化ブロックに対する予測処理を実施して予測画像を生成する予測手段と、圧縮データから差分画像を生成する差分画像生成手段と、差分画像と予測画像とを加算して復号画像を生成する復号画像生成手段と、復号画像に対してフィルタパラメータを利用したフィルタ処理を実施し、フィルタ処理後の復号画像を出力するフィルタリング手段とを備え、可変長復号手段は、ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、ピクチャに対する最大サイズの符号化ブロックに設けられたフラグであって、復号対象の最大サイズの符号化ブロックのフィルタパラメータが上または左に隣接する最大サイズの符号化ブロックのフィルタパラメータと同じであるか否かを示すフラグを可変長復号し、フラグが同じであることを示す場合、上または左に隣接する最大サイズの符号化ブロックのフィルタパラメータを復号対象の最大サイズの符号化ブロックのフィルタパラメータに設定するようにしたものである。
また、この発明に係る画像符号化装置は、ピクチャに対する最大サイズの符号化ブロックを決定する符号化パラメータ決定手段と、ピクチャを最大サイズの符号化ブロックに分割するとともに、符号化ブロックを階層的に分割するブロック分割手段と、符号化ブロックに対する予測処理を実施して予測画像を生成する予測手段と、符号化ブロックの入力画像と予測画像との差分画像を生成する差分画像生成手段と、差分画像を圧縮し、差分画像の圧縮データを出力する画像圧縮手段と、圧縮データを復号し、復号後の差分画像と予測画像とを加算して、局所復号画像を生成する局所復号画像生成手段と、局所復号画像に対してフィルタ処理を実施するフィルタリング手段と、圧縮データと、ピクチャに対する最大サイズの符号化ブロックのサイズの情報と、ピクチャに対するフィルタ処理の有無情報とを可変長符号化するとともに、ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、ピクチャに対する最大サイズの符号化ブロックに設けられたフラグであって、符号化対象の最大サイズの符号化ブロックのフィルタパラメータが上または左に隣接する最大サイズの符号化ブロックのフィルタパラメータと同じであるか否かを示すフラグを可変長符号化する可変長符号化手段とを備えるものである。

この発明によれば、ビットストリームに多重化された符号化データからピクチャに対する最大サイズの符号化ブロックのサイズの情報と、最大サイズの符号化ブロックから階層的に分割されている各々の符号化ブロックに係る圧縮データを可変長復号するとともに、符号化データからピクチャに対するフィルタ処理の有無情報と、ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、最大サイズの符号化ブロックのフィルタパラメータを可変長復号する可変長復号手段と、符号化ブロックに対する予測処理を実施して予測画像を生成する予測手段と、圧縮データから差分画像を生成する差分画像生成手段と、差分画像と予測画像とを加算して復号画像を生成する復号画像生成手段と、復号画像に対してフィルタパラメータを利用したフィルタ処理を実施し、フィルタ処理後の復号画像を出力するフィルタリング手段とを備え、可変長復号手段は、ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、ピクチャに対する最大サイズの符号化ブロックに設けられたフラグであって、復号対象の最大サイズの符号化ブロックのフィルタパラメータが上または左に隣接する最大サイズの符号化ブロックのフィルタパラメータと同じであるか否かを示すフラグを可変長復号し、フラグが同じであることを示す場合、上または左に隣接する最大サイズの符号化ブロックのフィルタパラメータを復号対象の最大サイズの符号化ブロックのフィルタパラメータに設定するように構成したので、画像品質の改善精度を高めることができる効果がある。

この発明の実施の形態１による動画像符号化装置を示す構成図である。 この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による動画像復号装置を示す構成図である。 この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂ_ｎ）が割り当てられる状況を示す説明図である。 符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。 ｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測ブロックＰ_ｉ ^ｎ内の左上画素を原点とする相対座標を示す説明図である。 この発明の実施の形態１による動画像符号化装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 適応フィルタ処理における最大符号化ブロック単位のクラス分類の一例を示す説明図である。 この発明の実施の形態１による動画像復号装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 この発明の実施の形態１による動画像符号化装置のループフィルタ部で適応フィルタ処理を行う場合の一例を示すフローチャートである。 この発明の実施の形態１による動画像符号化装置のループフィルタ部で適応フィルタ処理を行う場合の一例を示すフローチャートである。 適応フィルタ処理における符号化ブロック単位のフィルタ処理の有無の一例を示す説明図である。 適応フィルタ処理の最大符号化ブロック単位のクラス番号のＭｏｖｅ−Ｔｏ−Ｆｒｏｎｔを用いた符号化処理を示す説明図である。 適応フィルタ処理における最大符号化ブロック単位のフィルタ処理の有無の一例を示す説明図である。 この発明の実施の形態１による動画像符号化装置の可変長符号化部によって生成されるビットストリームの一例を示す説明図である。 この発明の実施の形態１による動画像復号装置のループフィルタ部で適応フィルタ処理を行う場合の一例を示すフローチャートである。 画素適応オフセット処理を行う場合のクラス分類手法の一部を示す説明図である。 非特許文献１に開示されている画像符号化装置を示す構成図である。 ウィーナフィルタによる参照画像信号の品質改善の原理を示す説明図である。 適応フィルタ処理または画素適応オフセット処理における最大符号化ブロック単位のインデックスの符号化の一例を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部１は入力画像を符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
なお、ブロック分割部１はブロック分割手段を構成している。

符号化制御部２は符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部２は選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。
選択手法の一例として、選択可能な１以上の符号化モードの中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。

また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる直交変換ブロックの分割情報を示す直交変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
なお、符号化制御部２は符号化制御手段を構成している。

切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。

イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりイントラ符号化モードが選択された場合、その符号化ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部４及びイントラ予測用メモリ１０からイントラ予測手段が構成されている。

動き補償予測部５は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
なお、動き補償予測部５及び動き補償予測フレームメモリ１２から動き補償予測手段が構成されている。

減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部７に出力する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を直交変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。

逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位に変換・量子化部７から出力された圧縮データを逆量子化するとともに逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
なお、逆量子化・逆変換部８及び加算部９から局所復号画像生成手段が構成されている。
イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。

ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１０に示すように、２つ以上のフィルタ処理を行うように構成してもよい。
一般に、使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にあるため、動画像符号化装置が許容する処理負荷にしたがって構成を決めればよい。
なお、ループフィルタ部１１はフィルタリング手段を構成している。

ここで、画素適応オフセット処理は、最初に、最大符号化ブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化対象画像と局所復号画像との間の輝度値の二乗誤差和が最小となるオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
したがって、画素適応オフセット処理は、最大符号化ブロック単位のクラス分類手法を示すインデックス、最大符号化ブロック単位の各クラスのオフセット値をフィルタパラメータの一部として可変長符号化部１３に出力する。

また、適応フィルタ処理は、図１１に示すように、最大符号化ブロック単位にフィルタ処理を行わない場合も含めてクラス分類（グループ分類）を行い（図１１の例では、クラス番号０が“フィルタ処理なし”を示している）、各クラス（グループ）に属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、上記のクラス（グループ）の数（フィルタ数）、各クラス（グループ）に属する局所復号画像のフィルタ、最大符号化ブロック単位のクラス（グループ）の識別情報であるクラス番号（フィルタ番号）をフィルタパラメータの一部として可変長符号化部１３に出力する。
なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、映像信号がループフィルタ部１１に入力されるように図１の動画像符号化装置を変更する必要がある。

また、画素適応オフセット処理と適応フィルタ処理を共に用いる手法として、図１０に示す形ではなく、最大符号化ブロック単位に画素適応オフセット処理と適応フィルタ処理の何れか一方を最適選択するようにしてもよい。このようにすることで最大符号化ブロック毎のフィルタ処理の演算量を抑えつつ高精度なフィルタ処理が実現できる。ただし、このように構成した場合は、最大符号化ブロック単位の画素適応オフセット処理を行うか適応フィルタ処理を行うかの選択情報をフィルタパラメータの一部として可変長符号化部１３に出力する。

動き補償予測フレームメモリ１２はループフィルタ部１１のフィルタ処理後の局所復号画像を格納する記録媒体である。
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）と、ループフィルタ部１１から出力されたフィルタパラメータとを可変長符号化してビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。

図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。

図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部３１は図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。
また、可変長復号部３１はブロック分割情報を参照して、最大復号ブロック（図１の動画像符号化装置の「最大符号化ブロック」に相当するブロック）単位に、最大復号ブロックを階層的に分割して復号処理を行う単位である復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定し、各々の復号ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号するとともに、最大復号ブロック毎のループフィルタ部３８で用いるフィルタパラメータを可変長復号する処理を実施する。なお、可変長復号部３１は可変長復号手段を構成している。

逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、可変長復号部３１により可変長復号された圧縮データを直交変換ブロック単位に逆量子化するとともに逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部３２は差分画像生成手段を構成している。

切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。

イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがイントラ符号化モードである場合、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部３４及びイントラ予測用メモリ３７からイントラ予測手段が構成されている。

動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがインター符号化モードである場合、上記復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
なお、動き補償部３５及び動き補償予測フレームメモリ３９から動き補償予測手段が構成されている。

加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。なお、加算部３６は復号画像生成手段を構成している。
イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。

ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１２に示すように、２つ以上のフィルタ処理を行うように構成してもよいが、動画像符号化装置のループフィルタ部１１で行われるフィルタ処理と同じフィルタ処理を行うように構成しなくてはならない。
なお、ループフィルタ部３８はフィルタリング手段を構成している。

ここで、画素適応オフセット処理は、可変長復号部３１により可変長復号されたフィルタパラメータに含まれる最大復号ブロック単位のクラス分類手法を示すインデックスを参照し、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、最大復号ブロック単位にブロック内の各画素をクラス分類する。
次に、可変長復号部３１により可変長復号されたフィルタパラメータに含まれているクラス毎のオフセット値を当該クラスに属する画素の輝度値に加算する処理を行うことで復号画像の画像品質を改善する。
また、適応フィルタ処理は、可変長復号部３１により可変長復号されたフィルタパラメータ（クラス（グループ）数（フィルタ数）、各クラス（グループ）に属する局所復号画像のフィルタ、最大復号ブロック単位のクラス（グループ）の識別情報であるクラス番号（フィルタ番号））を参照し、そのクラス番号が示すクラス（グループ）が“オフセット処理を行わない”ことを示すクラス（グループ）でない場合、そのクラス番号に対応するフィルタを用いて、そのクラス（グループ）に属する復号画像のフィルタ処理を行う。
動き補償予測フレームメモリ３９はループフィルタ部３８のフィルタ処理後の復号画像を格納する記録媒体である。

また、ループフィルタ部３８のフィルタ処理全体の演算量を抑えつつ画素適応オフセット処理と適応フィルタ処理を共に用いる手法として、最大符号化ブロック単位に画素適応オフセット処理と適応フィルタ処理の何れか一方を最適選択するように動画像符号化装置のループフィルタ部１１が構成されている場合、可変長復号部３１により可変長復号されたフィルタパラメータに含まれている最大復号ブロック単位の画素適応オフセット処理を行うか適応フィルタ処理を行うかの選択情報を参照して、最大復号ブロック毎に画素適応オフセット処理か適応フィルタ処理を実施する。

図３の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。

次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。

図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。

符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。

図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。

以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。

また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。

ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。すなわち、符号化モードはどのような予測ブロック分割を持つイントラモードまたはインター符号化モードかを識別するインデックスである。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。

また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び直交変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、詳細は後述するが、イントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。

符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。

ブロック分割部１は、入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。

ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ^０，Ｍ^０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌ^ｎ，Ｍ^ｎ）の画像領域である。
ただし、Ｌ^ｎとＭ^ｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌ^ｎ＝Ｍ^ｎのケースを示している。

以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌ^ｎ，Ｍ^ｎ）と定義する。
４分木分割を行うため、常に、（Ｌ^ｎ＋１，Ｍ^ｎ＋１）＝（Ｌ^ｎ／２，Ｍ^ｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌ^ｎ，Ｍ^ｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌ^ｎ／２，Ｍ^ｎ／２）になる。

以降、第ｎ階層の符号化ブロックをＢ^ｎで表し、符号化ブロックＢ^ｎで選択可能な符号化モードをｍ（Ｂ^ｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂ^ｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。

符号化ブロックＢ^ｎは、図５に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢ^ｎに属する予測ブロックをＰ_ｉ ^ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にはＰ_０ ^０とＰ_１ ^０の例を示している。
符号化ブロックＢ^ｎ内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂ^ｎ）の中に情報として含まれる。
予測ブロックＰ_ｉ ^ｎは、全て符号化モードｍ（Ｂ^ｎ）に従って予測処理が行われるが、予測ブロックＰ_ｉ ^ｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。

符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂ^ｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂ^ｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂ^ｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。

切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードである場合（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢ^ｎを動き補償予測部５に出力する。

イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。

動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであり（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢ^ｎを受けると（ステップＳＴ３）、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎと動き補償予測フレームメモリ１２に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施して、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。

減算部６は、ブロック分割部１から符号化ブロックＢ^ｎを受けると、その符号化ブロックＢ^ｎ内の予測ブロックＰ_ｉ ^ｎから、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅ_ｉ ^ｎを変換・量子化部７に出力する（ステップＳＴ６）。

変換・量子化部７は、減算部６から予測差分信号ｅ_ｉ ^ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、その予測差分信号ｅ_ｉ ^ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を直交変換ブロック単位に実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。

逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅ_ｉ ^ｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。

加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償予測部５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。

ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
ループフィルタ部１１の処理内容の詳細は後述する。

ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢ^ｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢ^ｎに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。

可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂ^ｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）と、ループフィルタ部１１から出力されたフィルタパラメータとを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。
可変長符号化部１３によるフィルタパラメータの可変長符号化処理の詳細については後述する。

次に、イントラ予測部４の処理内容を詳細に説明する。
図７は符号化ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎが選択可能なイントラ予測パラメータであるイントラ予測モードの一例を示す説明図である。ただし、Ｎ_Ｉはイントラ予測モード数を表している。
図７では、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示しており、図７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。

イントラ予測部４は、上述したように、予測ブロックＰ_ｉ ^ｎのイントラ予測パラメータを参照して、その予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成するが、ここでは、輝度信号における予測ブロックＰ_ｉ ^ｎのイントラ予測信号を生成するイントラ処理について説明する。

予測ブロックＰ_ｉ ^ｎのサイズをｌ_ｉ ^ｎ×ｍ_ｉ ^ｎ画素とする。
図８はｌ_ｉ ^ｎ＝ｍ_ｉ ^ｎ＝４の場合の予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰ_ｉ ^ｎの上の符号化済みの（２×ｌ_ｉ ^ｎ＋１）個の画素と、左の符号化済みの（２×ｍ_ｉ ^ｎ）個の画素を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰ_ｉ ^ｎの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。

予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素を用いて、これら画素と予測ブロックＰ_ｉ ^ｎ内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
予測ブロックＰ_ｉ ^ｎに対するイントラ予測モードのインデックス値が２（平均値（ＤＣ）予測）の場合には、予測ブロックＰ_ｉ ^ｎの上に隣接する符号化済み画素と予測ブロックＰ_ｉ ^ｎの左に隣接する符号化済み画素の平均値を予測ブロックＰ_ｉ ^ｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が０（平面予測）と２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルυ_ｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰ_ｉ ^ｎ内の画素の予測値を生成する。
図９に示すように、予測ブロックＰ_ｉ ^ｎの左上画素を原点として、予測ブロックＰ_ｉ ^ｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。

以上に述べた処理によって、予測ブロックＰ_ｉ ^ｎ内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを出力する。
なお、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために可変長符号化部１３に出力される。

なお、先に説明したＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画像に対して施される平滑化処理と同様に、イントラ予測部４において、予測ブロックＰ_ｉ ^ｎの中間予測画像を生成する際の参照画素を、予測ブロックＰ_ｉ ^ｎに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の中間予測画像に対するフィルタ処理を行うことができる。

予測ブロックＰ_ｉ ^ｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と異なっていてもよい。例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号と比べて、画像信号の複雑性が低く、予測が容易であることから、選択可能なイントラ予測パラメータは輝度信号よりも少ない数としてイントラ予測パラメータを符号化するのに要する符号量の削減や、予測処理の低演算化を図ってもよい。

次に、ループフィルタ部１１の処理内容を詳細に説明する。
ループフィルタ部１１は、加算部９により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１０に示すように、２つ以上のフィルタ処理を行うように構成してもよい。
一般に、使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にあるため、動画像符号化装置が許容する処理負荷にしたがって構成を決めればよい。

ここで、画素適応オフセット処理は、最初に、最大符号化ブロック単位に所定の手法で、ブロック内の各画素をクラス分類し、クラス毎に符号化対象画像と局所復号画像との間の輝度値の二乗誤差和が最小となるオフセット値を算出する。
そして、各クラスのオフセット値を当該クラスに属する画素（局所復号画像の画素）の輝度値に加算する処理を行うことで局所復号画像の画像品質を改善する。

クラス分類を行う所定の手法としては、局所復号画像の輝度値の大きさで分類する手法や、図２０に示すようなエッジの方向毎に、各画素の周囲の状況（エッジ部か否か等）に応じて分類する手法があり、これらの手法は、予め画像符号化装置及び画像復号装置共通で用意されており、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、符号化側では、これらの手法の中で、どの手法を用いて、クラス分類を行うかを上記ブロック単位に選択する。
また、ピクチャ全体で画素適応オフセット処理を行わない場合と、上記で決定した画素適応オフセット処理を行う場合を比較して、どちらが良いか選択する。
したがって、画素適応オフセット処理は、ピクチャレベルの画素適応オフセット処理の有無情報と、この有無情報が“有り”を示す場合は、最大符号化ブロック単位のクラス分類手法を示すインデックス、最大符号化ブロック単位の各クラスのオフセット値をフィルタパラメータの一部として可変長符号化部１３に出力する。

次に、適応フィルタ処理を具体的に説明する。
図１３は適応フィルタ処理の一例を示すフローチャートである。
図１３の例では、最大符号化ブロック単位の適応フィルタ処理を実施するために、ステップＳＴ１０２〜ＳＴ１０６のフィルタ選択及びフィルタ処理を各最大符号化ブロックに対して実行する（ステップＳＴ１０１）。

ステップＳＴ１０２〜ＳＴ１０６のフィルタ選択及びフィルタ処理について説明する。
まず、現在の処理対象の最大符号化ブロックに対して、フィルタ処理を実施しない場合のコストＣ_０をフィルタ番号０の場合として算出する（ステップＳＴ１０２）。
コストの定義としては、下記に示す例がある。
コスト＝Ｄ＋λ・Ｒ （３）
ただし、Ｄはブロック内における符号化対象の画像信号と、フィルタ処理後の局所復号画像信号間の二乗誤差和、λは定数である。
また、Ｒは使用するフィルタを選択するためのフィルタ番号と、そのフィルタ番号に対応するフィルタの係数とを符号化する際に要する符号量である。

ここでは、コストを式（３）で表しているが、例えば、二乗誤差和Ｄだけをコストとしてもよい。このようにすることで、コストとしての正確性は低下するが、コストの算出負荷が減少する。
また、Ｄは二乗誤差和ではなく、より演算負荷の低い誤差の絶対値和であってもよい。
コストをどのような式で定義するかは、動画像符号化装置が許容する演算負荷に従って決めればよい。
なお、フィルタ処理を実施しない場合のコストＣ_０の場合、Ｄは符号化対象の画像信号とフィルタ処理を行っていない局所復号画像信号間の二乗誤差和となり、フィルタに要する符号量Ｒは０となる。

次に、処理対象の最大符号化ブロック内の画素を対象にして、符号化対象の画像信号と局所復号画像信号間の二乗誤差和を最小化するウィーナフィルタを式（１）に従って算出し（ステップＳＴ１０３）、ブロック内の画素に対して、フィルタ処理を実施した場合のコストＣ_ｎｅｗを算出する（ステップＳＴ１０４）。ここで、ウィーナによるフィルタ処理は下記の式（４）で表される。

ただし、ｘ_０はフィルタ処理対象画素、ｘ_ｌ（ｌ＝０，１，２，・・・，Ｌ−１）はフィルタの参照画素（フィルタ処理対象画素を含む）、Ｌはフィルタの参照画素数である。
また、Ｓ（ｘ）は画素ｘの輝度値、Ｓ’（ｘ）は画素ｘにおけるフィルタ処理後の輝度値、ａ_ｍ（ｍ＝０，１，２，・・・，Ｌ）はフィルタ係数を表している。
なお、ａ_Ｌはオフセット係数を示し、常にａ_Ｌ＝０としてオフセット係数を無効としてもよい。このようにすることで、フィルタ性能は低下するものの、符号化すべきフィルタ係数が削減され、フィルタ係数の符号化に要する符号量を削減することができる。

さらに、現在の処理対象の最大符号化ブロックで設計したフィルタ以外に使用できるフィルタ（フィルタ番号１，２，・・・，ｎｕｍｂｌに設定されたフィルタ）を用いて、フィルタ処理を実施した場合のコストＣ_１，Ｃ_２，・・・，Ｃ_{ｎｕｍｂｌ}を算出する（ステップＳＴ１０５）。
ただし、ｎｕｍｂｌは現在の処理対象の最大符号化ブロックで設計したフィルタ以外に使用できるフィルタの数を表している。
現在の処理対象の最大符号化ブロックで設計したフィルタ以外に使用できるフィルタの例としては、既にフィルタ処理を実施した最大符号化ブロックで使用したフィルタや、符号化処理を行う前に予め用意したフィルタなどが挙げられる。

次に、これまでに算出した各コストＣ_ｎｅｗ，Ｃ_０，Ｃ_１，Ｃ_２，・・・，Ｃ_{ｎｕｍｂｌ}の中で、最小となるコストを特定し、そのコストに係るフィルタ処理を現在の処理対象の最大符号化ブロックでのフィルタ処理に決定する（ステップＳＴ１０６）。
その際、決定したフィルタ処理が、現在の処理対象の最大符号化ブロックで設計したフィルタ（コストＣ_ｎｅｗ）であった場合、この設計したフィルタを次の処理対象の最大符号化ブロックで使用できるｎｕｍｂｌ＋１番目のフィルタ（フィルタ番号ｎｕｍｂｌ＋１）として設定し、使用できるフィルタ数ｎｕｍｂｌを１加算する。
そして、次の処理対象の最大符号化ブロックのフィルタ選択及びフィルタ処理に移る（ステップＳＴ１０７）。なお、上記で設定しているフィルタ番号をクラス番号と定義し、そのフィルタの数をクラス数と称する。

以上の処理を全ての最大符号化ブロックに対して実施し、最後にピクチャ全体で適応フィルタ処理を行わない場合と、上記で決定した最大符号化ブロック単位の適応フィルタ処理を行う場合とを比較し、最適な方を選択する。
したがって、適応フィルタ処理は、ピクチャレベルの適応フィルタ処理の有無情報と、この有無情報が“有り”を示す場合は、クラス数、“フィルタ処理なし”を含む最大符号化ブロック単位のクラス番号、各クラスのフィルタ係数をフィルタパラメータの一部として可変長符号化部１３に出力する。

なお、適応フィルタ処理の例としては、図１３以外にも図１４に示す例などが考えられる。
図１４の例においても、各最大符号化ブロックでのフィルタ処理の選択手法が異なるだけで、図１１に示すように、最大符号化ブロック単位の使用するフィルタを表すクラス番号と、各クラス番号に対応するフィルタを可変長符号化部１３に出力するフィルタパラメータとする点は同じである。
即ち、図１４の例では、予めピクチャ内で使用するフィルタを用意しておき（ステップＳＴ１０８）、各最大符号化ブロックに対して、フィルタ処理を行わない場合のコストＣ_０（ステップＳＴ１１０）と、予め用意したフィルタを用いた場合のコストＣ_１，Ｃ_２，・・・，Ｃ_{ｎｕｍｂｌ}（ステップＳＴ１１１）とを算出して、コストが最小となる最適なフィルタ処理を選択する（ステップＳＴ１１２）。
そして、ステップＳＴ１１０〜ＳＴ１１２までの処理をピクチャ内の全ての最大符号化ブロックに対して実施することで（ステップＳＴ１０９，ＳＴ１１３）、各最大符号化ブロックでのフィルタ処理を決定する。

図１３の例と比較して、図１４の例では、予め用意したフィルタセットのみを使用するため、最大符号化ブロック単位のフィルタ設計の処理が不要となる。このため、フィルタの最適性は低下するが、処理負荷を軽減することができる。
したがって、フィルタ処理の画質改善効果よりも処理負荷を重視する場合は、図１４の例を用いればよい。

また、上記例では、最大符号化ブロック単位に最適なフィルタ処理を決定しているが、最大符号化ブロックよりも小さい領域単位で考えると、フィルタ処理によって符号化対象画像と局所復号画像との間の輝度値の二乗誤差和が増加してしまう場合が存在する可能性がある。
したがって、図１５に示すように、最大符号化ブロックを分割した符号化ブロック単位にフィルタ処理を実施するか否かを選択するようにしてもよい。
このようにすることで、符号化対象画像と局所復号画像との間の輝度値の二乗誤差が増加してしまう画素数を減らすことができるため、高精度なフィルタ処理を実現することができる。本処理を行う場合には、符号化ブロック単位のフィルタ処理の有無情報もフィルタパラメータとして符号化する必要がある。
なお、本符号化ブロック単位のフィルタのオン・オフ処理は、画素適応オフセット処理に導入しても、適応フィルタ処理に導入した場合と同様の効果が得られる。

さらに、上記例では、最大符号化ブロック単位に最適なフィルタ処理を１つ決定しているが、最大符号化ブロック単位内の小ブロック単位に局所的性質（分散などの輝度値の散らばり度、エッジの方向）などに応じてグループ分類を行い、そのグループ毎にフィルタを設計し、フィルタ処理を行うようにしてもよい。このようにすることで、最大符号化ブロック単位にグループ数分のフィルタを符号化する必要があるためフィルタに要する符号量は増加するものの、より小さい領域単位に最適なフィルタを用いることが可能になるため、高精度なフィルタ処理を実現することができる。本処理を行うように動画像符号化装置を構成する場合は、動画像復号装置側でも動画像符号化装置と同一のグループ分類を行うように構成する必要がある。

また、画素適応オフセット処理と適応フィルタ処理を共に用いる手法として、図１０に示す形ではなく、最大符号化ブロック単位に画素適応オフセット処理と適応フィルタ処理の何れか一方を最適選択するようにしてもよい。このようにすることで最大符号化ブロック毎のフィルタ処理の演算量を抑えつつ高精度なフィルタ処理が実現できる。ただし、このように構成した場合は、最大符号化ブロック単位の画素適応オフセット処理を行うか適応フィルタ処理を行うかの選択情報をフィルタパラメータの一部として可変長符号化部１３に出力して符号化する。

また、上記例では最大符号化ブロック単位に画素適応オフセット処理のクラス分類手法選択、適応フィルタ処理のクラス選択を行うものについて説明したが、任意のブロックサイズ単位で行えるようにしてもよい。このようにすることで、絵柄が複雑でない画像では最大符号化ブロックよりも大きいブロックサイズで行うことで画質改善性能をあまり低下させることなく符号化すべきブロック単位の選択情報を削減することができる。一方、絵柄が複雑な画像では最大符号化ブロックよりも小さいブロックサイズで行うことで符号化すべきブロック単位の選択情報は増加するものの、複雑な絵柄の変化に追随した処理が可能となるため大きな画質改善効果が得られる。なお、上記のように任意のブロックサイズ単位に画素適応オフセット処理のクラス分類手法選択、適応フィルタ処理のクラス選択を行うようにする場合、上記ブロックサイズをフィルタパラメータの一部として可変長符号化部１３に出力して符号化する。

次に、フィルタパラメータの可変長符号化処理の詳細について説明する。
可変長符号化部１３では、ループフィルタ部１１から出力されたフィルタパラメータを可変長符号化する。
フィルタパラメータとしては、画素適応オフセット処理に必要なパラメータとして、ピクチャレベルの画素適応オフセット処理の有無情報と、その有無情報が“処理有り”の場合は、最大符号化ブロック単位のクラス分類手法を示すインデックスと、最大符号化ブロック単位の各クラスのオフセット値とがある。
また、適応フィルタ処理に必要なパラメータとして、ピクチャレベルの適応フィルタ処理の有無情報と、その有無情報が“処理有り”の場合は、クラス数、最大符号化ブロック単位の使用するフィルタを示すクラス番号と、各クラス番号に対応するフィルタ係数がある。

特に、適応フィルタ処理の最大符号化ブロック単位のクラス番号の可変長符号化は、図１６に示すＭｏｖｅ−Ｔｏ−Ｆｒｏｎｔを用いた符号化処理を実施する。
Ｍｏｖｅ−Ｔｏ−Ｆｒｏｎｔとは、クラス番号を符号化した後に、そのクラス番号を最も小さい符号化インデックス（インデックス０）に割り当てて、その他のクラス番号は対応する符号化インデックスを１加算する処理である。
このように最大符号化ブロック毎に符号化インデックスを更新することで、クラス番号に空間的相関が存在する場合は、符号化インデックスの生起確率が０近傍に偏り、この発生頻度確率に応じた可変長符号化を実施することで高い符号化効率で符号化することができる。
さらに、上記符号化インデックスの可変長符号化にゴロム符号を用いる場合、符号化インデックスの最大値は復号処理に不要である。すなわち、ゴロム符号を用いる場合、クラス数は必要ないため符号化しなくてよい。したがって、ゴロム符号を用いればクラス数の符号化に要する符号量を削減できる。また、アルファ符号（Ｕｎａｒｙ符号）や、ガンマ符号、デルタ符号などを用いた場合でも同様に符号化インデックスの最大値は復号処理に不要であるため、クラス数の符号化は不要となる。
あるいは、最大符号化ブロック毎に符号化時に選択可能なフィルタインデックス数（図１３のｎｕｍｂｌ）で可変長符号化の確率モデルを毎回設計してエントロピー符号化を行ってもよい。このようにすることで、実際に選択可能なフィルタのみの発生確率に基づいて符号化できるため、より高効率な符号化が実施できる。なお、この場合もクラス数を符号化する必要はなく、符号量を抑えることができる。

最大符号化ブロック単位のクラス番号（フィルタ番号）の符号化手法としては、図１７に示すように、先に最大符号化ブロック単位のフィルタ処理の有無情報を符号化し、さらに、その有無情報が“フィルタ処理有り”を示す場合は、上記で説明したクラス番号の符号化を実施するようにしてもよい。このようにすることで、フィルタ処理なしの場合の各クラスの生起確率と、フィルタ処理ありの場合の各クラスの生起確率とが大きく異なる場合に、可変長符号化の確率モデルの設計を簡単化することができる。

また、画素適応オフセット処理の最大符号化ブロック単位のクラス分類手法を示すインデックスの符号化についても、上記適応フィルタ処理の最大符号化ブロック単位のクラス番号の符号化と同様に、Ｍｏｖｅ−Ｔｏ−Ｆｒｏｎｔを用いると、インデックスの生起確率を０近傍に偏りやすくし、この発生頻度確率に応じた可変長符号化を実施することで高い符号化効率で符号化することができる。

適応フィルタ処理の最大符号化ブロック単位のクラス番号（クラスインデックス）の符号化と、画素適応オフセット処理の最大符号化ブロック単位のクラス分類手法を示すインデックスの符号化については、上記のＭｏｖｅ−Ｔｏ−Ｆｒｏｎｔを用いる符号化手法の他にも、最大符号化ブロック単位に周囲のブロック（例えば、上と左のブロック）と同じか否か示すフラグと、フラグが“同じ”を示す場合は、どのブロックと同じかを示すインデックス、フラグが“同じでない”を示す場合は、符号化対象のインデックスを符号化する手法も考えられる。
他にも、図２３に示すように、上のブロックと同じインデックスかどうかを示すフラグと、右に同じインデックスが何ブロック続くかを示すパラメータ（ｒｕｎ−ｌｅｎｇｔｈ）を符号化しするようにし、符号化対象ブロックが左のブロックと同じインデックスでなく、上のブロックとも同じインデックスでない場合、すなわち、符号化対象ブロックの左のブロックでｒｕｎ−ｌｅｎｇｔｈが終了していて上のブロックと同じインデックスかどうかを示すフラグが“同じでない”を示す場合のみ、符号化対象のインデックスを符号化する手法も考えられる。
これらの手法もＭｏｖｅ−Ｔｏ−Ｆｒｏｎｔを用いる符号化手法と同様に、符号化対象ブロックの左のブロックとのインデックスに空間的相関が存在する場合は高い符号化効率を実現することができる。さらに、これらの手法はＭｏｖｅ−Ｔｏ−Ｆｒｏｎｔを用いる符号化手法とは異なり、符号化対象ブロックの上のブロックとのインデックスに空間的相関が存在する場合についても高い符号化効率を実現することができる。

なお、ヘッダ情報にピクチャ単位で使用できる画素適応オフセット処理の最大オフセット数や適応フィルタ処理の最大クラス数を符号化するようにしてもよい。このようにすることで、復号側でもピクチャ当りに復号しなければならない最大のオフセット数やフィルタ数がわかるため、リアルタイム復号装置を実現するための制限をヘッダ情報にて規定できるようになる。

ここで、図１８は可変長符号化部１３によって生成されるビットストリームを示している。
ビットストリームでは、シーケンスレベルヘッダとピクチャレベルヘッダがピクチャデータの前に少なくとも一つは挿入されており、各ピクチャの復号に必要なパラメータが参照できるようになっている。
また、ピクチャデータは、少なくとも１つ以上のスライスに分かれて符号化されており、スライスは最大符号化ブロックを分割した符号化ブロック単位に構成することができる。
そして、ピクチャレベルヘッダと同様に、可変長符号化されたフィルタパラメータは、フィルタパラメータセットとして、ピクチャデータの前に少なくとも１つは挿入されている。
各スライスは、スライスヘッダにどのフィルタパラメータセットを参照するかを示すインデックスを持つことで、各スライスでループフィルタ部１１の処理に必要なパラメータを参照することができるようになっている。

また、適応フィルタ処理と画素適応オフセット処理は、図１５に示すように、最大符号化ブロックを分割した符号化ブロック単位にフィルタ処理を実施するか否かを選択するように適応フィルタ処理を定義している場合、この符号化ブロック単位のフィルタ処理の有無情報を可変長符号化してピットストリームに多重する。符号化された符号化ブロック単位のフィルタ処理の有無情報は、図１８のスライス単位に、各スライスの持つ符号化ブロックの範囲のフィルタ処理の有無情報をスライスヘッダに多重する。もしくは、その他のフィルタパラメータと一緒にフィルタパラメータセットとしてビットストリームに多重してもよい。

次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
その際、フィルタパラメータセットとして符号化されたループフィルタ部３８で使用するフィルタパラメータを復号する。
フィルタパラメータとしては、画素適応オフセット処理に必要なパラメータとして、ピクチャレベルの画素適応オフセット処理の有無情報と、その有無情報が“処理有り”の場合は、最大復号ブロック単位のクラス分類手法を示すインデックスと、最大復号ブロック単位の各クラスのオフセット値とがある。
適応フィルタ処理に必要なパラメータとして、ピクチャレベルの適応フィルタ処理の有無情報と、その有無情報が“処理有り”の場合は、クラス数と、最大復号ブロック単位の使用するフィルタを表すクラス番号と、各クラス番号に対応するフィルタ係数とがある。
ただし、最大復号ブロック単位の使用するフィルタを表すクラス番号の符号化をゴロム符号やアルファ符号（Ｕｎａｒｙ符号）、ガンマ符号、デルタ符号などを用いて行っていたり、各最大復号ブロックで選択できるクラス数のみで確率モデルを設計してエントロピー符号化を行っていたりする場合はクラス数が不明でも復号できるため、動画像符号化装置にてクラス数を符号化する必要はなく、このように動画像符号化装置がクラス数を符号化していない場合は動画像復号装置においてもクラス数の復号は行わない。

また、可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では、上記最大符号化ブロックサイズを最大復号ブロックサイズと称し、最大符号化ブロックを最大復号ブロックと称する。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。

次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。
可変長復号部３１は、その符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。

即ち、可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。
また、可変長復号部３１は、予測差分符号化パラメータに含まれる直交変換ブロック分割情報に基づき、直交変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。

切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モードであれば（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。

イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がイントラ符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎを生成する（ステップＳＴ２６）。

動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂ^ｎ）がインター符号化モード（ｍ（Ｂ^ｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた復号ブロックＢ^ｎ内の各予測ブロックＰ_ｉ ^ｎに対するインター予測処理を実施してインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎを生成する（ステップＳＴ２７）。

逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。
また、逆量子化・逆変換部３２は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。

加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像Ｐ_{ＩＮＴＲＡｉ} ^ｎ、または、動き補償部３５により生成されたインター予測画像Ｐ_{ＩＮＴＥＲｉ} ^ｎのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。

ループフィルタ部３８は、全ての復号ブロックＢ^ｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１２に示すように、２つ以上のフィルタ処理を行うように構成してもよいが、動画像符号化装置のループフィルタ部１１で行われるフィルタ処理と同じフィルタ処理を行うように構成しなくてはならない。

ここで、画素適応オフセット処理は、可変長復号部３１により可変長復号されたフィルタパラメータに含まれる最大復号ブロック単位のクラス分類手法を示すインデックスを参照して、予め用意されたクラス分類手法の中から、そのインデックスに対応するクラス分類手法を特定し、そのクラス分類手法を用いて、最大復号ブロック単位にブロック内の各画素をクラス分類する。
そして、可変長復号部３１により可変長復号されたフィルタパラメータに含まれるクラス毎のオフセット値を当該クラスに属する画素（復号画像の画素）の輝度値に加算する処理を行う。

また、適応フィルタ処理は、可変長復号部３１により可変長復号されたフィルタパラメータ（クラス数（フィルタ数）、各クラスに属する局所復号画像のフィルタ、ブロック単位のクラスの識別情報であるクラス番号（フィルタ番号））を参照し、そのクラス番号が示すクラスが“オフセット処理を行わない”ことを示すクラスでない場合、そのクラス番号に対応するフィルタを用いて、そのクラスに属する復号画像のフィルタ処理を行う。

ここで、図１９は適応フィルタ処理のフローチャートの一例を示している。
図１９の例では、最大復号ブロック単位の適応フィルタ処理を実施するために、ステップＳＴ２２２〜ＳＴ２２４のフィルタ処理を各最大復号ブロックに対して実行する（ステップＳＴ２２１）。
ステップＳＴ２２２〜ＳＴ２２４のフィルタ処理について説明する。

まず、可変長復号部３１により可変長復号されたフィルタパラメータに含まれる最大復号ブロック単位のクラス番号から、処理対象の最大復号ブロックに対してフィルタ処理を実施するか否かを判定する（ステップＳＴ２２２）。
フィルタ処理を行う場合は、上記のクラス番号に対応するフィルタを用いて、ブロック内の画素に対するフィルタ処理を実施する（ステップＳＴ２２３）。そして次の最大復号ブロックに移る（ＳＴ２２４）。
以上の処理を全ての最大復号ブロックに対して実施し、処理後の復号画像を動き補償予測フレームメモリ３９に格納する。

また、ループフィルタ部３８のフィルタ処理全体の演算量を抑えつつ画素適応オフセット処理と適応フィルタ処理を共に用いる手法として、最大符号化ブロック単位に画素適応オフセット処理と適応フィルタ処理の何れか一方を最適選択するように動画像符号化装置のループフィルタ部１１が構成されている場合、可変長復号部３１により可変長復号されたフィルタパラメータに含まれている最大復号ブロック単位の画素適応オフセット処理を行うか適応フィルタ処理を行うかの選択情報を参照して、最大復号ブロック毎に画素適応オフセット処理か適応フィルタ処理を実施する。

また、上記例では最大復号ブロック単位の画素適応オフセット処理のクラス分類手法選択情報、適応フィルタ処理のクラス選択情報を復号してループフィルタ処理を行うものについて説明したが、ブロックサイズと、そのブロックサイズ単位の画素適応オフセット処理のクラス分類手法選択情報、適応フィルタ処理のクラス選択情報が符号化されるように動画像符号化装置が構成されている場合は、可変長復号部３１により上記ブロックサイズと、そのブロックサイズ単位の画素適応オフセット処理のクラス分類手法選択情報、適応フィルタ処理のクラス選択情報を可変長復号し、ループフィルタ部３８はこれらのパラメータに基づいて上記ブロックサイズ単位のループフィルタ処理を実施する。

なお、スライスヘッダに最大復号ブロックを分割した復号ブロック単位にフィルタ処理を実施するか否かの情報が符号化されている場合は、可変長復号部３１によって上記情報を復号し、ステップＳＴ２２３の処理は、フィルタ処理を行うという情報を持つ復号ブロックのみにフィルタ処理を実施する。
このループフィルタ部３８によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。

以上で明らかなように、この実施の形態１によれば、動画像符号化装置のループフィルタ部１１が、符号化制御部２により決定された最大サイズの符号化ブロック単位に、加算部９により生成された局所復号画像のクラス分けを実施するとともに、各クラスに属する局所復号画像毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施し、可変長符号化部１３が、ループフィルタ部１１により設計された各クラスに属する局所復号画像に用いるフィルタ及び各最大符号化ブロックのクラス番号をフィルタパラメータとして符号化するように構成したので、ユーザが所定のブロックサイズ単位に、任意の手法で任意のクラス数のクラス分類を行って、各クラスに属する領域毎にフィルタ処理が行えるため、符号化対象画像に応じたクラス分類が可能であり、画像品質の改善精度を高めることができる効果を奏する。

この実施の形態１によれば、動画像復号装置の可変長復号部３１により可変長復号されたフィルタパラメータを参照して、各クラスに属するフィルタを用いてフィルタ処理を行うように構成したので、動画像符号化装置側で最適なクラス分類を求めて符号化することで、画像品質の改善精度を高めることができる効果を奏する。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ ブロック分割部（ブロック分割手段）、２ 符号化制御部（符号化制御手段）、３ 切換スイッチ、４ イントラ予測部（イントラ予測手段）、５ 動き補償予測部（動き補償予測手段）、６ 減算部（差分画像生成手段）、７ 変換・量子化部（画像圧縮手段）、８ 逆量子化・逆変換部（局所復号画像生成手段）、９ 加算部（局所復号画像生成手段）、１０ イントラ予測用メモリ（イントラ予測手段）、１１ ループフィルタ部（フィルタリング手段）、１２ 動き補償予測フレームメモリ（動き補償予測手段）、１３ 可変長符号化部（可変長符号化手段）、３１ 可変長復号部（可変長復号手段）、３２ 逆量子化・逆変換部（差分画像生成手段）、３３ 切換スイッチ、３４ イントラ予測部（イントラ予測手段）、３５ 動き補償部（動き補償予測手段）、３６ 加算部（復号画像生成手段）、３７ イントラ予測用メモリ（イントラ予測手段）、３８ ループフィルタ部（フィルタリング手段）、３９ 動き補償予測フレームメモリ（動き補償予測手段）、１０１ ブロック分割部、１０２ 予測部、１０３ 圧縮部、１０４ 局所復号部、１０５ 加算器、１０６ ループフィルタ、１０７ メモリ、１０８ 可変長符号化部。

Claims (4)

1. ビットストリームに多重化された符号化データからピクチャに対する最大サイズの符号化ブロックのサイズの情報と、上記最大サイズの符号化ブロックから階層的に分割されている各々の符号化ブロックに係る圧縮データを可変長復号するとともに、上記符号化データから上記ピクチャに対するフィルタ処理の有無情報と、上記ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、上記最大サイズの符号化ブロックのフィルタパラメータを可変長復号する可変長復号手段と、
   上記符号化ブロックに対する予測処理を実施して予測画像を生成する予測手段と、
   上記圧縮データから差分画像を生成する差分画像生成手段と、
   上記差分画像と上記予測画像とを加算して復号画像を生成する復号画像生成手段と、
   上記復号画像に対して上記フィルタパラメータを利用したフィルタ処理を実施し、フィルタ処理後の復号画像を出力するフィルタリング手段とを備え、
   上記可変長復号手段は、上記ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、上記ピクチャに対する上記最大サイズの符号化ブロックに設けられたフラグであって、復号対象の上記最大サイズの符号化ブロックのフィルタパラメータが上または左に隣接する上記最大サイズの符号化ブロックのフィルタパラメータと同じであるか否かを示す上記フラグを可変長復号し、上記フラグが同じであることを示す場合、上または左に隣接する上記最大サイズの符号化ブロックのフィルタパラメータを復号対象の上記最大サイズの符号化ブロックのフィルタパラメータに設定することを特徴とする画像復号装置。
2. ピクチャに対する最大サイズの符号化ブロックを決定する符号化パラメータ決定手段と、
   上記ピクチャを上記最大サイズの符号化ブロックに分割するとともに、上記符号化ブロックを階層的に分割するブロック分割手段と、
   上記符号化ブロックに対する予測処理を実施して予測画像を生成する予測手段と、
   上記符号化ブロックの入力画像と上記予測画像との差分画像を生成する差分画像生成手段と、
   上記差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、
   上記圧縮データを復号し、復号後の差分画像と上記予測画像とを加算して、局所復号画像を生成する局所復号画像生成手段と、
   上記局所復号画像に対してフィルタ処理を実施するフィルタリング手段と、
   上記圧縮データと、上記ピクチャに対する最大サイズの符号化ブロックのサイズの情報と、上記ピクチャに対するフィルタ処理の有無情報とを可変長符号化するとともに、上記ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、上記ピクチャに対する上記最大サイズの符号化ブロックに設けられたフラグであって、符号化対象の上記最大サイズの符号化ブロックのフィルタパラメータが上または左に隣接する上記最大サイズの符号化ブロックのフィルタパラメータと同じであるか否かを示すフラグを可変長符号化する可変長符号化手段とを備えることを特徴とする画像符号化装置。
3. ビットストリームに多重化された符号化データからピクチャに対する最大サイズの符号化ブロックのサイズの情報と、上記最大サイズの符号化ブロックから階層的に分割されている各々の符号化ブロックに係る圧縮データを可変長復号するとともに、上記符号化データから上記ピクチャに対するフィルタ処理の有無情報と、上記ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、上記最大サイズの符号化ブロックのフィルタパラメータを可変長復号する可変長復号処理ステップと、
   上記符号化ブロックに対する予測処理を実施して予測画像を生成する予測処理ステップと、
   上記圧縮データから差分画像を生成する差分画像生成処理ステップと、
   上記差分画像と上記予測画像とを加算して復号画像を生成する復号画像生成処理ステップと、
   上記復号画像に対してフィルタ処理を実施し、フィルタ処理後の復号画像を出力するフィルタリング処理ステップとを備え、
   上記可変長復号処理ステップでは、上記ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、上記ピクチャに対する上記最大サイズの符号化ブロック毎に設けられたフラグであって、復号対象の上記最大サイズの符号化ブロックのフィルタパラメータが上または左に隣接する上記最大サイズの符号化ブロックのフィルタパラメータと同じであるか否かを示す上記フラグを可変長復号し、上記フラグが同じであることを示す場合上または左に隣接する上記最大サイズの符号化ブロックのフィルタパラメータを復号対象の上記最大サイズの符号化ブロックのフィルタパラメータに設定することを特徴とする画像復号方法。
4. ピクチャに対する最大サイズの符号化ブロックを決定する符号化パラメータ決定処理ステップと、
   上記ピクチャを上記最大サイズの符号化ブロックに分割するとともに、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、
   上記符号化ブロックに対する予測処理を実施して予測画像を生成する予測処理ステップと、
   上記符号化ブロックの入力画像と上記予測画像との差分画像を生成する差分画像生成処理ステップと、
   上記差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、
   上記圧縮データを復号し、復号後の差分画像と上記予測画像とを加算して、局所復号画像を生成する局所復号画像生成処理ステップと、
   上記局所復号画像に対してフィルタ処理を実施するフィルタリング処理ステップと、
   上記圧縮データと、上記ピクチャに対する最大サイズの符号化ブロックのサイズの情報と、上記ピクチャに対するフィルタ処理の有無情報とを可変長符号化するとともに、上記ピクチャに対するフィルタ処理の有無情報がフィルタ処理ありを示している場合、上記ピクチャに対する上記最大サイズの符号化ブロックに設けられたフラグであって、符号化対象の上記最大サイズの符号化ブロックのフィルタパラメータが上または左に隣接する上記最大サイズの符号化ブロックのフィルタパラメータと同じであるか否かを示すフラグを可変長符号化する可変長符号化手段とを備えることを特徴とする画像符号化方法。

Images