JP5488612B2 - 動画像符号化装置および動画像復号装置 - Google Patents

Description

本発明は、動画像を符号化する装置、方法、プログラム、および符号化された動画像を復号する装置、方法、プログラムに係わる。

動画像データは、一般にデータ量が多いので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。

動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法は、動画像データが空間方向に相関性が高いことを利用する。すなわち、この符号化方法は、他のピクチャを利用することなく、ピクチャ内の情報のみを利用して画像を復元できる。また、他の高能率符号化方法として、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法は、動画像データが時間方向に相関性が高いことを利用する。動画像データは、一般に、あるタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高い。そして、インター予測符号化は、この性質を利用して画像を符号化する。

ピクチャ間予測符号化では、一般に、原画像が複数のブロックに分割される。符号化装置は、ブロック毎に、符号化済みフレームの復号画像から、原画像ブロックと類似している領域を選択し、この類似領域と原画像ブロックとの差分を計算することで、時間的な冗長性を取り除く。そして、類似領域を指し示す動きベクトル情報および冗長性の取り除かれた差分情報を符号化することにより、高い圧縮率が実現される。

例えば、インター予測符号化を用いたデータ伝送システムでは、送信装置は、前ピクチャから対象ピクチャへの「動き」を表す動きベクトルデータ、および対象ピクチャの予測画像と対象ピクチャの実際の画像との差分データを生成し、生成した動きベクトルデータおよび差分データを受信装置に送出する。ここで、予測画像は、前ピクチャおよび動きベクトルデータを用いて作成される。一方、受信装置は、受信した動きベクトルデータおよび差分データから対象ピクチャを再生する。代表的な動画像符号化方式として、ＩＳＯ／ＩＥＣ ＭＰＥＧ−２／ＭＰＥＧ−４（以下、ＭＰＥＧ−２、ＭＰＥＧ−４）が挙げられる。

ＭＰＥＧ−２では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャが規定されている。Ｉピクチャは、ピクチャ内の情報のみを符号化することにより得られる。Ｐピクチャは、過去のピクチャから順方向のピクチャ間予測を行い、予測誤差を符号化することにより得られる。Ｂピクチャは、過去のピクチャおよび未来のピクチャから双方向のピクチャ間予測を行い、予測誤差を符号化することにより得られる。

動画像の符号化／復号化においては、効率の良い（すなわち、圧縮率が高い）方式が好ましい。そして、符号化／復号化の効率を高める方法として、下記の第１〜第３のステップを有する信号符号化方法が提案されている。第１のステップは、符号化対象信号と相関のある信号を参照信号として取得する。第２のステップは、変換規則の基礎となる変換基底をその取得された参照信号の特性に基づいて導出する。第３のステップは、導出された変換基底に基づいた変換規則に従って上記符号化対象信号を変換して符号化する。（例えば、特許文献１）
また、関連する技術として、特許文献２に記載の予測復号装置が提案されている。

特開２００２−３１４４２８号公報 特開２０００−５９７８５号公報

上述のように、動画像の符号化／復号化においては、効率の良い方式が好ましい。そして、符号化／復号化の効率を高めるための様々な方法が提案されている。しかし、従来技術には改善の余地がある。

例えば、画像情報を符号化する際には、一般に、直交変換などによりその画像情報を表す係数列が生成される。そして、この係数列は、予め用意されているパターンでスキャンされた後に、エントロピー符号化が行われる。ところが、従来技術においては、画像の性質を考慮することなく、固定的に決められたパターンでスキャンが行われていた。このため、画像の性質によっては、符号化／復号化の効率が低かった。

本発明の課題は、動画像の符号化／復号化の更なる効率化を図ることである。

本発明の１つの態様に係る動画像符号化装置は、符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、複数の動き補償画像信号を生成する動き補償画像信号生成部と、前記複数の動き補償画像信号を利用して前記符号化対象信号の予測値を表す予測信号を生成する予測信号生成部と、前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成する予測誤差信号生成部と、前記予測誤差信号から符号化情報を生成するために用意されている複数のスキャンパターンの中から、前記複数の動き補償画像信号に基づいて、前記予測誤差信号が符号化されたときの情報量が最も小さくなることが期待されるスキャンパターンを選択する選択部と、前記選択部により選択されたスキャンパターンを用いて前記予測誤差信号から符号化情報を生成するジグザグスキャン部、を有する。

本発明の１つの態様に係る動画像復号装置は、動画像符号化装置により生成された符号化情報を復号する構成であって、複数の参照画像に基づいて複数の動き補償画像信号を生成する動き補償画像信号生成部と、前記複数の動き補償画像信号を利用して復号画像の予測値を表す予測信号を生成する予測信号生成部と、復号対象信号から予測誤差信号を再生するために用意されている複数のスキャンパターンの中から、前記複数の動き補償画像信号に基づいて決まるスキャンパターンを選択する選択部と、前記選択部により選択されたスキャンパターンを用いて、前記復号対象信号から予測誤差信号を再生する逆ジグザグスキャン部と、前記予測誤差信号および前記予測信号から復号画像を生成する復号画像生成部、を有する。

本発明の他の態様に係る動画像符号化装置は、輝度信号および色差信号を含む符号化対象信号の符号化を行う構成であって、輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、前記符号化対象信号の輝度信号と前記輝度予測信号との差分を表す輝度予測誤差信号を生成する輝度予測誤差信号生成部と、色差信号の予測値を表す色差予測信号を生成する色差予測信号生成部と、前記符号化対象信号の色差信号と前記色差予測信号との差分を表す色差予測誤差信号を生成する色差予測誤差信号生成部と、前記輝度予測誤差信号から輝度符号化情報を生成するために用意されている複数のスキャンパターンの中から、前記色差予測誤差信号に基づいて、前記輝度予測誤差信号が符号化されたときの情報量が最も小さくなることが期待されるスキャンパターンを選択する選択部と、前記選択部により選択されたスキャンパターンを用いて前記輝度予測誤差信号から輝度符号化情報を生成するジグザグスキャン部、を有する。

本発明の他の態様に係る動画像復号装置は、動画像符号化装置により生成された輝度信号および色差信号を含む符号化情報を復号する構成であって、輝度信号の予測値を表す輝度予測信号を生成する輝度予測信号生成部と、前記符号化情報に含まれている色差符号化情報から色差再生予測誤差信号を生成する色差再生予測誤差信号生成部と、前記符号化情報に含まれている輝度符号化情報から輝度予測誤差信号を再生するために用意されている複数のスキャンパターンの中から、前記色差再生予測誤差信号に基づいて決まるスキャンパターンを選択する選択部と、前記選択部により選択されたスキャンパターンを用いて、前記輝度符号化情報から輝度予測誤差信号を再生する逆ジグザグスキャン部と、前記輝度再生予測誤差信号および前記輝度予測信号から輝度復号画像を生成する輝度復号画像生成部、を有する。

開示の装置または方法によれば、動画像の符号化／復号化の効率化が向上する。

実施形態の動画像符号化装置の構成を示す図である。 実施形態の動画像復号装置の構成を示す図である。 双方向予測について説明する図である。 予測誤差信号と動き補償信号間差分信号との相関について説明する図である。 実施形態の符号化方法の概要を説明する図である。 ジグザグスキャン部が提供するスキャンパターンを示す図である。 スキャンパターンと符号化情報の情報量との関係を説明する図である。 実施形態の復号方法の概要を説明する図である。 第１の実施形態の符号化装置の構成を示す図である。 第１の実施形態の符号化方法を示すフローチャートである。 第１の実施形態の復号装置の構成を示す図である。 第１の実施形態の復号方法を示すフローチャートである。 第２の実施形態の符号化装置の構成を示す図である。 第２の実施形態の符号化方法を示すフローチャートである。 第２の実施形態の復号装置の構成を示す図である。 第２の実施形態の復号方法を示すフローチャートである。 第３の実施形態の符号化装置の構成を示す図である。 第３の実施形態の復号装置の構成を示す図である。 符号化装置または復号装置のハードウェア構成を示す図である。

図１は、実施形態の動画像符号化装置の構成を示す図である。図１に示す動画像符号化装置１は、予測誤差信号生成部１１、直交変換部１２、量子化部１３、ジグザグスキャン部１４、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、動き補償画像信号生成部２０、予測信号生成部２１を備える。なお、動画像符号化装置１は、動画像の各ピクチャを複数のブロックに分割し、各ブロックについて符号化を行う。ブロックのサイズは、固定されていてもよいし、可変サイズであってもよい。

予測誤差信号生成部１１には、現ピクチャ（符号化対象ピクチャ）を分割することにより得られる各ブロックの画像を表すブロックデータが順番に入力される。ブロックのサイズは、例えば、１６×１６画素のブロック（マクロブロック）である。そして、予測誤差信号生成部１１は、符号化対象ブロックデータと、予測信号生成部２１から供給される予測画像ピクチャのブロックデータ（予測信号）との差分を計算することにより、予測誤差信号を生成する。

直交変換部１２は、予測誤差信号に対して直交変換処理を行う。この直交変換により、水平方向および垂直方向の周波数成分に分離された周波数領域信号が生成される。直交変換は、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）である。量子化部１３は、直交変換部１２の出力信号を量子化する。量子化により、変換された予測誤差信号の符号量が削減される。量子化部１３の出力信号は、ジグザグスキャン部１４および逆量子化部１６に供給される。

ジグザグスキャン部１４は、予め決められたまたは選択されたスキャンパターンで量子化部１３の出力信号（複数の係数）をスキャンし、ランレベル情報を生成する。ランレベル情報は、ゼロでない係数の値を表す情報、およびゼロが連続する長さを表す情報などを含む。エントロピー符号化部１５は、ジグザグスキャン部１４から出力されるランレベル情報をエントロピー符号化（可変長符号化）する。エントロピー符号においては、シンボルの出現頻度に応じて可変長の符号が割り当てられる。

逆量子化部１６は、量子化部１３の出力信号を逆量子化する。逆直交変換部１７は、逆量子化部１６の出力信号を逆直交変換する。逆量子化部１６および逆直交変換部１７の処理は、それぞれ、量子化部１３および直交変換部１２の処理に対応する。すなわち、逆量子化部１６および逆直交変換部１７を用いて復号処理を行うことにより、予測誤差信号と類似する信号（以下、再生予測誤差信号）が得られる。

復号画像生成部１８は、予測信号生成部２１により生成される予測画像のブロックデータに、逆直交変換部１７から出力される再生予測誤差信号を加算する。これにより、局部復号画像が生成される。復号画像記憶部１９は、復号画像生成部１８により生成されたブロックデータを、参照ピクチャのデータとして記憶する。

動き補償画像信号生成部２０は、現ピクチャの符号化対象ブロックのブロックデータ、および復号画像記憶部１９に格納されている参照ピクチャのブロックデータを用いて、符号化対象ブロックの動きベクトルを計算する。動きベクトルは、現ピクチャと参照ピクチャとの間での空間的なずれを表す値であり、例えば、参照ピクチャにおいて現ピクチャの符号化対象ブロックに最も類似しているブロックの位置を探索するブロックマッチング技術により実現される。そして、動き補償画像信号生成部２０は、動きベクトルで動き補償を行うことにより、動き補償された参照ピクチャのブロックデータを生成する。

予測信号生成部２１は、動き補償画像信号生成部２０によって得られた参照ピクチャのブロックデータを基に符号化対象信号の予測信号を生成する。この予測信号は、上述したように、予測誤差信号生成部１１に供給される。

図２は、実施形態の動画像復号装置の構成を示す図である。図２に示す動画像復号装置２は、エントロピー復号部３１、逆ジグザグスキャン部３２、逆量子化部３３、逆直交変換部３４、動き補償画像信号生成部３５、予測信号生成部３６、復号画像生成部３７、復号画像記憶部３８を備える。そして、動画像復号装置２は、図１に示す動画像符号化装置１で生成された符号化情報を復号して画像を再生する。

エントロピー復号部３１、逆ジグザグスキャン部３２、逆量子化部３３、逆直交変換部３４は、それぞれ、図１に示すエントロピー符号化部１５、ジグザグスキャン部１４、量子化部１３、直交変換部１２に対応する処理を実行する。これにより、受信データストリームから予測誤差信号が再生される。

動き補償画像信号生成部３５は、復号画像記憶部３８に格納されている参照ピクチャおよび符号化装置から通知される動きベクトルを利用して動き補償画像信号を生成する。予測信号生成部３６は、動き補償画像信号に基づいて、復号画像の予測値を表す予測信号を生成する。動き補償画像信号生成部３５および予測信号生成部３６は、基本的に、図１に示す動き補償画像信号生成部２０および予測信号生成部２１と同じ方法で予測信号を生成する。

復号画像生成部３７は、予測信号生成部３６により生成される予測信号に、逆直交変換部３４の出力信号（すなわち、再生予測誤差信号）を加算することにより、復号画像を生成する。生成された復号画像は、以降の復号処理において利用される参照ピクチャとして復号画像記憶部３８に格納される。

＜実施形態に係る符号化／復号化方法の説明＞
図３は、双方向予測について説明する図である。双方向予測（Bidirectional prediction / Bipredictive）においては、前方向参照画像および後方向参照画像が使用される。前方向参照画像（前方向動き補償画像）は、符号化対象画像よりも先に表示される複数の参照画像の中から選択される。同様に、後方向参照画像（後方向動き補償画像）は、符号化対象画像よりも後に表示される複数の参照画像の中から選択される。

前方向予測ブロックは、前方向参照画像において、符号化対象ブロックと最も類似している画像ブロックである。また、前方向動きベクトルは、符号化対象ブロックと前方向予測ブロックとの間の「動き」を表す。そして、前方向予測ブロックの画像を表す前方向動き補償画像信号が生成される。同様に、後方向予測ブロックは、後方向参照画像において、符号化対象ブロックと最も類似している画像ブロックである。また、後方向動きベクトルは、符号化対象ブロックと後方向予測ブロックとの間の「動き」を表す。そして、後方向予測ブロックの画像を表す後方向動き補償画像信号が生成される。なお、以下の説明では、前方向動き補償画像信号により表される画像を「予測画像０」と呼び、後方向動き補償画像信号により表される画像を「予測画像１」と呼ぶことがある。

符号化対象信号の予測信号は、前方向動き補償画像信号および後方向動き補償画像信号の平均を計算することで生成される。すなわち、画素ごとに予測画像０、１の画素値の平均を計算することにより予測信号が生成される。そして、符号化対象信号と予測信号との差分を表す予測誤差信号、前方向動きベクトル情報、後方向動きベクトル情報が符号化される。なお、図３においては、予測画像０、１を加算する加算器が描かれているが、実際には、その加算値が「２」で除算される。また、Ｈ．２６４では、任意の複数の参照ピクチャから２枚の動き補償画像像が生成され、それらを重み付けして加算した値が、Ｂピクチャ予測画像として使用される。

図４は、予測誤差信号と動き補償信号間差分信号との相関について説明する図である。図４に示す例では、正方形の物体Ｘが時計方向に回転している。ここでは、時刻ｔの符号化対象画像が、時刻ｔ−１の前方向参照画像および時刻ｔ＋１の後方向参照画像を用いて符号化されるものとする。なお、この例では、前方向動きベクトルおよび後方向動きベクトルは、いずれもゼロである。また、物体Ｘが存在する領域の画素値は１００、背景領域の画素値はゼロであるものとする。画素値は、特に限定されるものではないが、例えば、輝度レベルである。

前方向動き補償ブロックとしては、符号化対象ブロックと最も差分が小さい領域が選択される。しかし、物体Ｘが回転しているので、前方向参照画像において、符号化対象ブロックと全く同じ画像は検出されない。すなわち、前方向参照画像において、符号化対象ブロックから少しだけ差異のある画像ブロックが抽出される。同様に、後方向参照画像においても、符号化対象ブロックから少しだけ差異のある画像ブロックが抽出される。

予測信号は、図３を参照しながら説明したように、画素ごとに予測画像０、１の画素値の平均を計算することにより生成される。この場合、予測信号のブロックの各画素の画素値は、予測画像０、１双方において物体Ｘが存在する領域では「１００」、予測画像０、１の一方のみに物体Ｘが存在する領域では「５０」、予測画像０、１双方において背景である領域では「０」となる。

そして、画素毎に符号化対象信号から予測信号が減算され、予測誤差信号のブロックが生成される。この予測誤差信号は、図４に示すように、符号化対象画像上における物体Ｘと背景との境界部分に、画素値５０の画素および画素値−５０の画素を有する。

ここで、予測画像０、１間の差について考える。予測画像０、１間の差分を表す動き補償信号間差分信号（すなわち、前方向動き補償画像信号と後方向動き補償画像信号との差分）は、画素毎に、予測画像０、１間で差分絶対値を算出することにより得られる。そうすると、動き補償信号間差分信号は、図４に示すように、符号化対象画像上における物体Ｘと背景との境界部分に、画素値１００の画素を有する。

予測誤差信号と動き補償信号間差分信号とを比較すると、画素値が０でない領域の形状は互いにほぼ一致している。すなわち、予測画像０、１間で画素値が異なる領域において、予測誤差が発生している。したがって、動き補償信号間差分信号の画素値の分布と、予測誤差信号の画素値の分布との間の相関は高い。

ところで、図１に示す符号化装置においては、予測誤差信号は、直交変換された後にエントロピー符号化が行われる。直交変換により得られる複数の係数は、例えば、ジグザグスキャンを利用してランレベル情報に変換された後に、エントロピー符号化部１５に送られる。このとき、直交変換により得られるゼロ以外の係数が、例えば、低周波数成分側に集まっていれば、エントロピー符号により得られる符号化データの情報量は小さくなる。他方、予測誤差信号を直交変換することにより得られる複数の係数の分布は、その予測誤差信号の画素値の分布に依存する。したがって、予測誤差信号の画素値の分布を検出し、その分布に応じてジグザグスキャンのパターンを適切に選択すれば、符号化データの情報量を小さくできる。

実施形態の符号化方法においては、上記相関を利用して、符号化データの情報量の削減を図る。すなわち、予測誤差信号の画素値の分布を直接的に検出する代わりに、動き補償信号間差分信号の画素値の分布に基づいて、ジグザグスキャンのパターンが適切に選択される。

図５は、実施形態の符号化方法の概要を説明する図である。ここでは、動き補償画像信号生成部２０において、双方向予測により１組の動き補償画像信号である予測画像０および予測画像１が選択されたものとする。予測画像０および予測画像１は、それぞれ、例えば、前方向参照画像および後方向参照画像である。

予測信号生成部２１は、特に限定されるものではないが、例えば、予測画像０、１の平均を計算することにより予測信号を生成する。この場合、各画素の画素値について「（予測画像０＋予測画像１）／２」が計算される。また、予測誤差信号生成部１１は、符号化対象信号と予測信号の差分を表す予測誤差信号を生成する。この場合、画素ごとに「符号化対象信号−予測信号」が計算される。

動き補償信号間差分信号生成部１０１は、予測画像０と予測画像１との差分を表す動き補償信号間差分信号を生成する。このとき、動き補償信号間差分信号生成部１０１は、各画素の画素値について、例えば「予測画像０−予測画像１」を計算することにより、動き補償信号間差分信号を生成する。

選択部１０２は、予測誤差信号から対応するランレベル情報を生成する際に使用される複数のスキャンパターンの中から、動き補償信号間差分信号の特徴量に基づいて、予測誤差信号が符号化されたときの情報量が最も小さくなることが期待されるスキャンパターンを選択する。ここで、予測誤差信号と動き補償信号間差分信号との間には、図４を参照しながら説明したように、強い相関がある。このため、選択部１０２は、予測誤差信号を直接的に参照しなくても、動き補償信号間差分信号を参照することにより、予測誤差信号の特徴を検出することができる。したがって、選択部１０２は、動き補償信号間差分信号を参照することにより、予測誤差信号の性質に対して最適なスキャンパターンを選択することができる。

ジグザグスキャン部１０３は、選択部１０２により選択されたスキャンパターンで予測誤差信号をスキャンし、対応するランレベル情報を生成する。ランレベル情報は、ここでは、予測誤差信号をスキャンした後にランレングス符号化を行うことにより得られる符号化情報である。このとき、予測誤差信号が符号化されたときの情報量（すなわち、ランレベル情報の情報量）が最も小さくなることが期待されるスキャンパターンが適応的に選択されている。したがって、実施形態の符号化方法によれば、予測誤差信号の性質が変わっても、符号化情報の情報量を小さくすることができる。

図６は、ジグザグスキャン部１０３が提供するスキャンパターンを示す図である。ジグザグスキャン部１０３は、予測誤差信号を表す複数の係数（例えば、ＤＣＴ係数）をスキャンするパターンとして、例えば、Ｈ．２６４フレームスキャンパターン、Ｈ．２６４フィールドスキャンパターン、垂直エッジ優遇スキャンパターン、水平エッジ優遇スキャンパターンを提供する。なお、ジグザグスキャン部１０３は、図６に示すパターンの他に別のスキャンパターンを提供するようにしてもよい。例えば、ＭＰＥＧ−２のオルタネートスキャンパターンが提供されてもよい。

図７は、スキャンパターンと符号化情報の情報量との関係を説明する図である。この例では、予測誤差信号として、図７（ａ）に示す係数が得られているものとする。
Ｈ．２６４フレームスキャンパターンで予測誤差信号をスキャンすると、図７（ｂ）に示す係数列が得られる。また、Ｈ．２６４フィールドスキャンパターンで予測誤差信号をスキャンすると、図７（ｃ）に示す係数列が得られる。さらに、垂直エッジ優遇スキャンパターンを使用した場合には図７（ｄ）に示す係数列が得られ、水平エッジ優遇スキャンパターンを使用した場合には図７（ｅ）に示す係数列が得られる。

このように、図７に示す例では、垂直エッジ優遇スキャンパターンで予測誤差信号をスキャンしたときに、係数列の最後にゼロが最も集中する。ここで、ランレングス符号においては、一般に、ゼロが連続する長さが長いほど、符号化情報の情報量が小さくなる。したがって、この場合、図６に示す４つのスキャンパターンの中で、垂直エッジ優遇スキャンパターンを使用したときに、予測誤差信号の符号化情報（ここでは、ランレベル情報）の情報量が最小になる。なお、ランレベル情報は、ジグザグスキャンにより得られる係数列において、ゼロでない各係数の値をそれぞれ表す情報、およびゼロが連続する長さを表す情報等を含む。例えば、ＣＡＶＬＣ（Context Adaptive Variable Length Coding）においては、量子化されたＤＣＴ係数の値は「level」で表される。また、非ゼロ係数の前に連続するゼロの個数は「run_before」で表される。

実施形態の符号化方法では、選択部１０２は、動き補償信号間差分信号に基づいて、予測誤差信号の符号化情報の情報量が小さくなるスキャンパターンを選択する。そして、ジグザグスキャン部１０３は、選択部１０２により選択されたスキャンパターンで予測誤差信号の係数をスキャンし、ランレベル情報を生成する。したがって、生成される符号化情報の情報量は小さくなる。なお、実施形態の符号化方法では、ブロック毎に、動き補償信号間差分信号に応じてスキャンパターンが選択される。

図８は、実施形態の復号方法の概要を説明する図である。ここでは、動き補償画像信号生成部３５において、双方向予測により１組の動き補償画像信号である予測画像０および予測画像１が選択されたものとする。予測画像０および予測画像１は、先に復号された参照画像に基づいて生成される。ここで、この参照画像は、図５に示す符号化装置で使用される参照画像と実質的に同じである。したがって、復号装置は、符号化装置と同じ予測画像０、１を生成することができる。

予測信号生成部３６は、図５に示す符号化装置が備える予測信号生成部２１と同様に、予測画像０、１の平均を計算することにより予測信号を生成する。この予測信号は、復号画像生成部３７に送られる。

動き補償信号間差分信号生成部２０１は、予測画像０と予測画像１との差分を表す動き補償信号間差分信号を生成する。また、選択部２０２は、動き補償信号間差分信号の特徴量に基づいて、予測誤差信号が符号化されたときの情報量が最も小さくなることが期待されるスキャンパターンを選択する。ここで、動き補償信号間差分信号生成部２０１および選択部２０２は、それぞれ、図５に示す符号化装置が備える動き補償信号間差分信号生成部１０１および選択部１０２と同じ動作を行う。したがって、選択部２０２は、符号化装置で選択されたスキャンパターンと同じスキャンパターンを選択することができる。

逆ジグザグスキャン部２０３は、選択部２０２により選択されたスキャンパターンで復号対象情報を逆スキャンし、予測誤差信号を再生する。ここで、復号対象情報は、図２に示すエントロピー復号部３１から出力される。また、逆スキャンは、符号化装置において実行されるスキャン処理の逆処理により実現される。

そして、復号画像生成部３７は、予測信号生成部３６により生成される予測信号に、逆ジグザグスキャン部２０３から出力される予測誤差信号を加算する。これにより、復号画像が生成される。

このように、復号装置は、符号化装置と同様に、２枚の予測画像の差分に基づいてスキャンパターンを選択する。ここで、符号化装置および復号装置において予測画像を生成するために参照される画像は、実質的に同じである。すなわち、符号化装置および復号装置は、互いに独立に、同じ動き補償信号間差分信号を生成できる。したがって、実施形態の符号化／復号方法によれば、符号化装置から復号装置へスキャンパターンを識別する情報を送ることなしに、符号化装置および復号装置は、互いに同じスキャンパターンを選択することができる。

なお、符号化装置から復号装置へスキャンパターンを識別する情報を送信するようにしてもよい。この場合、復号装置において、スキャンパターンを選択するための処理が不用になる。しかしながら、この場合、符号化装置から復号装置へ送信されるデータの情報量が増加するので、必ずしも全体として符号化／復号の効率が向上するわけではない。

このように、実施形態の動画像符号化／復号方法は、複数の動き補償画像信号間の差分値の分布と、予測誤差信号の分布との間に相関があることを利用する。すなわち、動き補償画像信号間の差分値の分布に基づいて、予測誤差信号をランレングス符号化する際のスキャンパターンが適切に選択される。したがって、従来の方法（例えば、画像の性質にかかわりなく予め決められたスキャンパターンを使用する方法）と比較して、符号化情報の情報量が小さくなる。また、画像の性質に応じて適切なスキャンパターンが選択されるので、予測誤差が大きいブロック（例えば、細かいテクスチャが存在する領域、あるいは動きの激しいシーン）であっても、符号化情報の情報量が小さくなる。さらに、符号化装置および復号装置は、実質的に同じ動き補償画像信号を生成できるので、復号装置は、符号化装置からスキャンパターンを識別する情報を受信しなくても、対応する逆スキャンを行うことができる。

＜第１の実施形態＞
図９は、第１の実施形態の符号化装置の構成を示す図である。第１の実施形態の符号化装置は、予測誤差信号生成部１１、直交変換部１２、量子化部１３、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、動き補償画像信号生成部２０、予測信号生成部２１、動き補償信号間差分信号生成部１１１、選択部１１２、ジグザグスキャン部１１３、エントロピー符号化部１１４を備える。ここで、予測誤差信号生成部１１、直交変換部１２、量子化部１３、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、動き補償画像信号生成部２０、予測信号生成部２１は、図１を参照しながら説明した通りである。また、動き補償信号間差分信号生成部１１１、選択部１１２、ジグザグスキャン部１１３は、それぞれ、図５に示す動き補償信号間差分信号生成部１０１、選択部１０２、ジグザグスキャン部１０３に対応する。

まず、スキャンパターンを決定する手順について説明する。以下の説明では、動き補償画像信号生成部２０により、２つの動きベクトルが算出され、２つの動き補償画像（図５に示す予測画像０、１）が選択されるものとする。

動き補償信号間差分信号生成部１１１は、動き補償画像信号生成部２０により生成された動き補償画像信号間の差分を表す動き補償信号間差分信号を生成する。この動き補償信号間差分信号は、直交変換部１２に入力される。直交変換部１２は、動き補償信号間差分信号に対して直交変換処理を行う。この直交変換処理により、水平方向および垂直方向の周波数成分に分離された動き補償信号間差分信号が生成される。そして、量子化部１３は、直交変換部１２の出力信号を量子化する。

選択部１１２は、ジグザグスキャン部１１３が提供する複数のスキャンパターンの中の１つを選択する。そして、ジグザグスキャン部１１３は、選択部１１２により選択されたスキャンパターンを実行し、対応するランレベル情報を出力する。そうすると、エントロピー符号化１１４は、入力されたランレベル情報を符号化し、符号化情報の符号量を選択部１１２に通知する。

選択部１１２は、各スキャンパターンを１つずつ順番に選択し、ジグザグスキャン部１１３は、選択されたスキャンパターンに対応するランレベル情報をそれぞれ出力する。また、エントロピー符号化部１１４は、各スキャンパターンに対応する符号量を選択部１１２に通知する。そして、選択部１１２は、符号量が最小となるスキャンパターンをジグザグスキャン部１１３に設定する。

次に、符号化対象信号を符号化する手順について説明する。まず、予測誤差信号生成部１１は、符号化対象信号と予測信号との差分を表す予測誤差信号を生成する。符号化対象信号は、入力画像データの現ピクチャを分割することにより得られるブロックデータを表す。ブロックサイズは、特に限定されるものではないが、例えば、１６×１６画素のマクロブロックである。また、予測信号は、予測画像ピクチャのブロックデータを表し、双方向予測においては、前方向動き補償ブロックおよび後方向動き補償ブロックから生成される。

直交変換部１２は、予測誤差信号に対して直交変換処理を行う。この直交変換処理により、水平方向および垂直方向の周波数成分に分離された予測誤差信号が生成される。続いて、量子化部１３は、直交変換部１２の出力信号を量子化する。そして、量子化部１３の出力信号は、ジグザグスキャン部１１３および逆量子化部１６に供給される。

ジグザグスキャン部１１３には、上述の手順に従って選択部１１２により選択されたスキャンパターンが設定されている。したがって、ジグザグスキャン部１１３は、選択部１１２により選択されたスキャンパターンを実行し、予測誤差信号に対応するランレベル情報を出力する。そして、エントロピー符号化部１１４は、ジグザグスキャン部１１３から出力されるランレベル情報をエントロピー符号化（可変長符号化）して出力する。なお、エントロピー符号化においては、シンボルの出現頻度に応じて可変長の符号が割り当てられる。エントロピー符号化部１１４は、他の情報（例えば、動きベクトル情報など）も合わせて符号化する。

逆量子化部１６は、量子化部１３の出力信号に対して逆量子化を行う。また、逆直交変換部１７は、逆量子化部１６の出力信号に対して逆直交変換を行う。逆量子化部１６および逆直交変換部１７は、それぞれ、量子化部１３および直交変換部１２に対応する処理を実行する。したがって、逆量子化部１６および逆直交変換部１７により、予測誤差信号が再生される。ただし、再生された予測誤差信号は、予測誤差信号生成部１１から出力される予測誤差信号と完全に一致するわけではない。

復号画像生成部１８は、予測信号生成部２１により生成される予測信号に、再生された予測誤差信号を加算することにより、現画像ピクチャのブロックデータを再生する。復号画像記憶部１９は、復号画像生成部１８により生成されるブロックデータを、参照ピクチャデータとして記憶する。

動き補償画像信号生成部２０は、現画像ピクチャのブロックデータと、復号画像記憶部１９に格納されている参照ピクチャのブロックデータを用いて、動きベクトルを求める。動きベクトルは、例えば、参照ピクチャにおいて現ピクチャの符号化対象ブロックに最も類似しているブロックの位置を探索するブロックマッチング技術を用いて計算される。予測信号生成部２１は、算出された動きベクトルで動き補償を行うことにより、動き補償された参照ピクチャのブロックデータを生成する。そして、このブロックデータが予測誤差信号生成部１１に供給される。

このように、第１の実施形態の符号化装置においては、各スキャンパターンについて動き補償信号間差分信号の符号化情報の情報量を計算し、情報量が最小になるスキャンパターンを選択する。そして、符号化装置は、このスキャンパターンで予測誤差信号を符号化する。ここで、動き補償信号間差分信号と予測誤差信号との間には強い相関が存在する。すなわち、動き補償信号間差分信号の符号化情報の情報量を小さくするスキャンパターンは、予測誤差信号の符号化情報の情報量も小さくする。したがって、上記方法で選択されたスキャンパターンで予測誤差信号のランレベル情報を生成すると、符号化された予測誤差信号の情報量が小さくなる。

図１０は、第１の実施形態の符号化方法を示すフローチャートである。このフローチャートの処理は、符号化対象ブロックごとに実行される。
ステップＳ１において、動き補償画像信号生成部２０は、符号化対象信号と復号画像記憶部１９に格納されている参照画像との間でブロックマッチングを行う。ブロックマッチングは、例えば（１）式に示すように、符号化対象信号CurrentPicと参照画像RefPicとの間で、ブロック内の座標（x,y）に対する画素値の差分絶対値和SADが最小となる動きベクトルを選択する。

CurrentPic_Pixelは符号化対象信号を構成する画素を表し、RefPic_Pixelは参照画像を構成する画素を表す。なお、実施形態の符号化方法では、双方向の動きベクトル探索が必要である。よって、ステップＳ１では、２枚の参照画像Ref0、Ref1を用いて、２つの動きベクトルMV0、MV1が選択される。

ステップＳ２において、動き補償画像信号生成部２０は、動きベクトルMV0、MV1によりそれぞれ指し示される予測画像（動き補償画像）Pred0、Pred1を取得する。また、動き補償信号間差分信号生成部１１１は、（２）式により動き補償信号間の差分PredDiff_Pixelを計算する。すなわち、予測画像の座標（x,y）における画素値の差分が計算される。
PredDiff_Pixel(x,y)＝Pred0_Pixel(x,y)−Pred1_Pixel(x,y) ・・・（２）
なお、Pred0_Pixelは、予測画像Pred0を構成する画素を表す。Pred1_Pixelは、予測画像Pred1を構成する画素を表す。

ステップＳ３において、直交変換部１２は、動き補償信号間差分信号PredDiff_Pixelに対して直交変換を実行する。直交変換は、例えばＭＰＥＧ−２においては２次元ＤＣＴであり、Ｈ．２６４においては整数ＤＣＴである。また、簡易的な変換として、アダマール変換等を用いても良い。ＤＣＴの計算例を（３）式に示す。なお、u、vは、周波数領域の座標を表す。

ステップＳ４において、量子化部１３は、所定の量子化ステップサイズＱを用いて、直交変換後の動き補償信号間差分信号PredDiffを量子化する。これにより「PredDiff／Q」が生成される。

ステップＳ５において、選択部１１２およびジグザグスキャン部１１３は、各スキャンパターンで、それぞれ動き補償信号間差分信号に対応するランレベル情報を生成する。ジグザグスキャン部１１３は、例えば、図６に示す４つのスキャンパターンを提供する。この場合、Ｈ．２６４フレームスキャンパターン、Ｈ．２６４フィールドスキャンパターン、垂直エッジ優遇スキャンパターン、水平エッジ優遇スキャンパターンでそれぞれランレベル情報が生成される。

ステップＳ６において、エントロピー符号化部１１４は、各ランレベル情報の符号長を計算する。そして、ステップＳ７において、選択部１１３は、符号長が最小となるスキャンパターンを選択する。選択されたスキャンパターンは、ジグザグスキャン部１１３に設定される。

ステップＳ８において、予測信号生成部２１は、双方向予測を行う。双方向予測の予測信号BiPredPicは、通常、予測画像Pred0、Pred1の各画素の画素値の平均によって表される。すなわち「(Pred0 + Pred1)／2」が計算される。さらに、予測誤差信号生成部１１は、（４）式に示すように、符号化対象信号CurrentPicと予測信号BiPredPicとの間で、座標(x,y)にある画素の差分を表す予測誤差信号CurrDiff_Pixelを全て計算する。
CurrDiff_Pixel(x,y)＝CurrPic_Pixel(x,y)−BiPredPic_Pixel(x,y) ・・・（４）
CurrPic_Pixelは、符号化対象信号を構成する画素を表す。BiPredPic_Pixelは、双方向予測信号を構成する画素を表す。

ステップＳ９において、直交変換部１２は、予測誤差信号CurrDiff_Pixelに対して直交変換を実行し、直交変換済み信号CurrDiffを得る。ステップＳ１０において、量子化部１３は、量子化ステップサイズＱを用いて、信号CurrDiffを量子化する。これにより「CurrDiff／Q」が生成される。

ステップＳ１１において、ジグザグスキャン部１１３は、選択部１１２により選択されたスキャンパターンで、変換後の予測誤差信号CurrDiff／Qをスキャンし、ランレベル情報（レベル情報Ｌおよびランレングス情報Ｒを含む）を生成する。そして、ステップＳ１２において、エントロピー符号化部１１４は、レベル情報Ｌ、ランレングス情報Ｒ、動きベクトル情報MV0、MV1、参照画情報Ref0、Ref1を符号化し、ストリームを出力する。

なお、図１０に示す各ステップの実行順序は、１つの例であり、この実行順序に限定されるものではない。すなわち、第１の実施形態の符号化方法は、ステップＳ１１の処理の前に、ステップＳ２〜Ｓ７によってスキャンパターンが選択されていればよい。また、例えば、ステップＳ８〜Ｓ１０は、ステップＳ２〜Ｓ７と並列に実行されてもよい。

図１１は、第１の実施形態の復号装置の構成を示す図である。第１の実施形態の復号装置は、エントロピー復号部３１、逆量子化部３３、逆直交変換部３４、動き補償画像信号生成部３５、予測信号生成部３６、復号画像生成部３７、復号画像記憶部３８、動き補償信号間差分信号生成部２１１、直交変換部２１２、量子化部２１３、ジグザグスキャン部２１４、エントロピー符号化部２１５、選択部２１６、逆ジグザグスキャン部２１７を備える。ここで、エントロピー復号部３１、逆量子化部３３、逆直交変換部３４、動き補償画像信号生成部３５、予測信号生成部３６、復号画像生成部３７、復号画像記憶部３８は、図２を参照しながら説明した通りである。また、動き補償信号間差分信号生成部２１１および逆ジグザグスキャン部２１７は、それぞれ、図８に示す動き補償信号間差分信号生成部２０１および逆ジグザグスキャン部２０３に相当する。また、直交変換部２１２、量子化部２１３、ジグザグスキャン部２１４、エントロピー符号化部２１５、選択部２１６は、図８に示す選択部２０２に相当する。

動き補償信号間差分信号生成部２１１、直交変換部２１２、量子化部２１３、ジグザグスキャン部２１４、エントロピー符号化部２１５、選択部２１６は、基本的に、図９に示す符号化装置が備える動き補償信号間差分信号生成部１１１、直交変換部１２、量子化部１３、ジグザグスキャン部１１３、エントロピー符号化部１１４、選択部１１２と同じ動作を行う。すなわち、復号装置においても、ジグザグスキャン部２１４が提供する各スキャンパターンで動き補償信号間差分信号のランレベル情報が生成され、符号長が最小になるスキャンパターンが選択される。そして、逆ジグザグスキャン部２１７は、選択されたスキャンパターンで、エントロピー復号部３１から出力される復号対象信号を復号して予測誤差信号を再生する。

図１２は、第１の実施形態の復号方法を示すフローチャートである。このフローチャートの処理は、復号対象ブロックごとに実行される。
ステップＳ２１〜Ｓ２３において、双方向予測のマクロブロックタイプ情報、量子化ステップサイズ情報、動きベクトル情報が復号される。ステップＳ２４において、動き補償画像信号生成部３５は、ステップＳ２１〜Ｓ２３で得られた情報を利用して予測画像（動き補償画像信号）を生成する。

ステップＳ２５〜Ｓ３０は、符号化方法において実行されるステップＳ２〜Ｓ７と同じである。すなわち、符号長が最小となるスキャンパターンが選択される。そして、選択されたスキャンパターンは、逆ジグザグスキャン部２１７に設定される。

ステップＳ３１においては、エントロピー復号部３１は、符号化されている予測誤差信号に対してエントロピー復号を行う。ステップＳ３２において、逆ジグザグスキャン部２１７は、ステップＳ３０で選択されたスキャンパターンに従って、エントロピー復号部３１の出力信号に対して逆ジグザグスキャンを実行する。ステップＳ３３において、逆量子化部３３は、逆ジグザグスキャン部２１７の出力信号を逆量子化する。ステップＳ３４において、逆直交変換部３４は、逆量子化部３３の出力信号に対して逆直交変換を行うことにより予測誤差信号を再生する。ステップＳ３５において、予測信号生成部３６は、動き補償画像信号生成部３５により得られる予測画像を利用して予測信号を生成する。そして、ステップＳ３７において、復号画像生成部３７は、ステップＳ３６で得られる予測信号にステップＳ３５で得られる予測誤差信号を加算することで復号画像を生成する。

なお、図１２に示す各ステップの実行順序は、１つの例であり、この実行順序に限定されるものではない。すなわち、第１の実施形態の復号方法は、ステップＳ３２の処理の前に、スキャンパターンが選択されていればよい。

＜第２の実施形態＞
図１３は、第２の実施形態の符号化装置の構成を示す図である。第２の実施形態の符号化装置は、予測誤差信号生成部１１、直交変換部１２、量子化部１３、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、動き補償画像信号生成部２０、予測信号生成部２１、動き補償信号間差分信号生成部１２１、選択部１２２、ジグザグスキャン部１２３を備える。ここで、予測誤差信号生成部１１、直交変換部１２、量子化部１３、エントロピー符号化部１５、逆量子化部１６、逆直交変換部１７、復号画像生成部１８、復号画像記憶部１９、動き補償画像信号生成部２０、予測信号生成部２１は、図１を参照しながら説明した通りである。また、動き補償信号間差分信号生成部１２１、選択部１２２、ジグザグスキャン部１２３は、それぞれ、図５に示す動き補償信号間差分信号生成部１０１、選択部１０２、ジグザグスキャン部１０３に対応する。

まず、スキャンパターンを決定する手順について説明する。以下の説明では、第１の実施形態についての説明と同様に、動き補償画像信号生成部２０により、２つの動きベクトルが算出され、２つの動き補償画像（図５に示す予測画像０、１）が選択されるものとする。そして、動き補償信号間差分信号生成部１２１は、動き補償信号間差分信号を生成する。

選択部１２２は、動き補償信号間差分信号について画素エッジ検出処理を行い、エッジ方向（例えば、水平方向エッジ、垂直方向エッジ）を検出する。このとき、選択部１２２は、エッジの強さもあわせて検出してもよい。そして、選択部１２２は、検出したエッジ方向に基づいてスキャンパターンを選択し、選択したスキャンパターンをジグザグスキャン部１２３に設定する。

第２の実施形態において符号化対象信号を符号化する構成および動作は、基本的に、第１の実施形態と同じである。すなわち、予測誤差信号生成部１１は、予測誤差信号を生成する。そして、直交変換および量子化が行われた予測誤差信号は、ジグザグスキャン部１２３に与えられる。ジグザグスキャン部１２３は、選択部１２２により選択されたスキャンパターンで予測誤差信号からランレベル情報を生成する。そして、エントロピー符号化部１５は、生成されたランレベル情報を符号化して出力する。さらに、逆量子化部１６および逆直交変換部１７により予測誤差信号が再生され、復号画像生成部１８により復号画像が生成される。そして、復号画像は、以降の符号化処理のための参照画像として復号画像記憶部１９に格納される。

このように、第２の実施形態の符号化装置においては、動き補償信号間差分信号により表されるブロックのエッジ方向が検出され、そのエッジ方向に対応するスキャンパターンが選択される。ところで、予測誤差信号をジグザグスキャンすることによりランレングス符号を生成する際には、図７を参照しながら説明したように、予測誤差信号の分布（すなわち、直交変換係数の分布）に応じてスキャンパターンを適切に選択すれば、符号長が短くなる。このとき、例えば、予測誤差信号が垂直エッジを有しているときは、横方向のスキャンを優先すると、係数列の最後にゼロが集中しやすくなると考えられる。同様に、予測誤差信号が水平エッジを有しているときは、縦方向のスキャンを優先すると、係数列の最後にゼロが集中しやすくなると考えられる。ここで、係数列の最後にゼロが集中すると、ランレングス情報の符号長が短くなる。

そこで、第２の実施形態では、予測誤差信号のエッジ方向に応じてスキャンパターンが選択される。ただし、上述したように、動き補償信号間差分信号と予測誤差信号との間には強い相関が存在する。すなわち、予測誤差信号のエッジ方向と動き補償信号間差分信号のエッジ方向は、互いにほぼ同じと考えられる。よって、選択部１２２は、予測誤差信号の代わりに動き補償信号間差分信号のエッジ方向を検出し、そのエッジ方向に基づいて、予測誤差信号のランレベル情報の情報量がもっとも小さくなることが期待されるスキャンパターンを選択する。したがって、上記方法で選択されたスキャンパターンで予測誤差信号のランレベル情報を生成すると、情報量が小さくなる。

図１４は、第２の実施形態の符号化方法を示すフローチャートである。このフローチャートの処理は、符号化対象ブロックごとに実行される。
ステップＳ４１およびＳ４２は、第１の実施形態のステップＳ１およびＳ２と同じである。すなわち、動き補償画像信号生成部２０により動きベクトルが計算され、動き補償信号間差分信号生成部１２１により動き補償信号間差分信号が生成される。

ステップＳ４３において、選択部１２２は、動き補償信号間差分信号の画素エッジを検出する。画素エッジは、例えば、動き補償信号間差分信号の各画素の画素値の絶対値を計算し、その計算結果に対してエッジ検出フィルタでフィルタ演算を実行することにより検出される。エッジ検出フィルタとしては、例えば、Sobelフィルタが使用される。

Sobelフィルタは、例えば、下記の垂直エッジ抽出フィルタＹ（水平方向のフィルタ処理）、および水平エッジ抽出フィルタＸ（垂直方向のフィルタ処理）により実現される。
なお、入力画素Ｐは、動き補償信号間差分信号ブロックから抽出される３×３画素の画素絶対値を表す。

水平方向のSobelフィルタの演算結果dyは、（５）式で表される。
dy＝PY＝−a−2d−g＋c＋2f＋i ・・・（５）
垂直方向のSobelフィルタの演算結果dxは、（６）式で表される。
dx＝PX＝−a−2b−c＋g＋2h＋i ・・・（６）
エッジベクトルの強度Ampおよびエッジ角度Angは、Sobelフィルタの演算結果に基づいて、それぞれ（７）式および（８）式により計算される。

上記計算により、各画素位置についてエッジベクトルの強度およびエッジ角度が検出される。例えば、符号化対象ブロックが８×８画素である場合には、６４セットのエッジデータ（エッジベクトル強度データおよびエッジ角度データ）が得られる。

さらに、各画素位置のエッジデータについて、（９）式または（１０）式の条件を満たすか否かが判定される。ここで、dxが正であれば（９）式の判定が行われ、dxが負であれば（１０）式の判定が行われる。また、Ang_LおよびAng_Hは、予め決められた角度を表す。

そして、所定数よりも多い画素位置のエッジデータが（９）式または（１０）式の条件を満たす場合には、エッジベクトルの方向が「(Ang_L, Ang_H]」の範囲内であると判定される。ここで、Ang_LおよびAng_Hとして、それぞれ、例えば、＋１５°および−１５°が設定されるものとする。この場合、エッジベクトルの方向が「水平方向」と判定される。同様に、Ang_LおよびAng_Hを適切に設定することにより、垂直方向のエッジが検出される。

ステップＳ４４において、選択部１２２は、フィルタ演算により得られたエッジ方向およびエッジ強度に基づいて、スキャンパターンを選択する。例えば、動き補償信号間差分信号の水平エッジが強い場合、空間領域から周波数領域への直交変換の特性を利用し、水平エッジ優遇スキャンパターンが選択される。同様に、動き補償信号間差分信号の垂直エッジが強い場合、垂直エッジ優遇スキャンパターンが選択される。そして、選択部１２２は、選択したスキャンパターンをジグザグスキャン部１２３に設定する。

ステップＳ４５〜Ｓ４９は、第１の実施形態のステップＳ８〜Ｓ１２と同じである。すなわち、予測誤差信号生成部１１により生成された予測誤差信号は、直交変換および量子化された後、ジグザグスキャン部１２３に与えられる。そうすると、ジグザグスキャン部１２３は、上述の方法で選択部１２２により選択されたスキャンパターンで、予測誤差信号についてのランレベル情報を生成する。そして、エントロピー符号化部１５は、生成されたランレベル情報に対してエントロピー符号を行う。

なお、図１４に示す各ステップの実行順序は、１つの例であり、この実行順序に限定されるものではない。すなわち、例えば、ステップＳ４５〜Ｓ４７は、ステップＳ４２の前に実行されてもよい。或いは、ステップＳ４５〜Ｓ４７は、ステップＳ４２〜Ｓ４４と並列に実行されてもよい。

図１５は、第２の実施形態の復号装置の構成を示す図である。第２の実施形態の復号装置は、エントロピー復号部３１、逆量子化部３３、逆直交変換部３４、動き補償画像信号生成部３５、予測信号生成部３６、復号画像生成部３７、復号画像記憶部３８、動き補償信号間差分信号生成部２２１、選択部２２２、逆ジグザグスキャン部２２３を備える。ここで、エントロピー復号部３１、逆量子化部３３、逆直交変換部３４、動き補償画像信号生成部３５、予測信号生成部３６、復号画像生成部３７、復号画像記憶部３８は、図２を参照しながら説明した通りである。また、動き補償信号間差分信号生成部２２１、選択部２２２は、基本的に、それぞれ、図１３に示す動き補償信号間差分信号生成部１２１、選択部１２２と同じ動作を実行する。さらに、逆ジグザグスキャン部２２３は、図１３に示すジグザグスキャン部１２３の逆処理を実行する。

したがって、復号装置においても、動き補償信号間差分信号のエッジ方向（及び、エッジ強度）に基づいて、予測誤差信号のランレベル情報の符号長が最小になるスキャンパターンが選択される。そして、逆ジグザグスキャン部２２３は、選択されたスキャンパターンで、エントロピー復号部３１から出力される復号対象信号を復号して予測誤差信号を再生する。

図１６は、第２の実施形態の復号方法を示すフローチャートである。このフローチャートの処理は、復号対象ブロックごとに実行される。
ステップＳ５１〜Ｓ５５は、第１の実施形態のステップＳ２１〜Ｓ２５と同じである。すなわち、動き補償信号間差分信号が生成される。ステップＳ５６〜Ｓ５７は、符号化方法において実行されるステップＳ４３〜Ｓ４４と同じである。すなわち、動き補償信号間差分信号に基づいてスキャンパターンが選択される。ステップＳ５８〜Ｓ６３は、第１の実施形態のステップＳ３１〜Ｓ３６と同じである。
なお、図１６に示す各ステップの実行順序は、１つの例であり、この実行順序に限定されるものではない。

＜第３の実施形態＞
本特許出願の出願人は、符号化対象情報に含まれる輝度情報および色差情報を符号化する際に、輝度情報の予測誤差が大きい画素は、色差情報の予測誤差も大きいことを見出した。すなわち、輝度情報の予測誤差が発生する画素位置と、色差情報の予測誤差が発生する画素位置との間には相関がある。ここで、この相関は、予測信号生成方法がインター予測、双方向フレーム間予測、イントラ予測のいずれの場合であっても存在する。また、上記相関は、ＲＧＢ信号のＲ成分、Ｇ成分、Ｂ成分間でも存在する。

上記相関を利用すれば、色差情報の予測誤差の分布から、輝度情報の予測誤差の分布を推定できる。そこで、第３の実施形態では、色差情報の予測誤差の分布に応じて、輝度情報の符号化において使用されるジグザグスキャンのパターンを適応的に切り替えることにより、輝度情報の符号化効率の向上を図る。ここで、輝度情報の情報量は、色差情報の数倍またはそれ以上である。よって、輝度情報の符号化効率の向上は、画像全体の符号化効率の向上に大きく寄与する。

なお、第１または第２の実施形態では、複数の動き補償画像信号の差分の分布に基づいてスキャンパターンが選択される。これに対して、第３の実施形態では、色差情報の予測誤差の分布に基づいて輝度情報の符号化のためのスキャンパターンが選択される。すなわち、第１〜第３の実施形態は、スキャンパターンを選択するための判断基準が互いに異なっているが、選択されたスキャンパターンでランレベル情報を生成する構成および動作は、互いに同じであってもよい。

図１７は、第３の実施形態の符号化装置の構成を示す図である。第３の実施形態においても、動画像の各ピクチャはそれぞれ複数のブロックに分割され、符号化装置は、ブロック毎に画像データを符号化する。なお、図１７に示す構成では、符号化装置に、符号化対象画像の輝度成分および色差成分が入力される。

この例では、原画像ブロックは、Ｙ／Ｃb／Ｃr信号で表される。なお、Ｙ／Ｃb／Ｃr信号の画像フォーマットは、特に限定されるものではなく、例えば、４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマットのいずれであってもよい。

色差予測信号生成部３０１は、符号化対象画像の色差情報の予測値を表す色差予測信号を生成する。色差予測信号生成部３０１は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６４等で採用されているインター予測、双方向フレーム間予測、または、Ｈ．２６４等で採用されているIntra予測などにより実現される。また、各ブロックの予測方法は、所定の予測モード決定アルゴリズムで決定される。

色差予測誤差信号生成部３０２は、符号化対象画像の色差情報と色差予測信号との差分を計算することにより色差予測誤差信号を生成する。色差符号化情報生成部３０３は、色差予測誤差信号の空間方向の冗長性を削減し、色差符号化情報を生成する。色差符号化情報生成部３０３は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６４等で用いられる直交変換および量子化の組合せにより実現される。この場合、色差符号化情報は、直交変換された係数を量子化した結果である。また、色差符号化情報生成部３０３は、ＪＰＥＧ−２０００等で採用されているWavelet変換やＤＰＣＭ、ベクトル量子化等で実現されてもよい。

色差再生予測誤差信号生成部３０４は、色差符号化情報から色差再生予測誤差信号を生成する。色差再生予測誤差信号生成部３０４は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６４で採用されている逆量子化および逆直交変換の組合せにより実現される。あるいは、色差再生予測誤差信号生成部３０４は、ＤＰＣＭ、ベクトル量子化の復号処理などによって実現されてもよい。

色差復号画像生成部３０５は、色差予測信号に色差再生予測誤差信号を加算することで色差復号画像を生成する。この復号画像は、以降の符号化処理において使用される参照画像として保存される。

輝度情報を符号化するための構成は、基本的に、上述した色差情報を符号化するための構成と同じである。すなわち、輝度予測信号生成部３１１は、輝度予測信号を生成する。輝度予測誤差信号生成部３１２は、符号化対象信号の輝度成分と輝度予測信号との差分を表す輝度予測誤差信号を生成する。輝度符号化情報生成部３１３は、例えば直交変換および量子化により、輝度予測誤差信号の符号化情報を生成する。輝度再生予測誤差信号生成部３１４は、例えば逆量子化処理および逆直交変換により、輝度予測誤差信号を再生する。そして、輝度復号画像生成部３１５は、輝度予測信号および再生された輝度予測誤差信号から復号画像を生成する。復号画像は、以降の符号化処理において参照画像として使用される。

選択部３２１は、色差予測誤差の分布に基づいて、輝度予測誤差信号のランレベル情報を生成する際に使用するスキャンパターンを選択する。ここで、選択部３２１は、色差再生予測誤差信号生成部３０４により生成される色差再生予測誤差信号を利用して色差予測誤差の分布を検出する。ただし、選択部３２１は、色差予測誤差信号生成部３０２により生成される色差予測誤差信号を利用して色差予測誤差の分布を検出してもよい。

選択部３２１は、第１の実施形態に係わる方法でスキャンパターンを選択することができる。この場合、選択部３２１は、ジグザグスキャン部３２２およびエントロピー符号化部３２３を利用し、各スキャンパターンについて色差再生予測誤差信号のランレベル情報を生成し、ランレベル情報の符号長が最も短くなるスキャンパターンを選択する。また、選択部３２１は、第２の実施形態に係わる方法でスキャンパターンを選択してもよい。この場合、選択部３２１は、色差再生予測誤差信号の画素のエッジ方向を検出し、そのエッジ方向に対応するスキャンパターンを選択する。

ジグザグスキャン部３２２は、色差符号化情報および輝度符号化情報をスキャンし、それぞれのランレベル情報を生成する。このとき、ジグザグスキャン部３２２は、選択部３２２により選択されたスキャンパターンで輝度符号化情報をスキャンする。ただし、色差符号化情報については、予め決められたパターンでスキャンされてもよい。そして、エントロピー符号化部３２３は、輝度および色差についてのランレベル情報に対してエントロピー符号化を行う。

図１８は、第３の実施形態の復号装置の構成を示す図である。第３の実施形態の復号装置は、図１７に示す符号化装置によって生成される符号化データストリーム（エントロピー符号化情報）を復号する。なお、復号装置は、基本的には、符号化装置による処理の逆処理を行う。また、復号装置は、ブロック毎に復号処理を行う。

エントロピー復号部３５１は、エントロピー符号化情報を復号し、色差符号化情報および輝度符号化情報を再生する。色差逆ジグザグスキャン部３６１は、色差符号化情報に対して逆ジグザグスキャン処理を行う。このとき、予め決められたパターンで逆スキャンが行われる。色差再生予測誤差信号生成部３６２は、色差逆ジグザグスキャン部３６１の出力信号から色差予測誤差信号を再生する。色差予測信号生成部３６３は、色差予測誤差信号を生成する。そして、色差復号画像生成部３６４は、色差予測信号および色差予測誤差信号から色差復号画像を生成する。

選択部３５２は、色差再生予測誤差信号生成部３６２により生成される色差再生予測誤差信号に基づいてスキャンパターンを選択する。スキャンパターンを選択する方法は、図１７に示す符号化装置が備える選択部３２１と同様である。

輝度符号化情報から輝度復号画像を生成する方法は、基本的に、色差復号画像を生成する方法と同じである。すなわち、輝度逆ジグザグスキャン部３７１は、輝度符号化情報に対して逆ジグザグスキャン処理を行う。輝度再生予測誤差信号生成部３７２は、輝度逆ジグザグスキャン部３７１の出力信号から輝度予測誤差信号を再生する。輝度予測信号生成部３７３は、輝度予測誤差信号を生成する。そして、輝度復号画像生成部３７４は、輝度予測信号および輝度予測誤差信号から輝度復号画像を生成する。このとき、輝度ジグザグスキャン部３７１は、選択部３５２により選択されたスキャンパターンで輝度符号化情報を逆スキャンする。

＜バリエーション＞
上述の説明では、第１の実施形態において、すべてのスキャンパターンの中で動き補償信号間差分信号に対応する符号長が最も短くなるパターンが選択される。しかし、第１の実施形態はこの方法に限定されるものではない。すなわち、例えば、第１の実施形態において、各スキャンパターンについて動き補償信号間差分信号に対応する符号長を順番に計算してゆき、符号長が所定値よりも短くなったときのパターンをジグザグスキャン部に設定してもよい。

また、上述の説明では、第２の実施形態において、動き補償信号間差分信号の画素値のエッジ方向に基づいてスキャンパターンが選択される。しかし、第２の実施形態はこの方法に限定されるものではない。すなわち、例えば、第２の実施形態において、動き補償信号間差分信号の画素値のエッジ方向およびエッジ強度に組合せに基づいてスキャンパターンが選択されてもよい。或いは、動き補償信号間差分信号の画素値の分布に基づいてスキャンパターンが選択されるようにしてもよい。

＜ハードウェア構成＞
図１９は、各実施形態の符号化装置または復号装置（あるいは、符号化／復号方法を実行するコンピュータまたはプロセッサシステム）のハードウェア構成を示す図である。図１９において、ＣＰＵ１００１は、メモリ１００３を利用して符号化プログラムまたは復号プログラムを実行する。記憶装置１００２は、符号化プログラムまたは復号プログラムを格納する。なお、記憶装置１００２は、外部記憶装置であってもよい。メモリ１００３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。

読み取り装置１００４は、ＣＰＵ１００１の指示に従って可搬型記録媒体１００５にアクセスする。可搬型記録媒体１００５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１００６は、ＣＰＵ１００１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１００７は、この実施例では、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。

実施形態に係わる符号化プログラムまたは復号プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１００２に予めインストールされている。
（２）可搬型記録媒体１００５により提供される。
（３）プログラムサーバ１０１０からダウンロードする。
そして、上記構成のコンピュータで符号化プログラムまたは復号プログラムを実行することにより、実施形態に係わる符号化装置または復号装置が実現される。

Claims (8)

1. 符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、前方向動き補償のための参照画像を利用して第１の動き補償画像信号を生成すると共に、後方向動き補償のための参照画像を利用して第２の動き補償画像信号を生成する動き補償画像信号生成部と、
   前記第１および第２の動き補償画像信号を利用して前記符号化対象信号の予測値を表す予測信号を生成する予測信号生成部と、
   前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成する予測誤差信号生成部と、
   前記第１および第２の動き補償画像信号の差分を表す動き補償信号間差分信号を直交変換することにより、前記動き補償信号間差分信号を表す複数の係数を生成する変換部と、
   前記予測誤差信号から符号化情報を生成するために用意されている複数のスキャンパターンの中から、使用するスキャンパターンを選択する選択部と、
   前記選択部により選択されたスキャンパターンを用いて前記予測誤差信号から符号化情報を生成するジグザグスキャン部と、を有し、
   前記選択部は、前記ジグザグスキャン部が前記複数のスキャンパターンのそれぞれで前記変換部により生成された複数の係数をスキャンしたときに得られる符号化情報の情報量が最小となるスキャンパターンを選択する
   ことを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置であって、
   前記選択部は、前記動き補償信号間差分信号のエッジの方向に対応するスキャンパターンを選択する
   ことを特徴とする動画像符号化装置。
3. 動画像符号化装置により生成された符号化情報を復号する動画像復号装置であって、
   複数の参照画像に基づいて、前方向動き補償のための参照画像を利用して第１の動き補償画像信号を生成すると共に、後方向動き補償のための参照画像を利用して第２の動き補償画像信号を生成する動き補償画像信号生成部と、
   前記第１および第２の動き補償画像信号を利用して復号画像の予測値を表す予測信号を生成する予測信号生成部と、
   前記第１および第２の動き補償画像信号の差分を表す動き補償信号間差分信号を直交変換することにより、前記動き補償信号間差分信号を表す複数の係数を生成する変換部と、
   復号対象信号から予測誤差信号を再生するために用意されている複数のスキャンパターンの中から、使用するスキャンパターンを選択する選択部と、
   前記選択部により選択されたスキャンパターンを用いて、前記復号対象信号から予測誤差信号を再生する逆ジグザグスキャン部と、
   前記予測誤差信号および前記予測信号から復号画像を生成する復号画像生成部と、を有し、
   前記選択部は、前記複数のスキャンパターンのそれぞれで前記変換部により生成された複数の係数をスキャンしたときに得られる符号化情報の情報量が最小となるスキャンパターンを選択する
   ことを特徴とする動画像復号装置。
4. 請求項３に記載の動画像復号装置であって、
   前記選択部は、前記動き補償信号間差分信号のエッジの方向に対応するスキャンパターンを選択する
   ことを特徴とする動画像復号装置。
5. 符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、前方向動き補償のための参照画像を利用して第１の動き補償画像信号を生成すると共に、後方向動き補償のための参照画像を利用して第２の動き補償画像信号を生成し、
   前記第１および第２の動き補償画像信号を利用して前記符号化対象信号の予測値を表す予測信号を生成し、
   前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成し、
   前記第１および第２の動き補償画像信号の差分を表す動き補償信号間差分信号を直交変換することにより、前記動き補償信号間差分信号を表す複数の係数を生成し、
   前記予測誤差信号から符号化情報を生成するために用意されている複数のスキャンパターンの中から、前記複数のスキャンパターンのそれぞれで前記複数の係数をジグザグスキャンしたときに得られる符号化情報の情報量が最小となるスキャンパターンを選択し、
   選択されたスキャンパターンを用いて前記予測誤差信号から符号化情報を生成する、
   ことを特徴とする動画像符号化方法。
6. 動画像符号化装置により生成された符号化情報を復号する動画像復号方法であって、
   複数の参照画像に基づいて、前方向動き補償のための参照画像を利用して第１の動き補償画像信号を生成すると共に、後方向動き補償のための参照画像を利用して第２の動き補償画像信号を生成し、
   前記第１および第２の動き補償画像信号を利用して復号画像の予測値を表す予測信号を生成し、
   前記第１および第２の動き補償画像信号の差分を表す動き補償信号間差分信号を直交変換することにより、前記動き補償信号間差分信号を表す複数の係数を生成し、
   復号対象信号から予測誤差信号を再生するために用意されている複数のスキャンパターンの中から、前記複数のスキャンパターンのそれぞれで前記複数の係数をジグザグスキャンしたときに得られる符号化情報の情報量が最小となるスキャンパターンを選択し、
   選択されたスキャンパターンを用いて、前記復号対象信号から予測誤差信号を再生し、
   前記予測誤差信号および前記予測信号から復号画像を生成する、
   ことを特徴とする動画像復号方法。
7. コンピュータに、
   符号化対象画像を表す符号化対象信号および複数の参照画像に基づいて、前方向動き補償のための参照画像を利用して第１の動き補償画像信号を生成すると共に、後方向動き補償のための参照画像を利用して第２の動き補償画像信号を生成するステップ、
   前記第１および第２の動き補償画像信号を利用して前記符号化対象信号の予測値を表す予測信号を生成するステップ、
   前記符号化対象信号と前記予測信号との差分を表す予測誤差信号を生成するステップ、
   前記第１および第２の動き補償画像信号の差分を表す動き補償信号間差分信号を直交変換することにより、前記動き補償信号間差分信号を表す複数の係数を生成するステップ、
   前記予測誤差信号から符号化情報を生成するために用意されている複数のスキャンパターンの中から、前記複数のスキャンパターンのそれぞれで前記複数の係数をジグザグスキャンしたときに得られる符号化情報の情報量が最小となるスキャンパターンを選択するステップ、
   前記選択されたスキャンパターンを用いて前記予測誤差信号から符号化情報を生成するステップ、
   を実行させるための動画像符号化プログラム。
8. 動画像符号化装置により生成された符号化情報を復号するコンピュータに、
   複数の参照画像に基づいて、前方向動き補償のための参照画像を利用して第１の動き補償画像信号を生成すると共に、後方向動き補償のための参照画像を利用して第２の動き補償画像信号を生成するステップ、
   前記第１および第２の動き補償画像信号を利用して復号画像の予測値を表す予測信号を生成するステップ、
   前記第１および第２の動き補償画像信号の差分を表す動き補償信号間差分信号を直交変換することにより、前記動き補償信号間差分信号を表す複数の係数を生成するステップ、
   復号対象信号から予測誤差信号を再生するために用意されている複数のスキャンパターンの中から、前記複数のスキャンパターンのそれぞれで前記複数の係数をジグザグスキャンしたときに得られる符号化情報の情報量が最小となるスキャンパターンを選択するステップ、
   前記選択されたスキャンパターンを用いて、前記復号対象信号から予測誤差信号を再生するステップ、
   前記予測誤差信号および前記予測信号から復号画像を生成するステップ、
   を実行させる動画像復号プログラム。

Images