JP2012134869A - 画像符号化方法、画像復号方法、画像符号化装置、及び画像復号装置 - Google Patents

Abstract

【課題】イントラ予測誤差を低減することで、高能率なイントラ符号化方法を確立する。
【解決手段】イントラ予測処理部１０１は、イントラ予測残差信号を生成する。変換処理部１０２は、イントラ予測残差信号に対して変換処理を行って変換係数を生成し、逆変換処理部１０５は、該変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号値を生成する。残差予測処理部１１０は、イントラ予測残差信号に対して予測処理を生成し、加算器Ａ３は、該残差予測誤差信号の復号信号とイントラ予測残差信号の予測値とを加算し、イントラ予測残差信号の復号値を生成する。残差予測を行わない場合には、残差予測処理部１１０を用いず、残差予測を行う場合には、残差予測処理部１１０によって残差予測された残差予測誤差信号を用いて復号信号を生成する。
【選択図】図１

Description

本発明は、画像符号化方法、画像復号方法、画像符号化装置、及び画像復号装置に関する。

動画像符号化のアルゴリズムは、フレーム間符号化（インター符号化）とフレーム内符号化（イントラ符号化）に大別される。フレーム間符号化は、動画像内の時間方向の相関を利用して、情報圧縮を図るアプローチである。代表例は、動き補償を用いたフレーム間予測である。一方、フレーム内符号化は、フレーム内の相関を用いて、情報圧縮を図るアプローチである。ＪＰＥＧ、ＭＰＥＧ−２では、離散コサイン変換（ＤＣＴ）を用いたアプローチが、ＪＰＥＧ２０００では、離散ウェーブレット変換を用いたアプローチが採られた。Ｈ．２６４／ＡＶＣでは、前述の変換符号化に加えて、空間方向の予測が行われる（例えば非特許文献１参照）。

一般的に、インター符号化に比べてイントラ符号化の符号化効率は低く、さらなる符号化効率改善が必要とされている。Ｈ．２６４／ＡＶＣのイントラ予測改善のアプローチとして、８方向の予測方向を細分化し、３３方向の予測方向をサポートした手法が提案されている。この手法は、予測方向の粒度の粗さに起因する予測誤差を低減させることを狙ったものである。

図１１は、従来のイントラ予測を用いた符号化装置の構成を示すブロック図である。符号化装置は、イントラ予測処理部１０１、変換処理部１０２、量子化処理部１０３、逆量子化処理部１０４、逆変換処理部１０５、インループフィルタ処理部１０６、フレームメモリ１０７、イントラ予測情報符号化部１０８、エントロピ符号化処理部１０９からなる。

加算器Ａ１は、後述するイントラ予測処理部１０１からのイントラ予測モードと入力信号との差分信号（イントラ予測残差信号）を生成する。変換処理部１０２は、イントラ予測残差信号に対する変換処理を行い、変換係数を生成する。量子化処理部１０３は、変換係数に対する量子化処理を行い、量子化インデックスを生成する。

逆量子化処理部１０４は、量子化インデックスに対する逆量子化処理を行い、変換係数の復号値を生成する。逆変換処理部１０５は、変化係数の復号値に対して、逆変換処理を行い、イントラ予測残差信号の復号信号を生成する。加算器Ａ２は、イントラ予測残差信号の復号値に、イントラ予測処理部１０１によるイントラ予測で生成されるイントラ予測信号を加算して、復号信号を生成する。インループフィルタ処理部１０６は、復号信号にフィルタ処理を行う。フレームメモリ１０７は、フィルタ処理後の復号信号を保持する。

イントラ予測処理部１０１は、イントラ符号化の方式（イントラ符号化モード）を設定し、設定されたイントラ予測モードに基づき、イントラ予測信号を生成する。イントラ予測情報符号化部１０８は、イントラ予測情報を符号化する。エントロピ符号化処理部１０９は、量子化インデックスをエントロピ符号化する。

図１２は、従来のイントラ予測を用いた符号化装置の動作を説明するためのフローチャートである。以下のステップＳ１０１〜Ｓ１０５の処理を、符号化ユニット毎に実行する。まず、イントラ符号化の方式（イントラ符号化モード）を設定し、設定されたイントラ予測モードに基づき、イントラ予測信号を生成し、さらに、イントラ予測モードと入力信号との差分信号（イントラ予測残差信号）を生成する（ステップＳ１０２）。

次に、イントラ予測残差信号に対する変換処理を行い、変換係数を生成し（ステップＳ１０３−１）、変換係数に対する量子化処理を行い、量子化インデックスを生成する（ステップＳ１０３−２）。次に、量子化インデックスをエントロピ符号化し（ステップＳ１０３−３）、量子化インデックスに対する逆量子化処理を行い、変換係数の復号値を生成し（ステップＳ１０３−４）、変化係数の復号値に対して、逆変換処理を行い、イントラ予測残差信号の復号信号を生成する（ステップＳ１０３−５）。以降、ステップＳ１０３−１〜Ｓ１０３−５の処理を、ステップＳ１０３とする。

そして、イントラ予測残差信号の復号値にイントラ予測で生成されるイントラ予測信号（ステップＳ１０２で生成）を加算して、復号信号を生成する（ステップＳ１０４）。

図１３は、従来のイントラ予測を用いた復号装置の構成を示すブロック図である。復号装置は、エントロピ復号処理部２０１、逆量子化処理部２０２、逆変換処理部２０３、イントラ予測情報格納部２０４、イントラ予測処理部２０５、インループフィルタ処理部２０６、フレームメモリ２０７からなる。

エントロピ復号処理部２０１は、符号化ユニットの符号化データを入力として、エントロピ復号処理する。逆量子化処理部２０２は、量子化インデックスを入力として、逆量子化処理を行い、変換係数の復号値を生成する。逆変換処理部２０３は、変換係数の復号値を入力として、逆変換処理を行い、イントラ予測残差信号の復号信号を生成する。

イントラ予測情報格納部２０４は、エントロピ復号処理部２０１で復号されたイントラ予測情報（イントラ符号化モード）を格納する。イントラ予測処理部２０５は、復号済みの符号化データから、イントラ符号化の方式（イントラ符号化モード）を読み出し、同イントラ予測モードに基づき、イントラ予測信号を生成する。加算器Ｂ１は、イントラ予測残差信号の復号値、及びイントラ予測信号を入力として、両者を加算し、復号信号を生成する。インループフィルタ処理部２０６は、復号信号にフィルタ処理を行う。フレームメモリ２０７は、フィルタ処理後の復号信号を保持する。

図１４は、従来のイントラ予測を用いた復号装置の動作を説明するためのフローチャートである。ステップＳ２０１〜Ｓ２０６の処理を、符号化ユニット毎に実行する。まず、符号化ユニットの符号化データを入力として、エントロピ復号処理する（ステップＳ２０２）。次に、復号済みの符号化データから、イントラ符号化の方式（イントラ符号化モード）を読み出し、同イントラ予測モードに基づき、イントラ予測信号を生成する（ステップＳ２０３）。

次に、量子化インデックスを入力として、逆量子化処理を行い、変換係数の復号値を生成し（ステップＳ２０４−１）、変換係数の復号値を入力として、逆変換処理を行い、イントラ予測残差信号の復号信号を生成する（ステップＳ２０４−２）。以降、ステップＳ２０４−１、Ｓ２０４−２の処理を、ステップＳ２０４とする。

そして、イントラ予測残差信号の復号値、及びイントラ予測信号（ステップＳ２０３で生成）を入力として、両者を加算し、復号信号を生成する。

"Ｈ．２６４／ＡＶＣ 教科書"，角野眞也他，インプレス，２００８．

従来のイントラ予測は、いずれも外挿予測であるため、参照画素と被予測画素との間の距離の増大に伴い、予測誤差が増大する傾向にある。このため、予測方向の粒度に差異はあるものの、こうした外挿予測が機構的に内在する問題は未解決であり、符号化効率向上に改良の余地を残すという問題がある。

本発明は、このような事情を考慮してなされたものであり、その目的は、イントラ予測誤差間の相関に着目し、イントラ予測誤差を低減することで、高能率なイントラ符号化方法を確立することができる画像符号化方法、画像復号方法、画像符号化装置、及び画像復号装置を提供することにある。

本発明は、空間的な画素間予測を用いて予測信号を生成し、該予測信号と原信号との残差信号を生成する画像符号化方法であって、イントラ予測残差信号を生成するイントラ予測処理ステップと、前記イントラ予測残差信号に対して変換間処理を行って変換係数を生成し、該変換係数に対して、量子化処理、逆量子化処理を行って、該変換係数の復号値を生成し、該復号値に対して逆変換処理を行って前記イントラ予測残差信号の復号値を生成する生成ステップと、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定する同定ステップと、前記参照ブロックにおけるイントラ予測残差信号の復号値を用いて、予測対象ブロックのイントラ予測残差信号に対する予測処理を行って残差予測誤差信号を生成する残差予測誤差信号生成ステップとを含むことを特徴とする。

本発明は、空間的な画素間予測を用いて予測信号を生成し、該予測信号と原信号との残差信号を生成する画像符号化方法であって、イントラ予測残差信号を生成するイントラ予測処理ステップと、前記イントラ予測残差信号に対して変換間処理を行って変換係数を生成し、該変換係数に対して、量子化処理、逆量子化処理を行って、該変換係数の復号値を生成する生成ステップと、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定する同定ステップと、前記参照ブロックにおけるイントラ予測残差信号の変換係数の復号値を用いて、予測対象ブロックのイントラ予測残差信号の変換係数に対する予測処理を行って、変換係数に対する残差予測誤差信号を生成する残差予測誤差信号生成ステップとを含むことを特徴とする。

本発明は、前記残差予測誤差信号生成ステップにおいて生成される残差予測誤差信号に対して変換処理を行って変換係数を生成し、該変換係数に対して量子化処理を行って得られる第一の量子化変換係数に対して、該量子化処理による量子化誤差と該第一の量子化変換係数を表現するための符号量の加重和をコスト値として求める第一のコスト値生成ステップと、前記イントラ予測処理ステップで生成されるイントラ予測残差信号に対して変換処理を行って変換係数を生成し、該変換係数に対して量子化処理を行って得られる第二の量子化変換係数に対して、該量子化処理による量子化誤差と該第二の量子化変換係数を表現するための符号量の加重和をコスト値として求める第二のコスト値生成ステップと、前記第一のコスト値生成ステップに得られるコスト値と前記第二のコスト値生成ステップに得られるコスト値との大小を比較し、前記第一のコスト値生成ステップにより得られるコスト値の方が小さい場合は、イントラ予測残差に対する予測処理を適用することを示すイントラ予測残差フラグを符号化データとして出力し、それ以外の場合は、イントラ予測残差に対する予測処理を適用しないことを示すイントラ予測残差フラグを符号化データとして出力する出力ステップを含むことを特徴とする。

本発明は、前記残差予測誤差信号生成ステップにおいて生成される残差予測誤差信号に対して変換処理を行って変換係数を生成し、該変換係数に対して量子化処理を行って得られる第一の量子化変換係数に対して、該量子化処理による量子化誤差と該第一の量子化変換係数を表現するための符号量の加重和をコスト値として求める第一のコスト値生成ステップと、前記イントラ予測処理ステップで生成される変換係数に対するイントラ予測残差信号に対して量子化処理を行って得られる第二の量子化変換係数に対して、該量子化処理による量子化誤差と該第二の量子化変換係数を表現するための符号量の加重和をコスト値として求める第二のコスト値生成ステップと、前記第一のコスト値生成ステップに得られるコスト値と前記第二のコスト値生成ステップに得られるコスト値との大小を比較し、前記第一のコスト値生成ステップにより得られるコスト値の方が小さい場合は、イントラ予測残差に対する予測処理を適用することを示すイントラ予測残差フラグを符号化データとして出力し、それ以外の場合は、イントラ予測残差に対する予測処理を適用しないことを示すイントラ予測残差フラグを符号化データとして出力する出力ステップを含むことを特徴とする。

本発明は、符号化器が出力した符号化ストリームを復号する画像復号方法であって、前記符号化ストリームをエントロピ復号するエントロピ復号ステップと、前記エントロピ復号処理された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理ステップと、前記イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおけるイントラ予測残差信号の復号値を用いて、復号対象ブロックのイントラ予測残差信号に対する予測処理を行って、イントラ予測残差信号の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行って残差予測誤差信号の復号信号を生成し、該残差予測誤差信号の復号信号と前記イントラ予測残差信号の予測値を加算し、イントラ予測残差信号の復号信号を生成するイントラ予測残差信号の復号ステップと、前記イントラ予測残差信号の復号ステップで生成されたイントラ予測残差信号の復号信号と前記イントラ予測処理ステップで生成されたイントラ予測信号とを加算し、復号信号を生成する生成ステップとを含むことを特徴とする。

本発明は、符号化器が出力した符号化ストリームを復号する画像復号方法であって、前記符号化ストリームをエントロピ復号するエントロピ復号ステップと、前記エントロピ復号された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理ステップと、前記エントロピ復号された符号化データからイントラ予測残差に対する予測処理の有無を示すイントラ予測残差フラグを読み出し、該イントラ予測残差フラグがイントラ予測残差に対する予測処理の不適用を示していると判断された場合、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第一の復号ステップと、前記イントラ予測残差フラグがイントラ予測残差に対する予測処理の適用を示していると判断された場合、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおけるイントラ予測残差信号の復号値を用いて、復号対象ブロックのイントラ予測残差信号に対する予測処理を行って、イントラ予測残差信号の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行って残差予測誤差信号の復号信号を生成し、該残差予測誤差信号の復号信号と前記イントラ予測残差信号の予測値を加算し、イントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第二の復号ステップと、前記イントラ予測残差信号の第一の復号ステップで生成されたイントラ予測残差信号の復号信号、または、前記イントラ予測残差信号の第二の復号ステップで生成されたイントラ予測残差信号の復号信号と、前記イントラ予測処理ステップで生成されたイントラ予測信号とを加算し、復号信号を生成する生成ステップとを含むことを特徴とする。

本発明は、符号化器が出力した符号化ストリームを復号する画像復号方法であって、前記符号化ストリームをエントロピ復号するエントロピ復号ステップと、前記エントロピ復号処理された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理ステップと、前記イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおける変換係数の復号値を用いて、復号対象ブロックの変換係数に対する予測処理を行って、復号対象ブロックの変換係数の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数に対する残差予測誤差信号の復号値を生成し、該残差予測誤差信号の復号値と該復号対象ブロックの変換係数の予測値を加算し、イントラ予測残差信号の変換係数の復号信号を生成する変換係数の復号ステップと、前記変換係数の復号ステップにおいて生成される変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の復号ステップと、前記イントラ予測残差信号の復号ステップで生成されたイントラ予測残差信号の復号信号と前記イントラ予測処理ステップで生成されたイントラ予測信号とを加算し、復号信号を生成する生成ステップとを含むことを特徴とする。

本発明は、符号化器が出力した符号化ストリームを復号する画像復号方法であって、前記符号化ストリームをエントロピ復号するエントロピ復号ステップと、前記エントロピ復号された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理ステップと、前記エントロピ復号された符号化データからイントラ予測残差に対する予測処理の有無を示すイントラ予測残差フラグを読み出し、該イントラ予測残差フラグがイントラ予測残差に対する予測処理の不適用を示していると判断された場合、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第一の復号ステップと、前記イントラ予測残差フラグがイントラ予測残差に対する予測処理の適用を示していると判断された場合、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおける変換係数の復号値を用いて、復号対象ブロックの変換係数に対する予測処理を行って、復号対象ブロックの変換係数の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数に対する残差予測誤差信号の復号値を生成し、該残差予測誤差信号の復号値と該復号対象ブロックの変換係数の予測値を加算し、イントラ予測残差信号の変換係数の復号信号を生成する変換係数の復号ステップと、前記変換係数の復号ステップにおいて生成される変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第二の復号ステップと、前記イントラ予測残差信号の第一の復号ステップで生成されたイントラ予測残差信号の復号信号、または、前記イントラ予測残差信号の第二の復号ステップで生成されたイントラ予測残差信号の復号信号と、前記イントラ予測処理ステップで生成されたイントラ予測信号とを加算し、復号信号を生成する生成ステップとを含むことを特徴とする。

本発明は、空間的な画素間予測を用いて予測信号を生成し、該予測信号と原信号との残差信号を生成する画像符号化装置であって、イントラ予測残差信号を生成するイントラ予測処理手段と、前記イントラ予測残差信号に対して変換間処理を行って変換係数を生成し、該変換係数に対して、量子化処理、逆量子化処理を行って、該変換係数の復号値を生成し、該復号値に対して逆変換処理を行って前記イントラ予測残差信号の復号値を生成する生成手段と、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定する同定手段と、前記参照ブロックにおけるイントラ予測残差信号の復号値を用いて、予測対象ブロックのイントラ予測残差信号に対する予測処理を行って残差予測誤差信号を生成する残差予測誤差信号生成手段とを備えることを特徴とする。

本発明は、空間的な画素間予測を用いて予測信号を生成し、該予測信号と原信号との残差信号を生成する画像符号化装置であって、イントラ予測残差信号を生成するイントラ予測処理手段と、前記イントラ予測残差信号に対して変換間処理を行って変換係数を生成し、該変換係数に対して、量子化処理、逆量子化処理を行って、該変換係数の復号値を生成する生成手段と、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定する同定手段と、前記参照ブロックにおけるイントラ予測残差信号の変換係数の復号値を用いて、予測対象ブロックのイントラ予測残差信号の変換係数に対する予測処理を行って、変換係数に対する残差予測誤差信号を生成する残差予測誤差信号生成手段とを備えることを特徴とする。

本発明は、符号化器が出力した符号化ストリームを復号する画像復号装置であって、前記符号化ストリームをエントロピ復号するエントロピ復号手段と、前記エントロピ復号処理された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理手段と、前記イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおけるイントラ予測残差信号の復号値を用いて、復号対象ブロックのイントラ予測残差信号に対する予測処理を行って、イントラ予測残差信号の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行って残差予測誤差信号の復号信号を生成し、該残差予測誤差信号の復号信号と前記イントラ予測残差信号の予測値を加算し、イントラ予測残差信号の復号信号を生成するイントラ予測残差信号の復号手段と、前記イントラ予測残差信号の復号手段で生成されたイントラ予測残差信号の復号信号と前記イントラ予測処理手段で生成されたイントラ予測信号とを加算し、復号信号を生成する生成手段とを備えることを特徴とする。

本発明は、符号化器が出力した符号化ストリームを復号する画像復号装置であって、前記符号化ストリームをエントロピ復号するエントロピ復号手段と、前記エントロピ復号された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理手段と、前記エントロピ復号された符号化データからイントラ予測残差に対する予測処理の有無を示すイントラ予測残差フラグを読み出し、該イントラ予測残差フラグがイントラ予測残差に対する予測処理の不適用を示していると判断された場合、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第一の復号手段と、前記イントラ予測残差フラグがイントラ予測残差に対する予測処理の適用を示していると判断された場合、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおけるイントラ予測残差信号の復号値を用いて、復号対象ブロックのイントラ予測残差信号に対する予測処理を行って、イントラ予測残差信号の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行って残差予測誤差信号の復号信号を生成し、該残差予測誤差信号の復号信号と前記イントラ予測残差信号の予測値を加算し、イントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第二の復号手段と、前記イントラ予測残差信号の第一の復号手段で生成されたイントラ予測残差信号の復号信号、または、前記イントラ予測残差信号の第二の復号手段で生成されたイントラ予測残差信号の復号信号と、前記イントラ予測処理手段で生成されたイントラ予測信号とを加算し、復号信号を生成する生成手段とを備えることを特徴とする。

本発明は、符号化器が出力した符号化ストリームを復号する画像復号装置であって、前記符号化ストリームをエントロピ復号するエントロピ復号手段と、前記エントロピ復号処理された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理手段と、前記イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおける変換係数の復号値を用いて、復号対象ブロックの変換係数に対する予測処理を行って、復号対象ブロックの変換係数の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数に対する残差予測誤差信号の復号値を生成し、該残差予測誤差信号の復号値と該復号対象ブロックの変換係数の予測値を加算し、イントラ予測残差信号の変換係数の復号信号を生成する変換係数の復号手段と、前記変換係数の復号手段において生成される変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の復号手段と、前記イントラ予測残差信号の復号手段で生成されたイントラ予測残差信号の復号信号と前記イントラ予測処理手段で生成されたイントラ予測信号とを加算し、復号信号を生成する生成手段とを備えることを特徴とする。

本発明は、符号化器が出力した符号化ストリームを復号する画像復号装置であって、前記符号化ストリームをエントロピ復号するエントロピ復号手段と、前記エントロピ復号された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理手段と、前記エントロピ復号された符号化データからイントラ予測残差に対する予測処理の有無を示すイントラ予測残差フラグを読み出し、該イントラ予測残差フラグがイントラ予測残差に対する予測処理の不適用を示していると判断された場合、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第一の復号手段と、前記イントラ予測残差フラグがイントラ予測残差に対する予測処理の適用を示していると判断された場合、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおける変換係数の復号値を用いて、復号対象ブロックの変換係数に対する予測処理を行って、復号対象ブロックの変換係数の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数に対する残差予測誤差信号の復号値を生成し、該残差予測誤差信号の復号値と該復号対象ブロックの変換係数の予測値を加算し、イントラ予測残差信号の変換係数の復号信号を生成する変換係数の復号手段と、前記変換係数の復号手段において生成される変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第二の復号手段と、前記イントラ予測残差信号の第一の復号手段で生成されたイントラ予測残差信号の復号信号、または、前記イントラ予測残差信号の第二の復号手段で生成されたイントラ予測残差信号の復号信号と、前記イントラ予測処理手段で生成されたイントラ予測信号とを加算し、復号信号を生成する生成手段とを備えることを特徴とする。

この発明によれば、イントラ予測誤差間の相関に着目し、イントラ予測誤差を低減することで、高能率なイントラ符号化方法を確立することができる。

本第１実施形態による、画素領域での残差予測を用いた符号化装置の構成を示すブロック図である。 本第１実施形態による符号化装置の動作（画素領域における残差予測を用いる場合）を説明するためのフローチャートである。 本第１実施形態による符号化装置の動作（画素領域における残差予測を用いる場合）を説明するためのフローチャートである。 本第１実施形態による、画素領域での残差予測を用いた復号装置の構成を示すブロック図である。 本第１実施形態による、画素領域での残差予測を用いた復号装置の動作を説明するためのフローチャートである。 本第２実施形態による、変換係数に対する残差予測を用いた符号化装置の構成を示すブロック図である。 本第２実施形態による符号化装置の動作（変換係数に対する残差予測を用いる場合）を説明するためのフローチャートである。 本第２実施形態による符号化装置の動作（変換係数に対する残差予測を用いる場合）を説明するためのフローチャートである。 本第２実施形態による、変換係数に対する残差予測を用いた復号装置の構成を示すブロック図である。 本第２実施形態による、変換係数に対する残差予測を用いた復号装置の動作を説明するためのフローチャートである。 従来のイントラ予測を用いた符号化装置の構成を示すブロック図である。 従来のイントラ予測を用いた符号化装置の動作を説明するためのフローチャートである。 従来のイントラ予測を用いた復号装置の構成を示すブロック図である。 従来のイントラ予測を用いた復号装置の動作を説明するためのフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。

画像内の類似した２つの領域を考える。この２つの領域に対して、同じ方向のイントラ予測が適用される場合、イントラ予測残差も類似した信号となることが予想される。つまり、予測残差は発生するものの、その発生した予測残差間には相関があるということである。そこで、本発明では、類似した領域の予測残差間の相関を利用し、両予測残差間にて予測を行い、予測残差の低減を図る残差予測を導入する。これをイントラ予測残差予測（ＩＰＲＰ）と呼ぶ。ＩＰＲＰは、残差予測に用いる参照ブロックの設定、イントラ予測残差信号に対する予測方法の設定、ＩＰＲＰの指定方法から構成される。以下、ＩＰＲＰの具体的な処理について説明する。

Ａ．参照ブロックの設定方法
まず、被予測ブロックのブロックサイズ・イントラ予測方向に基づき、ＩＰＲＰにおいて参照すべきブロックを設定する。

Ａ−１．設定方法１
被予測ブロックに対して、同一サイズで、かつ、同一の予測方向の近傍ブロックを残差予測の参照ブロックとする。参照ブロックとしては、ブロック間の距離が最短の最近傍ブロックを設定する。あるいは、一定の範囲内に参照ブロックの指定範囲を限定することも可能である。このように範囲を限定した場合、範囲内に該当するブロックが存在しない場合、残差予測が適用されない。残差予測の不適用は、特別な付加情報無しに、符号化側・復号側で共有することが可能である。

Ａ−２．設定方法２
被予測ブロックに対して、同一サイズで、かつ、類似の予測方向の近傍ブロックを残差予測の参照ブロックとする。参照ブロックについては、前述と同様である。また、どの予測方向を類似とみなすかは、別途、定める。例えば、特定の予測方向を代表方向として定め、それ以外の予測方向については、予測方向の角度の乖離が最小となる代表方向に集約させる。

Ｂ．イントラ予測残差信号の予測方法
Ｂ−１．予測方法１
参照ブロック内のイントラ予測残差信号の復号値を被予測ブロック内のイントラ予測残差の予測信号とみなして、被予測ブロック内のイントラ予測残差信号との差分を計算するものである。

Ｂ−２．予測方法２（重み付差分予測）
重み係数を乗じた参照ブロック内のイントラ予測残差信号の復号値を被予測ブロック内のイントラ予測残差の予測信号とみなして、被予測ブロック内のイントラ予測残差信号との差分を計算するものである。重み係数の算出方法は、別途、与えられるものとする。重み係数の例としては、参照ブロック内のイントラ予測の参照画素群と被予測ブロック内のイントラ予測の参照画素群を２つのベクトルデータとみなして、両ベクトル間の内積値をあげることができる。あるいは、予め、定められた値を用いることも可能である。

Ｂ−３．予測方法３（空間適応予測）
ブロック内の特定の位置の残差信号のみに限定して、参照ブロック内のイントラ予測残差信号の復号値を被予測ブロック内のイントラ予測残差の予測信号とみなして、被予測ブロック内のイントラ予測残差信号との差分を計算するものである。どの位置を残差予測の対象とするかは、イントラ予測方向に応じて、切り替えるものとする。

Ｂ−４．予測方法４（重み付空間適応予測）
ブロック内の特定の位置の残差信号のみに限定して、参照ブロック内のイントラ予測残差信号の復号値を被予測ブロック内のイントラ予測残差の予測信号とみなして、被予測ブロック内のイントラ予測残差信号との差分を計算するものである。

Ｂ−５．予測方法５（適応変換係数予測）
参照ブロック内のイントラ予測残差に対して変換符号化を施して得られた変換係数に対して、量子化処理、逆量子化処理を施して得られる変換係数の復号値を予測信号とみなして、特定の成分の変換係数のみに限定して、被予測ブロックの予測残差に対する変換係数と前記予測信号との差分を計算するものである。どの要素を予測の対象とするかは、イントラ予測方向に応じて、切り替えるものとする。

Ｂ−６．予測方法６（重み付適応変換係数予測）
参照ブロック内のイントラ予測残差に対して変換符号化を施して得られた変換係数に対して、量子化処理、逆量子化処理を施して得られる変換係数の復号値を生成し、該変換係数の復号値に対して重み係数を乗じた重み付変換係数を求め、該重み付変換係数を被予測ブロックの予測残差に対する変換係数の予測信号として、特定の成分の変換係数のみに限定して、被予測ブロックの予測残差に対する変換係数と前記予測信号（該重み付変換係数）との差分信号を計算するものとする。

なお、上記の予測方法において、予測対象を予測残差の絶対値として、予測残差の符号情報は、予測処理の対象とせずに、伝送することも可能である。

Ｃ．残差予測の指定方法
残差予測の適用の有無は、予め定められた単位で実施する。適用の有無は、１ビットのフラグ（残差予測フラグ）を用いて伝送される。また、切替える単位は、シーケンス、フレーム、フレーム内の領域が可能であり、この切替えの単位は、別途、定められるものとする。

参照ブロック内のイントラ予測の参照画素群と被予測ブロック内のイントラ予測の参照画素群との間の相関を算出し、同相関値が一定の閾値以上の場合に、残差予測の適用を限定することも可能である。この場合、相関値が閾値未満であれば、残差予測フラグを伝送する必要はない。

Ｄ．第１実施形態
まず、本発明の第１実施形態について説明する。
図１は、本第１実施形態による、画素領域での残差予測を用いた符号化装置の構成を示すブロック図である。本第１実施形態の符号化装置は、変換処理部１０２の前段に、残差予測処理部１１０、予測残差信号記憶部１１１、加算器Ａ３が追加されている点で従来技術の構成とは異なる。残差予測処理部１１０は、イントラ予測残差信号に対する予測処理を行い、イントラ予測残差信号の予測信号を生成し、該予測信号とイントラ予測残差信号との差分信号（残差予測誤差信号）を生成する。予測残差信号記憶部１１１は、残差予測誤差信号を記憶する。加算器Ａ３は、残差予測誤差信号の復号信号、及び（予測残差信号記憶部１１１からの）イントラ予測残差信号の予測値を入力として、両者を加算し、イントラ予測残差信号の復号値を生成する。

図２、及び図３は、本第１実施形態による符号化装置の動作（画素領域における残差予測を用いる場合）を説明するためのフローチャートである。以下のステップＳ３０１〜Ｓ３１０の処理を、イントラ予測の対象とするブロック（符号化単位ユニットと呼ぶ）毎に実行する。まず、イントラ符号化の方式（イントラ符号化モード）を設定し、設定されたイントラ予測モードに基づき、イントラ予測信号を生成し、さらに、イントラ予測信号と入力信号の差分信号（イントラ予測残差信号）を生成する（ステップＳ３０２）。次に、従来技術で説明した、図１２のステップＳ１０３の処理を実行する（ステップＳ３０３）。

次に、残差予測の適用条件に基づき、残差予測を行うか否かを判定する（ステップＳ３０４）。残差予測とは、イントラ予測残差信号に対する予測処理を指す。そして、適用条件を満たす場合には、ステップＳ３０５の処理へ進む。一方、適用条件を満たさない場合には、後述するステップＳ３１０の処理へ進む。適用条件の例としては、前述のように、参照ブロック内のイントラ予測の参照画素群と被予測ブロック内のイントラ予測の参照画素群との間の相関値に対する閾値処理をあげることができる。

ステップＳ３０５では、以下のステップＳ３０５−１〜Ｓ３０５−８の処理を実行する。まず、残差予測処理部１１０により、イントラ予測残差信号に対する予測処理を行い、イントラ予測残差信号の予測信号を生成し、該予測信号とイントラ予測残差信号との差分信号（残差予測誤差信号）を生成する（ステップＳ３０５−１）。イントラ予測残差信号の予測信号の生成方法としては、前記Ｂ−１、Ｂ−２、Ｂ−３、Ｂ−４のいずれかの予測方法を用いることができる。次に、変換処理部１０２により、残差予測処理部１１０からの残差予測誤差信号を入力として、変換処理を行い、変換係数を生成する（ステップＳ３０５−２）。変換処理は、予め方式が定められるものとし、例えば、離散コサイン変換を用いるものとする。

次に、量子化処理部１０３により、変換係数を入力として量子化処理を行い、量子化後の変換係数を量子化インデックスとして生成し（ステップＳ３０５−３）、エントロピ符号化処理部１０９により、量子化インデックスを入力として、エントロピ符号化処理を行い、２進列へ変換する（ステップＳ３０５−４）。エントロピ符号化の方法は、別途、与えられるものとする。

次に、逆量子化処理部１０４により、量子化インデックスを入力として、逆量子化処理を行い、変換係数の復号値を生成する（ステップＳ３０５−６）。次に、逆変換処理部１０５により、変換係数の復号値を入力として、逆変換処理を行い、残差予測誤差信号の復号信号を生成し（ステップＳ３０５−７）、加算器Ａ３により、残差予測誤差信号の復号信号、及びイントラ予測残差信号の予測値を入力として、両者を加算し、イントラ予測残差信号の復号値を生成する（ステップＳ３０５−８）。

次に、ステップＳ３０５で出力されるイントラ予測残差を用いた場合のＲＤ（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）コストとステップＳ３０３で出力されるイントラ予測残差を用いない場合のＲＤコストとを比較し（ステップＳ３０６）、前者の方が小さい場合には、ステップＳ３０７の処理に進む。そうでない場合には、ステップＳ３０８の処理に進む。ＲＤコストとは、入力信号と復号信号との差分信号に対する二乗和を符号化歪みとし、符号化歪みと符号化データの発生符号量との加重和として定まる値である。

ステップＳ３０７では、イントラ予測残差の使用を示すフラグをＯＮ（二進数の１）に設定する。一方、ステップＳ３０８では、イントラ予測残差の使用を示すフラグをＯＦＦ（二進数の０）に設定する。そして、加算器Ａ２により、イントラ予測残差信号の復号値、及びイントラ予測信号を入力として、両者を加算し、復号信号を生成する（ステップＳ３０９）。

図４は、本第１実施形態による、画素領域での残差予測を用いた復号装置の構成を示すブロック図である。本第１実施形態による復号装置は、残差予測情報記憶部２１０、予測残差信号記憶部２１１、残差予測処理部２１２が追加されている点で従来技術の構成とは異なる。残差予測情報記憶部２１０は、残差予測誤差信号を記憶する。予測残差信号記憶部２１１は、イントラ予測残差信号を記憶する。残差予測処理部２１２は、イントラ予測残差信号に対する予測処理を行い、イントラ予測残差信号の予測値を生成する。

図５は、本第１実施形態による、画素領域での残差予測を用いた復号装置の動作を説明するためのフローチャートである。ステップＳ４０１〜Ｓ４０９の処理を、符号化ユニット毎に実行する。まず、エントロピ復号処理部２０１により、符号化ユニットの符号化データを入力として、エントロピ復号処理し（ステップＳ４０２）、イントラ予測処理部２０５により、復号済みの符号化データから、イントラ符号化の方式（イントラ符号化モード）を読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成する（ステップＳ４０３）。例えば、Ｈ．２６４／ＡＶＣでは、４ｘ４画素のブロックに対して、予測方向の異なる９つの予測モードが用意されている。

次に、残差予測の適用条件に基づき、残差予測を行うか否かを判定する（ステップＳ４１０）。そして、適用条件を満たす場合は、ステップＳ４０５の処理へ進む。一方、適用条件を満たさない場合は、ステップＳ４０８の処理へ進む。次に、復号済みの符号化データから、イントラ予測残差信号に対する予測処理の適用の有無を示すフラグ（イントラ予測残差フラグ）を読み出し（ステップＳ４０４）、イントラ予測残差フラグがＯＮであるか否かを判定する（ステップＳ４０５）。そして、イントラ予測残差フラグがＯＮの場合には、ステップＳ４０６の処理へ進む。そうでない場合には、図１４のステップＳ２０４の処理を実行する（ステップＳ４０７）。

ステップＳ４０６では、以下のステップＳ４０６−１〜Ｓ４０６−４の処理を実行する。まず、残差予測処理部２１２により、イントラ予測残差信号に対して予測処理を行い、イントラ予測残差信号の予測値を生成し（ステップＳ４０６−１）、逆量子化処理部２０２により、量子化インデックスを入力として、逆量子化処理を行い、変換係数の復号値を生成する（ステップＳ４０６−２）。イントラ予測残差信号の予測信号の生成方法としては、前記Ｂ−１、Ｂ−２、Ｂ−３、Ｂ−４のいずれかの予測方法を用いることができる。

次に、逆変換処理部２０３により、変換係数の復号値を入力として、逆変換処理を行い、残差予測誤差信号の復号信号を生成し（ステップＳ４０６−３）、加算器Ｂ２により、残差予測誤差信号の復号信号、及びイントラ予測残差信号の予測値（ステップＳ４０６−１で生成）を入力として、両者を加算し、イントラ予測残差信号の復号値を生成する（ステップＳ４０６−４）。

そして、加算器Ｂ１により、ステップＳ４０７、またはステップＳ４０６で生成されたイントラ予測残差信号の復号値、及びイントラ予測信号（ステップＳ４０３で生成）を入力として、両者を加算し、復号信号を生成する（ステップＳ４０８）。

上述した第１実施形態によれば、イントラ予測残差を低減することができ、符号量を低減することが可能となる。

Ｅ．第２実施形態
次に、第２実施形態について説明する。
図６は、本第２実施形態による、変換係数に対する残差予測を用いた符号化装置の構成を示すブロック図である。本第２実施形態の符号化装置は、変換処理部１０２の後段に、残差予測処理部１１０、予測残差係数記憶部１１１が追加されている点で従来技術の構成とは異なる。残差予測処理部１１０は、変換係数に対して予測処理を行い、変換係数の予測誤差信号を生成する。

図７、及び図８は、本第２実施形態による符号化装置の動作（変換係数に対する残差予測を用いる場合）を説明するためのフローチャートである。以下のステップＳ５０１〜Ｓ５１１の処理を、符号化ユニット毎に実行する。まず、イントラ予測処理部１０１により、イントラ符号化の方式（イントラ符号化モード）を設定し、設定されたイントラ予測モードに基づき、イントラ予測信号を生成し、さらに、加算器Ａ１により、イントラ予測モードと入力信号の差分信号（イントラ予測残差信号）を生成する（ステップＳ５０２）。次に、変換処理部１０２により、イントラ予測残差信号に対する変換処理を行い、変換係数を生成する（ステップＳ５０３）。

次に、量子化処理部１０３により、変換係数に対する量子化処理を行い、量子化インデックスを生成し（ステップＳ５０４−１）、逆量子化処理部１０４により、量子化インデックスに対する逆量子化処理を行い、変換係数の復号値を生成し（ステップＳ５０４−２）、逆変換処理部１０５により、変化係数の復号値に対して、逆変換処理を行い、イントラ予測残差信号の復号信号を生成する（ステップＳ５０４−３）。

次に、残差予測の適用条件に基づき、残差予測を行うか否かを判定する（ステップＳ５０５）。そして、適用条件を満たす場合には、ステップＳ５０６の処理へ進む。一方、適用条件を満たさない場合には、後述するステップＳ５１１の処理へ進む。適用条件の例としては、前述のように、参照ブロック内のイントラ予測の参照画素群と被予測ブロック内のイントラ予測の参照画素群との間の相関値に対する閾値処理をあげることができる。

ステップＳ５０６では、以下のステップＳ５０６−１〜Ｓ５０６−６の処理を実行する。まず、残差予測処理部１１０により、変換係数に対して予測処理を行い、変換係数の予測誤差値を生成し（ステップＳ５０６−１）、量子化処理部１０３により、変換係数の予測誤差値に対する量子化処理を行い、量子化インデックスを生成する（ステップＳ５０６−２）。変換係数の予測方法としては、前記Ｂ−５、もしくは、前期Ｂ−６の予測方法を用いる。続いて、エントロピ符号化処理部１０９により、量子化インデックスを入力として、エントロピ符号化処理を行い、２進列へ変換する（ステップＳ５０６−３）。エントロピ符号化の方法は、別途、与えられるものとする。

次に、逆量子化処理部１０４により、量子化インデックスを入力として、逆量子化処理を行い、変換係数の予測誤差信号の復号値を生成し（ステップＳ５０６−４）、加算器Ａ４により、変換係数の予測誤差信号の復号値に変換係数の予測値（ステップＳ５０６−１で生成）を加算して、変換係数の復号値を生成し（ステップＳ５０６−５）、逆変換処理部１０５により、変換係数の復号値に対して、逆変換処理を行い、予測誤差信号の復号値を生成する（ステップＳ５０６−６）。

次に、ステップＳ５０６で出力されるイントラ予測残差を用いた場合のＲＤコストとステップＳ５０４で出力されるイントラ予測残差を用いない場合のＲＤコストとを比較し（ステップＳ５０７）、前者の方が小さい場合には、ステップＳ５０８の処理に進む。そうでない場合には、ステップＳ５０９の処理に進む。

ステップＳ５０８では、イントラ予測残差の使用を示すフラグをＯＮ（二進数の１）に設定する。一方、ステップＳ５０９では、イントラ予測残差の使用を示すフラグをＯＦＦ（二進数の０）に設定する。そして、加算器Ａ２により、予測残差信号の復号値、及び予測信号を入力として、両者を加算し、復号信号を生成する（ステップＳ５１０）。

図９は、本第２実施形態による、変換係数に対する残差予測を用いた復号装置の構成を示すブロック図である。本第２実施形態の復号装置は、残差予測情報記憶部２１０、予測残差係数記憶部２１１、残差予測処理部２１２が追加されている点で従来技術の構成とは異なる。残差予測処理部２１２は、変換係数の復号値を入力として、予測処理を行い、変換係数の予測値を生成する。

図１０は、本第２実施形態による、変換係数に対する残差予測を用いた復号装置の動作を説明するためのフローチャートである。ステップＳ６０１〜Ｓ６０９の処理を、符号化ユニット毎に実行する。まず、エントロピ復号処理部２０１により、符号化ユニットの符号化データを入力として、エントロピ復号処理し（ステップＳ６０２）、イントラ予測処理部２０５により、復号済みの符号化データから、イントラ符号化の方式（イントラ符号化モード）を読み出し、同イントラ予測モードに基づき、イントラ予測信号を生成する（ステップＳ６０３）。

次に、残差予測の適用条件に基づき、残差予測を行うか否かを判定する（ステップＳ６１０）。そして、適用条件を満たす場合は、ステップＳ６０５の処理へ進む。一方、適用条件を満たさない場合は、ステップＳ６０８の処理へ進む。続いて、復号済みの符号化データから、残差予測の適用の有無を示すフラグ（イントラ予測残差フラグ）を読み出し（ステップＳ６０４）、イントラ予測残差フラグがＯＮであるか否かを判定する（ステップＳ６０５）。そして、イントラ予測残差フラグがＯＮの場合には、ステップＳ６０６の処理へ進む。そうでない場合には、後述するステップＳ６０７の処理へ進む。ステップＳ６０７では、図１４のステップＳ２０４の処理を実行する。

ステップＳ６０６では、以下のステップＳ６０６−１〜Ｓ６０６−４の処理を実行する。まず、残差予測処理部２１２により、変換係数の復号値を入力として、予測処理を行い、変換係数の予測値を生成し（ステップＳ６０６−１）、逆量子化処理部２０２により、量子化インデックスを入力として、逆量子化処理を行い、変換係数の予測誤差の復号値を生成する（ステップＳ６０６−２）。変換係数の予測方法としては、前記Ｂ−５、もしくは、前期Ｂ−６の予測方法を用いる。

次に、加算器Ｂ２により、変換係数の予測誤差信号の復号信号、及び変換係数の予測値（ステップＳ６０６−１で生成）を入力として、両者を加算し、変換係数の復号値を生成する（ステップＳ６０６−３）。次に、逆変換処理部２０３により、変換係数の復号値に対して逆変換処理を行い、イントラ予測残差信号の復号値を生成する（ステップＳ６０６−４）。

そして、イントラ予測残差信号の復号値、及びイントラ予測信号（ステップＳ６０３で生成）を入力として、両者を加算し、復号信号を生成する（ステップＳ６０８）。

上述した第２実施形態によれば、イントラ予測誤差を低減することができ、符号量を低減することが可能となる。

１０１…イントラ予測処理部、１０２…変換処理部、１０３…量子化処理部、１０４…逆量子化処理部、１０５…逆変換処理部、１０６…インループフィルタ処理部、１０７…フレームメモリ、１０８…イントラ予測情報符号化部、１０９…エントロピ符号化処理部、１１０…残差予測処理部、１１１…予測残差信号記憶部、Ａ１、Ａ２、Ａ３…加算器、２０１…エントロピ復号処理部、２０２…逆量子化処理部、２０３…逆変換処理部、２０４…イントラ予測情報格納部、２０５…イントラ予測処理部、２０６…インループフィルタ処理部、２０７…フレームメモリ、２１０…残差予測情報記憶部、２１１…予測残差信号記憶部、２１２…残差予測処理部

Claims (13)

1. 空間的な画素間予測を用いて予測信号を生成し、該予測信号と原信号との残差信号を生成する画像符号化方法であって、
   イントラ予測残差信号を生成するイントラ予測処理ステップと、
   前記イントラ予測残差信号に対して変換間処理を行って変換係数を生成し、該変換係数に対して、量子化処理、逆量子化処理を行って、該変換係数の復号値を生成し、該復号値に対して逆変換処理を行って前記イントラ予測残差信号の復号値を生成する生成ステップと、
   イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定する同定ステップと、
   前記参照ブロックにおけるイントラ予測残差信号の復号値を用いて、予測対象ブロックのイントラ予測残差信号に対する予測処理を行って残差予測誤差信号を生成する残差予測誤差信号生成ステップと
   を含むことを特徴とする画像符号化方法。
2. 空間的な画素間予測を用いて予測信号を生成し、該予測信号と原信号との残差信号を生成する画像符号化方法であって、
   イントラ予測残差信号を生成するイントラ予測処理ステップと、
   前記イントラ予測残差信号に対して変換間処理を行って変換係数を生成し、該変換係数に対して、量子化処理、逆量子化処理を行って、該変換係数の復号値を生成する生成ステップと、
   イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定する同定ステップと、
   前記参照ブロックにおけるイントラ予測残差信号の変換係数の復号値を用いて、予測対象ブロックのイントラ予測残差信号の変換係数に対する予測処理を行って、変換係数に対する残差予測誤差信号を生成する残差予測誤差信号生成ステップと
   を含むことを特徴とする画像符号化方法。
3. 前記残差予測誤差信号生成ステップにおいて生成される残差予測誤差信号に対して変換処理を行って変換係数を生成し、該変換係数に対して量子化処理を行って得られる第一の量子化変換係数に対して、該量子化処理による量子化誤差と該第一の量子化変換係数を表現するための符号量の加重和をコスト値として求める第一のコスト値生成ステップと、
   前記イントラ予測処理ステップで生成されるイントラ予測残差信号に対して変換処理を行って変換係数を生成し、該変換係数に対して量子化処理を行って得られる第二の量子化変換係数に対して、該量子化処理による量子化誤差と該第二の量子化変換係数を表現するための符号量の加重和をコスト値として求める第二のコスト値生成ステップと、
   前記第一のコスト値生成ステップに得られるコスト値と前記第二のコスト値生成ステップに得られるコスト値との大小を比較し、前記第一のコスト値生成ステップにより得られるコスト値の方が小さい場合は、イントラ予測残差に対する予測処理を適用することを示すイントラ予測残差フラグを符号化データとして出力し、それ以外の場合は、イントラ予測残差に対する予測処理を適用しないことを示すイントラ予測残差フラグを符号化データとして出力する出力ステップ
   を含むことを特徴とする請求項１に記載の画像符号化方法。
4. 前記残差予測誤差信号生成ステップにおいて生成される残差予測誤差信号に対して変換処理を行って変換係数を生成し、該変換係数に対して量子化処理を行って得られる第一の量子化変換係数に対して、該量子化処理による量子化誤差と該第一の量子化変換係数を表現するための符号量の加重和をコスト値として求める第一のコスト値生成ステップと、
   前記イントラ予測処理ステップで生成される変換係数に対するイントラ予測残差信号に対して量子化処理を行って得られる第二の量子化変換係数に対して、該量子化処理による量子化誤差と該第二の量子化変換係数を表現するための符号量の加重和をコスト値として求める第二のコスト値生成ステップと、
   前記第一のコスト値生成ステップに得られるコスト値と前記第二のコスト値生成ステップに得られるコスト値との大小を比較し、前記第一のコスト値生成ステップにより得られるコスト値の方が小さい場合は、イントラ予測残差に対する予測処理を適用することを示すイントラ予測残差フラグを符号化データとして出力し、それ以外の場合は、イントラ予測残差に対する予測処理を適用しないことを示すイントラ予測残差フラグを符号化データとして出力する出力ステップ
   を含むことを特徴とする請求項２に記載の画像符号化方法。
5. 符号化器が出力した符号化ストリームを復号する画像復号方法であって、
   前記符号化ストリームをエントロピ復号するエントロピ復号ステップと、
   前記エントロピ復号処理された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理ステップと、
   前記イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおけるイントラ予測残差信号の復号値を用いて、復号対象ブロックのイントラ予測残差信号に対する予測処理を行って、イントラ予測残差信号の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行って残差予測誤差信号の復号信号を生成し、該残差予測誤差信号の復号信号と前記イントラ予測残差信号の予測値を加算し、イントラ予測残差信号の復号信号を生成するイントラ予測残差信号の復号ステップと、
   前記イントラ予測残差信号の復号ステップで生成されたイントラ予測残差信号の復号信号と前記イントラ予測処理ステップで生成されたイントラ予測信号とを加算し、復号信号を生成する生成ステップと
   を含むことを特徴とする画像復号方法。
6. 符号化器が出力した符号化ストリームを復号する画像復号方法であって、
   前記符号化ストリームをエントロピ復号するエントロピ復号ステップと、
   前記エントロピ復号された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理ステップと、
   前記エントロピ復号された符号化データからイントラ予測残差に対する予測処理の有無を示すイントラ予測残差フラグを読み出し、該イントラ予測残差フラグがイントラ予測残差に対する予測処理の不適用を示していると判断された場合、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第一の復号ステップと、
   前記イントラ予測残差フラグがイントラ予測残差に対する予測処理の適用を示していると判断された場合、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおけるイントラ予測残差信号の復号値を用いて、復号対象ブロックのイントラ予測残差信号に対する予測処理を行って、イントラ予測残差信号の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行って残差予測誤差信号の復号信号を生成し、該残差予測誤差信号の復号信号と前記イントラ予測残差信号の予測値を加算し、イントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第二の復号ステップと、
   前記イントラ予測残差信号の第一の復号ステップで生成されたイントラ予測残差信号の復号信号、または、前記イントラ予測残差信号の第二の復号ステップで生成されたイントラ予測残差信号の復号信号と、前記イントラ予測処理ステップで生成されたイントラ予測信号とを加算し、復号信号を生成する生成ステップと
   を含むことを特徴とする画像復号方法。
7. 符号化器が出力した符号化ストリームを復号する画像復号方法であって、
   前記符号化ストリームをエントロピ復号するエントロピ復号ステップと、
   前記エントロピ復号処理された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理ステップと、
   前記イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおける変換係数の復号値を用いて、復号対象ブロックの変換係数に対する予測処理を行って、復号対象ブロックの変換係数の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数に対する残差予測誤差信号の復号値を生成し、該残差予測誤差信号の復号値と該復号対象ブロックの変換係数の予測値を加算し、イントラ予測残差信号の変換係数の復号信号を生成する変換係数の復号ステップと、
   前記変換係数の復号ステップにおいて生成される変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の復号ステップと、
   前記イントラ予測残差信号の復号ステップで生成されたイントラ予測残差信号の復号信号と前記イントラ予測処理ステップで生成されたイントラ予測信号とを加算し、復号信号を生成する生成ステップと
   を含むことを特徴とする画像復号方法。
8. 符号化器が出力した符号化ストリームを復号する画像復号方法であって、
   前記符号化ストリームをエントロピ復号するエントロピ復号ステップと、
   前記エントロピ復号された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理ステップと、
   前記エントロピ復号された符号化データからイントラ予測残差に対する予測処理の有無を示すイントラ予測残差フラグを読み出し、該イントラ予測残差フラグがイントラ予測残差に対する予測処理の不適用を示していると判断された場合、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第一の復号ステップと、
   前記イントラ予測残差フラグがイントラ予測残差に対する予測処理の適用を示していると判断された場合、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおける変換係数の復号値を用いて、復号対象ブロックの変換係数に対する予測処理を行って、復号対象ブロックの変換係数の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数に対する残差予測誤差信号の復号値を生成し、該残差予測誤差信号の復号値と該復号対象ブロックの変換係数の予測値を加算し、イントラ予測残差信号の変換係数の復号信号を生成する変換係数の復号ステップと、
   前記変換係数の復号ステップにおいて生成される変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第二の復号ステップと、
   前記イントラ予測残差信号の第一の復号ステップで生成されたイントラ予測残差信号の復号信号、または、前記イントラ予測残差信号の第二の復号ステップで生成されたイントラ予測残差信号の復号信号と、前記イントラ予測処理ステップで生成されたイントラ予測信号とを加算し、復号信号を生成する生成ステップと
   を含むことを特徴とする画像復号方法。
9. 空間的な画素間予測を用いて予測信号を生成し、該予測信号と原信号との残差信号を生成する画像符号化装置であって、
   イントラ予測残差信号を生成するイントラ予測処理手段と、
   前記イントラ予測残差信号に対して変換間処理を行って変換係数を生成し、該変換係数に対して、量子化処理、逆量子化処理を行って、該変換係数の復号値を生成する生成手段と、
   イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定する同定手段と、
   前記参照ブロックにおけるイントラ予測残差信号の変換係数の復号値を用いて、予測対象ブロックのイントラ予測残差信号の変換係数に対する予測処理を行って、変換係数に対する残差予測誤差信号を生成する残差予測誤差信号生成手段と
   を備えることを特徴とする画像符号化装置。
10. 符号化器が出力した符号化ストリームを復号する画像復号装置であって、
    前記符号化ストリームをエントロピ復号するエントロピ復号手段と、
    前記エントロピ復号処理された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理手段と、
    前記イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおけるイントラ予測残差信号の復号値を用いて、復号対象ブロックのイントラ予測残差信号に対する予測処理を行って、イントラ予測残差信号の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行って残差予測誤差信号の復号信号を生成し、該残差予測誤差信号の復号信号と前記イントラ予測残差信号の予測値を加算し、イントラ予測残差信号の復号信号を生成するイントラ予測残差信号の復号手段と、
    前記イントラ予測残差信号の復号手段で生成されたイントラ予測残差信号の復号信号と前記イントラ予測処理手段で生成されたイントラ予測信号とを加算し、復号信号を生成する生成手段と
    を備えることを特徴とする画像復号装置。
11. 符号化器が出力した符号化ストリームを復号する画像復号装置であって、
    前記符号化ストリームをエントロピ復号するエントロピ復号手段と、
    前記エントロピ復号された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理手段と、
    前記エントロピ復号された符号化データからイントラ予測残差に対する予測処理の有無を示すイントラ予測残差フラグを読み出し、該イントラ予測残差フラグがイントラ予測残差に対する予測処理の不適用を示していると判断された場合、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第一の復号手段と、
    前記イントラ予測残差フラグがイントラ予測残差に対する予測処理の適用を示していると判断された場合、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおけるイントラ予測残差信号の復号値を用いて、復号対象ブロックのイントラ予測残差信号に対する予測処理を行って、イントラ予測残差信号の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行って残差予測誤差信号の復号信号を生成し、該残差予測誤差信号の復号信号と前記イントラ予測残差信号の予測値を加算し、イントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第二の復号手段と、
    前記イントラ予測残差信号の第一の復号手段で生成されたイントラ予測残差信号の復号信号、または、前記イントラ予測残差信号の第二の復号手段で生成されたイントラ予測残差信号の復号信号と、前記イントラ予測処理手段で生成されたイントラ予測信号とを加算し、復号信号を生成する生成手段と
    を備えることを特徴とする画像復号装置。
12. 符号化器が出力した符号化ストリームを復号する画像復号装置であって、
    前記符号化ストリームをエントロピ復号するエントロピ復号手段と、
    前記エントロピ復号処理された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理手段と、
    前記イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおける変換係数の復号値を用いて、復号対象ブロックの変換係数に対する予測処理を行って、復号対象ブロックの変換係数の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数に対する残差予測誤差信号の復号値を生成し、該残差予測誤差信号の復号値と該復号対象ブロックの変換係数の予測値を加算し、イントラ予測残差信号の変換係数の復号信号を生成する変換係数の復号手段と、
    前記変換係数の復号手段において生成される変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の復号手段と、
    前記イントラ予測残差信号の復号手段で生成されたイントラ予測残差信号の復号信号と前記イントラ予測処理手段で生成されたイントラ予測信号とを加算し、復号信号を生成する生成手段と
    を備えることを特徴とする画像復号装置。
13. 符号化器が出力した符号化ストリームを復号する画像復号装置であって、
    前記符号化ストリームをエントロピ復号するエントロピ復号手段と、
    前記エントロピ復号された符号化データからイントラ予測モードを読み出し、該イントラ予測モードに基づき、イントラ予測信号を生成するイントラ予測処理手段と、
    前記エントロピ復号された符号化データからイントラ予測残差に対する予測処理の有無を示すイントラ予測残差フラグを読み出し、該イントラ予測残差フラグがイントラ予測残差に対する予測処理の不適用を示していると判断された場合、量子化インデックスに対して逆量子化処理を行って変換係数の復号値を生成し、該変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第一の復号手段と、
    前記イントラ予測残差フラグがイントラ予測残差に対する予測処理の適用を示していると判断された場合、イントラ予測の予測方向および予測対象ブロックと近傍ブロックの間の距離に基づき、近傍ブロックから参照ブロックを同定し、該参照ブロックにおける変換係数の復号値を用いて、復号対象ブロックの変換係数に対する予測処理を行って、復号対象ブロックの変換係数の予測値を生成し、量子化インデックスに対して逆量子化処理を行って変換係数に対する残差予測誤差信号の復号値を生成し、該残差予測誤差信号の復号値と該復号対象ブロックの変換係数の予測値を加算し、イントラ予測残差信号の変換係数の復号信号を生成する変換係数の復号手段と、
    前記変換係数の復号手段において生成される変換係数の復号値に対して逆変換処理を行ってイントラ予測残差信号の復号信号を生成するイントラ予測残差信号の第二の復号手段と、
    前記イントラ予測残差信号の第一の復号手段で生成されたイントラ予測残差信号の復号信号、または、前記イントラ予測残差信号の第二の復号手段で生成されたイントラ予測残差信号の復号信号と、前記イントラ予測処理手段で生成されたイントラ予測信号とを加算し、復号信号を生成する生成手段と
    を備えることを特徴とする画像復号装置。

Images