JP2005159947A - 予測画像生成方法、画像符号化方法および画像復号化方法 - Google Patents

Abstract

【課題】 従来の面内予測方法の予測効率をさらに向上させる。
【解決手段】 面内予測部１０２は、処理対象画像の未処理領域の画像データを補填し、補填後の画像を用いて、処理対象ブロックに対する参照ブロックを検出し、面内予測画像ブロックを生成する。減算部１０７は、処理対象ブロックと面内予測画像ブロックとから差分ブロックを生成し、変換部１０４では、差分ブロックに対して変換符号化を施し、変換係数ブロックに変換する。逆変換部１０５は、変換係数ブロックを逆変換係数ブロックに逆変換符号化し、加算部１０８では、面内予測画像ブロックと、逆変換係数ブロックとから局所復号化ブロックを生成し、それをメモリ部１０３に保持する。符号列生成部１０６は、変換係数ブロックと、処理対象ブロックから参照ブロックまでの位置ずれ量とに対して可変長符号化を施し、符号列として出力する。
【選択図】 図１

Description

本発明は、画像信号を符号化または復号化する際に用いる予測画像生成方法、画像符号化方法および画像復号化方法に関するものである。

ＭＰＥＧビデオ方式においては、他のピクチャを参照することなく、独立して符号化を行うピクチャ（ブロック）をイントラピクチャ（イントラブロック）と呼ぶ。イントラブロックの符号化においては、符号化処理対象ブロック（以下、単に処理対象ブロックと呼ぶ）に対して、同一画面（ピクチャ）内の周辺ブロックの情報を用いて、処理対象ブロックを予測する方式（面内予測方式）が用いられる。例えば、ＭＰＥＧ−４ ＡＶＣにおいては、周波数変換を施す前に、画素空間上で周辺ブロックの画素から予測画像を生成し、その予測画像と原画像との差分画像を符号化する。ＭＰＥＧ−４ ＡＶＣにおいては、予測画像は４画素×４画素のブロック毎に、９つの方法を用いて生成する。図15を用いてこの方法を説明する。

図15（ａ）は、処理対象ブロック２００１と、処理対象ブロック２００１に対する予測画像を生成する際に用いる画素ａ〜ｑの位置関係を示した模式図である。そして画素ａ〜ｑを用いて、図15（ｂ）に示す方向で予測画像を生成する。ここで図15（ｂ）の番号は、予測方法を示す番号を示しており、予測方法２では周辺画素ｂ〜ｅ、ｊ〜ｍの平均画素値をブロック２００１の予測画像とするため、図中には示していない。例えば、予測方法０においては、図15（ｃ）に示すように、画素ｊの画素値をブロック２００１内の左端の列の４画素に対する予測値とする。同様にして、画素ｋ〜ｍを各列の４画素に対する予測値とする。また、予測方法４においては、図15（ｄ）に示すように、画素ａの画素値をブロック２００１内の左上端から右下端の斜め列の４画素に対する予測値とする。同様にして、画素ｂ〜ｄ、ｊ〜ｌを図15（ｄ）に示す矢印上に位置する画素に対する予測値とする。
Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC), 2003.5

しかしながら、上記従来の方法では、処理対象ブロックの周辺画素値またその平均値等を単純に処理対象ブロック内に延長することにより、予測画像を生成する。また、予測画像を生成においては、処理対象ブロックの周辺に位置する所定の画素のみを用いる。そのため、予測の効率は高いとは言えず、例えば、テクスチャ画像等に対しては適した予測画像が生成できず、符号化効率が高くならない、という課題を有している。

本発明は、上記従来の課題を解決するものであり、従来のイントラブロックに対する予測画像よりも、符号化効率が高くなる予測画像生成方法、およびその予測画像生成方法を用いた画像符号化方法および画像復号化方法を提供することを目的とする。

請求項１に記載の予測画像生成方法は、面内予測ステップと、処理ステップとを備えている。面内予測ステップは、処理対象画像に含まれる第１の画素群に対し、処理対象画像内の既に処理済みの画像データ中、または処理済みの画像データと処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、の任意の位置から、所定の評価基準に基づいて、第１の画素群に対する予測画像として第２の画素群を選択する。処理ステップは、第１の画素群に対し、第２の画素群を予測画像として用い、所定の処理を行い、処理済みの第１の画素群を導出する。

請求項２に記載の画像符号化方法は、画面分割ステップと、面内予測ステップと、減算ステップと、変換ステップと、逆変換ステップと、加算ステップと、符号列生成ステップとを備えている。画面分割ステップは、処理対象画像を処理対象である第１の画像群に分割する。面内予測ステップは、第１の画像群に対し、処理対象画像内の既に処理済みの画像データ中、または処理済みの画像データと処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、の任意の位置から、所定の評価基準に基づいて、第１の画素群に対する予測画像として第２の画素群を選択する。減算ステップは、第１の画素群と第２の画素群との差分画素群を生成する。変換ステップは、差分画素群に対して、変換処理を行い変換係数群に変換する。逆変換ステップは、変換係数群に対して、逆変換処理を行い逆変換係数群に変換する。加算ステップは、逆変換係数群と第２の画素群との加算画素群を生成し、加算画素群を処理済みの画像データとして導出する。符号列生成ステップは、変換係数群と、第１の画素群と第２の画素群との画像上での位置ずれ量とを符号列に変換する。

請求項３に記載の画像符号化方法は、請求項２記載の画像符号化方法であって、符号列生成ステップは、位置ずれ量を、第１の画像群の周辺の画像群を符号化処理する際に用いた位置ずれ量から生成される予測値を用いて、符号列に変換することを特徴とする。

請求項４に記載の画像符号化方法は、請求項２記載の画像符号化方法であって、符号列生成ステップは、位置ずれ量を確率テーブルを用いた算術符号化により符号化するステップであって、第１の画像群の周辺の画像群を符号化処理する際に用いた位置ずれ量に基づいて確率テーブルを切り替えることにより、符号列を生成することを特徴とする。

請求項５に記載の予測画像生成方法は、第１の面内予測ステップと、第２の面内予測ステップと、予測画像選択ステップと、処理ステップとを備えている。第１の面内予測ステップは、処理対象画像に含まれる第１の画素群に対し、処理対象画像内の既に処理済みの画像データ中、または処理済みの画像データと処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、の任意の位置から、所定の評価基準に基づいて、第１の画素群に対する第１の予測画像として第２の画素群を選択する。第２の面内予測ステップは、第１の画像群に対し、処理済みの画像データ中の所定の位置の画素を用いて、第１の画素群に対する第２の予測画像を生成する。予測画像選択ステップは、第１の予測画像と第２の予測画像とから、所定の評価基準に基づいて、予測画像を選択する。処理ステップは、第１の画素群と予測画像選択ステップにより選択された予測画像とを用い、所定の処理を行い、処理済みの第１の画素群を導出する。

請求項６に記載の画像符号化方法は、画面分割ステップと、第１の面内予測ステップと、第２の面内予測ステップと、予測画像選択ステップと、減算ステップと、変換ステップと、逆変換ステップと、加算ステップと、符号列生成ステップとを備えている。面分割ステップは、処理対象画像を処理対象である第１の画像群に分割する。第１の面内予測ステップは、第１の画像群に対し、処理対象画像内の既に処理済みの画像データ中、または処理済みの画像データと処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、の任意の位置から、所定の評価基準に基づいて、第１の画素群に対する第１の予測画像として第２の画素群を選択する。第２の面内予測ステップは、第１の画像群に対し、処理済みの画像データ中の所定の位置の画素を用いて、所定の複数の方法のうちから選択した方法を用いて、第１の画素群に対する第２の予測画像を生成する。予測画像選択ステップは、第１の予測画像と第２の予測画像とから、所定の評価基準に基づいて、予測画像を選択する。減算ステップは、第１の画素群と予測画像選択ステップにより選択された予測画像との差分画素群を生成する。変換ステップは、差分画素群に対して、変換処理を行い変換係数群に変換する。逆変換ステップは、変換係数群に対して、逆変換処理を行い逆変換係数群に変換する。加算ステップは、逆変換係数群と予測画像との加算画素群を生成し、加算画素群を処理済みの画像データとして導出する。符号列生成ステップは、変換係数群と、予測画像選択ステップで第１の予測画像と第２の予測画像とのいずれを予測画像として選択したかを示す選択情報と、予測画像選択ステップで第１の予測画像を予測画像として選択した場合には、第１の画素群と第２の画素群の画像上での位置ずれ量とを、予測画像選択ステップで第２の予測画像を予測画像として選択した場合には、予測画像を生成した方法を示す情報とを符号列に変換する。

請求項７に記載の画像符号化方法は、請求項６記載の画像符号化方法であって、符号列生成ステップは、確率テーブルを用いた算術符号化により選択情報を符号化するステップであって、第１の画像群の周辺の画像群を符号化処理する際に用いた選択情報により、確率テーブルを切り替えて、符号列を生成することを特徴とする。

請求項８に記載の画像符号化方法は、請求項６記載の画像符号化方法であって、符号列生成ステップは、位置ずれ量を、第１の画像群の周辺の画像群を符号化処理する際に第１の予測画像を選択した周辺の画像群の位置ずれ量から生成される予測値を用いて、符号列に変換することを特徴とする。

請求項９に記載の画像符号化方法は、請求項６記載の画像符号化方法であって、符号列生成ステップは、確率テーブルを用いた算術符号化により位置ずれ量を符号化するステップであって、第１の画像群の周辺の画像群を符号化処理する際に第１の予測画像を選択した周辺の画像群の位置ずれ量に基づいて確率テーブルを切り替えることにより、符号列を生成することを特徴とする。

請求項１０に記載の画像符号化方法は、請求項６記載の画像符号化方法であって、符号列生成ステップは、予測画像を生成した方法を示す情報を、第１の画像群の周辺の画像群を符号化処理する際に第２の予測画像を選択した周辺の画像群の予測画像を生成した方法を示す情報から生成される予測値を用いて、符号列に変換することを特徴とする。

請求項１１に記載の画像符号化方法は、請求項６記載の画像符号化方法であって、符号列生成ステップは、確率テーブルを用いた算術符号化により予測画像を生成した方法を示す情報を符号化するステップであって、第１の画像群の周辺の画像群を符号化処理する際に第２の予測画像を選択した周辺の画像群の予測画像を生成した方法を示す情報に基づいて確率テーブルを切り替えることにより、符号列を生成することを特徴とする。

請求項１２に記載の画像復号化方法は、符号列復号ステップと、面内予測画像取得ステップと、逆変換ステップと、加算ステップとを備えている。符号列復号ステップは、処理対象画像中の処理対象である第１の画像群を復号化するにあたり、入力符号列中から、変換係数群と、第１の画素群と第１の画像群の面内予測画像群である第２の画素群との画像上での位置ずれ量とを復号化する。面内予測画像取得ステップは、処理対象画像内の既に処理済みの画像データ中、または処理済みの画像データと処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、から、位置ずれ量に基づいて、第１の画素群に対する予測画像として第２の画素群を取得する。逆変換ステップは、変換係数群に対して、逆変換処理を行い逆変換係数群に変換する。加算ステップは、逆変換係数群と第２の画素群との加算画素群を生成し、加算画素群を処理済みの画像データとして導出する。

請求項１３に記載の画像復号化方法は、請求項１２記載の画像復号化方法であって、符号列復号ステップは、位置ずれ量を、第１の画像群の周辺の画像群を復号化処理する際に用いた位置ずれ量から生成される予測値を用いて、復号化することを特徴とする。

請求項１４に記載の画像復号化方法は、請求項１２記載の画像復号化方法であって、符号列復号ステップは、位置ずれ量を確率テーブルを用いた算術符号化により復号化するステップであって、第１の画像群の周辺の画像群を復号化処理する際に用いた位置ずれ量に基づいて確率テーブルを切り替えることにより、符号列を復号化することを特徴とする。

請求項１５に記載の画像復号化方法は、符号列復号ステップと、第１の面内予測画像取得ステップと、第２の面内予測画像取得ステップと、逆変換ステップと、加算ステップとを備えている。符号列復号ステップは、処理対象画像中の処理対象である第１の画像群を第１の面内予測画像生成方法または第２の面内予測画像生成方法を用いて符号化した符号列を復号化するにあたり、入力符号列中から、変換係数群と、第１の画像群を第１の面内予測画像生成方法と第２の面内予測画像生成方法とのいずれの方法により予測画像を生成したかについての選択情報と、選択情報が第１の面内予測画像生成方法を示している場合には、第１の画素群と第１の画像群の面内予測画像群である第２の画素群との画像上での位置ずれ量を、選択情報が第２の面内予測画像生成方法を示している場合には、予測画像を生成した方法を示す番号情報を復号化する。第１の面内予測画像取得ステップは、選択情報が第１の面内予測画像生成方法を示している場合には、処理対象画像内の既に処理済みの画像データ中、または処理済みの画像データと処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、から、位置ずれ量に基づいて、第１の画素群に対する予測画像として第２の画素群を取得する。第２の面内予測画像取得ステップは、選択情報が第２の面内予測画像生成方法を示している場合には、番号情報に基づいて、処理済みの画像データ中の所定の位置の画素を用いて、第１の画素群に対する予測画像として第２の画素群を取得する。逆変換ステップは、変換係数群に対して、逆変換処理を行い逆変換係数群に変換する。加算ステップは、逆変換係数群と第２の画素群との加算画素群を生成し、加算画素群を処理済みの画像データとして導出する。

請求項１６に記載の画像復号化方法は、請求項１５記載の画像復号化方法であって、符号列復号ステップは、確率テーブルを用いた算術符号化により選択情報を復号化するステップであって、第１の画像群の周辺の画像群を復号化処理する際に用いた選択情報により、確率テーブルを切り替えて、符号列を復号化することを特徴とする。

請求項１７に記載の画像復号化方法は、請求項１５記載の画像復号化方法であって、符号列復号ステップは、位置ずれ量を、第１の画像群の周辺の画像群を復号化処理する際に第１の面内予測画像生成方法を選択した周辺の画像群の位置ずれ量から生成される予測値を用いて、復号化することを特徴とする。

請求項１８に記載の画像復号化方法は、請求項１５記載の画像復号化方法であって、符号列復号ステップは、確率テーブルを用いた算術符号化により位置ずれ量を復号化するステップであって、第１の画像群の周辺の画像群を復号化処理する際に第１の面内予測画像生成方法を選択した周辺の画像群の位置ずれ量に基づいて確率テーブルを切り替えることにより、符号列を復号化することを特徴とする。

請求項１９に記載の画像復号化方法は、請求項１５記載の画像復号化方法であって、符号列復号ステップは、番号情報を、第１の画像群の周辺の画像群を復号化処理する際に第２の面内予測画像生成方法を選択した周辺の画像群の予測画像を生成した方法を示す番号情報から生成される予測値を用いて、復号化することを特徴とする。

請求項２０に記載の画像復号化方法は、請求項１５記載の画像復号化方法であって、符号列復号ステップでは、確率テーブルを用いた算術符号化により予測画像を生成した方法を示す番号情報を復号化するステップであって、第１の画像群の周辺の画像群を復号化処理する際に第２の面内予測画像生成方法を選択した周辺の画像群の予測画像を生成した方法を示す番号情報に基づいて確率テーブルを切り替えることにより、符号列を復号化することを特徴とする。

以上の様に、本発明の予測画像生成方法、または予測画像生成方法を用いた画像符号化方法、画像復号化方法では、処理対象画像内の処理対象ブロックを符号化する際に、処理対象画像内の既に処理済み（符号化済み）の領域の画像データを用いて、または処理対象画像内の既に処理済みの領域の画像データと、未処理部の領域の画素値を補填した画像データとを用いて、処理対象ブロックの参照ブロックを検出し、その参照ブロックを面内予測画像ブロックとして用い、処理対象ブロックと面内予測画像ブロックとの差分値を符号化することにより、符号量の削減を図る。この際には、従来方法のように処理対象ブロックの周辺に位置する所定の画素のみを用いるのではなく、処理対象画像内の任意の位置から参照ブロックを取得することができ、処理対象ブロックと面内予測画像ブロックとから得られる差分ブロックのエネルギー値をより小さくすることができ、それにより従来方法よりも符号量の削減を図ることが可能となる。また、処理対象画像を他の画像を参照することなく符号化することができる。そのため、その実用的価値が高い。

以下、本発明の実施の形態について、図1から図14を用いて説明する。

（実施の形態1）
図1は、本発明の予測画像生成方法を用いた面内予測部１０２を備えた画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、画面分割部１０１、面内予測部１０２、メモリ部１０３、変換部１０４、逆変換部１０５、符号列生成部１０６、減算部１０７、加算部１０８から構成される。

画面分割部１０１への入力画像は、所定の単位に分割される。ここでは、入力画像を水平１６画素×垂直１６画素の大ブロックに分割するものとする。符号化処理対象（以下、単に処理対象と呼ぶ）の大ブロックＢｃは面内予測部１０２に入力され、以降、大ブロックを単位として処理を行う。

面内予測部１０２では、メモリ部１０３に保持された、処理中の画像（ピクチャ）内の既に符号化済みの画像データを用いて、面内予測画像を生成する。図2（ａ）は、現在処理中の画像２０１を示す。画像２０１においては、左上の大ブロックから順に右方向に処理を行うものとし、一列分の大ブロックが処理されると、その次（下）の列の左側の大ブロックから続いて処理を行うものとする。今、大ブロック２０３が現在処理中の大ブロックＢｃであるとする。この場合、領域２０２に属する大ブロックが、既に処理済みの大ブロックとなる。

第１の予測画像生成方法として、大ブロック単位で予測画像を生成する方法について説明する。この場合、図2（ｂ）に示すように、水平１６画素×垂直１６画素の大ブロックに対して、面内予測画像を生成することになる。

面内予測部１０２では、まず、画像２０１の領域２０２以外の画像データを補填する。補填の方法については、所定の画素値（例えば黒レベル、白レベル、グレイレベル）で補填する方法、領域２０２の境界画素値を延長することにより補填する方法、等がある。補填した画像を図3の画像２０１ａとする。

面内予測部１０２では、補填後の画像２０１ａを用いて、大ブロック２０３に最も近いブロックを探索する。ここで、最も近いブロックとは、予め定めた評価基準により求めた評価値が、最大または最小となるブロックである。評価基準としては、例えば大ブロック２０３とあるブロックとの、対応する画素の画素値の差分値のブロック内での絶対値和または２乗値和を用いることができる。この場合、評価値が最小となるブロックが最も近いブロックとなる。また、そのブロックは、必ずしも整数画素位置にある画素から構成される必要はない。例えば、整数画素位置にあるブロックよりも水平方向、垂直方向共に０．５画素だけずれた位置にある画素値を補間生成し、０．５画素だけずれた位置にある画素値からブロックを構成してもよい。また、探索においては、画像２０１ａの全範囲から探索しても良いし、図3に示すように、大ブロック２０３の位置の近傍領域２０４内から探索しても良い。ここでは、図3のブロック２０５が、大ブロック２０３に最も近いブロックであると判定されたものとする。処理対象大ブロックに最も近いブロックであると判定したブロックを以降では参照ブロックと呼ぶ。

面内予測部１０２は、参照ブロック２０５の画素値を面内予測画像ブロックＢｐとして出力する。また、処理対象大ブロック２０３から、参照ブロック２０５までの位置ずれ量（２次元平面上での水平および垂直の変位）Ｍを符号列生成部１０６に対して出力する。

減算部１０７では、処理対象大ブロックＢｃと面内予測画像ブロックＢｐとを用いて、両ブロックの位置的に対応する画素間の画素値の差を計算し（処理対象大ブロックＢｃの画素値から面内予測画像ブロックＢｐの画素値を減算する）、それを差分ブロックＢｒとして出力する。

変換部１０４では、差分ブロックＢｒに対して変換符号化を施し、変換係数ブロックに変換する。変換符号化の方法としては、例えば離散コサイン変換や離散ウェーブレット変換等がある。変換係数ブロックは、逆変換部１０５と符号列生成部１０６とに対して出力される。

逆変換部１０５では、変換係数ブロックに対して逆変換符号化を施し、逆変換係数ブロックＢｒ’を出力する。逆変換符号化は、変換部１０４で用いた変換符号化方法に対応する逆変換符号化方法であり、例えば逆離散コサイン変換や逆離散ウェーブレット変換等を用いる。

加算部１０８では、面内予測部１０２から出力された面内予測画像ブロックＢｐと、逆変換係数ブロックＢｒ’とを用いて、両ブロックの位置的に対応する画素間の画素値の和を計算し、それを局所復号化ブロックＢｃ’として出力する。

局所復号化ブロックＢｃ’は、メモリ部１０３に保持され、画像２０１内の以降の大ブロックの符号化の際に参照画像として用いられる。

符号列生成部１０６は、変換部１０４から出力された変換係数ブロック、および面内予測部１０２から出力された、処理対象大ブロック２０３から、参照ブロック２０５までの位置ずれ量Ｍに対して可変長符号化を施し、符号列として出力する。

位置ずれ量Ｍの符号化は、Ｍの水平成分、垂直成分の値をそのまま可変長符号化する方法、周辺ブロックの位置ずれ量から生成した、処理対象ブロックの位置ずれ量に対する予測値（水平成分、垂直成分）と、Ｍの差分値を可変長符号化する方法、算術符号化を用いて周辺ブロックの位置ずれ量に応じ確率テーブルを切り替えて符号化する方法、等がある。

図6を用いて、周辺ブロックの位置ずれ量から予測値を生成する場合の例を説明する。周辺ブロックの位置ずれ量は、符号列生成部１０６が保持しているものとする図6は、処理対象ブロック２０３とその周辺ブロック６０１、６０２、６０３の位置関係を示している。第１の予測値生成方法では、周辺ブロック６０１、６０２、６０３のいずれかの位置ずれ量をそのまま予測値とし、いずれのブロックの位置ずれ量を予測値として用いたかを符号列中に記述する。いずれのブロックの位置ずれ量を予測値として用いるかは、位置ずれ量を示す符号長が最小となるブロックを選択すれば良い。第２の予測値生成方法では、周辺ブロック６０１、６０２、６０３の位置ずれ量に対して、水平成分、垂直成分毎に中央値を求め、それを予測値とする。この場合、いずれのブロックの位置ずれ量を予測値として用いたかを符号列中に記述する必要はない。第３の予測値生成方法では、周辺ブロックの位置ずれ量の水平成分、垂直成分毎の平均値を予測値として用いる。算術符号化を用い、周辺ブロックの位置ずれ量に応じて確率テーブルを切り替えて符号化する方法においては、上記の第１〜第３の予測値生成方法により生成した予測値を用いて、予測値との差分値を計算し、さらに予測値を用いて確率テーブルを切り替えて算術符号化する。または、周辺ブロックの位置ずれ量の符号値（周辺ブロックの位置ずれ量を符号化する際に、周辺ブロックのさらに周辺ブロックの位置ずれ量から生成した予測値と、周辺ブロックの位置ずれ量との差分値）に応じて、確率テーブルを切り替えて算術符号化する方法等がある。

ここで、周辺ブロックの位置、数は図6の例のみとは限らず、様々な位置、数の周辺ブロックを用いることができる。

次に第２の予測画像生成方法として、大ブロックを複数に分割して得られる小ブロック単位で予測画像を生成する方法について説明する。ここでは、図2（ｃ）に示すように、水平８画素×垂直８画素の小ブロック２１０〜２１３に対して、面内予測画像を生成する場合について説明する。小ブロック２１０〜２１３は、小ブロック２１０、小ブロック２１１、小ブロック２１２、小ブロック２１３の順で処理するものとする。

小ブロック２１０の処理方法は、第１の予測画像生成方法で説明した大ブロック２０３の処理方法と同様である。すなわち、面内予測部１０２では、画像２０１の領域２０２以外の画像データを補填し、補填後の画像を用いて、小ブロック２１０に最も近いブロックを探索して参照ブロックを検出し、面内予測画像ブロックＢｐを生成する。減算部１０７では、処理対象小ブロックＢｃと面内予測画像ブロックＢｐとを用いて、差分ブロックＢｒを生成し、変換部１０４では、差分ブロックＢｒに対して変換符号化を施し、変換係数ブロックに変換する。逆変換部１０５では、変換係数ブロックに対して逆変換符号化を施し、逆変換係数ブロックＢｒ’を出力する。加算部１０８では、面内予測画像ブロックＢｐと、逆変換係数ブロックＢｒ’とから局所復号化ブロックＢｃ’を生成し、それをメモリ部１０３に保持する。符号列生成部１０６は、変換係数ブロックと、処理対象小ブロックから、参照ブロックまでの位置ずれ量Ｍとに対して可変長符号化を施し、符号列として出力する。位置ずれ量Ｍに対する可変長符号化方法としては、第１の予測画像生成方法で説明した方法と同様の方法を用いることができる。

続いて小ブロック２１１を処理する。小ブロック２１１の処理が、小ブロック２１０の処理と異なる点は、面内予測部１０２での参照ブロックの検出方法である。小ブロック２１０では、画像２０１の領域２０２以外の画像データを補填し、補填後の画像を用いて、小ブロック２１０に最も近いブロックを探索して参照ブロックを検出した。小ブロック２１１の処理においては、小ブロック２１０は処理済みであり、局所復号化画像がメモリ部１０３に保持されている。よって、小ブロック２１１の処理においては、画像２０１の領域２０２、小ブロック２１０以外の画像データを補填し、補填後の画像を用いて、小ブロック２１１に対する参照ブロックの検出を行う。また、小ブロック２１２の処理においては、画像２０１の領域２０２、小ブロック２１０、小ブロック２１１以外の画像データを補填し、小ブロック２１３の処理においては、画像２０１の領域２０２、小ブロック２１０、小ブロック２１１、小ブロック２１２以外の画像データを補填し、補填後の画像を用いて、小ブロック２１２または小ブロック２１３に対する参照ブロックの検出を行う。

以上のように、本発明の予測画像生成方法、または予測画像生成方法を用いた画像符号化方法においては、処理対象画像中の既に処理済み（符号化済み）の画像データを補填し、補填後の画像を用いて、処理対象画像中の処理対象ブロックに最も近いブロックを探索して参照ブロックを検出し、面内予測画像ブロックを生成する。そして、処理対象ブロックと面内予測画像ブロックとの差分ブロックを生成し、差分ブロックに対して変換符号化を施して変換係数ブロックを生成する。そして、変換係数ブロックと、処理対象ブロックから参照ブロックまでの位置ずれ量とに対して可変長符号化を施し、符号列を生成する。

すなわち、本発明の予測画像生成方法、または予測画像生成方法を用いた画像符号化方法では、処理対象画像内の処理対象ブロックを符号化する際に、処理対象画像内の既に処理済み（符号化済み）の領域の画像データを用いて、または処理対象画像内の既に処理済みの領域の画像データと、未処理部の領域の画素値を補填した画像データとを用いて、処理対象ブロックの参照ブロックを検出し、その参照ブロックを面内予測画像ブロックとして用い、処理対象ブロックと面内予測画像ブロックとの差分値を符号化することにより、符号量の削減を図る。この際には、従来方法のように処理対象ブロックの周辺に位置する所定の画素のみを用いるのではなく、処理対象画像内の任意の位置から参照ブロックを取得することができ、処理対象ブロックと面内予測画像ブロックとから得られる差分ブロックのエネルギー値をより小さくすることができ、それにより従来方法よりも符号量の削減を図ることが可能となる。また、処理対象画像を他の画像を参照することなく符号化することができる。

なお、本発明の本実施の形態においては、処理対象画像を矩形ブロックで分割する場合について説明したが、これは任意の形状であっても、本発明は適用できる。

また、本発明の本実施の形態においては、処理対象画像を矩形ブロックに分割し、画像を左上のブロックから順に符号化する場合について説明したが、処理順は他の順序であってもよい。例えば、画面の中央から処理しても良いし、画面の周辺部から処理しても良いし、画面の右下から順に符号化しても良い。

また、本発明の本実施の形態においては、処理対象画像を１６画素×１６画素の大ブロックに分割し、大ブロックまたは、大ブロックに含まれる８画素×８画素の小ブロックを単位として処理する場合について説明したが、ブロックサイズは他の大きさであっても良い。例えば、１６画素×８画素、８画素×１６画素、８画素×４画素、４画素×８画素、４画素×４画素等のブロックサイズがある。また、大ブロックを均一な大きさのブロックに分割する必要はなく、異なる大きさのブロックに分割しても良い。例えば、図2（ｄ）のように分割する方法もある。この場合、分割数が大きくなるほど、処理対象ブロックから参照ブロックまでの位置ずれ量を示す符号量が増加するが、逆に差分ブロックのエネルギーを小さくすることができる。よって、位置ずれ量を示す符号量と、変換係数の符号量との合計値と、局所復号化画像の画質のバランスで分割方法を決定すれば良い。

また、本発明の本実施の形態においては、処理対象画像中の未処理の領域の画像データを補填してから参照ブロックを検出する場合について説明したが、この処理は行わなくてもよい。この場合には、処理対象画像中の既に処理済みの画像データのみを用いて参照ブロックを検出する。この場合、符号化効率は若干低下するが、画像データの補填に対する処理量を削減することができる。

（実施の形態2）
図4は、本発明の予測画像生成方法を行う面内予測部Ａ４０１、面内予測部Ｂ４０２、面内予測画像選択部４０３を備えた画像符号化装置４００の構成を示すブロック図である。画像符号化装置４００は、画面分割部１０１、面内予測部Ａ４０１、面内予測部Ｂ４０２、面内予測画像選択部４０３、メモリ部１０３、変換部１０４、逆変換部１０５、符号列生成部４０４、減算部１０７、加算部１０８から構成される。

画面分割部１０１に入力された入力画像は、所定の単位に分割される。ここでは、入力画像を水平１６画素×垂直１６画素の大ブロックに分割するものとする。処理対象の大ブロックＢｃは面内予測部Ａ４０１、面内予測部Ｂ４０２に入力され、以降、大ブロックを単位として処理を行う。

面内予測部Ａ４０１、面内予測部Ｂ４０２では、メモリ部１０３に保持された、処理中の画像中の既に符号化済みの画像データを用いて、面内予測画像を生成する。図2（ａ）は、現在処理中の画像２０１を示す。大ブロック２０３が現在処理中の大ブロックＢｃであるとする。領域２０２に属する大ブロックが、既に処理済みの大ブロックとなる。

ここでは、大ブロック２０３に含まれる８×８画素の小ブロックを単位として面内予測画像を生成するものとする。

面内予測部Ａ４０１では、第１の実施の形態における面内予測部１０２と同じ動作を行い、面内予測画像ブロックＢｐａを生成する。そして、面内予測画像ブロックＢｐａと、処理対象ブロックから参照ブロックまでの位置ずれ量Ｍとを面内予測画像選択部４０３に対して出力する。

面内予測部Ｂ４０２では、従来の面内予測方法により、面内予測ブロックＢｐｂを生成する。その方法を図5を用いて説明する。図5（ａ）は、処理対象ブロック５０１の画素（破線の白丸）と処理対象ブロック５０１に対する予測画像を生成する際に用いる画素（実線の白丸）の位置関係を示した模式図である。そして実線白丸の画素を用いて、図5（ｂ）に示す方向で予測画像を生成する。ここで図5（ｂ）の番号は、予測方法を示す番号を示しており、予測方法２では周辺画素ａ〜ｐの平均画素値をブロック５０１の予測画像とするため、図中には示していない。例えば、予測方法０においては、図5（ｃ）に示すように、画素ｉの画素値をブロック５０１内の左端の列の８画素に対する予測値とする。同様にして、画素ｊ〜ｐを各列の８画素に対する予測値とする。面内予測部Ｂ４０２は、面内予測ブロックＢｐｂと面内予測の予測方法を示す番号Ｎを面内予測画像選択部４０３に対して出力する。

面内予測画像選択部４０３では、面内予測画像ブロックＢｐａと面内予測画像ブロックＢｐｂとのいずれを面内予測画像として用いるかを選択する。

面内予測画像選択部４０３における第１の選択方法では、処理対象ブロックＢｃと面内予測画像ブロックＢｐａ、処理対象ブロックＢｃと面内予測画像ブロックＢｐｂ、について、位置的に対応する画素間の差分絶対値、または差分２乗値の和を面内予測エラーＤａ、Ｄｂとして求める。そして、小さい面内予測エラーを与える面内予測画像ブロックを選択する。

面内予測画像選択部４０３における第２の選択方法では、処理対象ブロックＢｃと面内予測画像ブロックＢｐａ、処理対象ブロックＢｃと面内予測画像ブロックＢｐｂ、について、位置的に対応する画素間の差分絶対値、または差分２乗値の和を面内予測エラーＤａ、Ｄｂとして求める。次に、位置ずれ量Ｍおよび面内予測の予測方法を示す番号Ｎを可変長符号化した際の符号長Ｒａ、Ｒｂを求める。そして、Ｄａ＋λＲａとＤｂ＋λＲｂとを求め、小さい値を与える方を面内予測画像ブロックを選択する。

選択された面内予測画像ブロックは、面内予測画像ブロックＢｐとして減算部１０７に出力される。また、面内予測ブロックとして、面内予測画像ブロックＢｐａと面内予測画像ブロックＢｐｂのいずれを選択したかを示す情報Ｓが符号列生成部４０４に対して出力される。さらに、面内予測画像ブロックＢｐａが選択された場合には、位置ずれ量Ｍが、面内予測画像ブロックＢｐｂが選択された場合には、面内予測の予測方法を示す番号Ｎが符号列生成部４０４に対して出力される。

減算部１０７では、処理対象ブロックＢｃと面内予測画像ブロックＢｐとを用いて、両ブロックの位置的に対応する画素間の画素値の差を計算し（処理対象大ブロックＢｃの画素値から面内予測画像ブロックＢｐの画素値を減算する）、それを差分ブロックＢｒとして出力する。

変換部１０４では、差分ブロックＢｒに対して変換符号化を施し、変換係数ブロックに変換する。変換符号化の方法としては、例えば離散コサイン変換や離散ウェーブレット変換等がある。変換係数ブロックは、逆変換部１０５と符号列生成部４０４とに対して出力される。

逆変換部１０５では、変換係数ブロックに対して逆変換符号化を施し、逆変換係数ブロックＢｒ’を出力する。逆変換符号化は、変換部１０４で用いた変換符号化方法に対応する逆変換符号化方法であり、例えば逆離散コサイン変換や逆離散ウェーブレット変換等を用いる。

加算部１０８では、面内予測画像選択部４０３から出力された面内予測画像ブロックＢｐと、逆変換係数ブロックＢｒ’とを用いて、両ブロックの位置的に対応する画素間の画素値の和を計算し、それを局所復号化ブロックＢｃ’として出力する。

局所復号化ブロックＢｃ’は、メモリ部１０３に保持され、処理対象画像内の以降のブロックの符号化の際に参照画像として用いられる。

符号列生成部４０４は、変換部１０４から出力された変換係数ブロック、および面内予測画像選択部４０３から出力された、面内予測画像ブロックＢｐａと面内予測画像ブロックＢｐｂのいずれを選択したかを示す情報Ｓに対して可変長符号化を施す。

また、面内予測画像選択部４０３において、面内予測画像ブロックＢｐａが選択された場合には、位置ずれ量Ｍに対して、面内予測画像ブロックＢｐｂが選択された場合には、面内予測の予測方法を示す番号Ｎに対して、可変長符号化を施し、符号列として出力する。

面内予測画像選択部４０３において、面内予測画像ブロックＢｐａと面内予測画像ブロックＢｐｂのいずれを選択したかを示す情報Ｓを符号化する際には、情報Ｓをそのまま符号化しても良いし、算術符号化を用いる場合には、周辺ブロックを符号化する際に面内予測画像としていずれを選択したかにより、確率テーブルを切り替えて符号化しても良い。

位置ずれ量Ｍの符号化は、Ｍの水平成分、垂直成分の値をそのまま可変長符号化する方法、周辺ブロックの位置ずれ量から生成した、処理対象ブロックの位置ずれ量に対する予測値（水平成分、垂直成分）と、Ｍの差分値を可変長符号化する方法、算術符号化を用いて周辺ブロックの位置ずれ量に応じ確率テーブルを切り替えて符号化する方法、等がある。

図7を用いて、周辺ブロックの位置ずれ量から予測値を生成する場合の例を説明する。図7は、処理対象ブロックとその周辺ブロック７０１、７０２、７０３の位置関係、および各周辺ブロックを処理する際に面内予測画像選択部４０３において選択した面内予測画像が、面内予測画像ブロックＢｐａと面内予測画像ブロックＢｐｂのいずれを選択したものかを示している。ブロック中に“Ａ”と記述してある周辺ブロック７０１、７０３は面内予測画像ブロックＢｐａが選択されたブロック、ブロック中に“Ｂ”と記述してある周辺ブロック７０２は面内予測画像ブロックＢｐｂが選択されたブロックであることを示している。処理対象ブロックが、面内予測画像選択部４０３において、面内予測画像ブロックＢｐａが選択されたブロックである場合、位置ずれ量Ｍを符号列生成部４０４で可変長符号化することになる。周辺ブロック７０１、７０３では、各ブロックを符号化する際に、位置ずれ量Ｍの値を符号化済みであるが、周辺ブロック７０２では位置ずれ量Ｍの値は符号化されていない。従って、周辺ブロックの位置ずれ量から予測値を生成する場合、周辺ブロック７０１、７０３を符号化する際に用いた位置ずれ量Ｍを用いて、予測値を生成する。第１の予測値生成方法では、周辺ブロック７０１、７０３のいずれかの位置ずれ量をそのまま予測値とし、いずれのブロックの位置ずれ量を予測値として用いたかを符号列中に記述する。いずれのブロックの位置ずれ量を予測値として用いるかは、位置ずれ量を示す符号長が最小となるブロックを選択すれば良い。第２の予測値生成方法では、周辺ブロック７０１、７０３の位置ずれ量に対して、水平成分、垂直成分毎に中央値を求め、それを予測値とする。この場合、いずれのブロックの位置ずれ量を予測値として用いたかを符号列中に記述する必要はない。第３の予測値生成方法では、周辺ブロックの位置ずれ量の水平成分、垂直成分毎の平均値を予測値として用いる。この例では、予測値生成に用いる周辺ブロック数が２個であるので、第２の予測値生成方法と第３の予測値生成方法とでは、予測値は同じとなる。算術符号化を用い、周辺ブロックの位置ずれ量に応じて確率テーブルを切り替えて符号化する方法においては、上記の第１〜第３の予測値生成方法により生成した予測値を用いて、予測値との差分値を計算し、さらに予測値を用いて確率テーブルを切り替えて算術符号化する。または、周辺ブロックの位置ずれ量の符号値（周辺ブロックの位置ずれ量を符号化する際に、周辺ブロックのさらに周辺ブロックの位置ずれ量から生成した予測値と、周辺ブロックの位置ずれ量との差分値）に応じて、確率テーブルを切り替えて算術符号化する方法等がある。

ここで、周辺ブロックの位置、数、面内予測ブロック生成方法の分布は図7の例のみとは限らず、様々な位置、数の周辺ブロックを用いることができ、面内予測ブロック生成方法の分布は周辺ブロックの符号化の結果により異なる。

次に、面内予測の予測方法を示す番号Ｎの符号化は、番号Ｎの値をそのまま可変長符号化する方法、周辺ブロックの予測方法を示す番号から生成した、面内予測の予測方法を示す番号の予測値を用いて可変長符号化する方法、算術符号化を用いて周辺ブロックの面内予測の予測方法を示す番号予測値に応じ確率テーブルを切り替えて符号化する方法、等がある。予測値を用いて符号化を行う場合、例えば、予測値とＮの値が同じであれば同じことを表す符号を出力し、異なれば異なることを示す符号を出力した後、Ｎの値を示す符号を出力する方法がある。

図7を用いて、周辺ブロックの面内予測の予測方法を示す番号Ｎから予測値を生成する場合の例を説明する。処理対象ブロックが、面内予測画像選択部４０３において、面内予測画像ブロックＢｐｂが選択されたブロックである場合、面内予測の予測方法を示す番号Ｎを符号列生成部４０４で可変長符号化することになる。周辺ブロック７０２では予測方法を示す番号Ｎの値は符号化済みであるが、周辺ブロック７０１、７０３では、各ブロックを符号化する際に、予測方法を示す番号Ｎの値を符号化していない。従って、周辺ブロックの予測方法を示す番号から予測値を生成する場合、周辺ブロック７０２を符号化する際に用いた予測方法を示す番号Ｎを用いて、予測値を生成する。この場合は、候補となる周辺ブロックが１つであるので、周辺ブロック７０２を符号化する際に用いた予測方法を示す番号Ｎの値がそのまま予測値となる。候補となる周辺ブロックが複数である場合、第１の予測値生成方法では、周辺ブロックのいずれかの予測方法を示す番号をそのまま予測値とし、いずれのブロックの予測方法を示す番号を予測値として用いたかを符号列中に記述する。いずれのブロックの予測方法を示す番号を予測値として用いるかは、予測方法を示す番号を示す符号長が最小となる周辺ブロックを選択すれば良い。第２の予測値生成方法では、複数の周辺ブロックに対して、予め優先順位を決め、優先順位の高い方の周辺ブロックの予測方法を示す番号を予測値とする。この場合、優先順位は例えば、左、上、右上、という順序等とする。この場合、いずれの周辺ブロックの予測方法の番号を予測値として用いたかを符号列中に記述する必要はない。第３の予測値生成方法では、周辺ブロックの予測方法を示す番号で最も多いものを予測値として用いる。第４の予測値生成方法では、周辺ブロックの予測方法がすべて同じ値である場合には、その値を予測値として用い、そうでない場合には、処理対象ブロックの予測方法を示す番号をそのまま符号化する。算術符号化を用い、周辺ブロックの予測方法に応じて確率テーブルを切り替えて符号化する方法においては、上記の第１〜第４の予測値生成方法により生成した予測値を用いて、確率テーブルを切り替えて算術符号化する。ここで、周辺ブロックの位置、数、面内予測ブロック生成方法の分布は図7の例のみとは限らず、様々な位置、数の周辺ブロックを用いることができ、面内予測ブロック生成方法の分布は周辺ブロックの符号化の結果により異なる。

以上のように、本発明の予測画像生成方法、または予測画像生成方法を用いた画像符号化方法においては、２つの方法により処理対象ブロックに対する面内予測画像ブロックを生成する。１つの方法は、処理対象画像中の既に処理済み（符号化済み）の画像データを補填し、補填後の画像を用いて、処理対象画像中の処理対象ブロックに最も近いブロックを探索して参照ブロックを検出し、面内予測画像ブロックを生成する。もう１つの方法は、処理対象ブロックの周辺の所定の画素値を処理対象ブロック内に延長することにより、面内予測画像ブロックを生成する。そして、２つの方法により生成した面内予測画像ブロックと、処理対象ブロックとの差分ブロックのエネルギー値や補助情報（位置ずれ量や予測方法番号）の符号長を用いて、いずれの面内予測画像ブロックを用いるかを選択する。そして、処理対象ブロックと面内予測画像ブロックとの差分ブロックを生成し、差分ブロックに対して変換符号化を施して変換係数ブロックを生成する。変換係数ブロックと、処理対象ブロックから参照ブロックまでの位置ずれ量とに対して可変長符号化を施し、符号列を生成する。

したがって、本発明の予測画像生成方法、または予測画像生成方法を用いた画像符号化方法を用いることにより、２つの方法で生成した面内予測画像ブロックのうち、符号化効率が高くなる方を面内予測画像ブロックとして選択することができ、符号化効率の向上を図ることができる。また、処理対象画像を他の画像を参照することなく符号化することができる。

なお、本発明の本実施の形態においては、処理対象画像を矩形ブロックで分割する場合について説明したが、これは任意の形状であっても、本発明は適用できる。

また、本発明の本実施の形態においては、処理対象画像を矩形ブロックに分割し、画像を左上のブロックから順に符号化する場合について説明したが、処理順は他の順序であってもよい。例えば、画面の中央から処理しても良いし、画面の周辺部から処理しても良いし、画面の右下から順に符号化しても良い。

また、本発明の本実施の形態においては、処理対象画像を１６画素×１６画素の大ブロックに分割し、大ブロックに含まれる８画素×８画素の小ブロックを単位として処理する場合について説明したが、ブロックサイズは他の大きさであっても良い。例えば、１６画素×８画素、８画素×１６画素、８画素×４画素、４画素×８画素、４画素×４画素等のブロックサイズがある。

また、本発明の本実施の形態においては、処理対象画像中の未処理の領域の画像データを補填してから参照ブロックを検出する場合について説明したが、この処理は行わなくてもよい。この場合には、処理対象画像中の既に処理済みの画像データのみを用いて参照ブロックを検出する。この場合、符号化効率は若干低下するが、画像データの補填に対する処理量を削減することができる。

（実施の形態3）
図8は、本発明の画像復号化装置８００の構成を示すブロック図である。画像復号化装置８００は、符号列復号部８０１、逆変換部８０２、面内予測画像取得部８０３、メモリ部８０４、加算部８０５から構成される。画像復号化装置８００には、実施の形態１で説明した本発明の動画像符号化装置により生成した符号列が入力されるものとする。すなわち、入力画像が水平１６画素×垂直１６画素の大ブロックに分割され、大ブロックを単位として処理が行われて生成された符号列が入力されるものとする。

符号列は符号列復号部８０１に入力される。符号列復号部８０１は、符号列を復号化することにより、処理対象ブロックの変換係数と、処理対象ブロックから、参照ブロックまでの位置ずれ量Ｍとを復号化する。

位置ずれ量Ｍの復号化は、Ｍの水平成分、垂直成分の値がそのまま符号列中に記述されている場合には、その値を可変長復号化する方法、周辺ブロックの位置ずれ量から生成した、処理対象ブロックの位置ずれ量に対する予測値（水平成分、垂直成分）を取得し、Ｍの差分値を可変長復号化する方法、算術符号化を用いて周辺ブロックの位置ずれ量に応じ確率テーブルを切り替えて復号化する方法、等がある。

図6を用いて、周辺ブロックの位置ずれ量から予測値を生成する場合の例を説明する。ここで、周辺ブロックの位置ずれ量は、符号列復号部８０１が保持しているものとする。図6は、処理対象ブロック２０３とその周辺ブロック６０１、６０２、６０３の位置関係を示している。第１の予測値生成方法では、周辺ブロック６０１、６０２、６０３のいずれの位置ずれ量を予測値としているかを符号列中から取得し、その周辺ブロックの位置ずれ量を予測値とする。第２の予測値生成方法では、周辺ブロック６０１、６０２、６０３の位置ずれ量に対して、水平成分、垂直成分毎に中央値を求め、それを予測値とする。この場合、いずれのブロックの位置ずれ量を予測値として用いたかを符号列中に記述されていない。第３の予測値生成方法では、周辺ブロックの位置ずれ量の水平成分、垂直成分毎の平均値を予測値として用いる。算術符号化を用い、周辺ブロックの位置ずれ量に応じて確率テーブルを切り替えて符号化する方法においては、上記の第１〜第３の予測値生成方法により生成した予測値を用いて、予測値との差分値を計算し、さらに予測値を用いて確率テーブルを切り替えて算術符号化する。または、周辺ブロックの位置ずれ量の符号値（周辺ブロックの位置ずれ量を符号化する際に、周辺ブロックのさらに周辺ブロックの位置ずれ量から生成した予測値と、周辺ブロックの位置ずれ量との差分値）に応じて、確率テーブルを切り替えて算術符号化する方法等がある。

ここで、周辺ブロックの位置、数は図6の例のみとは限らず、符号化時と同じであれば、様々な位置、数の周辺ブロックを用いることができる。

変換係数ブロックは逆変換部８０２に、位置ずれ量Ｍは面内予測画像取得部８０３に対して出力される。

逆変換部８０２では、変換係数ブロックに対して逆変換符号化を施し、逆変換係数ブロックＢｒ’を出力する。逆変換符号化は、画像符号化装置で用いた変換符号化方法に対応する逆変換符号化方法であり、例えば逆離散コサイン変換や逆離散ウェーブレット変換等を用いる。

面内予測画像取得部８０３では、メモリ部８０４に保持された、処理中の画像（ピクチャ）内の既に復号化済みの画像データを用いて、面内予測画像を生成する。図2（ａ）は、現在処理中の画像２０１を示す。画像２０１においては、符号列は、左上の大ブロックから順に右方向に処理されたものが記述されているとし、一列分の大ブロックの符号列が記述されると、その次（下）の列の左側の大ブロックから続いて符号列が記述されているものとする。今、大ブロック２０３が現在処理中の大ブロックであるとする。この場合、領域２０２に属する大ブロックが、既に処理済みの大ブロックとなる。

第１の予測画像生成方法として、大ブロック単位で予測画像を生成する方法について説明する。この場合、図2（ｂ）に示すように、水平１６画素×垂直１６画素の大ブロックに対して、面内予測画像を生成することになる。

面内予測画像取得部８０３では、まず、画像２０１の領域２０２以外の画像データを補填する。補填の方法については、所定の画素値（例えば黒レベル、白レベル、グレイレベル）で補填する方法、領域２０２の境界画素値を延長することにより補填する方法、等がある。補填した画像を図3の画像２０１ａとする。

面内予測画像取得部８０３では、補填後の画像２０１ａを用いて、符号列復号部８０１から入力された位置ずれ量Ｍを用いて参照ブロックの位置を決定する。今、図3のブロック２０５が、参照ブロックであるとする。ブロック２０５の画像データを面内予測画像ブロックＢｐとして出力する。ここで、位置ずれ量Ｍが非整数画素精度である場合には、画素値を補間生成して参照ブロックを生成する。

加算部８０５では、面内予測画像取得部８０３から出力された面内予測画像ブロックＢｐと、逆変換係数ブロックＢｒ’とを用いて、両ブロックの位置的に対応する画素間の画素値の和を計算し、それを復号化ブロックＢｃ’として出力する。

復号化ブロックＢｃ’は、メモリ部８０４に保持され、画像２０１内の以降の大ブロックの復号化の際に参照画像として用いられる。また、画面内の所定のブロック数が処理されると、出力画像として出力される。

次に第２の予測画像生成方法として、大ブロックを複数に分割して得られる小ブロック単位で予測画像を生成する方法について説明する。ここでは、図2（ｃ）に示すように、水平８画素×垂直８画素の小ブロック２１０〜２１３に対して、面内予測画像を生成する場合について説明する。小ブロック２１０〜２１３は、小ブロック２１０、小ブロック２１１、小ブロック２１２、小ブロック２１３の順で処理するものとする。

小ブロック２１０の処理方法は、第１の予測画像生成方法で説明した大ブロック２０３の処理方法と同様である。すなわち、面内予測画像取得部８０３では、画像２０１の領域２０２以外の画像データを補填し、補填後の画像を用いて、符号列復号部８０１から入力された位置ずれ量Ｍを用いて参照ブロックの位置を決定し、面内予測画像ブロックＢｐを生成する。加算部８０５では、面内予測画像ブロックＢｐと、逆変換係数ブロックＢｒ’とから復号化ブロックＢｃ’を生成し、それをメモリ部８０４に保持する。

続いて小ブロック２１１を処理する。小ブロック２１１の処理が、小ブロック２１０の処理と異なる点は、面内予測画像取得部８０３での参照ブロックの検出方法である。小ブロック２１０では、画像２０１の領域２０２以外の画像データを補填し、補填後の画像を用いて、面内予測画像ブロックを生成した。小ブロック２１１の処理においては、小ブロック２１０は処理済みであり、復号化画像がメモリ部８０４に保持されている。よって、小ブロック２１１の処理においては、画像２０１の領域２０２、小ブロック２１０以外の画像データを補填し、補填後の画像を用いて、面内予測画像ブロックの生成を行う。また、小ブロック２１２の処理においては、画像２０１の領域２０２、小ブロック２１０、小ブロック２１１以外の画像データを補填し、小ブロック２１３の処理においては、画像２０１の領域２０２、小ブロック２１０、小ブロック２１１、小ブロック２１２以外の画像データを補填し、補填後の画像を用いて、面内予測画像ブロックの生成を行う。

以上のように、本発明の予測画像生成方法、または予測画像生成方法を用いた画像復号化方法においては、入力された符号列から、変換係数ブロックと、処理対象ブロックから参照ブロックまでの位置ずれ量とを取得し、変換係数ブロックに逆変換処理を施して逆変換ブロックを生成し、処理対象画像中の既に処理済み（符号化済み）の画像データを補填し、補填後の画像を用いて、位置ずれ量から参照画像ブロックを取得して面内予測画像ブロックとし、逆変換ブロックと面内予測画像ブロックとを加算して出力画像を得る。

すなわち、本発明の予測画像生成方法、または予測画像生成方法を用いた画像復号化方法と用いることによって、本発明の予測画像生成方法、または予測画像生成方法を用いた画像符号化方法により生成した符号列を正しく復号化することができる。

なお、本発明の本実施の形態においては、処理対象画像を矩形ブロックで分割する場合について説明したが、これは任意の形状であっても、本発明は適用できる。

また、本発明の本実施の形態においては、処理対象画像を矩形ブロックに分割し、画像を左上のブロックから順に符号化されている場合について説明したが、処理順は符号化時の順序と同じであれば、他の順序であってもよい。例えば、画面の中央から処理しても良いし、画面の周辺部から処理しても良いし、画面の右下から順に符号化されていても良い。

また、本発明の本実施の形態においては、処理対象画像を１６画素×１６画素の大ブロックに分割し、大ブロックまたは、大ブロックに含まれる８画素×８画素の小ブロックを単位として処理する場合について説明したが、ブロックサイズは他の大きさであっても良い。例えば、１６画素×８画素、８画素×１６画素、８画素×４画素、４画素×８画素、４画素×４画素等のブロックサイズがある。また、大ブロックを均一な大きさのブロックに分割する必要はなく、異なる大きさのブロックに分割しても良い。例えば、図2（ｄ）のように分割する方法もある。ブロックの大きさは、符号列生成時に選択された大きさに従えばよい。

また、本発明の本実施の形態においては、処理対象画像中の未処理の領域の画像データを補填してから参照ブロックを検出する場合について説明したが、この処理は行わなくてもよい。この場合には、処理対象画像中の既に処理済みの画像データのみを用いて参照ブロックを検出する。いずれの方法を用いるかは、符号化装置と同じ方法とすればよい。

（実施の形態4）
図9は、本発明の画像復号化装置９００の構成を示すブロック図である。画像復号化装置９００は、符号列復号部９０１、逆変換部８０２、面内予測画像取得部Ａ９０２、面内予測画像取得部Ｂ９０３、メモリ部８０４、加算部８０５、切り替え部９０４、９０５から構成される。画像復号化装置９００には、実施の形態２で説明した本発明の動画像符号化装置により生成した符号列が入力されるものとする。すなわち、入力画像が水平１６画素×垂直１６画素の大ブロックに分割され、大ブロックを単位として処理が行われて生成された符号列が入力されるものとする。また、大ブロック２０３に含まれる８×８画素の小ブロックを単位として面内予測画像が生成されて符号化されているとする。

符号列復号部９０１は、符号列を復号化することにより、処理対象ブロックの変換係数と、面内予測画像ブロックとして面内予測画像ブロックＢｐａと面内予測画像ブロックＢｐｂのいずれを選択したかを示す選択情報Ｓと、面内予測画像ブロックＢｐａが選択されていた場合には位置ずれ量Ｍとを、面内予測画像ブロックＢｐｂが選択されていた場合には面内予測の予測方法を示す番号Ｎとを復号化する。

選択情報Ｓを復号化する際には、情報Ｓをそのまま復号化しても良いし、算術符号化を用いる場合には、周辺ブロックを符号化する際に面内予測画像としていずれを選択したかにより、確率テーブルを切り替えて復号化しても良い。ただし、復号化方法は符号化装置で用いられた符号化方法に対応した方法である。

位置ずれ量Ｍの復号化は、Ｍの水平成分、垂直成分の値がそのまま符号列中に記述されている場合には、その値を可変長復号化する方法、周辺ブロックの位置ずれ量から生成した、処理対象ブロックの位置ずれ量に対する予測値（水平成分、垂直成分）を取得し、Ｍの差分値を可変長復号化する方法、算術符号化を用いて周辺ブロックの位置ずれ量に応じ確率テーブルを切り替えて復号化する方法、等がある。

図7を用いて、周辺ブロックの位置ずれ量から予測値を生成する場合の例を説明する。ここで、周辺ブロックの位置ずれ量は、符号列復号部８０１が保持しているものとする。図7は、処理対象ブロックとその周辺ブロック７０１、７０２、７０３の位置関係、および各周辺ブロックを処理する際に面内予測画像が、面内予測画像ブロックＢｐａと面内予測画像ブロックＢｐｂのいずれを用いたものかを示している。これは選択情報Ｓから判定することができる。ブロック中に“Ａ”と記述してある周辺ブロック７０１、７０３は面内予測画像ブロックＢｐａが用いられたブロック、ブロック中に“Ｂ”と記述してある周辺ブロック７０２は面内予測画像ブロックＢｐｂが用いられたブロックであることを示している。処理対象ブロックが、選択情報Ｓから、面内予測画像ブロックＢｐａが選択されたブロックであると判定された場合、位置ずれ量Ｍを符号列復号部９０１で復号化することになる。周辺ブロック７０１、７０３では、各ブロックを復号化する際に、位置ずれ量Ｍの値を復号化済みであるが、周辺ブロック７０２では位置ずれ量Ｍの値は復号化されていない。従って、周辺ブロックの位置ずれ量から予測値を生成する場合、周辺ブロック７０１、７０３を復号化する際に用いた位置ずれ量Ｍを用いて、予測値を生成する。第１の予測値生成方法では、周辺ブロック７０１、７０３のいずれかの位置ずれ量を予測値としているかを符号列中から取得し、その周辺ブロックの位置ずれ量を予測値とする。第２の予測値生成方法では、周辺ブロック７０１、７０３の位置ずれ量に対して、水平成分、垂直成分毎に中央値を求め、それを予測値とする。この場合、いずれのブロックの位置ずれ量を予測値として用いたかは符号列中に記述されていない。第３の予測値生成方法では、周辺ブロックの位置ずれ量の水平成分、垂直成分毎の平均値を予測値として用いる。この例では、予測値生成に用いる周辺ブロック数が２個であるので、第２の予測値生成方法と第３の予測値生成方法とでは、予測値は同じとなる。算術符号化を用い、周辺ブロックの位置ずれ量に応じて確率テーブルを切り替えて復号化する方法においては、上記の第１〜第３の予測値生成方法により生成した予測値を用いて、予測値との差分値を計算し、さらに予測値を用いて確率テーブルを切り替えて算術符号化により復号化する。または、周辺ブロックの位置ずれ量の符号値（周辺ブロックの位置ずれ量を符号化する際に、周辺ブロックのさらに周辺ブロックの位置ずれ量から生成した予測値と、周辺ブロックの位置ずれ量との差分値）に応じて、確率テーブルを切り替えて算術符号化により復号化する方法等がある。

ここで、周辺ブロックの位置、数、面内予測ブロック生成方法の分布は図7の例のみとは限らず、符号化時と同じであれば、様々な位置、数の周辺ブロックを用いることができ、面内予測ブロック生成方法の分布は周辺ブロックの復号化の結果により異なる。

次に、面内予測の予測方法を示す番号Ｎの復号化は、番号Ｎの値がそのまま可変長符号化されている場合に直接復号化する方法、周辺ブロックの予測方法番号から生成した、面内予測の予測方法を示す番号の予測値を用いて復号化する方法、算術符号化を用いて周辺ブロックの面内予測の予測方法を示す番号予測値に応じ確率テーブルを切り替えて復号化する方法、等がある。予測値を用いて復号化を行う場合、例えば、予測値とＮの値が同じであれることを表す符号が得られた場合には、Ｎの値を予測値と同じにし、異なることを示す符号が得られた場合には、それに続いてＮの値を示す符号を復号化する方法がある。

図7を用いて、周辺ブロックの面内予測の予測方法を示す番号Ｎから予測値を生成する場合の例を説明する。処理対象ブロックが、面内予測画像ブロックＢｐｂが選択されたブロックである場合、面内予測の予測方法を示す番号Ｎが符号列中に記述されていることになる。周辺ブロック７０２では予測方法を示す番号Ｎの値は復号化済みであるが、周辺ブロック７０１、７０３では、各ブロックを復号化する際に、予測方法を示す番号Ｎの値を復号化していない。従って、周辺ブロックの予測方法を示す番号から予測値を生成する場合、周辺ブロック７０２を復号化する際に用いた予測方法を示す番号Ｎを用いて、予測値を生成する。この場合は、候補となる周辺ブロックが１つであるので、周辺ブロック７０２を復号化する際に用いた予測方法を示す番号Ｎの値がそのまま予測値となる。候補となる周辺ブロックが複数である場合、第１の予測値生成方法では、周辺ブロックのうちいずれのブロックの予測方法を示す番号を予測値として用いたかを示す情報を符号列から復号化する。そして、その情報が示す周辺ブロックの予測方法を示す番号をそのまま予測値とする。第２の予測値生成方法では、複数の周辺ブロックに対して、予め優先順位を決め、優先順位の高い方の周辺ブロックの予測方法を示す番号を予測値とする。この場合、優先順位は例えば、左、上、右上、という順序等とする。この場合、いずれの周辺ブロックの位置ずれ量を予測値として用いたかは符号列中に記述されていない。第３の予測値生成方法では、周辺ブロックの予測方法を示す番号で最も多いものを予測値として用いる。第４の予測値生成方法では、周辺ブロックの予測方法がすべて同じ値である場合には、その値を予測値として用い、そうでない場合には、処理対象ブロックの予測方法を示す番号をそのまま符号列中から取得する。算術符号化を用い、周辺ブロックの予測方法に応じて確率テーブルを切り替えて復号化する方法においては、上記の第１〜第４の予測値生成方法により生成した予測値を用いて、確率テーブルを切り替えて算術符号化する。ここで、周辺ブロックの位置、数、面内予測ブロック生成方法の分布は図7の例のみとは限らず、符号化時に用いた方法と同じであれば、様々な位置、数の周辺ブロックを用いることができ、面内予測ブロック生成方法分布は周辺ブロックの符号化の結果により異なる。

符号列復号部９０１で得られた、処理対象ブロックの変換係数は逆変換部８０２に対して、選択情報Ｓは面内予測画像取得部Ａ９０２、面内予測画像取得部Ｂ９０３、切り替え部９０４、９０５に対して、選択情報Ｓにより面内予測画像ブロックＢｐａが選択されて符号化されていた場合には位置ずれ量Ｍは面内予測画像取得部Ａ９０２に対して、選択情報Ｓにより面内予測画像ブロックＢｐｂが選択されて符号化されていた場合には面内予測の予測方法を示す番号Ｎは面内予測画像取得部Ｂ９０３に対して、それぞれ出力される。

逆変換部８０２では、変換係数ブロックに対して逆変換符号化を施し、逆変換係数ブロックＢｒ’を出力する。逆変換符号化は、符号化時に用いた変換符号化方法に対応する逆変換符号化方法であり、例えば逆離散コサイン変換や逆離散ウェーブレット変換等を用いる。

面内予測画像取得部Ａ９０２、面内予測画像取得部Ｂ９０３では、メモリ部８０４に保持された、処理中の画像中の既に符号化済みの画像データ、選択情報Ｓ、位置ずれ量Ｍ、予測方法番号Ｎを用いて、面内予測画像を生成する。図2（ａ）は、現在処理中の画像２０１を示す。大ブロック２０３が現在処理中の大ブロックＢｃであるとする。領域２０２に属する大ブロックが、既に処理済みの大ブロックとなる。

ここでは、大ブロック２０３に含まれる８×８画素の小ブロックを単位として面内予測画像を生成するものとする。

選択情報Ｓにより面内予測画像ブロックＢｐａが選択されて符号化されている場合には、切り替え部９０４、９０５は“ａ”に接続され、面内予測画像取得部Ａ９０２が位置ずれ量Ｍを用いて、面内予測画像を生成する。面内予測画像取得部Ａ９０２では、第３の実施の形態における面内予測画像取得部８０３と同じ動作を行い、面内予測画像ブロックＢｐａを生成する。

選択情報Ｓにより面内予測画像ブロックＢｐｂが選択されて符号化されている場合には、切り替え部９０４、９０５は“ｂ”に接続され、面内予測画像取得部Ｂ９０３では、予測方法の番号Ｎを用いて、従来の面内予測方法により、面内予測ブロックＢｐｂを生成する。その方法を図5を用いて説明する。図5（ａ）は、処理対象ブロック５０１の画素（破線の白丸）と処理対象ブロック５０１に対する予測画像を生成する際に用いる画素（実線の白丸）の位置関係を示した模式図である。そして実線白丸の画素を用いて、図5（ｂ）に示す方向で予測画像を生成する。ここで図5（ｂ）の番号は、予測方法を示す番号を示しており、予測方法２では周辺画素ａ〜ｐの平均画素値をブロック５０１の予測画像とするため、図中には示していない。例えば、予測方法０においては、図5（ｃ）に示すように、画素ｉの画素値をブロック５０１内の左端の列の８画素に対する予測値とする。同様にして、画素ｊ〜ｐを各列の８画素に対する予測値とする。

生成された面内予測画像ブロックは、切り替え部９０４を通って、加算部８０５に入力される。加算部８０５では、面内予測画像取得部Ａ９０２または面内予測画像取得部Ｂ９０３から出力された面内予測画像ブロックＢｐと、逆変換係数ブロックＢｒ’とを用いて、両ブロックの位置的に対応する画素間の画素値の和を計算し、それを復号化ブロックＢｃ’として出力する。

局所復号化ブロックＢｃ’は、メモリ部８０４に保持され、処理対象画像内の以降のブロックの復号化の際に参照画像として用いられる。また、画面内の所定のブロック数が処理されると、出力画像として出力される。

以上のように、本発明の予測画像生成方法、または予測画像生成方法を用いた画像復号化方法においては、２つの方法により処理対象ブロックに対する面内予測画像ブロックを生成して符号化された符号列を入力とする。第１の方法は、処理対象画像中の既に処理済み（符号化/復号化済み）の画像データを補填し、補填後の画像を用いて、処理対象画像中の処理対象ブロックに最も近いブロックを探索して参照ブロックを検出し、面内予測画像ブロックを生成したものである。第２の方法は、処理対象ブロックの周辺の所定の画素値を処理対象ブロック内に延長することにより、面内予測画像ブロックを生成したものである。入力された符号列から、変換係数ブロックと、処理対象ブロックがいずれの面内予測方法を用いて符号化されているかを示す選択情報と、処理対象ブロックから参照ブロックまでの位置ずれ量または面内予測方法を示す番号とを取得し、変換係数ブロックに逆変換処理を施して逆変換ブロックを生成する。面内予測方法が第１の方法である場合には、処理対象画像中の既に処理済み（符号化済み）の画像データを補填し、補填後の画像を用いて、位置ずれ量から参照画像ブロックを取得して面内予測画像ブロックとする。また、面内予測方法が第２の方法である場合には、予測方法番号に基づいて、面内予測画像ブロックを生成する。そして、逆変換ブロックと面内予測画像ブロックとを加算して出力画像を得る。

すなわち、本発明の予測画像生成方法、または予測画像生成方法を用いた画像復号化方法と用いることによって、本発明の予測画像生成方法、または予測画像生成方法を用いた画像符号化方法により生成した符号列を正しく復号化することができる。

なお、本発明の本実施の形態においては、処理対象画像が矩形ブロックで分割されて符号化されている場合について説明したが、これは任意の形状であっても、本発明は適用できる。

また、本発明の本実施の形態においては、処理対象画像を矩形ブロックに分割し、画像を左上のブロックから順に符号化されている場合について説明したが、処理順は他の順序であってもよい。例えば、画面の中央から処理されていても良いし、画面の周辺部から処理されていても良いし、画面の右下から順に符号化されていても良い。

また、本発明の本実施の形態においては、処理対象画像を１６画素×１６画素の大ブロックに分割し、大ブロックに含まれる８画素×８画素の小ブロックを単位として処理する場合について説明したが、ブロックサイズは他の大きさであっても良い。例えば、１６画素×８画素、８画素×１６画素、８画素×４画素、４画素×８画素、４画素×４画素等のブロックサイズがある。

また、本発明の本実施の形態においては、処理対象画像中の未処理の領域の画像データを補填してから参照ブロックを生成する場合について説明したが、この処理は行わなくてもよい。この場合には、処理対象画像中の既に処理済みの画像データのみを用いて参照ブロックを生成する。

（実施の形態5）
さらに、上記各実施の形態で示した予測画像生成方法、画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図10は、上記各実施の形態の予測画像生成方法、画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

図10（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図10（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

また、図10（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。予測画像生成方法、画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記予測画像生成方法、画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

（実施の形態6）
さらにここで、上記実施の形態で示した予測画像生成方法、画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。

図11は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図11のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。

図12は、上記実施の形態で説明した予測画像生成方法、画像符号化方法および画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図13を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図14に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置が上記実施形態で説明した画像符号化装置、画像復号化装置を備えていてもよい。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図13に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した予測画像生成方法、画像符号化方法および画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明にかかる予測画像生成方法、画像符号化方法および画像復号化方法により、符号化効率を高めることのできる予測画像生成方法、およびその予測画像生成方法を利用した画像符号化方法および画像復号化方法を提供することができるという効果を有し、蓄積、伝送、通信等における予測画像生成方法、画像符号化方法および画像復号化方法として有用である。

本発明の予測画像生成方法を用いた画像符号化装置のブロック図（実施の形態１） 本発明の画像符号化装置の動作を説明するための模式図（実施の形態１） 本発明の画像符号化装置の動作を説明するための模式図（実施の形態１） 本発明の予測画像生成方法を用いた画像符号化装置のブロック図（実施の形態２） 本発明の画像符号化装置の動作を説明するための模式図（実施の形態２） 本発明の画像符号化装置の動作を説明するための模式図（実施の形態２） 本発明の画像符号化装置の動作を説明するための模式図（実施の形態２） 本発明の予測画像生成方法を用いた画像復号化装置のブロック図（実施の形態３） 本発明の予測画像生成方法を用いた画像復号化装置のブロック図（実施の形態４） 上記各実施の形態の予測画像生成方法、画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態５） コンテンツ供給システムの全体構成を示すブロック図（実施の形態６） 予測画像生成方法、画像符号化方法および画像復号化方法を用いた携帯電話の例（実施の形態６） 携帯電話のブロック図（実施の形態６） ディジタル放送用システムの例（実施の形態６） 従来の面内予測方法を説明するための模式図（背景技術）

符号の説明

１００ 画像符号化装置
１０１ 画面分割部
１０２ 面内予測部
１０３ メモリ部
１０４ 変換部
１０５ 逆変換部
１０６ 符号列生成部
１０７ 減算部
１０８ 加算部
８０１ 符号列復号部
８０２ 逆変換部
８０３ 面内予測画像取得部
８０４ メモリ部
８０５ 加算部
Ｃｓ コンピュータ・システム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ

Claims (20)

1. 処理対象画像に含まれる第１の画素群に対し、前記処理対象画像内の既に処理済みの画像データ中、または前記処理済みの画像データと前記処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、の任意の位置から、所定の評価基準に基づいて、前記第１の画素群に対する予測画像として第２の画素群を選択する面内予測ステップと、
   前記第１の画素群に対し、前記第２の画素群を前記予測画像として用い、所定の処理を行い、処理済みの第１の画素群を導出する処理ステップと、
   からなることを特徴とする予測画像生成方法。
2. 処理対象画像を処理対象である第１の画像群に分割する画面分割ステップと、
   前記第１の画像群に対し、前記処理対象画像内の既に処理済みの画像データ中、または前記処理済みの画像データと前記処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、の任意の位置から、所定の評価基準に基づいて、前記第１の画素群に対する予測画像として第２の画素群を選択する面内予測ステップと、
   前記第１の画素群と前記第２の画素群との差分画素群を生成する減算ステップと、
   前記差分画素群に対して、変換処理を行い変換係数群に変換する変換ステップと、
   前記変換係数群に対して、逆変換処理を行い逆変換係数群に変換する逆変換ステップと、
   前記逆変換係数群と前記第２の画素群との加算画素群を生成し、前記加算画素群を処理済みの画像データとして導出する加算ステップと、
   前記変換係数群と、前記第１の画素群と前記第２の画素群との画像上での位置ずれ量とを符号列に変換する符号列生成ステップと、
   からなることを特徴とする画像符号化方法。
3. 前記符号列生成ステップは、前記位置ずれ量を、前記第１の画像群の周辺の画像群を符号化処理する際に用いた位置ずれ量から生成される予測値を用いて、符号列に変換することを特徴とする、
   請求項２記載の画像符号化方法。
4. 前記符号列生成ステップは、前記位置ずれ量を確率テーブルを用いた算術符号化により符号化するステップであって、前記第１の画像群の周辺の画像群を符号化処理する際に用いた位置ずれ量に基づいて前記確率テーブルを切り替えることにより、符号列を生成することを特徴とする、
   請求項２記載の画像符号化方法。
5. 前記処理対象画像に含まれる第１の画素群に対し、前記処理対象画像内の既に処理済みの画像データ中、または前記処理済みの画像データと前記処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、の任意の位置から、所定の評価基準に基づいて、前記第１の画素群に対する第１の予測画像として第２の画素群を選択する第１の面内予測ステップと、
   前記第１の画像群に対し、前記処理済みの画像データ中の所定の位置の画素を用いて、前記第１の画素群に対する第２の予測画像を生成する第２の面内予測ステップと、
   前記第１の予測画像と前記第２の予測画像とから、所定の評価基準に基づいて、予測画像を選択する予測画像選択ステップと、
   前記第１の画素群と前記予測画像選択ステップにより選択された前記予測画像とを用い、所定の処理を行い、処理済みの第１の画素群を導出する処理ステップと、
   からなることを特徴とする予測画像生成方法。
6. 処理対象画像を処理対象である第１の画像群に分割する画面分割ステップと、
   前記第１の画像群に対し、前記処理対象画像内の既に処理済みの画像データ中、または前記処理済みの画像データと前記処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、の任意の位置から、所定の評価基準に基づいて、前記第１の画素群に対する第１の予測画像として第２の画素群を選択する第１の面内予測ステップと、
   前記第１の画像群に対し、前記処理済みの画像データ中の所定の位置の画素を用いて、所定の複数の方法のうちから選択した方法を用いて、前記第１の画素群に対する第２の予測画像を生成する第２の面内予測ステップと、
   前記第１の予測画像と前記第２の予測画像とから、所定の評価基準に基づいて、予測画像を選択する予測画像選択ステップと、
   前記第１の画素群と前記予測画像選択ステップにより選択された前記予測画像との差分画素群を生成する減算ステップと、
   前記差分画素群に対して、変換処理を行い変換係数群に変換する変換ステップと、
   前記変換係数群に対して、逆変換処理を行い逆変換係数群に変換する逆変換ステップと、
   前記逆変換係数群と前記予測画像との加算画素群を生成し、前記加算画素群を処理済みの画像データとして導出する加算ステップと、
   前記変換係数群と、前記予測画像選択ステップで前記第１の予測画像と前記第２の予測画像とのいずれを前記予測画像として選択したかを示す選択情報と、前記予測画像選択ステップで前記第１の予測画像を前記予測画像として選択した場合には、前記第１の画素群と前記第２の画素群の画像上での位置ずれ量とを、前記予測画像選択ステップで前記第２の予測画像を前記予測画像として選択した場合には、前記予測画像を生成した方法を示す情報とを符号列に変換する符号列生成ステップと、
   からなることを特徴とする画像符号化方法。
7. 前記符号列生成ステップは、確率テーブルを用いた算術符号化により前記選択情報を符号化するステップであって、前記第１の画像群の周辺の画像群を符号化処理する際に用いた前記選択情報により、前記確率テーブルを切り替えて、符号列を生成することを特徴とする、
   請求項６記載の画像符号化方法。
8. 前記符号列生成ステップは、前記位置ずれ量を、前記第１の画像群の周辺の画像群を符号化処理する際に前記第１の予測画像を選択した前記周辺の画像群の位置ずれ量から生成される予測値を用いて、符号列に変換することを特徴とする、
   請求項６記載の画像符号化方法。
9. 前記符号列生成ステップは、確率テーブルを用いた算術符号化により前記位置ずれ量を符号化するステップであって、前記第１の画像群の周辺の画像群を符号化処理する際に前記第１の予測画像を選択した前記周辺の画像群の位置ずれ量に基づいて前記確率テーブルを切り替えることにより、符号列を生成することを特徴とする、
   請求項６記載の画像符号化方法。
10. 前記符号列生成ステップは、前記予測画像を生成した方法を示す情報を、前記第１の画像群の周辺の画像群を符号化処理する際に前記第２の予測画像を選択した前記周辺の画像群の予測画像を生成した方法を示す情報から生成される予測値を用いて、符号列に変換することを特徴とする、
    請求項６記載の画像符号化方法。
11. 前記符号列生成ステップは、確率テーブルを用いた算術符号化により前記予測画像を生成した方法を示す情報を符号化するステップであって、前記第１の画像群の周辺の画像群を符号化処理する際に前記第２の予測画像を選択した前記周辺の画像群の予測画像を生成した方法を示す情報に基づいて前記確率テーブルを切り替えることにより、符号列を生成することを特徴とする、
    請求項６記載の画像符号化方法。
12. 処理対象画像中の処理対象である第１の画像群を復号化するにあたり、入力符号列中から、変換係数群と、前記第１の画素群と前記第１の画像群の面内予測画像群である第２の画素群との画像上での位置ずれ量とを復号化する符号列復号ステップと、
    前記処理対象画像内の既に処理済みの画像データ中、または前記処理済みの画像データと前記処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、から、前記位置ずれ量に基づいて、前記第１の画素群に対する予測画像として第２の画素群を取得する面内予測画像取得ステップと、
    前記変換係数群に対して、逆変換処理を行い逆変換係数群に変換する逆変換ステップと、
    前記逆変換係数群と前記第２の画素群との加算画素群を生成し、前記加算画素群を処理済みの画像データとして導出する加算ステップと、
    からなることを特徴とする画像復号化方法。
13. 前記符号列復号ステップは、前記位置ずれ量を、前記第１の画像群の周辺の画像群を復号化処理する際に用いた位置ずれ量から生成される予測値を用いて、復号化することを特徴とする、
    請求項１２記載の画像復号化方法。
14. 前記符号列復号ステップは、前記位置ずれ量を確率テーブルを用いた算術符号化により復号化するステップであって、前記第１の画像群の周辺の画像群を復号化処理する際に用いた位置ずれ量に基づいて前記確率テーブルを切り替えることにより、符号列を復号化することを特徴とする、
    請求項１２記載の画像復号化方法。
15. 処理対象画像中の処理対象である第１の画像群を第１の面内予測画像生成方法または第２の面内予測画像生成方法を用いて符号化した符号列を復号化するにあたり、入力符号列中から、変換係数群と、前記第１の画像群を前記第１の面内予測画像生成方法と前記第２の面内予測画像生成方法とのいずれの方法により予測画像を生成したかについての選択情報と、前記選択情報が第１の面内予測画像生成方法を示している場合には、前記第１の画素群と前記第１の画像群の面内予測画像群である第２の画素群との画像上での位置ずれ量を、前記選択情報が第２の面内予測画像生成方法を示している場合には、予測画像を生成した方法を示す番号情報を復号化する符号列復号ステップと、
    前記選択情報が第１の面内予測画像生成方法を示している場合には、前記処理対象画像内の既に処理済みの画像データ中、または前記処理済みの画像データと前記処理済みの画像データ以外の画像データを所定の補填方法で補填した画像データ中、から、前記位置ずれ量に基づいて、前記第１の画素群に対する予測画像として第２の画素群を取得する第１の面内予測画像取得ステップと、
    前記選択情報が第２の面内予測画像生成方法を示している場合には、前記番号情報に基づいて、前記処理済みの画像データ中の所定の位置の画素を用いて、前記第１の画素群に対する予測画像として第２の画素群を取得する第２の面内予測画像取得ステップと、
    前記変換係数群に対して、逆変換処理を行い逆変換係数群に変換する逆変換ステップと、
    前記逆変換係数群と前記第２の画素群との加算画素群を生成し、前記加算画素群を処理済みの画像データとして導出する加算ステップと、
    からなることを特徴とする画像復号化方法。
16. 前記符号列復号ステップは、確率テーブルを用いた算術符号化により前記選択情報を復号化するステップであって、前記第１の画像群の周辺の画像群を復号化処理する際に用いた前記選択情報により、前記確率テーブルを切り替えて、符号列を復号化することを特徴とする、
    請求項１５記載の画像復号化方法。
17. 前記符号列復号ステップは、前記位置ずれ量を、前記第１の画像群の周辺の画像群を復号化処理する際に前記第１の面内予測画像生成方法を選択した前記周辺の画像群の位置ずれ量から生成される予測値を用いて、復号化することを特徴とする、
    請求項１５記載の画像復号化方法。
18. 前記符号列復号ステップは、確率テーブルを用いた算術符号化により前記位置ずれ量を復号化するステップであって、前記第１の画像群の周辺の画像群を復号化処理する際に前記第１の面内予測画像生成方法を選択した前記周辺の画像群の位置ずれ量に基づいて前記確率テーブルを切り替えることにより、符号列を復号化することを特徴とする、
    請求項１５記載の画像復号化方法。
19. 前記符号列復号ステップは、前記番号情報を、前記第１の画像群の周辺の画像群を復号化処理する際に前記第２の面内予測画像生成方法を選択した前記周辺の画像群の予測画像を生成した方法を示す番号情報から生成される予測値を用いて、復号化することを特徴とする、
    請求項１５記載の画像復号化方法。
20. 前記符号列復号ステップでは、確率テーブルを用いた算術符号化により前記予測画像を生成した方法を示す前記番号情報を復号化するステップであって、前記第１の画像群の周辺の画像群を復号化処理する際に前記第２の面内予測画像生成方法を選択した前記周辺の画像群の予測画像を生成した方法を示す番号情報に基づいて前記確率テーブルを切り替えることにより、符号列を復号化することを特徴とする、
    請求項１５記載の画像復号化方法。

Images