JP3857297B2 - 画像予測符号化方法及び装置 - Google Patents

Description

本発明は、画像予測符号化装置及び方法、画像予測復号化装置及び方法、並びに記録媒体に関する。特に、静止画又は動画である画像のディジタル画像データを、例えば光ディスクなどの記録媒体に記憶し、又は通信回線を伝送するための画像予測符号化装置及び方法、並びに、画像予測復号化装置及び方法に関する。また、上記画像予測符号化方法のステップを含むプログラムを記録した記録媒体、並びに、上記画像予測復号化方法のステップを含むプログラムを記録した記録媒体に関する。

ディジタル画像を効率よく記憶し又は伝送するには、圧縮符号化する必要がある。ディジタル画像を圧縮符号化するための方法として、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Motion Picture Experts Group）に代表される離散コサイン変換（以下、ＤＣＴ変換という。）のほかに、サブバンド符号化やウェーブレット符号化、フラクタル符号化などの波形符号化方法がある。また、画像間の冗長な信号を取り除くには動き補償を用いた画像間予測を行い、差分信号を波形符号化する。

ＭＰＥＧの方式では、入力画像を複数の１６×１６のマクロブロックに分割して処理する。１つのマクロブロックをさらに８×８のブロックに分割し、８×８のＤＣＴ変換処理を施してから量子化する。これはフレーム内符号化と呼ばれる。

一方、ブロックマッチングをはじめとする動き検出方法で、時間に隣接する別のフレームの中から対象マクロブロックに誤差の最も小さい予測マクロブロックを検出し、検出された予測マクロブロックを対象マクロブロックから減算し、差分マクロブロックを生成し、８×８のＤＣＴ変換を施してから量子化する。これをフレーム間符号化と呼び、予測マクロブロックを時間領域の予測信号と呼ぶ。このようにＭＰＥＧでは、同じフレームの中から画像を予測していない。

通常の画像は空間的に似ている領域が多く、この性質を用いて空間領域に画像を近似することができる。時間領域の予測信号と同じように、同じフレームの中から予測信号を求めることも可能である。これを空間領域の予測信号と呼ぶ。

空間的に近接する２つの画素値が近いため、空間領域の予測信号は一般的に対象信号に近い位置にある。一方、受信側又は再生側では、原画像がないため、予測信号は過去において符号化し再生された信号を用いる必要がある。この２つの要素から、空間領域の予測信号を高速に生成する必要がある。画素値を復号化し再生した後すぐに予測信号の生成に用いられるからである。

従って、空間領域の予測信号を簡単かつ高精度に生成する必要がある。また、符号化装置及び復号化装置において高速演算可能な構成が要求される。

ところで、画像データの符号化は、ＪＰＥＧ、ＭＰＥＧ１、Ｈ.２６１、ＭＰＥＧ２及びＨ.２６３などの多くの国際的標準に広く使用されて来た。後者の標準の各々は符号化能率を更に改善している。すなわち、同じ画質を表現するのに従来の標準に比べてビット数をさらに減少する努力がなされてきた。

動画に対する画像データの符号化は、イントラフレーム符号化と予測フレーム符号化から成りたっている。ここで、イントラフレーム符号化は、１つのフレームの画面内でのフレーム内符号化をいう。例えばＭＰＥＧ１標準のような代表的なハイブリッド符号化システムにおいては、連続するフレームは次の３つの異なるタイプに分類できる。
（ａ）イントラフレーム（以下、Ｉフレームという。）、
（ｂ）予測フレーム（以下、Ｐフレームという。）、及び
（ｃ）両方向予測フレーム（以下、Ｂフレームという。）。

Ｉフレームは他のフレームと独立的に符号化され、すなわち、Ｉフレームは他のフレームを用いることなく圧縮される。Ｐフレームは、符号化されたフレーム（それは、Ｐフレームである。）の内容を予測するために１つ前のフレームを用いることにより動きの検出及び補償を通じて符号化されている。Ｂフレームは、１つ前のフレームからの情報及びＢフレームの中味のデータを予測する後続のフレームからの情報を用いる動きの検出及び補償を用いることにより符号化されている。以前のフレーム及び後続のフレームはＩフレームか、又はＰフレームである。Ｉフレームはイントラコードモードに属している。Ｐフレーム及びＢフレームは予測コードモードに属している。

Ｉフレーム、Ｐフレーム及びＢフレームの符号化の性質が違っているように、その圧縮方法も各々異なっている。Ｉフレームは、冗長性を減少させるために一時的な予測を使用しないので、Ｐフレーム及びＢフレームに比べてより多くのビット数を必要とする。

ここで、ＭＰＥＧ２を例として説明する。ビットレートを４Ｍビット／秒とし、画像は、３０フレーム／秒の画像と仮定する。一般的には、Ｉ、Ｐ及びＢフレームに用いられるビット数の比は６：３：１である。従ってＩフレームは約４２０Ｋbits／sを使用し、Ｂフレームは約７０Ｋbits／sを使用する。なぜならＢフレームは両方向から十分に予測されているからである。

図１４は、従来技術の画像予測符号化装置の構成を示すブロック図である。ＤＣＴ変換をブロックに基づいて実行するので、最近の画像符号化方法はすべて、画像をより小さいブロックに分割することを基礎としている。イントラフレーム符号化においては、入力されたディジタル画像信号に対して、図１４に示されるように、まず、ブロックサンプリング処理１００１が実行される。次いで、ブロックサンプリング処理１００１後のこれらのブロックに対して、ＤＣＴ変換処理１００４が実行された後、量子化処理１００５及びランレングスホフマン可変長符号化（ＶＬＣ：Variable Length Coding；エントロピー符号化）処理１００６が実行される。一方、予測フレーム符号化においては、入力されたディジタル画像に対して動き補償処理１００３が実行され、そして、動き補償されたブロック（すなわち、予測されたブロック）に対してＤＣＴ変換処理１００４が実行される。次いで、量子化処理１００５、及びランレングスホフマンＶＬＣ符号化（エントロピー符号化）処理１００６が実行される。

ブロックに基づくＤＣＴ変換処理１００４は、処理対象のブロック内の空間的な冗長性を除去し又は減少させること、並びに、動き検出及び補償処理１００２，１００３は隣接するフレームの間の一時的な冗長性を除去し又は減少させることは、従来の画像符号化技術から公知である。さらに、ＤＣＴ変換処理１００４及び量子化処理１００５の後に実行される、ランレングスホフマンＶＬＣ符号化又は他のエントロピー符号化処理１００６は、量子化されたＤＣＴ変換係数の間の統計的冗長性を除去する。しかしその処理は、画面内のブロックのみに対してのみある。

ディジタル画像は本来的性質として空間的に大きな冗長性を有している。この冗長性は、画像のフレーム内のブロックのみでなく、ブロックを越えてブロックとブロックとの間にも存在している。しかしながら、現実の方法は画像のブロック間の冗長性を除去する方法を使用していないことは、上述から明らかである。

現在の画像符号化手法においては、ＤＣＴ変換処理１００４又は他の変換処理は、ハードウェアの形成及び計算上の拘束条件のためにブロックに基づいて実行される。

空間的な冗長性は、ブロックを基礎とする変換処理によって減少されるが、それは１つのブロック内でのみに限定される。隣接する２つのブロック間の冗長性はあまりうまく考慮されていないが、常に多くのビット数を消費するフレーム内符号化を用いればさらに減少できるであろう。

さらに、ブロックを基礎とするＤＣＴ変換処理が、処理対象のブロック内の空間的な冗長性を除去し、又は減少させ、また、動き予測及び補償処理が、隣接する２つのフレーム間の一時的な冗長性を除去し、又は減少させることは、現在の画像符号化技術から公知である。ＤＣＴ変換処理及び量子化処理の後に実行される、ジグザグスキャン及びランレングスホフマンＶＬＣ符号化処理又は他のエントロピー符号化処理は、量子化されたＤＣＴ変換係数の中の統計的冗長性を除去するが、なお、それは１つのブロック内に限定される。

ディジタル画像は本来高い空間冗長性を含んでいる。この冗長性はブロックの内部に存在するのみでなく、画像のブロックを越えてそしてブロック間にも存在している。従って、上記のことから明らかなように、現存する方法においては、ＪＰＥＧ、ＭＰＥＧ１及びＭＰＥＧ２のＤＣ係数の予測を除いて、１つの画像のブロック間の冗長性を除去する方法を全く用いていない。

ＭＰＥＧ１及びＭＰＥＧ２においては、ＤＣ係数の予測は、現在の符号化されているブロックから前の符号化ブロックのＤＣ値を減算することにより実行される。これは予測が適切でない時に適応性又はモードスイッチングを有しない簡単な予測方法である。さらにそれはＤＣ係数を含むだけである。

当該技術分野の現在の状態では、ジグザグスキャンはランレングス符号化の前にすべてのブロックに対して用いられている。ブロックの中味のデータに基づいてスキャンを適応的にする試みはなされていない。

図２２は、従来技術の画像予測符号化装置の構成を示すブロック図である。図２２において、従来技術の画像予測符号化装置は、ブロックサンプリニングユニット２００１、ＤＣＴ変換ユニット２００３、量子化ユニット２００４、ジグザグスキャンユニット２００５及びエントロピー符号化ユニット２００６を備える。本明細書において、「ユニット」という用語は、回路装置を意味する。

イントラフレーム符号化（すなわち、フレーム内符号化）においては、入力された画像信号に対して、ブロックサンプリング処理２００１が実行された後、直接に、ＤＣＴ変換処理２００３が実行され、そして、量子化処理２００４、ジグザグスキャン処理２００５及びエントロピー符号化処理２００６が順次実行される。一方、インターフレーム符号化（すなわち、フレーム間符号化、すなわち、予測フレーム符号化）においては、ブロックサンプリング処理２００１の後に、動き検出及び補償処理がユニット２０１１において実行され、次いで、ブロックサンプリング２００１からの画像データをユニット２０１１からの検出値を減算することにより、加算器２００２により予測誤差が得られる。さらに、この予測誤差に対して、ＤＣＴ変換処理２００３が実行され、続いて量子化処理２００４、ジグザグスキャン処理２００５及びエントロピー符号化処理２００６が、イントラフレーム符号化と同様に実行される。

図２２の画像予測符号化装置内に設けられるローカルデコーダにおいて、逆量子化処理及び逆ＤＣＴ変換処理はユニット２００７及び２００８において実行される。イントラフレーム符号化においては、動き検出及び補償された予測値は、ユニット２００７及び２００８によって再構築された予測誤差に加算器２００９によって加算され、その加算値は、局所的に復号化された画像データを意味し、その復号化された画像データは、ローカルデコーダのフレームメモリ２０１０に記憶される。最終的には、ビットストリームがエントロピー符号化ユニット２０１０から出力されて、相手方の画像予測復号化装置に送信される。

図２３は、従来技術の画像予測復号化装置の構成を示すブロック図である。ビットストリームは、可変長デコーダ（ＶＬＤ：Variable Length Decoding）ユニット（又はエントロピー復号化ユニット）２０２１によって復号化され、次いで、復号化された画像データに対して、逆量子化処理及び逆ＤＣＴ変換処理がユニット２０２３及び２０２４において実行される。インターフレーム符号化において、ユニット２０２７で形成された、動き検出及び補償された予測値は、加算器２０２５によって再構築された予測誤差に加算され、局所的な復号化画像データが形成される。局所的に復号化された画像データはローカルデコーダのフレームメモリ１０２６に記憶される。

特開昭６３−１９７１８５号公報。 特開平２−６５５８３号公報。

現在の画像符号化技術においては、ＤＣＴ変換処理又は他の変換処理は、ハードウェアの形成及び計算上の拘束条件のために、ブロックを基礎として実行されている。空間的冗長性はブロックを基礎とする変換によって削減されるであろう。しかしながら、それはブロック内のみである。隣接するブロック間の冗長性はあまり十分に考慮されていない。特に、常に多量のビットを消費するイントラフレーム符号化については特に考慮がなされていない。

本発明の第１の目的は、空間領域の予測画像データを簡単に、高速でかつ高精度に生成することができる画像予測符号化装置及び方法、並びに、画像予測復号化装置及び方法を提供することにある。

また、本発明の第２の目的は、従来技術の画像予測符号化装置及び画像予測復号化装置に比較して、ブロック内の冗長性を除去することができ、より効率的に画像データを符号化又は復号化することができる画像予測符号化装置及び方法、並びに、画像予測復号化装置及び方法を提供することにある。

さらに、本発明の第３の目的は、画像データの内部の性質に依存して、重要な変換係数がブロックの異なる区域に集中されるという問題点を解決し、ブロックに対して正しいスキャン方法を決定することによりエントロピー符号化処理の能率を改善することができる画像予測符号化装置及び方法、並びに、画像予測復号化装置及び方法を提供することにある。

またさらに、本発明の第４の目的は、上記画像予測符号化方法又は画像予測復号化方法の各ステップを記録した記録媒体を提供することにある。

本発明に係る画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、ＤＣ係数とＡＣ係数とを有するＤＣＴ係数の２次元列に変換することと、
左ブロック（Ｂ）又は上ブロック（Ａ）のいずれかから適応的に選択された隣接ブロックのＤＣ係数から、カレントブロック（Ｃ）のＤＣ係数を予測することとを含むことを特徴とする。

また、上記画像予測符号化方法において、好ましくは、上記ＤＣ係数を予測する前に、上記ＤＣＴ係数を量子化することをさらに含むことを特徴とする。

さらに、上記画像予測符号化方法において、好ましくは、上記カレントブロック（Ｃ）のＤＣ係数の予測は、マクロブロックのすべてのブロックにわたって独立に繰り返されることを特徴とする。

本発明に係る画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、ＤＣ係数とＡＣ係数とを有するＤＣＴ係数の２次元列に変換することと、
左ブロック（Ｂ）又は上ブロック（Ａ）のいずれかから適応的に選択された隣接ブロックの上記ＤＣＴ係数から、カレントブロック（Ｃ）のＤＣ係数とＡＣ係数とを予測することとを含むことを特徴とする。

本発明に係る上記画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、ＤＣ係数とＡＣ係数とを有するＤＣＴ係数の２次元列に変換することと、
左ブロック（Ｂ）又は上ブロック（Ａ）のいずれかから適応的に選択された隣接ブロックのＤＣ係数から、カレントブロック（Ｃ）のＤＣ係数を予測することと、
上記カレントブロック（Ｃ）のＡＣ係数を、
（ａ）カレントブロックの上記ＤＣ係数が上記左ブロック（Ｂ）から選択されたとき、上記左ブロック（Ｂ）の最初の列と、
（ｂ）カレントブロックの上記ＤＣ係数が上記上ブロック（Ａ）から選択されたとき、上記上ブロック（Ａ）の最初の行と
のいずれかの係数の集合から予測することとを含むことを特徴とする。

また、上記画像予測符号化方法において、好ましくは、上記左ブロック（Ｂ）又は上記上ブロック（Ａ）のいずれかから選択された上記隣接ブロックのＤＣ係数から、上記カレントブロック（Ｃ）のＤＣ係数を最少ビット使用規則に従って予測することを特徴とする。

さらに、上記画像予測符号化方法において、好ましくは、上記カレントブロックのＡＣ係数が上記隣接ブロックから予測されるか否かを示す、指示ビットを供給することをさらに含むことを特徴とする。

本発明に係る画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、ＤＣ係数とＡＣ係数とを有するＤＣＴ係数の２次元列に変換することと、
上記ＤＣＴ係数を、量子化されたＤＣＴ値に量子化することと、
左ブロック又は上ブロックのいずれかから適応的に選択された隣接ブロックの上記ＤＣ係数から、カレントブロックの量子化されたＤＣ係数を予測することとを含み、
上記カレントブロックの量子化されたＤＣ係数の上記予測に用いるために選択されたブロックの上記ＤＣ係数は、上記選択されたブロックの量子化ステップサイズに対する上記カレントブロックの量子化ステップサイズの比によって測定されることを特徴とする。

本発明に係る画像予測符号化方法は、画像信号を複数のブロックにサンプリングすることと、
上記ブロックの画像信号を、ＤＣ係数とＡＣ係数とを有するＤＣＴ係数の２次元列に変換することと、
上記ＤＣＴ係数を、量子化されたＤＣＴ値に量子化することと、
左ブロック又は上ブロックのいずれかから適応的に選択された隣接ブロックの上記ＤＣＴ係数から、カレントブロックの量子化されたＤＣ係数と量子化されたＡＣ係数とを予測することとを含み、
上記カレントブロック（Ｃ）の上記量子化されたＤＣ係数と上記量子化されたＡＣ係数の上記予測に用いられるために選択されたブロックの上記ＤＣＴ係数は、上記選択されたブロックの量子化ステップサイズに対する上記カレントブロックの量子化ステップサイズの比によって測定されることを特徴とする。

本発明に係る画像予測符号化方法は、サンプリングされた画像信号のブロックをＤＣＴ係数の２次元列に変換することと、
左ブロック又は上ブロックのいずれかから適応的に選択された隣接ブロックのＤＣＴ係数からカレントブロックのＤＣＴ係数を予測することによって、予測されたＤＣＴ変換係数を得ることと、
上記カレントブロックの上記ＤＣＴ係数から、上記予測されたＤＣＴ変換係数を減算することにより、複数の差分ＤＣＴ係数の２次元列を得ることと、
上記複数の差分ＤＣＴ係数の２次元列を走査して、ＤＣＴ係数の１次元列に変換することとを含み、
上記走査は、
（１）上記予測において、上記カレントブロックのＡＣ係数が予測されなかったときのジグザグ走査と、
（２）上記カレントブロックのＡＣ係数が予測され、上記ＤＣ予測が左ブロックを参照したときの垂直走査と、
（３）上記カレントブロックのＡＣ係数が予測され、上記ＤＣ予測が上ブロックを参照したときの水平走査と
のうち１つによって実行されることを特徴とする。

また、上記画像予測符号化方法において、好ましくは、上記ＤＣＴ係数の１次元列の可変長符号化を実行することをさらに含むことを特徴とする。

さらに、上記画像予測符号化方法において、好ましくは、上記変換は、サンプリングされた画像信号のブロックを、ＤＣＴ係数の複数の８×８ブロックに変換することを特徴とする。

またさらに、上記画像予測符号化方法において、好ましくは、上記走査は、
（１）上記予測において上記カレントブロック（Ｃ）のＡＣ係数が予測されていないときに、複数のＤＣＴ変換係数の８×８ブロックを以下の順序でジグザグ走査する場合と、
０， １， ５， ６，１４，１５，２７，２８；
２， ４， ７，１３，１６，２６，２９，４２；
３， ８，１２，１７，２５，３０，４１，４３；
９，１１，１８，２４，３１，４０，４４，５３；
１０，１９，２３，３２，３９，４５，５２，５４；
２０，２２，３３，３８，４６，５１，５５，６０；
２１，３４，３７，４７，５０，５６，５９，６１；
３５，３６，４８，４９，５７，５８，６２，６３；
（２）上記予測において上記カレントブロック（Ｃ）のＡＣ係数が予測され、上記ＤＣ予測が上記左ブロックを参照したときに、以下の順序で垂直走査をする場合と、
０， ４， ６，２０，２２，３６，３８，５２；
１， ５， ７，２１，２３，３７，３９，５３；
２， ８，１９，２４，３４，４０，５０，５４；
３， ９，１８，２５，３５，４１，５１，５５；
１０，１７，２６，３０，４２，４６，５６，６０；
１１，１６，２７，３１，４３，４７，５７，６１；
１２，１５，２８，３２，４４，４８，５８，６２；
１３，１４，２９，３３，４５，４９，５９，６３；
（３）上記予測において上記カレントブロック（Ｃ）のＡＣ係数が予測され、上記ＤＣ予測が上記上ブロックを参照したときに、以下の順序で水平走査をする場合と、
０， １， ２， ３，１０，１１，１２，１３;
４， ５， ８， ９，１７，１６，１５，１４;
６， ７，１９，１８，２６，２７，２８，２９;
２０，２１，２４，２５，３０，３１，３２，３３;
２２，２３，３４，３５，４２，４３，４４，４５;
３６，３７，４０，４１，４６，４７，４８，４９;
３８，３９，５０，５１，５６，５７，５８，５９;
５２，５３，５４，５５，６０，６１，６２，６３；
の走査を実行することを特徴とする。

また、上記画像予測符号化方法において、好ましくは、上記左ブロック（Ｂ）又は上記上ブロック（Ａ）のいずれかから選択された隣接ブロックのＤＣ係数から、上記カレントブロック（Ｃ）のＤＣ係数を最少ビット使用規則に従って予測することを特徴とする。

さらに、上記画像予測符号化方法において、好ましくは、上記カレントブロックのＡＣ係数が上記隣接ブロックから予測されるか否かを示す、指示ビットを供給することをさらに含むことを特徴とする。

第１の発明に係る画像予測符号化装置は、入力される符号化画像データを互いに隣接する複数の小領域の画像データに分割する分割手段と、
上記分割手段によって分割された互いに隣接する複数の小領域の画像データの中で処理対象の小領域の画像データを符号化するときに、上記処理対象の小領域の画像データに隣接する再生された再生小領域の画像データを上記処理対象の小領域の画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとし、上記処理対象の小領域の画像データと上記最適予測小領域の画像データとの差分である差分小領域の画像データを生成する第１の生成手段と、
上記生成手段によって生成された差分小領域の画像データを符号化する符号化手段と、
上記符号化手段によって符号化された差分小領域の画像データを復号化する復号化手段と、
上記復号化手段によって復号化された差分小領域の画像データを上記最適予測小領域の画像データに加算することにより再生された再生小領域の画像データを生成する第２の生成手段とを備える。

また、第２の発明に係る画像予測符号化装置は、入力された符号化画像データを互いに隣接する複数の小領域の画像データに分割する分割手段と、
上記分割手段によって分割された互いに隣接する複数の小領域の中で処理対象の小領域を符号化するときに、上記処理対象の小領域の画像データに隣接する再生された再生小領域の画像データの中から、上記符号化画像データが有意であるか否かを示す入力された有意信号によって示される有意な画像データのみを上記処理対象の小領域の画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとし、上記処理対象の小領域の画像データと上記最適予測小領域の画像データとの差分である差分小領域の画像データを生成する第１の生成手段と、
上記第１の生成手段によって生成された差分小領域の画像データを符号化する符号化手段と、
上記符号化手段によって符号化された差分小領域の画像データを復号化する復号化手段と、
上記復号化手段によって復号化された差分小領域の画像データを上記最適予測小領域の画像データに加算することにより再生された再生小領域の画像データを生成する第２の生成手段とを備える。

さらに、第３の発明に係る画像予測復号化装置は、入力された符号化された画像データ系列を解析して画像差分信号を出力する解析手段と、
上記解析手段から出力される差分画像信号から、再生差分小領域の画像データを復号化する復号化手段と、
所定の画面内予測小領域の画像データを生成するための画像データを格納するラインメモリと、
上記ラインメモリからの画像データに対して予測信号発生処理を実行することにより、上記再生差分小領域の画像データに隣接する再生された画像データを画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとして出力する発生手段と、
上記復号化手段からの再生差分小領域の画像データと、上記発生手段からの最適予測小領域の画像データとを加算して、加算結果の画面内予測小領域を生成するための画像データを出力するとともに、上記ラインメモリに格納する加算手段とを備える。

またさらに、第４の発明に係る画像予測復号化装置は、入力された符号化された画像データ系列を解析して、画像差分信号と、動きベクトル信号と、制御信号とを出力する解析手段と、
上記解析手段から出力される差分画像信号を、再生差分小領域の画像データに復号化する復号化手段と、
上記解析手段から出力される制御信号に基づいて、動き補償手段と発生手段とが選択的に動作させるように制御する切り換え信号を出力する制御手段と、
所定の再生画像データを格納するフレームメモリと、
所定の画面内予測小領域の画像データを生成するための画像データを格納するラインメモリと、
上記制御手段からの切り換え信号に応答して、入力される動きベクトル信号に対して動き補償処理を実行することにより、上記フレームメモリから時間予測小領域の画像データを生成して、最適予測小領域の画像データとして出力する動き補償手段と、
上記制御手段からの切り換え信号に応答して、上記ラインメモリからの画像データに対して予測信号発生処理を実行することにより、上記再生差分小領域の画像データに隣接する再生された画像データを画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとして出力する発生手段と、
上記復号化手段からの再生差分小領域の画像データと、上記発生手段からの最適予測小領域とを加算することにより、加算結果の再生画像データを出力するとともに、上記再生画像データを上記フレームメモリに格納し、上記画面内予測小領域の画像データを生成するための画像データのみを上記ラインメモリに格納する加算手段とを備える。

また、第５の発明に係る画像予測復号化装置は、入力された符号化された画像データ系列を解析して、圧縮形状信号と画像差分信号とを出力する解析手段と、
上記解析手段から出力される圧縮形状信号を、再生形状信号に復号化する第１の復号化手段と、
上記解析手段から出力される差分画像信号を、再生差分小領域の画像データに復号化する第２の復号化手段と、
所定の画面内予測小領域の画像データを生成するための画像データを格納するラインメモリと、
上記ラインメモリからの画像データに対して予測信号処理を実行することにより、上記再生差分小領域の画像データに隣接する再生された画像データの中から、上記再生形状信号によって示される有意な画像データのみを画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとして出力する発生手段と、
上記第２の復号化手段からの再生差分小領域の画像データと、上記発生手段からの最適予測小領域とを加算することにより、加算結果の画像データを出力するとともに、上記画面内予測小領域の画像データを生成するための画像データのみを上記ラインメモリに格納する加算手段とを備える。

さらに、第６の発明に係る画像予測復号化装置は、入力された符号化された画像データ系列を解析して、圧縮形状信号と、画像差分信号と、動きベクトル信号と、制御信号とを出力する解析手段と、
上記解析手段から出力される圧縮形状信号を、再生形状信号に復号化する第１の復号化手段と、
上記解析手段から出力される差分画像信号を、再生差分小領域に復号化する第２の復号化手段と、
上記解析手段から出力される制御信号に基づいて、動き補償手段と発生手段とを選択的に動作させるように制御する切り換え信号を出力する制御手段と、
所定の再生画像データを格納するフレームメモリと、
所定の画面内予測小領域の画像データを生成するための画像データを格納するラインメモリと、
上記制御手段から出力される切り換え信号に応答して、上記解析手段から出力される動きベクトル信号に基づいて、上記フレームメモリからの再生画像データに対して動き補償処理を実行することにより、時間予測小領域の画像データを発生して、最適予測小領域の画像データとして出力する動き補償手段と、
上記制御手段から出力される切り換え信号に応答して、上記ラインメモリからの画像データに対して予測信号処理を実行することにより、上記再生差分小領域の画像データに隣接する再生された画像データの中から、上記再生形状信号によって示される有意な画像データのみを画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとして出力する発生手段と、
上記第２の復号化手段からの再生差分小領域の画像データと、上記発生手段からの最適予測小領域とを加算することにより、加算結果の再生画像データを出力するとともに、上記再生画像データを上記フレームメモリに格納し、上記画面内予測小領域を生成するための画像データのみを上記ラインメモリに格納する加算手段とを備える。

第７の発明に係る画像予測符号化装置は、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされたブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第１の加算手段と、
上記第１の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第２の加算手段と、
上記第２の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。

また、第８の発明に係る画像予測符号化装置は、入力された画像信号を二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされた複数のブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
上記変換手段からの変換領域の係数データを量子化する量子化手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第１の加算手段と、
上記第１の加算手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記第１の加算手段からの予測誤差の係数データを、上記決定手段から出力される予測ブロックの係数データを加算することにより、量子化されたカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第２の加算手段と、
上記第２の加算手段から出力されるカレントブロックの係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段からのカレントブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。

さらに、第９の発明に係る画像予測符号化装置は、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
入力されるブロックの画像データに対して動き補償処理を実行することにより、動き補償されたブロックの予測誤差の画像データを生成して出力する補償手段と、
上記サンプリング手段から出力されるブロックの画像データから、上記補償手段から出力されるブロックの予測誤差の画像データを減算して、減算結果のブロックの画像データを出力する第１の加算手段と、
上記第１の加算手段から出力されるブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第２の加算手段と、
上記第２の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段と、
上記逆変換手段からの復元されたブロックの画像データに、上記補償手段から出力される動き補償されたブロックの予測誤差の画像データを加算することにより、復元されたブロックの画像データを上記補償手段に出力する第４の加算手段とを備える。

またさらに、第１０の発明に係る画像予測符号化装置は、入力された画像信号を二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
入力されるブロックの画像データに対して動き補償処理を実行することにより、動き補償されたブロックの予測誤差の画像データを生成して出力する補償手段と、
上記サンプリング手段から出力されるブロックの画像データから、上記補償手段から出力されるブロックの予測誤差の画像データを減算して、減算結果のブロックの画像データを出力する第１の加算手段と、
上記第１の加算手段から出力されるブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
上記変換手段からの変換領域の係数データを量子化する量子化手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第２の加算手段と、
上記第２の加算手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記第２の加算手段からの予測誤差の係数データを、上記決定手段から出力される予測ブロックの係数データを加算することにより、量子化されたカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力されるカレントブロックの係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段からのカレントブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段と、
上記逆変換手段からの復元されたブロックの画像データに、上記補償手段から出力される動き補償されたブロックの予測誤差の画像データを加算することにより、復元されたブロックの画像データを上記補償手段に出力する第４の加算手段とを備える。

第１１の発明に係る画像予測復号化装置は、第７の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記別の予測手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段とを備える。

また、第１２の発明に係る画像予測復号化装置は、第８の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記予測手段から出力される予測ブロックの係数データを、上記復号化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段とを備える。

さらに、第１３の発明に係る画像予測復号化装置は、第９の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記別の予測手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データに対して動き補償処理を実行することにより、動き補償の予測誤差データを出力する別の補償手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データから、上記別の補償手段から出力される動き補償の予測誤差データを減算して、減算結果の復元されたブロックの画像データを出力する第５の加算手段とを備える。

またさらに、第１４の発明に係る画像予測復号化装置は、第１０の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記予測手段から出力される予測ブロックの係数データを、上記復号化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データに対して動き補償処理を実行することにより、動き補償の予測誤差データを出力する別の補償手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データから、上記別の補償手段から出力される動き補償の予測誤差データを減算して、減算結果の復元されたブロックの画像データを出力する第５の加算手段とを備える。

第１５の発明に係る画像予測符号化装置は、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされたブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第１の加算手段と、
上記第１の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第２の加算手段と、
上記第２の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。

また、第１６の発明に係る画像予測符号化装置は、入力された画像信号を二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされた複数のブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
上記変換手段からの変換領域の係数データを量子化する量子化手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第１の加算手段と、
上記第１の加算手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記第１の加算手段からの予測誤差の係数データを、上記決定手段から出力される予測ブロックの係数データを加算することにより、量子化されたカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第２の加算手段と、
上記第２の加算手段から出力されるカレントブロックの係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段からのカレントブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。

さらに、第１７の発明に係る画像予測符号化装置は、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
入力されるブロックの画像データに対して動き補償処理を実行することにより、動き補償されたブロックの予測誤差の画像データを生成して出力する補償手段と、
上記サンプリング手段から出力されるブロックの画像データから、上記補償手段から出力されるブロックの予測誤差の画像データを減算して、減算結果のブロックの画像データを出力する第１の加算手段と、
上記第１の加算手段から出力されるブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第２の加算手段と、
上記第２の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段と、
上記逆変換手段からの復元されたブロックの画像データに、上記補償手段から出力される動き補償されたブロックの予測誤差の画像データを加算することにより、復元されたブロックの画像データを上記補償手段に出力する第４の加算手段とを備える。

またさらに、第１８の発明に係る画像予測符号化装置は、入力された画像信号を二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
入力されるブロックの画像データに対して動き補償処理を実行することにより、動き補償されたブロックの予測誤差の画像データを生成して出力する補償手段と、
上記サンプリング手段から出力されるブロックの画像データから、上記補償手段から出力されるブロックの予測誤差の画像データを減算して、減算結果のブロックの画像データを出力する第１の加算手段と、
上記第１の加算手段から出力されるブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
上記変換手段からの変換領域の係数データを量子化する量子化手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第２の加算手段と、
上記第２の加算手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記第２の加算手段からの予測誤差の係数データを、上記決定手段から出力される予測ブロックの係数データを加算することにより、量子化されたカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力されるカレントブロックの係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段からのカレントブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段と、
上記逆変換手段からの復元されたブロックの画像データに、上記補償手段から出力される動き補償されたブロックの予測誤差の画像データを加算することにより、復元されたブロックの画像データを上記補償手段に出力する第４の加算手段とを備える。

第１９の発明に係る画像予測復号化装置は、第１５の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データに対して、上記抽出手段によって抽出された指示ビットが示すスキャン方法に基づいて、逆スキャン処理を実行して、逆スキャン処理後の予測誤差の係数データを出力する逆スキャン手段と、
上記逆スキャン手段から出力される逆スキャン処理後の予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記別の予測手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段とを備える。

また、第２０の発明に係る画像予測復号化装置は、第１６の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データに対して、上記抽出手段によって抽出された指示ビットが示すスキャン方法に基づいて、逆スキャン処理を実行して、逆スキャン処理後の予測誤差の係数データを出力する逆スキャン手段と、
上記予測手段から出力される予測ブロックの係数データを、上記逆スキャン手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段とを備える。

さらに、第２１の発明に係る画像予測復号化装置は、第１７の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データに対して、上記抽出手段によって抽出された指示ビットが示すスキャン方法に基づいて、逆スキャン処理を実行して、逆スキャン処理後の予測誤差の係数データを出力する逆スキャン手段と、
上記逆スキャン手段から出力される逆スキャン処理後の予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記別の予測手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データに対して動き補償処理を実行することにより、動き補償の予測誤差データを出力する別の補償手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データから、上記別の補償手段から出力される動き補償の予測誤差データを減算して、減算結果の復元されたブロックの画像データを出力する第５の加算手段とを備える。

またさらに、第２２の発明に係る画像予測復号化装置は、第１８の発明に係る画像予測符号化装置に対応して設けられる画像予測復号化装置であって、
上記画像予測符号化装置から受信された受信データから指示ビットを抽出する抽出手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記抽出手段によって抽出された指示ビットが示す予測ブロックに基づいて、上記ブロックメモリに格納された以前に復元されたブロックの係数データを用いて、上記受信データに含まれる現時点のカレントブロックの係数データに対して予測ブロックの係数データを生成して出力する別の予測手段と、
上記受信データをエントロピー復号化して、復号化された予測誤差の係数データを出力する復号化手段と、
上記復号化手段から出力される予測誤差の係数データに対して、上記抽出手段によって抽出された指示ビットが示すスキャン方法に基づいて、逆スキャン処理を実行して、逆スキャン処理後の予測誤差の係数データを出力する逆スキャン手段と、
上記予測手段から出力される予測ブロックの係数データを、上記逆スキャン手段から出力される予測誤差の係数データに加算することにより、現時点のカレントブロックの係数データを復元して出力するとともに、上記ブロックメモリに格納する第３の加算手段と、
上記第３の加算手段から出力される予測誤差の係数データを逆量子化して出力する逆量子化手段と、
上記逆量子化手段から出力されるカレントブロックの係数データを逆変換して、復元されたカレントブロックの画像データを出力する別の逆変換手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データに対して動き補償処理を実行することにより、動き補償の予測誤差データを出力する別の補償手段と、
上記別の逆変換手段から出力されるカレントブロックの画像データから、上記別の補償手段から出力される動き補償の予測誤差データを減算して、減算結果の復元されたブロックの画像データを出力する第５の加算手段とを備える。

また、第２３の発明に係る画像予測符号化方法は、上記画像予測符号化装置における各手段をそれぞれ各ステップに置き換えたステップを含む。

さらに、第２４の発明に係る画像予測復号化方法は、上記画像予測復号化装置における各手段をそれぞれ各ステップに置き換えたステップを含む。

また、第２５の発明に係る記録媒体は、上記画像予測符号化方法における各ステップを含むプログラムを記録した記録媒体である。

さらに、第２６の発明に係る記録媒体は、上記画像予測復号化方法における各ステップを含むプログラムを記録した記録媒体である。

本発明に係る画像予測符号化装置によれば、入力される符号化画像データを互いに隣接する複数の小領域の画像データに分割する分割手段と、
上記分割手段によって分割された互いに隣接する複数の小領域の画像データの中で処理対象の小領域の画像データを符号化するときに、上記処理対象の小領域の画像データに隣接する再生された再生小領域の画像データを上記処理対象の小領域の画面内予測小領域の画像データとし、上記画面内予測小領域の画像データを最適予測小領域の画像データとし、上記処理対象の小領域の画像データと上記最適予測小領域の画像データとの差分である差分小領域の画像データを生成する第１の生成手段と、
上記生成手段によって生成された差分小領域の画像データを符号化する符号化手段と、
上記符号化手段によって符号化された差分小領域の画像データを復号化する復号化手段と、
上記復号化手段によって復号化された差分小領域の画像データを上記最適予測小領域の画像データに加算することにより再生された再生小領域の画像データを生成する第２の生成手段とを備える。

従って、処理対象の小領域の画像データに隣接する再生された画素値を画面内予測信号の画素値とするだけで、従来技術に比較して低い演算量で簡単に高精度な予測信号を生成することができ、フレーム内符号化のビット数を削減することができるという特有の効果が得られる。

また、本発明に係る画像予測符号化装置によれば、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされたブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データを決定し選択して出力し、上記選択された予測ブロックを表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第１の加算手段と、
上記第１の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第２の加算手段と、
上記第２の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。

従って、現時点の符号化効率を増大させる新しい画像予測符号化装置及び画像予測復号化装置を提供することができる。当該装置では、符号化効率を上げるためには複雑な手段は必要とせず、その回路構成は、非常に簡単で容易に形成できる。

さらに、本発明に係る画像予測符号化装置によれば、入力された画像信号をそれぞれ二次元配列の画素値を含む複数のブロックの画像データにサンプリングするサンプリング手段と、
上記サンプリング手段によってサンプリングされたブロックの画像データを所定の変換領域の係数データに変換する変換手段と、
復元されたブロックの係数データを格納するブロックメモリと、
上記ブロックメモリに格納された前に再構築されたブロックの係数データに基づいて、上記変換手段によって変換されたブロックの係数データに対して複数の予測ブロックの係数データを形成する予測手段と、
上記予測手段によって形成された複数の予測ブロックの係数データのうち、最も効率が良い予測ブロックの係数データ及びスキャン方法を決定し選択して出力し、上記選択された予測ブロック及びスキャン方法を表す指示子を指示ビットの形式で画像予測復号化装置に送信する決定手段と、
上記決定手段によって選択された予測ブロックの係数データを、現時点のカレントブロックの係数データから減算することにより、減算結果の予測誤差の係数データを出力する第１の加算手段と、
上記第１の加算手段から出力される予測誤差の係数データを量子化する量子化手段と、
上記量子化手段からの予測誤差の係数データに対して上記決定手段によって決定されたスキャン方法でスキャン処理を実行して、スキャン処理後の予測誤差の係数データを出力するスキャン手段と、
上記スキャン手段から出力されるスキャン処理後の予測誤差の係数データをエントロピー符号化して、符号化された予測誤差の係数データを画像予測復号化装置に送信する符号化手段と、
上記量子化手段からの予測誤差の係数データを逆量子化して、復元されたブロックの係数データを出力する逆量子化手段と、
上記決定手段から出力される予測ブロックの係数データを、上記逆量子化手段から出力される予測誤差の係数データに加算することにより、復元されたブロックの係数データを出力するとともに、上記ブロックメモリに格納する第２の加算手段と、
上記第２の加算手段から出力されるブロックの係数データを逆変換することにより、復元されたブロックの画像データを生成する逆変換手段とを備える。

従って、隣接するブロックを越えて変換領域の中の冗長性を削減又は除去するのに非常に効果的であり、使用ビットのビット数を削減し、その結果、符号化の効率を大幅に改善することができる。これは新しいビデオ圧縮アルゴリズムにおけるツールとしても有用である。

以下、本発明に係る好ましい実施形態について、添付の図面を参照して説明する。

＜第１の実施形態グループ＞
第１の実施形態グループは、第１の乃至第４の実施形態を含む。

＜第１の実施形態＞
図１は、本発明に係る第１の実施形態である画像予測符号化装置の構成を示すブロック図である。

図１において、１０１は入力端子、１０２は第１の加算器、１０３は符号化器、１０６は出力端子、１０７は復号化器、１１０は第２の加算器、１１１はラインメモリ、１１２は予測信号発生器である。

以下、画像予測符号化装置の構成及び動作について説明する。入力端子１０１に、符号化の処理対象となる画像データが入力される。ここで、入力された画像データは複数の隣接する小領域に分割される。

図２において、８×８の小領域に分割された場合の入力された画像データの画像を示し、図３において、三角形小領域に分割された場合の入力された画像データの画像を示す。複数の小領域の画像データを順次に符号化するが、処理対象の小領域の画像データは、入力端子１０１及びライン１１３を介して加算器１０２に入力される。一方、予測信号発生器１１２は、画面内予測小領域の画像データを発生し、発生された画像データを最適予測小領域の画像データとして、ライン１２１を介して加算器１０２に出力する。

加算器１０２は、処理対象の小領域における入力された画像データの画素値から、予測信号発生器１１２からの最適予測小領域の対応する画素値を減算し、減算結果の差分小領域の画像データを生成して符号化器１０３に出力して、圧縮符号化処理を実行する。本実施形態では、符号化器１０３はＤＣＴ変換器１０４と量子化器（Ｑ）１０５を備え、差分小領域の画像データは、ＤＣＴ変換器１０４によって周波数領域の画像信号に変換され、ＤＣＴ変換係数を得る。次いで、ＤＣＴ変換係数は、量子化器１０５によって量子化される。量子化された小領域の画像データはライン１１６を介して出力端子１０６に出力され、さらに可変長又は固定長の符号に変換された後、例えば光ディスクなどの記録媒体に記憶され又は通信回線を介して伝送される（図示せず。）。

同時に、量子化された小領域の画像データは復号化器１０７に入力され、ここで、当該復号化器１０７は、逆量子化器１０８と逆ＤＣＴ変換器１０９とを備え、入力された小領域の画像データを、伸長差分小領域の画像データに復元する。本実施形態では、入力された小領域の画像データは、逆量子化器１０８によって逆量子化された後、逆量子化された画像データは、逆離散コサイン変換器（以下、逆ＤＣＴ変換器という。）１０９によって空間領域の画像信号に変換される。このように得られた伸長差分小領域の画像データは加算器１１０に出力され、加算器１１０は、伸長差分小領域の画像データに、予測信号発生器１１２からライン１２１とライン１２２を介して出力される最適予測画像信号を加算して、再生小領域の画像データを生成し、再生小領域の画像データの中から、画面内予測画像信号を生成するための再生画素値をラインメモリ１１１に格納する。予測信号発生器１１２は以下のように、画面内予測小領域の画像データを発生する。すなわち、予測信号発生器１１２は、処理対象の小領域の画像データに隣接する再生された画像データの画素値を、画面内予測小領域の画像データの画素値として発生する。

図２において、ブロック２００を処理対象の小領域とすると、隣接する再生された画像データの画素値はａ₀、ａ₁、ａ₂、…、ａ₆、ａ₇、ｂ₀、ｂ₁、ｂ₂、…、ｂ₆、ｂ₇である。図３において、三角形３０１を処理対象の小領域とすると、隣接する再生された画像データの画素値はｇ₀、ｇ₁、…、ｇ₄、ｆ₀、ｆ₁、ｆ₂、…、ｆ₇、ｆ₈である。また、図３の三角形３００を処理対象の小領域とすると、隣接する再生された画像データの画素値はｅ₀、ｈ₀、ｈ₁、…、ｈ₄である。これらの画素値をラインメモリ１１１に格納する。予測信号発生器１１２はラインメモリ１１１をアクセスし隣接する画像データの画素値を画面内予測小領域の画像データの画素値として読み出す。

図４及び図５はそれぞれ、図１の画像予測符号化装置に用いられる予測信号発生器の第１及び第２の実施例の構成を示すブロック図である。

図４において、処理対象の小領域に対して水平方向に隣接する画素値ａ₀、ａ₁、ａ₂、…、ａ₆、ａ₇はラインメモリ１１１から予測信号発生器１１２に入力され、予測信号発生器１１２内の発生器４０１は、水平方向に同一の画素を例えば８回繰り返して出力することにより、画面内予測小領域の画像データ４０３を生成する。ここで、画面内予測小領域の画像データ４０３は処理対象の小領域に対して垂直方向に隣接する画素が存在しない場合に用いられる。

図５において、処理対象の小領域に対して垂直方向に隣接する画素値ｂ₀、ｂ₁、ｂ₂、…、ｂ₆、ｂ₇がラインメモリ１１１から予測信号発生器１１２に入力され、予測信号発生器１１２内の発生器４０２は、垂直方向に画素を例えば８回繰り返して出力することにより、画面内予測小領域の画像データ４０４を生成する。ここで、画面内予測小領域の画像データ４０４は、処理対象の小領域に対して水平方向に隣接する画素がない場合に用いられる。水平方向及び垂直方向共に隣接する画素値が存在する場合、図６に示す第３の実施例のように画面内予測小領域の画像データを生成する。

図６は、図１の画像予測符号化装置に用いられる予測信号発生器の第３の実施例の構成を示すブロック図である。

図６において、発生器４０１によって発生された画面内予測小領域の画像データ４０３（図５参照。）と、発生器４０２によって発生された画面内予測小領域の画像データ４０４とは加算器５００に入力され、加算器５００は、入力された２つの画像データの和を２で除算することにより、これら２つの画像データを平均化する。このように、発生器４０１，４０２により隣接する再生された画素を繰り返して出力し、加算器５００により平均化演算を行うだけなので、画面内予測小領域の画像データを高速に生成することができる。なお、隣接する２つの画像データの画素値を線形補間することにより画面内予測小領域の画像データを生成してもよい。

図７は、図１の画像予測符号化装置に用いられる予測信号発生器の第４の実施例の構成を示すブロック図である。

図７において、処理対象の小領域に対して水平方向に隣接する画像データの画素値ａ₀、ａ₁、ａ₂、…、ａ₆、ａ₇は、ラインメモリ１１１から発生器４０１に入力され、発生器４０１は、水平方向に画素を繰り返して出力することにより第１の画面内予測小領域の画像データを生成する。一方、処理対象の小領域に対して垂直方向に隣接する画素値ｂ₀、ｂ₁、ｂ₂、…、ｂ₆、ｂ₇は、ラインメモリ１１１から発生器４０２に入力され、発生器４０２は、垂直方向に画素を繰り返して出力することにより第２の画面内予測小領域の画像データを生成する。第１の画面内予測小領域の画像データと、第２の画面内予測小領域の画像データは加算器５００に入力され、これら２つの画像データを平均化することにより第３の画面内予測小領域の画像データを生成する。

一方、処理対象の小領域の画像データは、ライン６１６を介して誤差計算器６０１，６０２，６０３に入力される。ここで、上記第１の画面内予測小領域の画像データと、処理対象の小領域の画像データは、誤差計算器６０１に入力され、誤差計算器６０１はそれら２つの画像データの誤差の絶対値である第１の絶対誤差を計算して比較器６０４に出力する。また、上記第２の画面内予測小領域の画像データと、処理対象の小領域の画像データは誤差計算器６０２に入力され、誤差計算器６０２はこれら２つの画像データの誤差の絶対値である第２の絶対誤差を計算して比較器６０４に出力する。さらに、上記第３の画面内予測小領域の画像データと、処理対象の小領域の画像データは、誤差計算器６０３に入力され、誤差計算器６０３はこれら２つの画像データの誤差の絶対値である第３の絶対誤差を計算して比較器６０４に出力する。

比較器６０４は、入力される３つの絶対誤差を互いに比較して、絶対誤差の最も小さいものを決定し、それに対応する画面内予測小領域の画像データをライン１２１に出力するようにスイッチ６０５を制御する。比較器６０４は、同時に、第１、第２及び第３の画面内予測小領域の画像データを識別するための識別子をライン６１５を介して受信側又は再生側の装置に出力する。この識別子により、受信側又は再生側では画面内予測小領域の画像データが一意に決まる。このように誤差の最も小さい画面内予測小領域の画像データを用いることによって、符号化時の差分信号を抑圧することができ、発生ビット数を削減することができる。

＜第２の実施形態＞
図８は、本発明に係る第２の実施形態である画像予測符号化装置の構成を示すブロック図であり、図１と同様のものは同一の符号を付している。 図８の画像予測符号化装置は、図１の画像予測符号化装置に比較して、動き検出器７００、動き補償器７０１、最適モード選択器７０３とフレームメモリ７０２を追加して備えたことを特徴とする。

以下、図８の画像予測符号化装置の構成及び動作について説明する。

入力端子１０１を介して、第１の実施形態と同様に、入力された処理対象の小領域の画像データが加算器１０２に入力され、加算器１０２は、処理対象の小領域の画像データを、最適モード選択器７０３からライン１２１を介して入力される最適予測小領域の画像データから減算した後、減算結果の画像データを符号化器１０３に出力する。符号化器１０３は、入力される減算結果の画像データを圧縮符号化して出力端子１０６を介して出力すると同時に、圧縮符号化された小領域の画像データを復号化器１０７に出力して伸長復号化させた後、加算器１１０に出力して、伸長復号化された画像データを最適予測小領域の画像データと加算する。

次いで、第１の実施形態と同様に、画面内予測小領域の画像データを生成するために用いられる画像データの画素値のみをラインメモリ１１１に格納する一方、再生された画像の画素値をすべてフレームメモリ７０２に格納する。

次の画像の画像データが入力端子１０１を介して入力されるときに、動き検出器７００には、処理対象の小領域の画像データと、フレームメモリ７０２に格納された再生画像データとが入力され、動き検出器７００は、ブロックマッチングなどの方法で画像の動きを検出し、動きベクトルをライン７０５を介して出力する。出力された動きベクトルは、例えば可変長符号化して記憶又は伝送される（図示せず。）と同時に動き補償器７０１に送られる。動き補償器７０１は、動きベクトルに基づいてフレームメモリ７０２の再生画像から時間予測小領域の画像データを生成して、最適モード選択器７０３に出力する。動き検出処理及び動き補償処理においては、前方予測と、後方予測と、両方向予測とがあり、これらの方法は、例えば米国特許第５，１９３，００４号明細書に開示されている。

一方、予測信号発生器１１２は、第１の実施形態と同様に、画面内予測小領域の画像データを発生して最適モード選択器７０３に出力すると同時に、処理対象の小領域の画像データを最適モード選択器７０３に出力する。最適モード選択器７０３は、画面内予測小領域の画像データと、時間予測小領域の画像データとから、処理対象の小領域の画像データに最も誤差（例えば、画素毎の差の絶対値の和）の小さい画像データを選択し、選択された画像データを最適予測小領域の画像データとして加算器１０２に出力する。また、どの予測小領域の画像データが選択されたかを示す識別子をライン７０９を介して受信側又は再生側に出力して伝送する。

このようにフレーム間動き補償符号化の画像データに、画面内予測を導入することによりフレーム間の動きベクトルを伝送する必要がないため、ビット数をさらに削減できる。

第１と第２の実施形態では、画面全体に有意な画素が存在する場合である。画面内に有意であるとそうでない画素が存在する場合がある。例えば、クロマキーで撮影された画像では、被写体を表す画素は有意なもので、背景となるブルーなど領域を現す画素は有意でない画素である。有意な物体のテキスチャー及びその形状を符号化して伝送することにより、物体単位の再生表示が可能である。このような入力画像に対して、予測信号発生器１１２で画面内予測小領域の画像データを生成する場合、有意でない画素値を用いることができない。

図９乃至図１１は有意な画素と有意でない画素をもつ入力画像の模式図を示す。本実施形態においては、画素が有意であるかどうかを示すには形状信号を用いる。形状信号を所定の方法で圧縮符号化して受信側又は再生側に伝送する。形状を符号化する方法としては、チェーン符号化などの方法がある。圧縮された形状信号をまた伸長再生し、再生された形状信号を用いて以下に述べるように画面内予測信号を生成する。

図９においては、形状曲線８００が境界線で、矢印の示す方向が物体の内部であって、物体の内部の画像データは有意な画素から構成される。処理対象の小領域８０２に隣接する再生された画素の中で、ｂ₄、ｂ₅、ｂ₆、ｂ₇が有意な画素で、これらの画素値のみを繰り返して処理対象の小領域８０２の画面内予測小領域の画素値とする。

また、図１０においては、形状曲線８０４が境界線で、矢印の示す方向が物体の内部であって、物体の内部の画像データは有意な画素から構成される。処理対象の小領域８０５に隣接する再生された画素の中で、ａ₄、ａ₅、ａ₆、ａ₇が有意な画素であって、これらの画素値のみを繰り返して処理対象の小領域８０５の画面内予測小領域の画素値とする。

さらに、図１１においては、曲線８０８が境界線で、矢印の示す方向が物体の内部であって、物体の内部の画像データは有意な画素から構成される。処理対象の小領域８１０に隣接する再生された画素の中で、ａ₅、ａ₆、ａ₇、ｂ₄、ｂ₅、ｂ₆、ｂ₇が有意な画素であって、これらの画素値のみを繰り返して出力し、２つの画素値が重なるところでは、それらの画素値を平均化した値を処理対象の小領域８１０の画面内予測小領域の画素値とする。

図１１において、例えば、処理対象の小領域８１０の画素ｚ₇₇の値はａ₇とｂ₇の平均値とする。また、画素値が１つもないところでは、水平方向及び垂直方向に隣接する２つの画素値の平均値をとる。例えば、画素ｚ₁₄の値はａ₅とｂ₄の平均値とする。このように、任意の形状をもつ画像の画面予測小領域の画像データを生成する。

以上の実施形態においては、正方形状に分割された小領域について説明したが、本発明はこれに限らず、図３と同様に、画面を三角形の小領域に分割してもよい。この場合においても、画像処理が同様に実行される。

また、別の実施形態として、有意な画素値だけを用いて平均値を求めて、その平均値を画面内予測小領域の画素値としてもよい。具体的には、図９では、画素ｂ₄、ｂ₅、ｂ₆、ｂ₇の平均値を計算し、計算された平均値を画面内予測小領域の画素値とする。図１０では、画素ａ₄、ａ₅、ａ₆、ａ₇の平均値を計算し、計算された平均値を画面内予測小領域の画素値とする。図１１では、画素ａ₅、ａ₆、ａ₇、ｂ₄、ｂ₅、ｂ₆、ｂ₇の平均値を計算し、画面内予測小領域の画素値とする。

＜第３の実施形態＞
図１２は、本発明に係る第３の実施形態である画像予測復号化装置の構成を示すブロック図である。

図１２において、９０１は入力端子、９０２はデータ解析器、９０３は復号化器、９０６は加算器、９０７は出力端子、９０８はコントローラ、９０９は動き補償器、９１０は予測信号発生器、９１１はラインメモリ、９１２はフレームメモリである。

以下、図１２の画像予測復号化装置の構成及び動作について説明する。図１２において、圧縮符号化された画像データはデータ解析器９０２に入力され、データ解析器９０２は入力された画像データを解析して、圧縮差分小領域の画像データをライン９１５を介して復号化器９０３に出力し、また、制御信号をライン９２６を介してコントローラ９０８に出力し、さらには、上述の動きベクトル（存在する場合のみ）を動き補償器９０９に出力する。復号化器９０３は、逆量子化器９０４と、逆ＤＣＴ変換器９０５を備え、圧縮された差分小領域の画像データを伸長して、伸長差分小領域の画像データに復元する。

本実施形態では、圧縮された差分小領域の画像データは、逆量子化器９０４により逆量子化された後、逆量子化後の周波数領域の画像データは、逆ＤＣＴ変換器９０５により空間領域の画像データに変換される。変換後の伸長差分小領域の画像データは加算器９０６に入力され、加算器９０６は、入力される伸長差分小領域の画像データを、動き補償器９２３又は予測信号発生器９２２からスイッチ９１３及びライン９２４を介して送られる最適予測小領域の画像データに加算し、加算結果の再生小領域の画像データを生成する。加算器９０６は、再生された画像データをライン９１７を介して出力端子９０７に出力すると同時に、フレームメモリ９１２に格納する。また、画面内予測小領域の画像を生成するために用いられる画像データの画素値をラインメモリ９１１に格納する。

最適予測小領域の画像データは、データ解析器９０２からの制御信号に基づいてコントローラ９０８によって決定されてスイッチ９１３の切り換えが制御される。画面内予測小領域の画像データがコントローラ９０８によって選択される場合、スイッチ９１３はライン９２４をライン９２２に接続し、コントローラ９０８からの制御信号に応答して、予測信号発生器９１０はラインメモリ９１１をアクセスして、隣接する再生画素値を画面内予測小領域の画素値として出力する。予測信号発生器９１０の動作の詳細については、図４、図５及び図６を参照して詳細上述している。また、時間予測小領域の画像データがコントローラ９０８によって選択される場合、スイッチ９１３はライン９２４をライン９２３に接続し、コントローラ９０８からの制御信号に応答して、動き補償器９０９はデータ解析器９０２からライン９２５を介して送られる動きベクトルに基づいて、フレームメモリ９１２からの画像データに対して動き補償処理を実行することにより、時間予測小領域の画像データを発生して、スイッチ９１３及びライン９２４を介して加算器９０６に出力する。

＜第４の実施形態＞
図１３は、本発明に係る第４の実施形態である画像予測復号化装置の構成を示すブロック図であり、図１３において図１２と同様のものについては同一の符号を付している。図１３の画像予測復号化装置は、図１２の画像予測復号化装置の基本構成に加えて、形状復号化器９９０を追加して備えたことを特徴とする。図１３の画像予測復号化装置の基本動作も図１２と同じであるため、異なる動作だけについて以下に詳細に説明する。

本実施形態においては、圧縮符号化された画像データには、圧縮符号化された形状データが含まれる。データ解析器９０２は、この形状データを抽出して形状復号化器９９０に出力し、これに応答して形状復号化器９９０は形状信号を伸長再生する。再生された形状信号は受信側又は再生側に伝送される同時に、予測信号発生器９１０に入力される。予測信号発生器９１０は、この再生された形状信号に基づいて、図９乃至図１１を参照して説明したように、画面内予測小領域の画像データを生成する。このようにして、任意の形状をもつ画像の画面内予測小領域の画像データを生成し、受信側又は再生側において、画像データを復号化し、再生することができる。

第３と第４の実施形態の特徴は、ラインメモリ９１１を備えた事である。ラインメモリ９１１がなければ、画面内予測小領域の画像データを生成するための画素をフレームメモリ９１２からアクセスしなければならない。隣接する小領域の画素で予測信号を生成するために、高速にフレームメモリを書き込み、読み出しすることが必要である。専用のラインメモリやバッファを設けることにより高速なフレームメモリを用いないで高速に画面内予測小領域の画像データを生成することが可能になる。

以上の実施形態において、複数の画素値の平均値は、所定の重み付け平均値であってもよい。

以上説明したように、本発明の第１の実施形態グループによれば、処理対象の小領域の画像データに隣接する再生された画素値を画面内予測信号の画素値とするだけで、従来技術に比較して低い演算量で簡単に高精度な予測信号を生成することができ、フレーム内符号化のビット数を削減することができるという特有の効果が得られる。また、画面内予測信号を生成するために用いられる再生された画素値を格納するために、ラインメモリ９１１を設けているので、画素値を高速にアクセスすることができ、画面内予測信号を高速に生成することができる。

＜第２の実施形態グループ＞
第２の実施形態グループは、第５乃至第７の実施形態を含む。

本発明者は、従来技術の問題点に鑑みて、画像符号化能率が、２つの画像間又は１つの画像内の２つのブロックの内部の間のみならず、１つの画像内の２つのブロック間の冗長性を除去することにより、画像符号化能率をさらに改善することを見いだした。

本発明者は隣接するブロックの、同じ位置のＤＣＴ変換係数は多くの場合非常に近似していることを発見した。特に、２つのブロックに対する原画像の組織がよく似ている場合、又は同じ画像パターン、例えば直線、角、その他を含んでいる場合には近似が高いことを発見した。同一の情報は情報理論により冗長を意味する。

ブロックを越えてＤＣＴ変換領域の中に存在するこの種の冗長は、以前のブロックからの適応的イントラ予測（フレーム内予測）により除去されるか、又は大幅に減少させることができる。そして、次のＶＬＣエントロピー符号化処理は、予測の小さいエントロピーによりさらに高い符号化能率を達成することができる。このＤＣＴ変換領域の予測の結果として、ＶＬＣエントロピー符号化回路への冗長データの入力は、大幅に減少されうる。そのために多くのビットの節約が期待できる。従って、符号化された画図データの画質は明確に改善される。

本発明に係る本実施形態は、他のブロックからのＤＣＴ変換係数を適格に予測する方式を提供する。この方式により隣接するブロックを越えて存在する冗長性を除去し、量子化されたＤＣＴ変換係数のエントロピーをより小さくし、その結果、ＤＣＴ変換係数を符号化するための必要なビット数を減少することができる。

処理対象である現時点のカレントブロック（以下、カレントブロックという。）のＤＣＴ変換係数は以前の隣接するブロックの中の同じ位置のＤＣＴ変換係数から予測できる。隣接するブロックは、処理時に既に復号化されている。すなわち、以前に復号化された隣接するブロックの１つの中の第１のＤＣ係数により第１のＤＣ係数は予測される。また、第２の係数ＡＣ１は、同じ復号化されたブロックの中の第２の係数ＡＣ１から予測される。以下同様に実行される。この方法を用いることにより、数個の予測されるブロックを、現時点に符号化されているＤＣＴ変換ブロックに対して上向き左側に、斜めに左側に、上向きに斜めに右側に、及び上向きにある隣接する復号化されたブロックから求めることができる。これらの予測されたブロックに対して、実際のエントロピー符号化が実行されることによりチェックされる。そして、より少ないビット数を持つ予測ブロックが選択された後、エントロピー符号化されて、付加的指示ビットとともに受信側又は再生側の画像予測復号化装置に伝送される。画像予測復号化装置には、どの隣接するブロックからカレントブロックが予測したかを報告する。

本発明に係る本実施形態の方法は、カレントブロックのＤＣＴ変換係数を予測することができる。そのＤＣＴ変換係数は他の隣接するブロックのＤＣＴ変換係数と良好な相互関係を一般に保有している。その理由はＤＣＴ変換は、同様のブロック画像に対しては、ＤＣＴ変換係数の同一の値又は同一の分布を与える傾向にあるからである。

イントラフレームか、又は一時的に予測されたフレームである、入力された画像データに対して通常、まずブロックに基づいたＤＣＴ変換処理が実行される。カレントブロックのＤＣＴ変換係数が得られた後に、ＤＣＴ変換領域の予測処理を量子化前に、また量子化の後に実行することができる。

カレントブロックのＤＣＴ変換係数は、図１５に示されるように、既に復号化されたブロックであって、隣接するブロック、すなわち、左上のブロックＢ１、上のブロックＢ２、右上のブロックＢ３、左のブロックＢ４から予測することができる。予測されたブロックは、カレントブロックのＤＣＴ変換係数の全てを、同じ位置にある以前の隣接するブロックのＤＣＴ変換係数の全てから減算することにより得られる。また全てのＤＣＴ変換係数の代わりに、部分的にＤＣＴ変換係数を減算することにより得ることができる。

異なる予測されたブロックにおける予測されたＤＣＴ変換係数は、量子化の前に予測が実行されるならば、量子化される。次いで、ＤＣＴ変換係数に対して、エントロピー符号化処理が実行される。そのエントロピー符号化処理は、画像予測符号化装置のそれと同一であり、どの予測されたブロックが下位ビットとして使用するかチェックされる。

下位ビットを使用する予測ブロックが選択され、選択された予測ブロックは、予測決定について画像予測復号化装置に知らせる指示ビットとともにエントロピー符号化される。

画像予測復号化装置においては、指示ビットを用いて予測されたブロックが復号化される。すなわち、１つのブロックに対して予測されたＤＣＴ変換係数を逆エントロピー復号化した後に、当該ブロックに対するＤＣＴ変換係数は、指示ビットによって表される前に復号化された隣接するブロックの基準ＤＣＴ変換係数を上記復号化されたＤＣＴ変換係数に加算することによって得られる。最終的に、逆ＤＣＴ変換処理が各々のブロックに対する復元されたＤＣＴ変換係数に適用され、復号化された画像データが得られる。

本発明に係る本実施形態は、通常ＤＣＴ変換のような変換によって除去される空間的な冗長性、動き検出及び補償によってフレーム間で除去される冗長性及びブロック内の量子化変換係数の中でエントロピー符号化によって除去される統計的冗長性以外に、隣接するブロックを越えてＤＣＴ変換領域に存在する他の種類の冗長性を減少させることができる画像符号化装置を提供するものである。

従来技術の画像予測符号化装置を示す図１４からわかるように、従来の画像符号化（例えば、ＭＰＥＧにおいて）に一般的に使用されている画像予測符号化装置は、ブロックサンプリングユニット１００１、ＤＣＴ変換ユニット１００４、量子化器１００５及びエントロピー符号化器１００６を備える。

イントラフレーム符号化（フレーム内符号化）においては、入力された画像信号に対してまず、ブロックサンプリング処理が実行される。次に直接にＤＣＴ変換処理が実行される。それに続いて、量子化処理及びエントロピー符号化処理が実行される。一方、インターフレーム符号化（予測フレーム符号化）においては、ブロックサンプリング処理の後に、処理対象の現時点のフレームのが画像データに対して、動き検出ユニット１００２及び動き補償ユニット１００３の処理が実行され、さらに、ＤＣＴ変換処理が実行される。さらに、量子化処理及びエントロピー符号化処理が実行される。

ここで、エントロピー符号化ユニット１００６において、量子化値はエントロピー符号化されて符号データが出力される。エントロピー符号化とは、よく発生する値には短い符号語を、あまり発生しない値には長い符号語を割り当てることにより、平均情報量であるエントロピーに近づくように符号化して、全体としての符号量を大幅に削減する方式である。これは、可逆符号化である。エントロピー符号化として種々の方式が提案されているが、ベースラインシステムでは、ハフマン符号化を用いる。量子化されたＤＣ係数値とＡＣ係数値では、ハフマン符号化の方法が異なり、すなわち、ＤＣ係数は８×８画素ブロックの平均値を示すが、一般の画像では隣のブロックとの平均値は似通った値を持つことが多い。そこで、前のブロックとの差分をとった後にエントロピー符号化を行う。こうすると、０付近に値が集中するので、エントロピー符号化が効果的となる。また、ＡＣ係数については、例えばジグザグスキャンを行い２次元データを１次元データに変換する。さらに、特に高周波成分を含むＡＣ係数は０が多く発生するので、０以外の値を持つＡＣ係数の値とその前に０がいくつあるか（ランレングス）を組としてエントロピー符号化する。

レートコントローラ１００７は前に符号化されたブロックに用いられたビットをフィードバックし、量子化ユニット１００５の処理を制御しかつコードビットレートを調整する。ここで、レートコントローラ１００７は、符号化された単位の性質や利用可能なビットに基づいて各符号化されたオブジェクトデータ、各フレーム及び各符号化されたブロックに対して異なるビット量を割り当てるようにコードビットレートを制御する。また、逆量子化処理及び逆ＤＣＴ変換処理はローカルデコーダの一部としてのユニット１００８及び１００９において実行される。ローカルデコーダで復号化された画像データはローカル復号化フレームメモリ１０１０に記憶され、動き検出処理ために利用される。１０１１は動き検出のために、前の原フレームを保存する基準フレームメモリである。そして、最後にビットストリームがエントロピー符号化ユニット１００６から出力されて、受信側又は再生側の画像予測復号化装置に送られる。

図１５は、画面内予測のための適応的ＤＣＴ変換領域を説明するための画像の模式図である。

図１５において、ＤＣＴ変換領域において、８×８の４個のＤＣＴ変換ブロックがマクロブロックを構成していることが示されている。ここで、Ｂ０は８×８のＤＣＴ変換係数を有する現時点のカレントブロックを示す。Ｂ２は既に復号化された上側に隣接するブロックを示す。Ｂ１及びＢ３は既に復号化された斜め上の隣接する２つのブロックを示す。Ｂ４は、左側に隣接する直前のブロックを示す。ＤＣＴ変換係数を持つブロックは、８×８のＤＣＴ変換係数を有する、復号化された隣接する複数のブロックから予測できることが図１５からわかる。

どのブロックからカレントブロックが予測されたかが常に違っていることに注意すべきである。従って、最小ビット使用規則に基づく決定が実行され、その決定は画像予測復号化装置側の異なるブロックに適応的に与えられる。その決定は、指示ビットにより画像予測復号化装置に報知される。ここで、最小ビット使用規則は、異なる複数の予測方法の中で予測方法を決定するために用いられ、各予測方法が適用された後に、ブロックを符号化するために用いられるビット量が計数される。結果として、使用される最小のビット量をもたらす方法が、使用すべき予測方法として、選択される。

なお、ＤＣＴ変換領域予測は量子化の後及びまた前に実施されることができる。

＜第５の実施形態＞
図１６は、本発明に係る第５の実施形態である画像予測符号化装置の構成を示すブロック図である。図１６の画像予測符号化装置は、ＤＣＴ変換領域予測処理は、量子化処理の後に実行されることを特徴としている。

図１６において、入力された画像信号に対してまず、ブロックサンプリングユニット１０１２によってブロックサンプリングが実行される。そして、イントラフレーム符号化においては、サンプルされたブロック画像データは加算器１０１３の処理が実行されずに、加算器１０１３を通過してＤＣＴ変換ユニット１０１４に入力される。一方、予測フレーム符号化においては、加算器１０１３は、サンプルされたブロック画像データから動き検出及び補償ユニット１０２５から出力される動き検出画像データを減算して、減算結果の画像データをＤＣＴ変換ユニット１０１４に出力する。そして、ＤＣＴ変換処理がユニット１０１４で実行された後、量子化処理がユニット１０１５で実行される。

ＤＣＴ変換領域予測処理はユニット１０１７で実行され、１０１８は予測のために前に復号化されたブロックを格納するためのブロックメモリである。加算器１０１６は、量子化ユニット１０１５から出力される現時点のＤＣＴ変換ブロックから、ＤＣＴ変換領域予測ユニット１０１７から出力される復号化された隣接するブロックを減算する。この符号化された隣接するブロックの決定はＤＣＴ変換領域予測ユニット１０１７において行われる。最後に、予測されたＤＣＴ変換ブロックに対して、ユニット１０２０によってエントロピーＶＬＣ符号化処理が実行され、符号化されたビットはビットストリームに書きこまれる。

加算器１０１９は、予測のために用いられる前の隣接するブロックを、予測ブロックに加算することにより、現時点のＤＣＴ変換ブロックを復元する。次いで、復元されたＤＣＴ変換ブロックに対して、逆量子化処理及び逆ＤＣＴ変換処理はそれぞれユニット１０２１及び１０２２において実行される。局所的に復号化されて逆ＤＣＴ変換ユニット１０２２から出力されるブロックの画像データは加算器１０２３に入力される。加算器１０２３は、復元されたブロックの画像データに前のフレームの画像データを加算することによって、再構築された画像データを得てフレームメモリ１０２４に記憶される。動き検出及び補償処理はユニット１０２５で実行される。動き検出及び補償処理のための前のフレームを格納するためにフレームメモリ１０２４が用いられる。

＜第６の実施形態＞
図１７は、本発明に係る第６の実施形態である画像予測符号化装置の構成を示すブロック図である。図１７の画像予測符号化装置は、量子化処理の前に、ＤＣＴ変換領域予測処理が実行されたことを特徴としている。入力された画像信号に対して、ユニット１０２６においてブロックサンプリング処理が実行される。次いで、加算器１０２７は予測フレーム符号化のために減算を行い、減算結果の画像データは、ＤＣＴ変換ユニット１０２８、加算器１０２９及び量子化ユニット１０３０を介して、エントロピーＶＬＣ符号化ユニット１０３４及び逆量子化ユニット１０３３に出力される。

ブロックメモリ１０３２は、ユニット１０３１のＤＣＴ変換領域予測処理のために前のブロックの画像データを格納している。ＤＣＴ変換ユニット１０２８から出力される現時点のＤＣＴ変換ブロックの画像データは、加算器１０２９によって、最小ビット使用規則に従ってＤＣＴ変換領域予測ユニット１０３１で選択された前のＤＣＴ変換ブロックから減算される。減算結果のＤＣＴ変換ブロックの画像データは、量子化ユニット１０３０によって量子化された後、逆量子化ユニット１０３３及びエントロピーＶＬＣ符号化ユニット１０３４に出力される。逆量子化ユニット１０３３は、入力される量子化されたＤＣＴ変換ブロックの画像データを逆量子化することにより復元して加算器１０３５に出力する。加算器１０３５は、復元されたＤＣＴ変換ブロックの画像データを、ＤＣＴ変換領域予測ユニット１０３１からの前のＤＣＴ変換ブロックの画像データを加算して、加算結果の前のブロックの画像データをブロックメモリ１０３２に格納するとともに、逆ＤＣＴ変換ユニット１０３６に出力する。

逆ＤＣＴ変換ユニット１０３６は、加算器１０３５から入力される前のブロックの画像データに対して逆ＤＣＴ変換処理を実行して、変換処理後の復元された画像データを加算器１０３７に出力する。加算器１０３７は、逆ＤＣＴ変換ユニット１０３６から出力される復元された画像データに動き検出及び補償ユニット１０２５から出力される前のフレームの画像データを加算して、加算結果の画像データをフレームメモリ１０３８に一時的に記憶した後、動き検出及び補償ユニット１０２５に出力される。

＜Ｂ１．モード決定の一般的な説明＞
図１８は、図１６及び図１７のＤＣＴ変換領域予測回路１０１７，１０３１の構成を示すブロック図である。

図１８において、１０４０は予測のために前の隣接するブロックの画像データを格納するブロックメモリである。処理対象の現時点のカレントブロックはユニット１０４１に入力され、ユニット１０４１は、ブロックメモリ１０４０で格納されている前の隣接するＤＣＴ変換ブロックから入力されたカレントブロックの画像データを減算して、次の４種類の予測ＤＣＴ変換ブロックの画像データが得られる。
（ａ）１０４２で示されるＮｏ−Ｐｒｅｄブロック、
（ｂ）１０４３で示されるＵｐ−Ｐｒｅｄブロック、
（ｃ）１０４４で示されるＬｅｆｔ−Ｐｒｅｄブロック、
（ｄ）１０４５で示されるＯｔｈｅｒ−Ｐｒｅｄブロック。

ここで、２ビットを用いて上記４つの種類のブロックを示す。すなわち、例えば“００”はＮｏ−Ｐｒｅｄブロックを示し、“０１”はＵｐ−Ｐｒｅｄブロックを示し、“１０”はＬｅｆｔ−Ｐｒｅｄを示し、“１１”はＯｔｈｅｒ−Ｐｒｅｄブロックを示す。

Ｎｏ−Ｐｒｅｄブロックは、予測無しのときの、現時点のＤＣＴ変換ブロックの画像データ自身である。Ｕｐ−Ｐｒｅｄブロックは、予測に用いられたブロックが上方に隣接するＤＣＴ変換ブロックＢ２である場合に得られた予測ブロックの画像データを示す。Ｌｅｆｔ−Ｐｒｅｄブロックは予測に用いられたブロックが左側に隣接するＤＣＴ変換ブロックＢ４である場合に得られた予測ブロックの画像データを示す。Ｏｔｈｅｒ−Ｐｒｅｄブロックは予測がＤＣ係数に対してのみ行われたときの予測ブロックの画像データを示す。Ｏｔｈｅｒ−Ｐｒｅｄの場合において、２種類の予測方法が存在する。すなわち、Ｕｐ−ＤＣ−Ｐｒｅｄ（１０４６）は上方に隣接するＤＣＴ変換ブロックＢ２に基づいてＤＣ係数のみに対して予測が行われた場合に得られた予測ブロックの画像データを示す。Ｌｅｆｔ−ＤＣ−Ｐｒｅｄ（１０４７）は左側に隣接するＤＣＴ変換ブロックＢ４に基づいてＤＣ係数のみに対して予測が行われた場合に得られた予測ブロックの画像データを示す。この２つのケースに対して、もう１つビットが指示のために必要となる。例えば“０”はＵｐ−ＤＣ−Ｐｒｅｄ（１０４６）を示し、“１”はＬｅｆｔ−ＤＣ−Ｐｒｅｄ（１０４７）を示すように使用される。

斜め方向に隣接するブロックＢ１、Ｂ３に基づいた予測は可能ではあるがその予測結果は上方や左側のブロックに予測によるもののようによくないので、本実施形態では用いていない。

全ての予測されたブロックに対して、ユニット１０４８によって実際のエントロピー符号化処理が実行されることにより検査され、チェックされる。異なる予測されたブロックに使用されたビットはユニット１０４９において比較される。最後に、ユニット１０５０は最小ビット使用規則に基づいて予測されたＤＣＴ変換ブロックを決定し、指示ビットとともに予測されたＤＣＴ変換ブロックを出力する。すなわち、ビット数が最小の予測されたＤＣＴ変換ブロックを選択する。

＜Ｂ２．モード決定の実施＞
図１９は、図１８のＤＣＴ変換領域予測回路におけるＤＣ／ＡＣ予測の符号化方法の一例を示す画像の模式図である。

図１９において、先に定義されたＤＣ／ＡＣ予測された画像データの部分集合が実際の使用に対して図示されている。カレントブロック１１０１はカレントマクロブロックの上部左側の８×８ブロックであり、カレントブロック１１０２はカレントマクロブロックの上部右側の８×８ブロックである。Ａ及びＢは、カレントブロック１１０１に隣接する８×８ブロックである。カレントブロック１１０１の強調された上部行及び左列はそれぞれ、隣接ブロックであるＡ及びＢの同一場所から予測される。つまり、カレントブロック１１０１の最上行はその上のブロックＡの最上行から予測され、カレントブロック１１０１の左列はその左のブロックＢの左列から予測される。同様の手順で、カレントブロック１１０２はその上のブロックＤ及びその左のカレントブロック１から予測される。

Ｃ（ｕ，ｖ）を符号化すべきブロックとし、Ｅ_i（ｕ，ｖ）をモードｉの場合の予測誤差であって、Ａ（ｕ，ｖ）及び／又はＢ（ｕ，ｖ）の各ブロックから予測値を減算して求めたものであるとする。実際の実施においては、節Ｂ１において前述した最も頻度が多い次の３つのモードのみが使用される。

（ａ）モード０：ＤＣ予測のみ

［数１］
Ｅ₀（０，０）＝Ｃ（０，０）−（Ａ（０，０）＋Ｂ（０，０））／２，
Ｅ₀（ｕ，ｖ）＝Ｃ（ｕ，ｖ），
ｕ≠０；ｖ≠０；ｕ＝０，…，７；ｖ＝０，…，７

（ｂ）モード１：上側ブロックからのＤＣ／ＡＣ予測

［数２］
Ｅ₁（０，ｖ）＝Ｃ（０，ｖ）−Ａ（０，ｖ），ｖ＝０，…，７，
Ｅ₁（ｕ，ｖ）＝Ｃ（ｕ，ｖ），
ｕ＝１，…，７；ｖ＝０，…，７

（ｃ）モード２：左側ブロックからのＤＣ／ＡＣ予測
［数３］
Ｅ₂（ｕ，０）＝Ｃ（ｕ，０）−Ｂ（ｕ，０），ｕ＝０，…，７，
Ｅ₂（ｕ，ｖ）＝Ｃ（ｕ，ｖ），
ｕ＝０，…，７；ｖ＝１，…，７．

モードの選択は、マクロブロックにおける４つの輝度信号のブロックに対して予測された誤差の絶対値の和、ＳＡＤ_modeiを計算して、そのうちの最小値を有するモードを選択することにより行われる。

［数４］
ＳＡＤ_modei
＝Σ［Ｅ_i(０，０)＋３２・ΣＥ_i(ｕ，０)＋３２・ΣＥ_i(０，ｖ)］，
ｂ ｕ ｖ
ｉ＝０，…，２；ｂ＝０，…，３；ｕ，ｖ＝１，…，７

モードの決定は、異なる符号化ビットレートを目標とするアプリケーションの違いに依存して、ブロックベース及びマクロブロックベースの両方で実行することができる。モードは、次の表１の可変長コードを使用して符号化される。

量子化後にＤＣ／ＡＣ予測を実行する場合、先行する水平方向の隣接ブロック又は垂直方向の隣接ブロックでは通常、使用する量子化のステップが異なるため、ＤＣ／ＡＣ予測を正確に行うためには、量子化されたＤＣＴ変換係数をスケーリングするために幾つかの種類の重み係数が必要とされる。

ＱａｃＡをブロックＡ（図１９参照。）の量子化されたＤＣＴ変換係数とし、ＱａｃＢをブロックＢ（図１９参照。）の量子化されたＤＣＴ変換係数とする。ＱｓｔｅｐＡをブロックＡの量子化に使用される量子化ステップとすると、ＱｓｔｅｐＢはブロックＡの量子化に使用する量子化ステップであり、ＱｓｔｅｐＣはカレントブロックＣの量子化に使用すべき量子化ステップであり、従ってスケーリング方程式は以下の通りである。

［数５］
Ｑ’ａｃＡ＝（ＱａｃＡ×ＱｓｔｅｐＡ）／ＱｓｔｅｐＣ
［数６］
Ｑ’ａｃＢ＝（ＱａｃＢ×ＱｓｔｅｐＢ）／ＱｓｔｅｐＣ

ここで、Ｑ’ａｃＡはブロックＡからのＤＣＴ変換係数であり、カレントブロックＣの最上行の予測に使用される。また、Ｑ’ａｃＢはブロックＢからのＤＣＴ変換係数であり、カレントブロックＣの左列の予測に使用される。

＜第７の実施形態＞
図２０は、本発明に係る第７の実施形態である画像予測復号化装置の構成を示すブロック図である。

図２０において、画像予測符号化装置からのビットストリームは、エントロピーＶＬＤ復号化ユニット１０５１に入力され、可変長復号化される。復号化された画像データは、加算器１０５２によって、ＤＣＴ変換領域予測ユニット１０５３からの前の隣接するＤＣＴ変換ブロックの画像データと加算することにより、ＤＣＴ変換ブロックの画像データが復元される。前に隣接するＤＣＴ変換ブロックは、どのブロックであるかは、ビットストリームからとり出された指示ビットによって知らされ、ユニット１０５３において予測のために使用される。１０５４は、予測のために用いる隣接するＤＣＴ変換ブロックを格納するためのブロックメモリである。加算器１０５２から得られる復元されたＤＣＴ変換ブロックは逆ＤＣＴ変換ユニット１０５５に出力される。逆ＤＣＴ変換ユニット１０５５は入力されたＤＣＴ変換ブロックに対して逆ＤＣＴ変換処理を実行することにより復元されたＤＣＴ変換係数の画像データを生成して、加算器１０５６に出力する。加算器１０５６は、逆ＤＣＴ変換ユニット１０５５からの復元された画像データを、動き検出及び補償ユニット１０５７からの前のフレームの画像データと加算することにより、動き検出及び補償されかつ復号化された画像データを生成して出力する。当該復号化された画像データは、動き検出及び補償のために前のフレームの画像データを格納するフレームメモリに一時的に格納した後、動き検出及び補償ユニット１０５７に出力される。動き検出及び補償ユニット１０５７は、入力される画像データに対して、動き検出及び補償処理が実行される。

さらに、加算器１０５６から出力される復号化された画像データは、図１６及び図１７のブロックサンプリングユニット１０１２，１０２６の処理に対応する逆の復元処理により、元の画像データが復元される。

さらに、１０５９は逆量子化ユニットであり、図１７に示すように量子化処理の前にＤＣＴ変換領域予測処理が行われる場合は、当該逆量子化ユニット１０５９は図２０における１０５９ａの位置に挿入される一方、図１６に示すように量子化処理の後にＤＣＴ変換領域予測処理が行われる場合は、当該逆量子化ユニット１０５９は図２０における１０５９ｂの位置に挿入される。

図２１は、図２０の画像予測復号化装置におけるＤＣ／ＡＣ予測の復号化方法を示すフローチャートである。すなわち、図２１では、ＤＣ／ＡＣ予測モードを取得し、隣接するＤＣ／ＡＣ予測値からＤＣＴ変換係数を再構成するためのビットストリームの復号化の詳細が図示されている。

まず、ステップ１０５９において、入力されるビットストリームから指示ビットを復号化し、ステップ１０６０で、指示ビットのフラグがチェックされ、それが「０」であれば、ステップ１０６１で上側ブロック及び左側ブロックの画像データの平均値からＤＣ値を計算してステップ１０６３に進む。ステップ１０６０でＮＯであればステップ１０６２に進み、ステップ１０６２でチェックされた指示フラグが「１０」であれば、ステップ１０６３で左側ブロックの左列の画像データが抽出され、ステップ１０６５に進む。ステップ１０６２でＮＯであればステップ１０６４に進み、ステップ１０６４でチェックされた表示フラグが「１１」であれば、ステップ１０６５で上側ブロックの最上行の画像データが抽出され、ステップ１０６６に進む。最後に、ステップ１０６６では、ステップ１０６１、１０６３、又は１０６５で取得又は抽出されたＤＣＴ変換係数がカレントブロックの対応するＤＣＴ変換係数に加算される。

さらに、以下、本実施形態グループの変形例について説明する。

（ａ）上記ブロックサンプリングユニット１０１２，１０２６は、４つのブロックのグループの中の二次元配列の画素は、第１のブロックでは奇数番目の行にある奇数番目の画素から成り、第２のブロックでは奇数番目の行にある偶数番目の画素から成り、第３ブロックでは偶数番目の行にある奇数場番目の画素から成り、第４ブロックでは偶数番目の行にある偶数番目の画素から成るように、画素を交互に差し挟むインターリーブ処理を含んでもよい。
（ｂ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックに隣接するように位置されたブロックから選択され、ブロック中の全ての変換係数が選択されてもよい。
（ｃ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックに隣接するように位置されたブロックから選択され、あらかじめ定められたサブセットがブロックの変換係数として選択されてもよい。

（ｄ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの上方及び左側に隣接するよう位置されたブロックから選択され、当該ブロックの最上行、及び当該ブロックの最左列の変換係数のみが使用され、残りの変換係数はゼロにセットされてもよい。
（ｅ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの近傍に位置されたブロックから選択され、各ブロックの変換係数は異なる重み付け関数で重み付けされてもよい。
（ｆ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの近傍に位置されたブロックから選択され、各ブロックの変換係数に対して変換演算が実行されてもよい。

（ｇ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの近傍に位置された複数のブロックの重み付け平均化されてもよい。
（ｈ）復号化された画像データに基づいて、インターリーブされた４個のブロックからなる複数のグループから二次元配列の画素を形成して元の画像データを復元するときに、奇数番目の行にある奇数番目の画素は全て第１のブロックから求め、奇数番目の行にある偶数番目の画素は第２のブロックから求め、偶数番目の行にある奇数番目の画素は第３ブロックから求め、偶数番目の行にある偶数番目の画素は第４ブロックから求めるように、上記復号化された画像データに対して逆インターリーブ処理を実行してもよい。

以上説明したように、本発明に係る本実施形態グループによれば、隣接するブロック間におけるＤＣＴ変換領域の冗長性を除去又は減少するために大いに効果があり、その結果、使用ビット数を減少させ、最終的に符号化効率を大いに改善することができる。詳細な画像予測符号化装置の例として図１８を参照すると、予測処理は、好ましくは、上側又は左側の隣接するブロックを使用することによってのみ実行される。

ＱＣＩＦを含むシーケンスに対しては、上位ビットレート符号化に対して６.４％のビットを節約することができ、下位ビットレート符号化に対して２０％のビットを節約することができる。また、例えば、アキヨ（Akiyo）、マザー（Mother）、及びドウター（Daughter）などのテストシーケンスなどの他のＱＣＩＦシーケンスに対して、約１０％のビットを節約することができる。さらにＣＩＦ及びＣＣＩＲのシーケンスに対しては、より多くのビット節約が可能である。

以上説明したように本発明に係る第２の実施形態グループによれば、現時点の符号化効率を増大させる新しい画像予測符号化装置及び画像予測復号化装置を提供することができる。当該装置では、符号化効率を上げるためには複雑な手段は必要とせず、その回路構成は、非常に簡単で容易に形成できる。

＜第３の実施形態グループ＞
第３の実施形態グループは、第８の実施形態を含む。

本発明者は、従来技術の問題点に鑑みて、画像符号化効率は、２つの画像間又は１つの画像内のブロックの内部における冗長性ばかりでなく、画像内のブロック間の冗長性を削減するとともに、ブロックのスキャンパターンを適切にすることによりさらに冗長性を改善することを考えた。

同じ位置にあっても隣接するブロックの中のＤＣＴ変換係数は多くの場合非常によく似ていることが見出されている。この２つのブロックに対する原画像の特質が非常によく似ている場合、もしくは水平又は垂直ライン、対角線その他の画像パターンが同じものを含んでいる場合、上記のことは正しいといえる。情報理論の観点から同じ情報は冗長性を意味することになる。

ブロックを越えてＤＣＴ変換領域の中に存在する冗長性は、以前のブロックの適応性予測により除去されるか又は削減されることができる。このことはＶＬＣエントロピー符号化は予測誤差信号のより小さいエントロピーのためのより高い符号化効率を達成できるという結果になる。

同時に、水平及び垂直の構造は、最左側の列及び最上行の変換ブロックに、重要なＤＣＴ変換係数が集中するという結果になることは公知である。従って、本発明に係る実施形態は、予測モードに基づいて、スキャンを適応化することにより係数のスキャンにおける上述の問題点を解決することができる。

本発明に係る実施形態は、他のブロックからカレントブロックのＤＣＴ変換係数を適応的に予測し、その結果隣接するブロック間の冗長性を除去する方法を提供する。予測誤差の情報は量子化ＤＣＴ変換係数のエントロピーをより小さくする予測モードにスキャン方法を適応化することによりさらに縮少される。その結果、ＤＣＴ変換係数を符号化するためのビットの数を削減できる。

この問題点を解決するために、予測モードの決定を実行する方法が各予測及びスキャン方法により発生される実際のビットレートに基づいて得られる。

本発明に係る実施形態は、現在のカレントブロックのＤＣＴ変換係数を予測する方法を提供するものである。ＤＣＴ変換は同じ値、又は同じＤＣＴ変換係数の分布を同じブロックの画像データに与える傾向があるので、カレントブロックは通常他の隣接するブロックの中のＤＣＴ変換係数と良好な相互関係を保持している。

入力された画像データは、イントラフレームであるか又は一時的に予測されたフレームであるかのいずれかであり、まず、入力された画像データに対して、通常ブロックを基礎とするＤＣＴ変換処理が実行される。カレントブロックのＤＣＴ変換係数が得られた後に、ＤＣＴ変換領域の予測は量子化の前、又は後に実行することができる。

カレントブロックの中のＤＣＴ変換係数は上方の左側に対角線方向（斜め方向）に位置した以前の隣接するブロックから予測することができる。それらは、図２３に示すように、その時刻において既に復号化されている。予測されたブロックは、カレントブロックにおける同じ位置のＤＣＴ係数から前の隣接するブロックの１つ又はそれ以上のＤＣＴ係数を減算することによって、予測された誤差信号を発生する。

異なる予測モードからの予測誤差信号が、予測が量子化処理の前になされるならば量子化される。量子化された予測誤差信号は、エントロピー符号化が実行される前にシーケンスの（一連の）画像データに対してスキャンされる。最小ビット使用規則に基づいて予測されたブロック、すなわち最小のビットを有する予測ブロックが選択される。このブロックの符号化データは使用する予測モードとともに画像予測復号化装置に送られる。

画像予測復号化装置は、使用した予測モード及びブロックの符号化されたデータを用いて、予測されたブロックを復号化する。ブロックに対する符号化されたデータに対する逆のエントロピー復号化の後に、量子化された予測誤差は用いられるスキャンモードに従って逆にスキャンされる。もし量子化処理が予測処理の後の実行されるならば、ブロックは逆量子化されることになる。再構築されたブロックは、予測モードによって指示された、前に復号化された隣接するブロックの中のＤＣＴ変換係数を現在のＤＣＴ変換係数に加算することにより得ることができる。一方、量子化処理が予測処理の前に実行されるならば、再構築された係数は逆量子化される。最後に、逆ＤＣＴ変換処理が各ブロックに対して再構築されたＤＣＴ変換係数に適用され、復号化された画像を得ることができる。

本発明に係る実施形態は、隣接するブロックを越えてＤＣＴ変換領域の中に存在する冗長性を減少させる画像予測符号化装置及び画像予測復号化装置を提供するものである。

＜第８の実施形態＞
図２４は、本発明に係る第８の実施形態である画像予測符号化装置の構成を示すブロック図である。図２４の画像予測符号化装置は、図２２の従来技術の画像予測符号化装置と比較して、
（ａ）加算器２０３５、
（ｂ）Ｈ／Ｖ／Ｚスキャンユニット２０３６、
（ｃ）加算器２０３８、
（ｄ）ブロックメモリ２０３９、及び
（ｅ）量子化スケーリングを有するＤＣＴ変換領域予測ユニット２０４０を備えたことを特徴としている。

イントラフレーム符号化（フレーム内符号化）においては、入力された画像信号に対して、ユニット２０３１でブロックサンプリング処理が実行された後に、直接にユニット２０３３でＤＣＴ変換処理が実行される。次いで、ユニット２０３４で、ＤＣＴ変換ユニット２０３３から出力されるＤＣＴ変換係数に対して量子化処理が実行される。一方、インターフレーム符号化又はフレーム間符号化（予測フレーム符号化）においては、ユニット２０３１のブロックサンプリング処理の後に、加算器２０３２は、ブロックサンプリング処理後の画像データから、動き検出及び補償ユニット２０４５から出力された画像データを減算して、予測誤差データを得る。次いで、この予測誤差データは、ＤＣＴ変換処理を実行するＤＣＴ変換ユニット２０３３及び量子化処理を実行する量子化ユニット２０３４を介して加算器２０３５に出力される。ＤＣＴ変換係数は、ユニット２０４０のＤＣＴ変換領域処理によって予測され、予測されたＤＣＴ変換係数は加算器２０３５に入力される。加算器２０３５は、量子化ユニット２０３４からのＤＣＴ変換係数から、ＤＣＴ変換領域予測ユニット２０４０からの予測されたＤＣＴ変換係数を減算して、減算結果の予測誤差のＤＣＴ変換係数を、Ｈ／Ｖ／Ｚスキャンユニット２０３６及び加算器２０３８に出力する。Ｈ／Ｖ／Ｚスキャンユニット２０３６は、選択された予測モードに依存して、入力されたＤＣＴ変換係数に対して適応的に、水平スキャン、垂直スキャン又はジグザグスキャンを実行して、スキャン処理後のＤＣＴ変換係数をエントロピーＶＬＣ符号化ユニット２０３７に出力する。次いで、エントロピーＶＬＣ符号化ユニット２０３７は、入力されたＤＣＴ変換係数をエントロピーＶＬＣ符号化処理を実行して、符号化されたビットストリームを受信側又は再生側の画像予測復号化装置に伝送する。

加算器２０３８は、加算器２０３５から出力される量子化されたＤＣＴ変換係数と、ＤＣＴ変換領域予測ユニット２０４０からの予測されたＤＣＴ変換係数とを加算することにより、復元された量子化ＤＣＴ変換係数データを得る。当該量子化ＤＣＴ変換係数データは、ブロックメモリ２０３９及び逆量子化ユニット２０４１に出力される。

当該画像予測符号化装置に設けられるローカルデコーダにおいて、加算器２０３８からの復元されたＤＣＴ変換係数データは、次の予測を行うために１つのブロックのデータを格納するブロックメモリ２０３９に一時的に記憶された後、ＤＣＴ変換領域予測ユニット２０４０に出力される。逆量子化ユニット２０４１は、入力される量子化ＤＣＴ変換係数を逆量子化して逆ＤＣＴ変換ユニット２０４２に出力し、次いで、逆ＤＣＴ変換ユニット２０４２は、入力される復元されたＤＣＴ変換係数を逆ＤＣＴ変換処理を実行して、現時点のブロックの画像データを復元して加算器２０４３に出力する。

フレーム間符号化においては、ローカル復号化された画像データを生成するために、加算器２０４３は、動き検出及び補償ユニット２０４５によって動き検出及び補償された画像データと、逆ＤＣＴ変換ユニット２０４２からの復元された画像データとを加算して、ローカル復号化された画像データを得て、ローカルデコーダのフレームメモリ２０４４に記憶される。なお、加算器２０４３とフレームメモリ２０４４と動き検出及び補償ユニット２０４５の構成及び処理は、図２２の従来技術のユニット２００９、２０１０及び２０１１と同様である。

最終的には、ビットストリームはエントロピー符号化ユニット２０３７から出力されて画像予測符号化装置に送られる。

図２５は、本発明に係る第８の実施形態である画像予測復号化装置の構成を示すブロック図である。図２５の画像予測復号化装置は、図２３の従来技術の画像予測復号化装置に比較して、
（ａ）Ｈ／Ｖ／Ｚスキャンユニット２０５２、
（ｂ）加算器２０５３、
（ｃ）ＤＣＴ変換領域予測ユニット２０５５、及び
（ｄ）ブロックメモリ２０５４、
を備えたことを特徴とする。

図２５において、画像予測符号化装置からのビットストリームは、可変長デコーダユニット２０５１において復号化される。復号化されたデータは、Ｈ／Ｖ／Ｚ逆スキャンユニット２０５２に入力され、スキャンモードに依存して、水平に逆方向で、垂直に逆方向で、又はジグザグに逆方向でスキャンされる。スキャン処理後のデータは加算器２０５３に入力され、加算器２０５３は、逆スキャン処理後のデータと、ＤＣＴ変換予測ユニット２０５５からの予測誤差データとを加算することにより、復号化されたＤＣＴ変換係数データを得て、これを逆量子化ユニット２０５６に出力するとともに、ブロックメモリ２０５４に記憶される。次いで、逆量子化ユニット２０５６は、入力される符号化されたＤＣＴ変換係数データを逆量子化して逆量子化されたＤＣＴ変換係数データを得て、逆ＤＣＴ変換ユニット２０５７に出力する。逆ＤＣＴ変換ユニット２０５７は、入力されるＤＣＴ変換係数データに対して逆ＤＣＴ変換処理を実行して、元の画像データを復元して、加算器２０５８に出力する。フレーム間符号化においては、加算器２０５８は、動き検出及び補償ユニット２０６０からの予測誤差データに、逆ＤＣＴ変換ユニット２０５７からの画像データを加算して、局所的に復号化された画像データを得て、外部装置に出力するとともに、フレームメモリ２０５９に記憶する。

さらに、加算器２０５８から出力される復号化された画像データは、図２４のブロックサンプリングユニット２０３１の処理に対応する逆の復元処理により、元の画像データが復元される。

以上の実施形態においては、量子化処理が予測処理に先だって行われる。変形例においては、予測処理の後に量子化処理を行ってもよい。この場合、ローカルデコーダ及び画像予測復号化装置では、予測値が加算される前に逆量子化処理が実行される。他の詳細は全て、上述の実施形態と同様である。

図２６は、第８の実施形態において、ブロック分割から得られた、フレームのマクロブロックとブロックの構造を示し、かつブロック予測方法を示す画像の模式図である。図２６の拡大図は、カレントブロックに対する予測データがどのように符号化されるかを示す。ここで、ブロックＣ（ｕ，ｖ）は、上側に隣接するブロックＡ（ｕ，ｖ）と、左方向に隣接するブロックＢ（ｕ，ｖ）とから得られる。次に、本発明にこの実施形態を更に詳しく説明する。

＜Ｃ１．予測に使用される係数の番号＞
予測に使用される係数のナンバーは画像データのシーケンスに依存している。フラグＡＣ＿Ｃｏｅｆｆは、各画像に使用される係数の最適の数を適応的に選択するために使用される。フラグは下の表２に示され、サイド情報の一部として画像予測符号化装置から画像予測復号化装置に送られる。フラグＡＣ＿Ｃｏｅｆｆに対する固定長コード及びＦＬＣを表２に示す。ここで、ＦＬＣ（Fixed Length Coding；固定長符号化）は、すべての可能なイベントを表すために、固定長のコードワードを割り当てる可逆符号化である。

ここで、ＡＣｎは、用いられるモードに依存して、Ａ（０，ｎ）又はＢ（ｎ，０）である。

この実施形態の特別なケースでは、最上行及び最左列のすべてのＡＣ係数が予測のために使用される。このケースでは、画像予測符号化装置と画像予測復号化装置との両方が、このデフォルト値を同意しているとき、フラグを必要としない。

＜Ｃ２．量子化ステップのスケーリング＞
隣接するブロックがカレントブロックからの異なる量子化ステップサイズを用いて量子化されるときは、ＡＣ係数の予測はそんなに能率的ではない。従って、当該予測方法は、予測データが、現在のカレントブロックの量子化ステップサイズの比と、予測データのブロックの量子化ステップの比とによってスケーリングされるように変形される。この定義は次の節Ｃ３．における方程式を用いて与えられる。

＜Ｃ３．予測モード＞
設定される複数のモードは次の通りである。

（ａ）モード０：処理ブロックから上側のブロックからのＤＣ予測（「上のＤＣモード」と略す。）

［数７］
Ｅ₀（０，０）＝Ｃ（０，０）−Ａ（０，０），
Ｅ₀（ｕ，ｖ）＝Ｃ（ｕ，ｖ）

（ｂ）モード１：処理ブロックから左側のブロックからのＤＣ予測（「左のＤＣモード」と略す。）

［数８］
Ｅ₁（０，０）＝Ｃ（０，０）−Ｂ（０，０），
Ｅ₁（ｕ，ｖ）＝Ｃ（ｕ，ｖ）

（ｃ）モード２；処理ブロックから上側のブロックからのＤＣ／ＡＣ予測（「上のＤＣ／ＡＣモード」と略す。）

［数９］
Ｅ₂（０，０）＝Ｃ（０，０）−Ａ（０，０），
Ｅ₂（０，ｖ）＝Ｃ（０，ｖ）−Ａ（０，ｖ）・Ｑ_A／Ｑ_C，
ｖ＝１，２，…，ＡＣ＿Ｃｏｅｆｆ，
Ｅ₂（ｕ，ｖ）＝Ｃ（ｕ，ｖ）

（ｄ）モード３：処理ブロックから左側のブロックからのＤＣ／ＡＣ予測（「左のＤＣ／ＡＣモード」と略す。）

［数１０］
Ｅ₃（０，０）＝Ｃ（０，０）−Ｂ（０，０），
Ｅ₃（ｕ，０）＝Ｃ（ｕ，０）−Ｂ（ｕ，０）・Ｑ_B／Ｑ_C
ｕ＝１，２，…，ＡＣ＿Ｃｏｅｆｆ，
Ｅ₃（ｕ，ｖ）＝Ｃ（ｕ，ｖ）

＜Ｃ４．適応的水平／垂直／ジグザグスキャン＞
上のような４個の予測モードが与えられるならば、フレーム内符号化の効率は係数のスキャンを採用することによりさらに改善させることができる。

図２７、図２８及び図２９はそれぞれ、第８の実施形態における係数スキャンに用いられる水平スキャン、垂直スキャン及び水平スキャンの順序を説明するための画像の模式図である。ここで、これらのスキャンは集合的にＨ／Ｖ／Ｚスキャンとして参照される。

＜Ｃ５．明示的モードの決定＞
明示的（explicit）モードの決定においては、予測モードの決定が画像予測符号化装置において実行され、その決定情報が、ビットストリームにおける幾つかの符号化されたビット情報を用いて画像予測符号化装置から画像予測復号化装置に明示的に送られる。

図３０は、第８の実施形態に使用されているモード決定処理を示すフローチャートである。

図３０において、カレントブロックのＤＣＴ変換係数データはユニット２０６２に入力され、ユニット２０６２は、ブロックメモリ２０６１からの隣接するブロックのＤＣＴ変換係数データから入力されたカレントブロックのＤＣＴ変換係数データを減算することにより、ＤＣＴ変換予測処理が実行される。ユニット２０６２では、節Ｃ３．で説明された４つのモードで、ＤＣＴ変換予測処理が実行される。次いで、Ｈ／Ｖ／Ｚスキャンユニット２０６３では、係数のスキャン処理が実行され、ここでは、図３０に示すように、節Ｃ４．で説明したそれぞれ対応するスキャン処理が実行される。さらに、スキャン処理後のＤＣＴ変換係数データは、エントロピー符号化ユニット２０６４に送られ、ここで可変長符号化処理が実行される。次いで、ユニット２０６５では、異なるモードで発生されたすべてのビットが比較されて、ユニット２０６６では、最少のビットを発生する予測モードのＤＣＴ変換係数のブロックが選択される。これらのＤＣＴ変換係数データのビットは予測モードの値とともにユニット２０６６からビットストリームとして画像予測復号化装置に送られる。なお、予測モードは、次の表３の固定長コードを用いて符号化される。

＜Ｃ６．暗黙的モードの決定＞
モード決定の第２の実施例では、画像予測符号化装置と画像予測復号化装置とが同一の予測モード決定機能を共有している。画像予測符号化装置と画像予測復号化装置は共に、カレントブロックに隣接する復号化されたブロックのＤＣ係数値に基づいて、予測モードの決定に関する方向性を決定する。すなわち、暗黙的（implicit）モードの決定においては、暗黙的モードの決定が幾つかの規則を用いて画像予測符号化装置と画像予測復号化装置において実行される。そして、モード決定を示す付加的な情報データは画像予測符号化装置から画像予測復号化装置に対して送られない。

図３１は、第８の実施形態の暗黙モード決定におけるブロックの関係を示す画像の模式図である。すなわち、図３１は、各ブロックと予測対象であるカレントブロックとの位置関係を示している。

図３１において、ブロックＣは現在予測中の処理対象のカレントブロックである。ブロックＡは、予測中のカレントブロックＣの上側のブロックである。ブロックＣは、カレントブロックＣから左側に位置するブロックである。ブロックＣ’は、カレントブロックＣとは対角位置にあるブロックＡとブロックＢの間のブロックである。

まず、ＤＣの方向が決定される。個別の決定方法を使用して、ＡＣ係数も同様に予測中であるか否かが決定される。これを行うには、予測係数の絶対値の差の合計を非予測係数の絶対値と比較し、何れが小さいかを判断する。画像予測復号化装置へのこの指示には、１ビットが使用される。ＤＣ予測の方向性、及びＡＣ係数が予測されているか否かの決定には、以下の式が使用される。表３は、可能性のある４つの結論を要約したものである。

（Ａ１）もし
［数１１］
（Ｂ（０，０）−Ｃ’（０，０）＜Ｃ’（０，０）−Ａ（０，０））
のとき、
［数１２］
Ｅ（０，０）＝Ｃ（０，０）−Ａ（０，０）
であり、
（ａ１）もし

［数１３］
７ ７
（ Σ Ｃ（０，ｖ）≧ Σ Ｃ（０，ｖ）−Ａ（０，ｖ））
ｖ＝１ ｖ＝１

のとき、

［数１４］
Ｅ（０，ｖ）
＝Ｃ（０，ｖ）−Ａ（０，ｖ）・Ｑ_A／Ｑ_C，ｖ＝１，…，７，

（ａ２）上記数１３が成立しなければ、
［数１５］
Ｅ（０，ｖ）＝Ｃ（０，ｖ）
である。

（Ａ２）上記数１１が成立しなければ、
［数１６］
Ｅ（０，０）＝Ｃ（０，０）−Ｂ（０，０）
であり、
（ｂ１）もし

［数１７］
７ ７
（ Σ Ｃ（ｕ，０）≧ Σ Ｃ（ｕ，０）−Ｂ（ｕ，０））
ｖ＝１ ｖ＝１

のとき、

［数１８］
Ｅ（ｕ，０）
＝Ｃ（ｕ，０）−Ｂ（ｕ，０）・Ｑ_B／Ｑ_C，ｖ＝１，…，７，

（ｂ２）上記数１７が成立しなければ、
［数１９］
Ｅ（ｕ，０）＝Ｃ（ｕ，０）
である。

さらに、他の全ての係数に対して、
［数２０］
Ｅ（ｕ，ｖ）＝Ｃ（ｕ，ｖ）
である。

以上の第８の実施形態において、ＤＣＴ変換係数予測処理はユニット２０４０によって、量子化された変換係数データについて行っているが、本発明はこれに限らず、図１７の第６の実施形態と同様に、量子化されない変換係数データについて行ってもよい。この場合、対応する画像予測復号化装置においては、図２５において、逆量子化ユニット２０５６は、逆スキャンユニット２０５２と、加算器２０５３に移動されて挿入される。

以下、第８の実施形態の変形例について述べる。

（ａ）ブロックサンプリングユニット２０３１は、４つのブロックのグループの中の二次元配列の画素は、第１のブロックでは奇数番目の行にある奇数番目の画素から成り、第２のブロックでは奇数番目の行にある偶数番目の画素から成り、第３ブロックでは偶数番目の行にある奇数場番目の画素から成り、第４ブロックでは偶数番目の行にある偶数番目の画素から成るように、画素を交互に差し挟むインターリーブ処理を含んでもよい。
（ｂ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックに隣接するように位置されたブロックから選択され、ブロック中の全ての係数データが選択されてもよい。
（ｃ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックに隣接するように位置されたブロックから選択され、あらかじめ定められたサブセットがブロックの係数データとして選択されてもよい。

（ｄ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックであって、符号化されたカレントブロックの上方及び左側に隣接するよう位置されたブロックから選択され、当該ブロックの最上行、及び当該ブロックの最左列の係数データのみが使用され、残りの係数データはゼロにセットされてもよい。
（ｅ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
当該ブロックの最上行又は最左列からの１つ又はそれ以上の係数データを含むサブセットのみを使用することを、画像予測符号化装置と画像予測復号化装置とが通信を行うことにより決定してもよい。
（ｆ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
当該ブロックの最上行又は最左列からの１つ又はそれ以上の係数データを含むサブセットのみを使用することを、画像予測符号化装置が決定して、決定されたサブセット及び係数データの数を示すフラグを、画像予測復号化装置に送信されるデータに周期的に挿入することにより、画像予測復号化装置に通知してもよい。

（ｇ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
各ブロックの係数データは、符号化されるカレントブロックの量子化ステップサイズと予測ブロックの量子化ステップサイズの比に等しい比で乗算されてもよい。
（ｈ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
各ブロックの係数データは、異なる重み付け関数で重み付けされてもよい。
（ｉ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
各ブロックの係数データに対して所定の変換演算が実行されてもよい。（ｊ）上記予測ブロックは、符号化されるカレントブロックに隣接して位置する、上記ブロックメモリに格納され、前に復元されたブロックの重み付け平均値として得てもよい。

（ｋ）スキャン方法は、
（ｉ）係数データが、左から右に向かって、行毎に、最上行で始まり、最下行で終わるようにスキャンされる水平スキャンと、
（ii）係数データが、最上行から最下行に向かって、列毎に、最左列から始まり、最右列で終るようにスキャンされる垂直スキャンと、
（iii）係数データが、最上行の最左の係数データから最下行の最右の係数データに向かって、対角線方向にスキャンされるジグザグスキャンとのうちの少なくとも１つのスキャン方法を含んでもよい。

（ｌ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
上記予測ブロックの予測モードは、
（ｉ）処理対象のカレントブロックから上側に位置するブロックからの、ＤＣ係数として呼ばれる当該ブロックの平均値を表す最上及び最左の係数データのみを予測のために使用する第１のモードと、
（ii）処理対象のカレントブロックから左側に位置するブロックからの、ＤＣ係数のみを予測のために使用する第２のモードと、
（iii）処理対象のカレントブロックから上側に位置するブロックの最上行からの、ＤＣ係数及び、高周波成分を含む０個又はそれ以上のＡＣ係数を予測のために使用する第３のモードと、
（iv）処理対象のカレントブロックから左側に位置するブロックの最左列からの、ＤＣ係数及び、高周波成分を含む０個又はそれ以上のＡＣ係数を予測のために使用する第４のモードと、
の少なくとも１つの予測モードを含み、
上記予測誤差の係数データはジグザグスキャンのスキャン方法でスキャンされてもよい。

（ｍ）上記予測ブロックは、上記ブロックメモリに格納され、前に復元されたブロックから上述の基準に従って選択され、
上記予測誤差の係数データは、上述のスキャン方法の１つに従ってスキャンされ、
上記予測誤差の係数データを予測する予測モードは、
（ｉ）処理対象のカレントブロックから上側に位置するブロックにおけるＤＣ係数のみが予測のために使用され、上記予測誤差の係数データに対して、ジグザグスキャンでスキャン処理が実行される第１のモードと、
（ii）処理対象のカレントブロックから左側に位置するブロックにおけるＤＣ係数のみが予測のために使用され、上記予測誤差の係数データに対して、ジグザグスキャンでスキャン処理が実行される第２のモードと、
（iii）処理対象のカレントブロックから上側に位置するブロックの最上行におけるＤＣ係数及び、高周波成分を含む０個又はそれ以上のＡＣ係数が予測のために使用され、上記予測誤差の係数データに対して、水平スキャンでスキャン処理が実行される第３のモードと、
（iv）処理対象のカレントブロックから左側に位置するブロックの最左列におけるＤＣ係数及び、高周波成分を含む０個又はそれ以上のＡＣ係数が予測のために使用され、上記予測誤差の係数データに対して、垂直スキャンでスキャン処理が実行される第４のモードと、
の少なくとも１つを含んでもよい。

（ｎ）上記復号化された画像データに基づいて、インターリーブされた４個のブロックからなる複数のグループから二次元配列の画素を形成して元の画像データを復元するときに、奇数番目の行にある奇数番目の画素は全て第１のブロックから求め、奇数番目の行にある偶数番目の画素は第２のブロックから求め、偶数番目の行にある奇数番目の画素は第３ブロックから求め、偶数番目の行にある偶数番目の画素は第４ブロックから求めるように、上記復号化された画像データに対して逆インターリーブ処理を実行してもよい。
（ｏ）画像予測符号化装置と画像予測復号化装置は、予め決められた同一のルールを用いて、上記予測モードを決定してもよい。
（ｐ）画像予測符号化装置と画像予測復号化装置は、予め決められた同一のルールを用いて、上記スキャン方法を決定してもよい。

以上説明したように、本発明に係る第３の実施形態グループによれば、隣接するブロックを越えてＤＣＴ変換領域の中の冗長性を削減又は除去するのに非常に効果的であり、使用ビットのビット数を削減し、その結果、符号化の効率を大幅に改善することができる。これは新しいビデオ圧縮アルゴリズムにおけるツールとしても有用である。

以上の実施形態において、画像予測符号化装置及び画像予測復号化装置について述べているが、本発明はこれに限らず、上記画像予測符号化装置における各手段、各ユニットなどの構成要素をそれぞれ各ステップに置き換えたステップを含む画像予測符号化方法であってもよいし、上記画像予測復号化装置における各手段、各ユニットなどの構成要素をそれぞれ各ステップに置き換えたステップを含む画像予測復号化方法であってもよい。この場合、例えば、上記画像予測符号化方法及び／又は上記画像予測復号化方法の各ステップがプログラムとして記憶装置に記憶され、マイクロプロセッサユニット（ＭＰＵ）、中央演算処理装置（ＣＰＵ）などのコントローラは当該プログラムを実行することにより、画像予測符号化処理及び／又は上記画像予測復号化処理を実行する。

また、本発明は、上記画像予測符号化方法及び／又は上記画像予測復号化方法における各ステップを含むプログラムを記録した記録媒体であってもよい。当該記録媒体は、例えば記録領域がセクタ形状に分割され、又は記録領域が渦巻き形状で各ブロックに分割された円盤形状を有し、例えば、ＣＤ−ＲＯＭ、ＤＶＤなどの光ディスク又は光磁気ディスク、もしくは、フロッピーディスクなどの磁気記録ディスクである。

本発明に係る第１の実施形態である画像予測符号化装置の構成を示すブロック図である。 図１の画像予測符号化装置に入力される入力画像を８×８のブロックに分割した場合の模式図である。 図１の画像予測符号化装置に入力される入力画像を三角領域に分割した場合の模式図である。 図１の画像予測符号化装置に用いられる予測信号発生器の第１の実施例の構成を示すブロック図である。 図１の画像予測符号化装置に用いられる予測信号発生器の第２の実施例の構成を示すブロック図である。 図１の画像予測符号化装置に用いられる予測信号発生器の第３の実施例の構成を示すブロック図である。 図１の画像予測符号化装置に用いられる予測信号発生器の第４の実施例の構成を示すブロック図である。 本発明に係る第２の実施形態である画像予測符号化装置の構成を示すブロック図である。 図１及び図８の画像予測符号化装置に入力される入力画像であって、有意である画素を有する入力画像の一例を示す模式図である。 図１及び図８の画像予測符号化装置に入力される入力画像であって、有意である画素を有する入力画像の一例を示す模式図である。 図１及び図８の画像予測符号化装置に入力される入力画像であって、有意でない画素を有する入力画像の一例を示す模式図である。 本発明に係る第３の実施形態である画像予測復号化装置の構成を示すブロック図である。 本発明に係る第４の実施形態である画像予測復号化装置の構成を示すブロック図である。 従来技術の画像予測符号化装置の構成を示すブロック図である。 画面内予測のための適応的ＤＣＴ変換領域を説明するための画像の模式図である。 本発明に係る第５の実施形態である画像予測符号化装置の構成を示すブロック図である。 本発明に係る第６の実施形態である画像予測符号化装置の構成を示すブロック図である。 図１６及び図１７のＤＣＴ変換領域予測回路の構成を示すブロック図である。 図１８のＤＣＴ変換領域予測回路におけるＤＣ／ＡＣ予測の符号化方法の一例を示す画像の模式図である。 本発明に係る第７の実施形態である画像予測復号化装置の構成を示すブロック図である。 図２０の画像予測復号化装置におけるＤＣ／ＡＣ予測の復号化方法を示すフローチャートである。 従来技術の画像予測符号化装置の構成を示すブロック図である。 従来技術の画像予測復号化装置の構成を示すブロック図である。 本発明に係る第８の実施形態である画像予測符号化装置の構成を示すブロック図である。 本発明に係る第８の実施形態である画像予測復号化装置の構成を示すブロック図である。 第８の実施形態における、フレームのマクロブロックとブロックの構造を示し、かつブロック予測方法を示す画像の模式図である。 第８の実施形態における係数スキャンに用いられる水平スキャンの順序を説明するための画像の模式図である。 第８の実施形態における係数スキャンに用いられる垂直スキャンの順序を説明するための画像の模式図である。 第８の実施形態における係数スキャンに用いられるジグザグスキャンの順序を説明するための画像の模式図である。 第８の実施形態に使用されているモード決定処理を示すフローチャートである。 第８の実施形態の暗黙モード決定におけるブロックの関係を示す画像の模式図である。

符号の説明

１０１…入力端子、
１０２…第１の加算器、
１０３…符号化器、
１０４…ＤＣＴ変換器、
１０５…量子化器、
１０６…出力端子、
１０７…復号化器、
１０８…逆量子化器、
１０９…逆ＤＣＴ変換器、
１１０…第２の加算器、
１１１…ラインメモリ、
１１２…予測信号発生器、
２００…ブロック、
３００，３０１…三角形、
４０１，４０２…発生器、
４０３，４０４…画像データ、
５００…加算器、
６０１，６０２，６０３…誤差計算器、
６０４…比較器、
６０５…スイッチ、
７００…動き検出器、
７０１…動き補償器、
７０２…フレームメモリ、
７０３…最適モード選択器、
８００，８０４…形状曲線、
８０２，８０５，８１０…処理対象の小領域、
８０８…曲線、
９０１…入力端子、
９０２…データ解析器、
９０３…復号化器、
９０４…逆量子化器、
９０５…逆ＤＣＴ変換器、
９０６…加算器、
９０７…出力端子、
９０８…コントローラ、
９０９…動き補償器、
９１０…予測信号発生器、
９１１…ラインメモリ、
９１２…フレームメモリ、
９１３…スイッチ、
９２２…予測信号発生器、
９２３…動き補償器、
９９０…形状復号化器、
１００１…ブロックサンプリングユニット、
１００２…動き検出ユニット、
１００３…補償ユニット、
１００４…ＤＣＴ変換器、
１００５…量子化ユニット、
１００６…エントロピー符号化ユニット、
１００７…レートコントローラ、
１００８，１００９…ユニット、
１０１０…ローカル復号化フレームメモリ、
１０１１…基準フレームメモリ、
１０１２…ブロックサンプリングユニット、
１０１３…加算器、
１０１４…ＤＣＴ変換ユニット、
１０１５…量子化ユニット、
１０１６…加算器、
１０１７…ＤＣＴ変換領域予測ユニット、
１０１８…ブロックメモリ、
１０１９…加算器、
１０２０…エントロピーＶＬＣ符号化ユニット、
１０２１…逆量子化ユニット、
１０２２…逆ＤＣＴ変換ユニット、
１０２３…加算器、
１０２４…フレームメモリ、
１０２５…動き検出及び補償ユニット、
１０２６…ブロックサンプリングユニット、
１０２７…加算器、
１０２８…ＤＣＴ変換ユニット、
１０２９…加算器、
１０３０…量子化ユニット、
１０３１…ＤＣＴ変換領域予測ユニット、
１０３２…ブロックメモリ、
１０３３…逆量子化ユニット、
１０３４…エントロピーＶＬＣ符号化ユニット、
１０３５…加算器、
１０３６…逆ＤＣＴ変換ユニット、
１０３７…加算器、
１０３８…フレームメモリ、
１０４０…ブロックメモリ、
１０４１…ユニット、
１０４２…Ｎｏ−Ｐｒｅｄブロック、
１０４３…Ｕｐ−Ｐｒｅｄブロック、
１０４４…Ｌｅｆｔ−Ｐｒｅｄブロック、
１０４５…Ｏｔｈｅｒ−Ｐｒｅｄブロック、
１０４８，１０４９，１０５０…ユニット、
１０５１…エントロピーＶＬＤ復号化ユニット、
１０５２…加算器、
１０５３…ＤＣＴ変換領域予測ユニット、
１０５４…ブロックメモリ、
１０５５…逆ＤＣＴ変換ユニット、
１０５６…加算器、
１０５７…動き検出及び補償ユニット、
１０５９…逆量子化ユニット、
１１０１，１１０２…カレントブロック、
２０３１…ブロックサンプリングユニット、
２０３２…加算器、
２０３３…ＤＣＴ変換ユニット、
２０３４…量子化ユニット、
２０３５…加算器、
２０３６…Ｈ／Ｖ／Ｚスキャンユニット、
２０３７…エントロピーＶＬＣ符号化ユニット、
２０３８…加算器、
２０３９…ブロックメモリ、
２０４０…ＤＣＴ変換領域予測ユニット、
２０４１…逆量子化ユニット、
２０４２…逆ＤＣＴ変換ユニット、
２０４３…加算器、
２０４４…フレーメモリ、
２０４５…動き検出及び補償ユニット、
２０５１…可変長デコーダユニット、
２０５２…Ｈ／Ｖ／Ｚスキャンユニット、
２０５３…加算器、
２０５４…ブロックメモリ、
２０５５…ＤＣＴ変換領域予測ユニット、
２０５６…逆量子化ユニット、
２０５７…逆ＤＣＴ変換ユニット、
２０５８…加算器、
２０５９…フレームメモリ、
２０６０…動き検出及び補償ユニット、
２０６１…ブロックメモリ、
２０６２…減算ユニット、
２０６３…Ｈ／Ｖ／Ｚスキャンユニット、
２０６４…エントロピー符号化ユニット、
２０６５…比較ユニット、
２０６６…選択ユニット、
Ｂ０…カレントブロック、
Ｂ１…左上のブロック、
Ｂ２…上のブロック、
Ｂ３…右上のブロック、
Ｂ４…左のブロック。

Claims (2)

1. ブロック化された画像データを２次元列の変換係数に変換する変換ステップと、
   上記変換された２次元列の変換係数を量子化して、量子化された変換係数を得る量子化ステップと、
   カレントブロックに隣接する上ブロック又は左ブロックのいずれかから上記カレントブロックの変換係数を予測すべき予測ブロックを適応的に選択する予測ブロック選択ステップと、
   上記上ブロック又は上記左ブロックのいずれかから適応的に選択された予測ブロックの変換係数を用いて、上記カレントブロックの量子化変換係数に対する予測を行い、２次元列の変換係数予測誤差を求める変換係数予測ステップと、
   上記２次元列の変換係数予測誤差を走査して、１次元列の変換係数を得る走査ステップを含む画像予測符号化方法であって、
   上記カレントブロックの量子化変換係数に対する予測は、
   上記予測ブロックの量子化されたＡＣ係数について、カレントブロックの量子化ステップサイズと予測ブロックの量子化ステップサイズとの比によりスケーリングを行い、
   上記スケーリングされたＡＣ係数を予測値として、カレントブロックのＡＣ係数に対する予測を行うものであり、
   上記走査ステップは、
   （１）上記カレントブロックの変換係数予測において、上記カレントブロックのＡＣ係数予測が行われていない場合はジグザグ走査であり、
   （２）上記カレントブロックのＡＣ係数予測が行われ、上記カレントブロックのＤＣ係数の予測が左ブロックから予測されている場合には、垂直方向の上記ＡＣ係数を水平方向の上記ＡＣ係数より優先的に走査する垂直優先走査であり、
   （３）上記カレントブロックのＡＣ係数予測が行われ、上記カレントブロックのＤＣ係数の予測が上ブロックから予測されている場合には、水平方向の上記ＡＣ係数を垂直方向の上記ＡＣ係数より優先的に走査する水平優先走査であることを特徴とする画像予測符号化方法。
2. 画像データを符号化する画像予測符号化装置であって、
   ブロック化された画像データを２次元列の変換係数に変換する変換器と、
   上記２次元列の変換係数を量子化して、量子化された変換係数を得る量子化器と、
   カレントブロックに隣接する上ブロック又は左ブロックのいずれかから上記カレントブロックの変換係数を予測すべき予測ブロックを適応的に選択する予測ブロック選択手段と、
   上記上ブロック又は上記左ブロックのいずれかから適応的に選択された予測ブロックの変換係数を用いて、上記カレントブロックの量子化変換係数に対する予測を行い、２次元列の変換係数予測誤差を求める変換係数予測手段と、
   上記２次元列の変換係数予測誤差を走査して、１次元列の変換係数を得る走査手段を含み、
   上記カレントブロックの量子化変換係数に対する予測は、
   上記予測ブロックの量子化されたＡＣ係数について、カレントブロックの量子化ステップサイズと予測ブロックの量子化ステップサイズとの比によりスケーリングを行い、
   上記スケーリングされたＡＣ係数を予測値として、カレントブロックのＡＣ係数に対する予測を行うものであり、
   上記走査手段は、
   （１）上記カレントブロックの変換係数予測において、上記カレントブロックのＡＣ係数予測が行われていない場合はジグザグ走査を行い、
   （２）上記カレントブロックのＡＣ係数予測が行われ、上記カレントブロックのＤＣ係数の予測が左ブロックから予測されている場合には、垂直方向の上記ＡＣ係数を水平方向の上記ＡＣ係数より優先的に走査する垂直優先走査を行い、
   （３）上記カレントブロックのＡＣ係数予測が行われ、上記カレントブロックのＤＣ係数の予測が上ブロックから予測されている場合には、水平方向の上記ＡＣ係数を垂直方向の上記ＡＣ係数より優先的に走査する水平優先走査を行うように動作可能であることを特徴とする画像予測符号化装置。
   

Images