JP4277793B2 - 画像処理装置、符号化装置およびそれらの方法 - Google Patents

Description

本発明は、画像データを符号化するために用いられる画像処理装置、符号化装置およびそれらの方法に関する。

近年、画像データデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。

ＭＰＥＧ２，４方式に続いてＭＰＥＧ４／ＡＶＣ(Advanced Video Coding)と呼ばれる符号化方式が提案されている。
ＭＰＥＧ４／ＡＶＣ方式の符号化装置は、被符号化ピクチャデータを、マクロブロック単位で、その輝度成分と色差成分とを個別に符号化するが、輝度成分と色差成分とでは一般的に相関が高いことを利用して、例えば、動きベクトルの探索などの種々の処理において、輝度成分を中心として処理を行い、その結果を色差成分の符号化に用いている。

ところで、上述した従来の符号化装置は、各マクロブロックの輝度成分と色差成分との差異が大きい場合でも、輝度成分の処理結果をそのまま色差成分の符号化に利用するため、色差成分の符号化効率や色差成分を復号した画像の画質が低下することがあるという問題がある。

本発明はかかる事情に鑑みてなされたものであり、従来に比べて符号化効率および復号画像の画質を高めることができる画像処理装置、符号化装置およびそれらの方法を提供することを目的とする。

上述した従来技術の問題点を解決し、上述した目的を達成するために、第１の観点の発明の画像処理装置は、２次元画像領域内に規定された複数のブロックを前記ブロックを単位として処理する画像処理装置であって、処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する差分検出手段と、前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの色差成分の影響を強く反映させた処理、あるいは前記色差成分の情報を失わない処理を行う処理手段とを有する。

第１の観点の発明の画像処理装置の作用は以下のようになる。
差分検出手段が、処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する。
次に、処理手段が、前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの処理を、当該処理対象のブロックの色差成分の影響をより強く反映させて行う。

第２の観点の発明の符号化装置は、２次元画像領域内に規定された複数のブロックを前記ブロックを単位として符号化する画像処理装置であって、処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する差分検出手段と、前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの色差成分の影響を強く反映させた処理、あるいは前記色差成分の情報を失わない処理を行う処理手段とを有する。

第２の観点の発明の符号化装置の作用は以下のようになる。
差分検出手段が、処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する。
次に、処理手段が、前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの色差成分の影響を強く反映させた符号化処理、あるいは前記色差成分の情報を失わない符号化処理を行う。

第３の観点の発明の画像処理方法は、２次元画像領域内に規定された複数のブロックを前記ブロックを単位として処理する画像処理方法であって、処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する第１の工程と、前記第１の工程で検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの色差成分の影響を強く反映させた処理、あるいは前記色差成分の情報を失わない処理を行う第２の工程とを有する。

第４の観点の発明の符号化方法は、２次元画像領域内に規定された複数のブロックを前記ブロックを単位として符号化する符号化方法であって、処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する第１の工程と、前記第１の工程で検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの色差成分の影響を強く反映させた符号化処理、あるいは前記色差成分の情報を失わない符号化処理を行う第２の工程とを有する。

本発明によれば、従来に比べて符号化効率および復号画像の画質を高めることができる画像処理装置、符号化装置およびそれらの方法を提供することができる。

以下、本発明の実施形態に係わる符号化装置について説明する。
＜第１実施形態＞
先ず、本実施形態の構成要素と、本発明の構成要素との関係を説明する。
本実施形態のマクロブロックＭＢが、本発明のブロックの一例である。
また 本実施形態のガンマピクチャデータＳ６２のマクロブロックＭＢが本発明の色差強調ブロックの一例であり、カレント輝度ピクチャデータＣ＿ＰＩＣ内のマクロブロックＭＢが本発明の輝度ブロックの一例である。
また、フレームメモリ６２から参照画像として動き予測・補償回路６４に読み出されるガンマピクチャデータＳ６２が本発明の参照色差強調ピクチャデータの一例である。
また、フレームメモリ３１から動き予測・補償回路６８に読み出される参照輝度ピクチャデータＲ＿ＰＩＣがが本発明の参照輝度ピクチャデータの一例である。
また、図２に示す差分判定回路６３が本発明の差分判定手段の一例である。
また、図２に示す動き予測・補償回路（１／４）６４および動き予測・補償回路６８が本発明の処理手段の一例であり、動き予測・補償回路（１／４）６４が本発明の第１の探索手段の一例であり、動き予測・補償回路６８が本発明の第２の探索手段の一例である。

また、本実施形態のガンマピクチャデータＳ５４のマクロブロックＭＢが本発明の第１の解像度の色差強調ブロックの一例であり、ガンマピクチャデータＳ６２のマクロブロックＭＢが本発明の第２の解像度の色差強調ブロックの一例である。
また、間引き回路６１が、本発明の間引き手段の一例である。
また、本実施形態の動きベクトルＭＶが、本発明の動きベクトルの一例である。
また、図２に示すＲＧＢ変換回路５１、逆ガンマ変換回路５２、ＹＣｂＣｒ変換回路５３およびガンマ変換回路５４が、本発明の色差強調ブロック生成手段の一例である。
また、本実施形態のフル解像度が本発明の第１の解像度の一例であり、本実施形態の１／４解像度が本発明の第２の解像度の一例である。

以下、本実施形態の通信システム１について説明する。
先ず、本発明の実施形態の構成要素と本発明の構成要素との対応関係を説明する。
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
符号化装置２が本発明のデータ処理装置および符号化装置に対応している。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、復号装置３において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。

図１に示す復号装置３は従来と同じ構成を有し符号化装置２の符号化に対応した復号を行う。
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２２、画面並べ替え回路２３、演算回路２４、直交変換回路２５、量子化回路２６、可逆符号化回路２７、バッファメモリ２８、逆量子化回路２９、逆直交変換回路３０、フレームメモリ３１、レート制御回路３２、加算回路３３、デブロックフィルタ３４、イントラ予測回路４１、選択回路４４、ＲＧＢ変換回路５１、逆ガンマ変換回路５２、ＹＣｂＣｒ変換回路５３、ガンマ変換回路５４、間引き回路６１、フレームメモリ６２、差分判定回路６３、動き予測・補償回路（１／４）６４、並びに動き予測・補償回路６８を有する。

符号化装置２は、動き予測・補償回路（１／４）６４において色差成分が強調されたガンマピクチャデータＳ６２を用いて１／４解像度で動きベクトルＭＶ１を探索し、動き予測・補償回路６８において、参照輝度ピクチャデータＲ＿ＰＩＣ内の動きベクトルＭＶ１を基準として規定した探索範囲で動きベクトルＭＶの探索を行う。
この場合に、差分判定回路６３において、処理対象（カレント）のピクチャデータＳ２３の再構成画像の輝度成分で構成されるカレントピクチャデータＣ＿ＰＩＣと、ピクチャデータＳ２３の色差成分が強調されたガンマピクチャデータＳ５４（Ｓ６２）との差異を検出する。
そして、動き予測・補償回路６８は、上記検出された差異が所定のしきい値を超えた場合に、超えない場合に比べて、上記探索範囲を狭く設定する。
すなわち、上記差異が大きい場合に、動き予測・補償回路６８における動きベクトル探索処理に、色差成分の影響を強く反映させる。
これにより、符号化装置２によれば、色差成分の符号化効率や色差成分を復号した画像の画質が低下することを回避できる。

以下、符号化装置２の構成要素について説明する。
［Ａ／Ｄ変換回路２２］
Ａ／Ｄ変換回路２２は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される原画像信号Ｓ１０をデジタルのピクチャデータＳ２２に変換し、これを画面並べ替え回路２３およびＲＧＢ変換回路５１に出力する。

［画面並べ替え回路２３］
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２から入力したピクチャデータＳ２２内のフレームデータを、そのピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えた原画像データＳ２３を演算回路２４、動き予測・補償回路６８およびイントラ予測回路４１に出力する。

［演算回路２４］
演算回路２４は、原画像データＳ２３と、選択回路４４から入力した予測画像データＰＩとの差分を示す画像データＳ２４を生成し、これを直交変換回路２５に出力する。
［直交変換回路２５］
直交変換回路２５は、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換などの直交変換を施して画像データ（例えばＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
［量子化回路２６］
量子化回路２６は、レート制御回路３２から入力した量子化スケールＱＳで、画像データＳ２５を量子化して画像データＳ２６（量子化されたＤＣＴ係数）を生成し、これを可逆符号化回路２７および逆量子化回路２９に出力する。

［可逆符号化回路２７］
可逆符号化回路２７は、画像データＳ２６を可変長符号化あるいは算術符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路２７は、動き予測・補償回路６８から入力した動きベクトルＭＶあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路４１から入力したイントラ予測モードをヘッダデータなどに格納する。

［バッファメモリ２８］
バッファメモリ２８に格納された画像データは、変調等された後に送信される。
［逆量子化回路２９］
逆量子化回路２９は、画像データＳ２６を逆量子化したデータを生成し、これを逆直交変換回路３０に出力する。
［逆直交変換回路３０］
逆直交変換回路３０は、逆量子化回路２９から入力したデータに、直交変換回路２５における直交変換の逆変換を施して生成した画像データを加算回路３３に出力する。
［加算回路３３］
加算回路３３は、逆直交変換回路３０から入力した（デコードされた）画像データと、選択回路４４から入力した予測画像データＰＩとを加算して再構成画像データを生成し、これをデブロックフィルタ３４に出力する。
［デブロックフィルタ３４］
デブロックフィルタ３４は、加算回路３３から入力した再構成画像データのブロック歪みを除去した画像データを、フル解像度の参照輝度ピクチャデータＲ＿ＰＩＣ（カレント輝度ピクチャデータＣ＿ＰＩＣ）としてフレームメモリ３１に書き込む。
なお、フレームメモリ３１には、例えば、動き予測・補償回路６８による動き予測・補償処理、並びにイントラ予測回路４１におけるイントラ予測処理の対象となっているピクチャの再構成画像データが、処理を終了したマクロブロックＭＢを単位として順に書き込まれる。

［レート制御回路３２］
レート制御回路３２は、例えば、バッファメモリ２８から読み出した画像データを基に量子化スケールＱＳを生成し、これを量子化回路２６に出力する。

［イントラ予測回路４１］
イントラ予測回路４１は、例えば、イントラ４ｘ４モードおよびイントラ１６ｘ１６モードなどの複数の予測モードのそれぞれについて処理対象のマクロブロックＭＢの予測画像データＰＩｉを生成し、これと原画像データＳ２３内の処理対象のマクロブロックＭＢとを基に、符号化されたデータの符号量の指標となる指標データＣＯＳＴｉを生成する。
そして、イントラ予測回路４１は、指標データＣＯＳＴｉを最小にするイントラ予測モードを選択する。
イントラ予測回路４１は、最終的に選択したイントラ予測モードに対応して生成した予測画像データＰＩｉおよび指標データＣＯＳＴｉを選択回路４４に出力する。
また、イントラ予測回路４１は、イントラ予測モードが選択されたことを示す選択信号Ｓ４４を入力すると、最終的に選択したイントラ予測モードを示す予測モードＩＰＭを可逆符号化回路２７に出力する。
なお、ＰスライスあるいはＢスライスに属するマクロブロックＭＢであっても、イントラ予測回路４１によるイントラ予測符号化が行われる場合がある。

イントラ予測回路４１は、例えば、指標データＣＯＳＴｉを下記式（１）に基づいて生成する。

また、上記式（１）において、「ｉ」は、例えば、処理対象のマクロブロックＭＢを構成する上記イントラ予測モードに対応したサイズのブロックデータの各々に付された識別番号である。上記式（１）のｘは、イントラ１６ｘ１６モードの場合は「１」であり、イントラ４ｘ４モードの場合には「１６」である。
イントラ予測回路４１は、処理対象のマクロブロックＭＢを構成する全てのブロックデータについて、「ＳＡＴＤ＋ｈｅａｄｅｒ＿ｃｏｓｔ（ｍｏｄｅ））」を算出し、これらを加算して指標データＣＯＳＴｉを算出する。
ｈｅａｄｅｒ＿ｃｏｓｔ（ｍｏｄｅ）は、符号化後の動きベクトル、参照画像データの識別データ、選択されたモード、量子化パラメータ（量子化スケール）などを含むヘッダデータの符号量の指標となる指標データである。ｈｅａｄｅｒ＿ｃｏｓｔ（ｍｏｄｅ）の値は、予測モードによって異なる。
また、ＳＡＴＤは、処理対象のマクロブロックＭＢ内のブロックデータと、当該ブロックデータの周囲の予め決められたブロックデータ（予測ブロックデータ）との間の差分画像データの符号量の指標となる指標データである。
本実施形態では、単数または複数の予測ブロックデータによって予測画像データＰＩｉが規定される。

ＳＡＴＤは、例えば、下記式（２）に示すように、処理対象のブロックデータＯｒｇと、予測ブロックデータＰｒｅとの画素データ間の絶対値誤差和(Sum of Absolute Difference)にアダマール変換（Ｔｒａｎ）を施した後のデータである。
下記式（２）のｓ，ｔによって、上記ブロックデータ内の画素が指定される。

なお、ＳＡＴＤの代わりに、下記式（３）で示すＳＡＤを用いてもよい。
また、ＳＡＴＤの代わりに、ＭＰＥＧ４，ＡＶＣで規定されているＳＳＤなどの歪みや残差を表わすその他の指標を用いてもよい。

［ＲＧＢ変換回路５１〜ガンマ変換回路５４］
ＲＧＢ変換回路５１、逆ガンマ変換回路５２、ＹＣｂＣｒ変換回路５３およびガンマ変換回路５４は、輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成されるデジタルのピクチャデータＳ２２から、色差成分を強調した（強く反映させた）輝度信号であるガンマピクチャデータＳ５４を生成する。当該色差成分が強調されたガンマピクチャデータＳ５４は、間引き回路６１において１／４解像度に間引かれた後に、動き予測・補償回路（１／４）６４における１／４解像度の動きベクトル探索に用いられる。

ＲＧＢ変換回路５１は、輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成されるデジタルのピクチャデータＳ２２に対して、下記式（４）に基づいて、数積和演算およびビットシフト処理を行って、ＲＧＢのピクチャデータＳ５１を生成し、これを逆ガンマ変換回路５２に出力する。
［数４］
Ｒ ＝ Ｙ ＋ （４０３／２５６）Ｃｒ
Ｇ ＝ Ｙ − （４８／２５６）Ｃｂ −（１２０／２５６）Ｃｒ
Ｂ ＝ Ｙ ＋ （４７５／２５６）Ｃｒ
…（４）

逆ガンマ変換回路５２は、ＲＧＢ変換回路５１から入力したＲＧＢのピクチャデータを構成するＲ，Ｇ，Ｂの各信号に対して下記式（５）に示す係数操作処理を行って、係数変換処理後の新たなＲＧＢのピクチャデータＳ５２を生成し、これをＹＣｂＣｒ変換回路５３に出力する。
［数５］
(Ｒ、Ｇ、Ｂ) ＝ (Ｒ，Ｇ，Ｂ) ／ ２ （（Ｒ，Ｇ，Ｂ）＜１７０）
(Ｒ，Ｇ，Ｂ) ＝ ２（Ｒ，Ｇ，Ｂ） −２５６ （（Ｒ，Ｇ，Ｂ）≧１７０）
…（５）

ＹＣｂＣｒ変換回路５３は、逆ガンマ変換回路５２から入力したＲ，Ｇ，ＢのピクチャデータＳ５２に下記式（６）に示す処理を施して輝度成分のピクチャデータＳ５３を生成し、これをガンマ変換回路５４に出力する。

［数６］
Ｙ ＝ （１８３／２５６）Ｇ ＋ （１９／２５６）Ｂ ＋ （５４／２５６）Ｒ
…（６）

ガンマ変換回路５４は、ＹＣｂＣｒ変換回路５３から入力した輝度のピクチャデータＳ５３に下記式（７）で示す係数操作処理を施してガンマピクチャデータＳ５４を生成し、これを間引き回路６１に出力する。

［数７］
Ｙ ＝ ２Ｙ （Ｙ＜８５）
Ｙ ＝ Ｙ／２ ＋ １２８（Ｙ≧８５）
…（７）

［間引き回路６１］
間引き回路６１は、図３に示すように、ガンマ変換回路５４から入力した色差成分が強調されたフル解像度のガンマピクチャデータＳ５４を１／４解像度に間引いてフレームメモリ６２に書き込む。

［差分判定回路６３］
図４は、差分判定回路６３の処理を説明するための図である。
ステップＳＴ１：
差分判定回路６３は、フル解像度のカレント輝度ピクチャデータＣ＿ＰＩＣをフレームメモリ３１から読出し、これを１／４解像度に間引いて、１／４解像度のカレント輝度ピクチャデータＣ＿ＰＩＣａを生成する。

ステップＳＴ２：
差分判定回路６３は、図５（Ａ）に示すように、ステップＳＴ１で入力した１／４解像度のカレント輝度ピクチャデータＣ＿ＰＩＣａと、フレームメモリ６２から読み出した１／４解像度のガンマピクチャデータＳ６２との差分の絶対値和（差異を示す指標データＳＡＤ）を、例えば、下記式（８）に基づいて、対応するマクロブロックＭＢ単位で生成する。
下記式（８）において、γは、ガンマピクチャデータＳ６２内のマクロブロックＭＢの輝度値、Ｙはカレント輝度ピクチャデータＣ＿ＰＩＣａ内のマクロブロックＭＢの輝度値を示している。また、（ｉ，ｊ）によって４ｘ４ブロック内の画素値が指定される。

ステップＳＴ３：
差分判定回路６３は、上記指標データが所定のしきい値Ｔｈを超えたか否かを判定する。
ステップＳＴ４：
差分判定回路６３は、ステップＳＴ３の判定でしきい値Ｔｈを超えたと判断した場合は、第１の論理値（例えば、「１」）を示す判定結果データｆｌｇ(ｉ，ｊ)を、処理対象のマクロブロックＭＢ(ｉ，ｊ)に対応付けて、図６に示すカレント判定テーブルデータＣ＿ＦＬＧＴの要素として記憶する。
ステップＳＴ５：
差分判定回路６３は、ステップＳＴ３の判定でしきい値Ｔｈを超えていないと判断した場合は、第２の論理値（例えば、「０」）を示す判定結果データｆｌｇ(ｉ，ｊ)を、処理対象のマクロブロックＭＢ(ｉ，ｊ)に対応付けて、図６に示すカレント判定テーブルデータＣ＿ＦＬＧＴの要素として記憶する。

なお、差分判定回路６３は、上記差分の絶対値和ではなく、上記差分の自乗和で指標データＳＡＤを生成してもよい。
また、差分判定回路６３は、図５（Ｂ）に示すように、フレームメモリ６２から読み出した１／４解像度のガンマピクチャデータＳ６２を補間してフル解像度のガンマピクチャデータＳ６２ａを生成し、このガンマピクチャデータＳ６２ａと、フレームメモリ３１から読み出したフル解像度のカレント輝度ピクチャデータＣ＿ＰＩＣとの差分の絶対値和等を示す指標データＳＡＤを算出してもよい。

差分判定回路６３は、図６に示すように、処理対象のカレントピクチャデータ内の全てのマクロブロックＭＢ（ｉ，ｊ）の判定結果データｆｌｇ(ｉ，ｊ)を、カレント判定テーブルデータＣ＿ＦＬＧＴとして記憶する。
差分判定回路６３は、カレントピクチャデータについての符号化処理が終了すると、図６に示すように、後に参照される可能性があるＩ，Ｐピクチャデータの判定結果データｆｌｇ(ｉ，ｊ)を、参照判定テーブルデータＲ＿ＦＬＧＴとして記憶する。

［動き予測・補償回路（１／４）６４］
動き予測・補償回路（１／４）６４は、フレームメモリ６２から読み出したカレントのガンマピクチャデータＳ６２内のカレントのマクロブロックＭＢに対応した８ｘ８画素ブロックあるいは１６ｘ１６画素ブロックとの差分を最小にする８ｘ８画素ブロックあるいは１６ｘ１６画素ブロックを、その参照画像となる参照ガンマピクチャデータＳ６２内で探索する。そして、動き予測・補償回路（１／４）６４は、当該探索した画素ブロックの位置に対応した１／４解像度動きベクトルＭＶ１を生成する。
動き予測・補償回路（１／４）６４は、上記差異を、例えば、前述したＳＡＴＤ，ＳＡＤを用いた指標データを基に生成する。
なお、動き予測・補償回路（１／４）６４は、上記探索において、８ｘ８画素ブロックを単位とした場合には、１つのカレントのマクロブロックＭＢに対応して１つの１／４解像度動きベクトルＭＶ１を生成することになる。
一方、動き予測・補償回路（１／４）６４は、上記探索において、１６ｘ１６画素ブロックを単位とした場合には、隣接する４つのカレントのマクロブロックＭＢに対応して１つの１／４解像度動きベクトルＭＶ１を生成することになる。

〔動き予測・補償回路６８〕
動き予測・補償回路６８は、画面並べ替え回路２３から入力した原画像データＳ２３の処理対象のマクロブロックＭＢの輝度成分を基に、インター符号化に伴う指標データＣＯＳＴｍを生成する。
動き予測・補償回路６８は、予め決められた複数の動き予測・補償モードの各々について、フレームメモリ３１に記憶された過去に符号化された参照輝度ピクチャデータＲ＿ＰＩＣを基に、動き予測・補償モードによって規定されたブロックデータを単位として、処理対象のブロックデータの動きベクトルＭＶの探索、並びに予測ブロックデータを生成する。
当該ブロックデータのサイズ、並びに参照輝度ピクチャデータＲ＿ＰＩＣは、例えば、動き予測・補償モードによって規定される。
当該ブロックデータのサイズは、例えば、図７に示すように、16×16、16×8、8×16および8×8画素である。
動き予測・補償回路６８は、各ブロックデータについて動きベクトルおよび参照ピクチャデータを決定する。
なお、8×8のサイズのブロックデータについては、更に、それぞれのパーティションを、8×8、8×4、4×8若しくは4×4のいずれかに分割できる。

動き予測・補償回路６８は、上記動き予測・補償モードとして、例えば、インター１６ｘ１６モード、インター８ｘ１６モード、インター１６ｘ８モード、インター８ｘ８モード、インター４ｘ８モード、インター４ｘ４モードがあり、それぞれブロックデータのサイズが１６ｘ１６，８ｘ１６，１６ｘ８，８ｘ８，４ｘ８，４ｘ４である。
また、上記動き予測・補償モードの各々のサイズにづいて、前方予測モード、後方予測モード、双方向予測モードが選択可能である。
ここで、前方予測モードは表示順が前の画像データを参照画像データとして用いるモードであり、後方予測モードは表示順が後の画像データを参照画像データとして用いるモードであり、双方向予測モードは表示順が前と後との画像データを参照画像データとして用いるモードである。
本実施形態では、動き予測・補償回路６８による動き予測・補償処理では、複数の参照画像データを持つことができる。

また、動き予測・補償回路６８は、上記動き予測・補償モードの各々について、原画像データＳ２３内の処理対象のマクロブロックＭＢを構成する当該動き予測・補償モードに対応したブロックサイズのブロックデータの符号量の総和の指標となる指標データＣＯＳＴｍを生成する。
そして、動き予測・補償回路６８は、指標データＣＯＳＴｍを最小にする動き予測・補償モードを選択する。
また、動き予測・補償回路６８は、上記選択した動き予測・補償モードを選択した場合に得られる予測画像データＰＩｍを生成する。
動き予測・補償回路６８は、最終的に選択した動き予測・補償モードに対応して生成した予測画像データＰＩｍおよび指標データＣＯＳＴｍを選択回路４４に出力する。
また、動き予測・補償回路６８は、上記選択した動き予測・補償モードに対応して生成した動きベクトル、あるいは当該動きベクトルと予測動きベクトルとの間の差分動きベクトルを可逆符号化回路２７に出力する。
また、動き予測・補償回路６８は、上記選択した動き予測・補償モードを示す動き予測・補償モードＭＥＭを可逆符号化回路２７に出力する。
また、動き予測・補償回路６８は、動き予測・補償処理において選択した参照画像デーサ（参照フレーム）の識別データを可逆符号化回路２７に出力する。

動き予測・補償回路６８は、上記ブロックデータを単位とした動きベクトルの探索において、以下に示すように、参照輝度ピクチャデータＲ＿ＰＩＣ内の探索範囲を決定する。
すなわち、動き予測・補償回路６８は、処理対象の上記ブロックデータが参照する参照輝度ピクチャデータＲ＿ＰＩＣ内で動き予測・補償回路（１／４）６４から入力した動きベクトルＭＶ１が指し示すマクロブロックＭＢの判定結果データｆｌｇ(ｉ，ｊ)を図６に示す差分判定回路６３に記憶された判定テーブルデータＲ＿ＦＬＧＴから取得する。
そして、動き予測・補償回路６８は、上記取得した判定結果データｆｌｇ(ｉ，ｊ)が「１」を示す場合には、図８に示す第１の探索範囲ＳＲ１より狭い第２の探索範囲ＳＲ２を選択する。
一方、動き予測・補償回路６８は、上記取得した判定結果データｆｌｇ(ｉ，ｊ)が「０」を示す場合には、図８に示す第１の探索範囲ＳＲ１を選択する。

動き予測・補償回路６８は、例えば、指標データＣＯＳＴｍを下記式（９）に基づいて生成する。

また、上記式（９）において、「ｉ」は、例えば、処理対象のマクロブロックＭＢを構成する上記動き予測・補償モードに対応したサイズのブロックデータの各々に付された識別番号である。
すなわち、動き予測・補償回路６８は、処理対象のマクロブロックＭＢを構成する全てのブロックデータについて、「ＳＡＴＤ＋ｈｅａｄ＿ｃｏｓｔ（ｍｏｄｅ））」を算出し、これらを加算して指標データＣＯＳＴｍを算出する。
ｈｅａｄ＿ｃｏｓｔ（ｍｏｄｅ）は、符号化後の動きベクトル、参照画像データの識別データ、選択されたモードや量子化パラメータ（量子化スケール）などを含むヘッダデータの符号量の指標となる指標データである。ｈｅａｄｅｒ＿ｃｏｓｔ（ｍｏｄｅ）の値は、動き予測・補償モードによって異なる。
また、ＳＡＴＤは、処理対象のマクロブロックＭＢ内のブロックデータと、動きベクトルＭＶによって指定される参照画像データ内のブロックデータ（参照ブロックデータ）との間の差分画像データの符合量の指標となる指標データである。
本実施形態では、単数または複数の参照ブロックデータによって予測画像データＰＩｍが規定される。

ＳＡＴＤは、例えば、下記式（１０）に示すように、処理対象のブロックデータＯｒｇと、参照ブロックデータ（予測画像データ）Ｐｒｅとの画素データ間の絶対値誤差和にアダマール変換（Ｔｒａｎ）を施した後のデータである。
下記式（１０）のｓ，ｔによって、上記ブロックデータ内の画素が指定される。

なお、ＳＡＴＤの代わりに、下記式（１１）で示すＳＡＤを用いてもよい。
また、ＳＡＴＤの代わりに、ＭＰＥＧ４，ＡＶＣで規定されているＳＳＤなどの歪みや残差を表わすその他の指標を用いてもよい。

以下、符号化装置２における動き予測・補償動作について説明する。
ステップＳＴ１１：
動き予測・補償回路（１／４）６４は、フレームメモリ６２から読み出したカレントのガンマピクチャデータＳ６２内のカレントのマクロブロックＭＢに対応した８ｘ８画素ブロックあるいは１６ｘ１６画素ブロックとの差分を最小となる８ｘ８画素ブロックあるいは１６ｘ１６画素ブロックを、その参照画像となる参照ガンマピクチャデータＳ６２内で探索する。そして、動き予測・補償回路（１／４）６４は、当該探索した画素ブロックの位置に対応した１／４解像度動きベクトルＭＶ１を生成する。

動き予測・補償回路６８は、カレントピクチャデータＣ＿ＰＩＣ内の処理対象のマクロブロックＭＢ内の全てのブロックデータについて、ステップＳＴ１２〜ＳＴ１５の処理を行う。
ステップＳＴ１２：
動き予測・補償回路６８は、処理対象のマクロブロックＭＢ内の処理対象の上記ブロックデータが参照する参照輝度ピクチャデータＲ＿ＰＩＣ内で動き予測・補償回路（１／４）６４から入力した動きベクトルＭＶ１が指し示すマクロブロックＭＢの判定結果データｆｌｇ(ｉ，ｊ)を図６に示す差分判定回路６３に記憶された判定テーブルデータＲ＿ＦＬＧＴから取得する。
そして、動き予測・補償回路６８は、上記取得した判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すか否かを判断し、「１」を示す場合にはステップＳＴ１３に進み、そうでない場合にはステップＳＴ１４に進む。

ステップＳＴ１３：
動き予測・補償回路６８は、参照輝度ピクチャデータＲ＿ＰＩＣ内で、図８に示す第１の探索範囲ＳＲ１より狭い第２の探索範囲ＳＲ２を選択する。
ステップＳＴ１４：
動き予測・補償回路６８は、参照輝度ピクチャデータＲ＿ＰＩＣ内で、図８に示す第１の探索範囲ＳＲ１を選択する。

ステップＳＴ１５：
動き予測・補償回路６８は、参照輝度ピクチャデータＲ＿ＰＩＣ内のステップＳＴ１３あるいはＳＴ１４において選択した探索範囲内で、カレントピクチャデータＣ＿ＰＩＣ内の処理対象のマクロブロックＭＢのブロックデータとの差異を最小にする参照ブロックデータを探索し、その探索した参照ブロックデータの位置に応じた動きベクトルを当該ブロックデータの動きベクトルとする。

そして、動き予測・補償回路６８は、動き補償・予測モードに対応して処理対象のマクロブロックＭＢ内に規定された全てのブロックデータについて、上記ステップＳＴ１２〜ＳＴ１５の処理を行い、動きベクトルを生成する。
そして、動き予測・補償回路６８は、予め決められた複数の動き予測・補償モードの各々について、フレームメモリ３１に記憶された過去に符号化された参照輝度ピクチャデータR_PICを基に、動き予測・補償モードによって規定されたブロックデータを単位として、処理対象のブロックデータの動きベクトルＭＶの探索、並びに予測ブロックデータを生成する。
そして、動き予測・補償回路６８は、上記動き予測・補償モードの各々について、原画像データＳ２３内の処理対象のマクロブロックＭＢを構成する当該動き予測・補償モードに対応したブロックサイズのブロックデータの符号量の総和の指標となる指標データＣＯＳＴｍを生成する。
そして、動き予測・補償回路６８は、指標データＣＯＳＴｍを最小にする動き予測・補償モードを選択する。
また、動き予測・補償回路６８は、上記選択した動き予測・補償モードを選択した場合に得られる予測画像データＰＩｍを生成する。

なお、動き予測・補償回路６８は、フレーム符号化およびフィールド符号化の何れか一方を固定的に行うか、あるいは、フレーム符号化およびフィールド符号化のうち符号量が小さい方を最終的に選択する。
この場合に、動き予測・補償回路６８は、フレーム符号化およびフィールド符号化の各々において以下に示すように、図９に示すステップＳＴ１２の判断を行う。

動き予測・補償回路６８は、フレーム符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＢあるいはＰピクチャである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が、参照輝度ピクチャデータＲ＿ＰＩＣ内のマクロブロックＭＢのうち、その判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢを指し示すことを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。
動き予測・補償回路６８は、フレーム符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＢあるいはＰピクチャである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が、カレント輝度ピクチャデータＣ＿ＰＩＣ内のマクロブロックＭＢのうち、その判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢを指し示すことを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。

動き予測・補償回路６８は、フィールド符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＢあるいはＰピクチャである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が、参照輝度ピクチャデータＲ＿ＰＩＣのトップフィールドのマクロブロックＭＢのうち、ボトムフィールドのマクロブロックＭＢのうち、あるいはトップとボトム双方のフィールド内のマクロブロックＭＢのうち、その判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢを指し示すことを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。
動き予測・補償回路６８は、フィールド符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＢあるいはＰピクチャである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が、カレント輝度ピクチャデータＣ＿ＰＩＣのトップフィールドのマクロブロックＭＢのうち、ボトムフィールドのマクロブロックＭＢのうち、あるいはトップとボトム双方のフィールド内のマクロブロックＭＢのうち、その判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢを指し示すことを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。

動き予測・補償回路６８は、フィールド符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＩとＰフィールドデータで構成されるＩピクチャのボトムフィールドである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が、参照輝度ピクチャデータＲ＿ＰＩＣのトップフィールド（逆パリティのフィールド）のマクロブロックＭＢのうち、その判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢを指し示すことを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。
動き予測・補償回路６８は、フィールド符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＩとＰフィールドデータで構成されるＩピクチャのボトムフィールドである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が、カレント輝度ピクチャデータＣ＿ＰＩＣのボトムフィールド（同パリティのフィールド）のマクロブロックＭＢのうち、その判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢを指し示すことを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。

動き予測・補償回路６８は、フレーム符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＢあるいはＰピクチャである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が指し示すマクロブロックＭＢを基準として規定された、参照輝度ピクチャデータＲ＿ＰＩＣ内の所定の範囲に、判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢが存在することを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。
動き予測・補償回路６８は、フレーム符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＢあるいはＰピクチャである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が指し示すマクロブロックＭＢを基準として規定された、カレント輝度ピクチャデータＣ＿ＰＩＣ内の所定の範囲に、判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢが存在することを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。

動き予測・補償回路６８は、フィールド符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＩとＰフィールドデータで構成されるＩピクチャのボトムフィールドである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が指し示すマクロブロックＭＢを基準として規定された、参照輝度ピクチャデータＲ＿ＰＩＣのトップフィールド（逆パリティのフィールド)内の所定の範囲に、判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢが存在することを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。
動き予測・補償回路６８は、フィールド符号化を行い、且つ、処理対象のカレントピクチャデータＣ＿ＰＩＣがＩとＰフィールドデータで構成されるＩピクチャのボトムフィールドである場合に、動き予測・補償回路（１／４）６４が生成した動きベクトルＭＶ１が指し示すマクロブロックＭＢを基準として規定された、カレント輝度ピクチャデータＣ＿ＰＩＣのトップフィールド（逆パリティのフィールド)内の所定の範囲に、判定結果データｆｌｇ(ｉ，ｊ)が「１」を示すマクロブロックＭＢが存在することを条件に、第１の探索範囲ＳＲ１より小さい第２の探索範囲ＳＲ２を選択する。

〔選択回路４４〕
選択回路４４は、動き予測・補償回路６８から入力した指標データＣＯＳＴｍと、イントラ予測回路４１から入力した指標データＣＯＳＴｉとのうち小さい方を特定し、当該特定した指標データに対応して入力した予測画像データＰＩｍあるいはＰＩｉを演算回路２４および加算回路３３に出力する。
また、選択回路４４は、指標データＣＯＳＴｍが小さい場合に、インター符号化（動き予測・補償モード）を選択したことを示す選択信号Ｓ４４を動き予測・補償回路６８に出力する。
一方、選択回路４４は、指標データＣＯＳＴｉが小さい場合に、イントラ符号化（イントラ予測モード）を選択したことを示す選択信号Ｓ４４を動き予測・補償回路６８に出力する。
なお、本実施形態において、イントラ予測回路４１および動き予測・補償回路６８がそれぞれ生成した全ての指標データＣＯＳＴｉ，ＣＯＳＴｍを選択回路４４に出力し、選択回路４４において最小の指標データを特定してもよい。

以下、図２に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２２においてデジタル信号に変換される。
次に、出力となる画像圧縮情報のＧＯＰ構造に応じ、画面並べ替え回路２３においてフレーム画像データの並べ替えが行われ、それによって得られた原画像データＳ２３が演算回路２４、動き予測・補償回路６８およびイントラ予測回路４１に出力される。
次に、演算回路２４が、画面並べ替え回路２３からの原画像データＳ２３と選択回路４４からの予測画像データＰＩとの差分を検出し、その差分を示す画像データＳ２４を直交変換回路２５に出力する。

次に、直交変換回路２５が、画像データＳ２４に離散コサイン変換やカルーネン・レーベ変換等の直交変換を施して画像データ（ＤＣＴ係数）Ｓ２５を生成し、これを量子化回路２６に出力する。
次に、量子化回路２６が、画像データＳ２５を量子化し、画像データ（量子化されたＤＣＴ係数）Ｓ２６を可逆符号化回路２７および逆量子化回路２９に出力する。
次に、可逆符号化回路２７が、画像データＳ２６に可変長符号化あるいは算術符号化等の可逆符号化を施して画像データＳ２８を生成し、これをバッファ２８に蓄積する。
また、レート制御回路３２が、バッファ２８から読み出した画像データＳ２８を基に、量子化回路２６における量子化レートを制御する。

また、逆量子化回路２９が、量子化回路２６から入力した画像データＳ２６を逆量子化して逆直交変換回路３０に出力する。
そして、逆直交変換回路３０が、直交変換回路２５の逆変換処理を行って生成した画像データを加算回路３３に出力する。
加算回路３３において、逆直交変換回路３０からの画像データと選択回路４４からの予測画像データＰＩとが加算されて再構成画像データが生成あれ、デブロックフィルタ３４に出力される。
そして、デブロックフィルタ３４において、再構成画像データのブロック歪みを除去した画像データが生成され、これが参照画像データとして、フレームメモリ３１に書き込まれる。

そして、イントラ予測回路４１において、上述したイントラ予測処理が行われ、その結果である予測画像データＰＩｉと、指標データＣＯＳＴｉとが選択回路４４に出力される。
また、ＲＧＢ変換回路５１、逆ガンマ変換回路５２、ＹＣｂＣｒ変換回路５３およびガンマ変換回路５４において、ピクチャデータＳ２２から、色差成分を強調した（強く反映させた）輝度信号であるガンマピクチャデータＳ５４を生成する。
そして、差分判定回路６３、動き予測・補償回路（１／４）６４および動き予測・補償回路６８において、図３〜図９を用いて説明した処理が行われ、その結果である予測画像データＰＩｍと、指標データＣＯＳＴｍとが選択回路４４に出力される。
そして、選択回路４４において、動き予測・補償回路６８から入力した指標データＣＯＳＴｍと、イントラ予測回路４１から入力した指標データＣＯＳＴｉとのうち小さい方を特定し、当該特定した指標データに対応して入力した予測画像データＰＩｍあるいはＰＩｉを演算回路２４および加算回路３３に出力する。

以上説明したように、符号化装置２は、動き予測・補償回路（１／４）６４において色差成分が強調されたガンマピクチャデータＳ６２を用いて１／４解像度で動きベクトルＭＶ１を探索し、動き予測・補償回路６８において、参照輝度ピクチャデータＲ＿ＰＩＣ内の動きベクトルＭＶ１を基準として規定した探索範囲で動きベクトルＭＶの探索を行う。
この場合に、差分判定回路６３において、処理対象（カレント）のピクチャデータＳ２３の再構成画像の輝度成分で構成されるカレントピクチャデータＣ＿ＰＩＣと、ピクチャデータＳ２３の色差成分が強調されたガンマピクチャデータＳ５４（Ｓ６２）との差異を検出する。
そして、動き予測・補償回路６８は、上記検出された差異が所定のしきい値を超えた場合に、超えない場合に比べて、上記探索範囲を狭く設定する。
すなわち、上記差異が大きい場合に、動き予測・補償回路６８における動きベクトル探索処理に、色差成分の影響を強く反映させる。
これにより、符号化装置２によれば、色差成分の符号化効率や色差成分を復号した画像の画質が低下することを回避できる。

＜第２実施形態＞
上述した実施形態では、差分判定回路６３が生成した判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に動き予測・補償回路６８の動きベクトル探索で用いる探索範囲を切り換える場合を例示したが、本実施形態では、図１に示す選択回路４４ａが、判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に、インター符号化およびイントラ符号化の選択を制御する場合を説明する。
本実施形態の符号化装置２ａの構成は、選択回路４４の処理を除いて、基本的に図１に示す第１実施形態の符号化装置２と同じである。
また、動き予測・補償回路６８は、第１実施形態で説明したように、判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に動きベクトル探索で用いる探索範囲を切り換える機能を有していてもよいし、従来のように有していなくてもよい。
また、動き予測・補償回路６８は、動きベクトルを階層的に探索しなくてもよい。この場合には、動き予測・補償回路（１／４）６４は不要である。

図１０は、本実施形態の符号化装置２ａの選択回路４４ａの処理を説明するための図である。
ステップＳＴ２１：
選択回路４４ａは、処理対象のマクロブロックＭＢの判定結果データｆｌｇ(ｉ，ｊ)を差分判定回路６３から取得し、それが「１」を示すと判断するとステップＳＴ２２に進み、そうでない場合はステップＳＴ２３に進む。

ステップＳＴ２２：
選択回路４４ａは、動き予測・補償回路６８から入力した指標データＣＯＳＴｍと、イントラ予測回路４１から入力した指標データＣＯＳＴｉとを比較することなく、イントラ符号化（イントラ予測モード）を選択する。
なお、選択回路４４ａは、所定のアルゴリズムで、指標データＣＯＳＴｍの値を上げたり、あるいは指標データＣＯＳＴｉの値を下げる処理を行い、イントラ予測モードが選択されやすくしてもよい。
ステップＳＴ２３：
選択回路４４ａは、第１実施形態の選択回路４４と同様に、動き予測・補償回路６８から入力した指標データＣＯＳＴｍと、イントラ予測回路４１から入力した指標データＣＯＳＴｉとのうち小さい方を特定し、インター予測符号化とイントラ予測符号化のうち当該特定した指標データに対応した符号化を選択する。

本実施形態では、イントラ予測回路４１がイントラ予測を行う場合に、各マクロブロックＭＢについて輝度成分および色差成分の双方の予測ブロックデータを生成する。
一方、動き予測・補償回路６８のインター予測では、輝度成分を基に動きベクトルＭＶを最終的に決定する。
本実施形態では、各マクロブロックＭＢについて、その輝度成分と色差成分との差分がしきい値を超える場合に、イントラ予測を強制的に選択させることで、色差成分の情報損失を低下させ、符号化誤差を抑制できる。

＜第３実施形態＞
上述した実施形態では、差分判定回路６３が生成した判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に動き予測・補償回路６８の動きベクトル探索で用いる探索範囲を切り換える場合を例示したが、本実施形態では、図１に示す動き予測・補償回路６８ｂが、判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に、図１６に示すブロックサイズの選択方法を制御する場合を説明する。
本実施形態の符号化装置２ｂの構成は、動き予測・補償回路６８ｂの処理を除いて、基本的に図１に示す第１実施形態の符号化装置２と同じである。
また、動き予測・補償回路６８ｂは、第１実施形態で説明したように、判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に動きベクトル探索で用いる探索範囲を切り換える機能を有していてもよいし、従来のように有していなくてもよい。
また、動き予測・補償回路６８ｂは、動きベクトルを階層的に探索しなくてもよい。この場合には、動き予測・補償回路（１／４）６４は不要である。

図１１は、本実施形態の符号化装置２ｂの動き予測・補償回路６８ｂのブロックデータのサイズを決定する処理を説明するための図である。
ステップＳＴ３１：
動き予測・補償回路６８ｂは、処理対象のマクロブロックＭＢの判定結果データｆｌｇ(ｉ，ｊ)を差分判定回路６３から取得し、それが「１」を示すと判断するとステップＳＴ３２に進み、そうでない場合はステップＳＴ３３に進む。

ステップＳＴ３２：
動き予測・補償回路６８ｂは、図７に示す１６ｘ１６のブロックサイズ未満のブロックサイズに対応した動き予測・補償モードを対象として、指標データＣＯＳＴｍを生成し、そＲを最小にする動き予測・補償モードを選択する。
なお、動き予測・補償回路６８は、１６ｘ１６のブロックサイズに対応した動き予測・補償モードが選択されにくくするように、指標データＣＯＳＴｍに重み付けを行う処理を施してもよい。
ステップＳＴ３３：
動き予測・補償回路６８ｂは、第１実施形態の動き予測・補償回路６８と同様に、図７に示す各サイズのブロックデータを用いて動きベクトルＭＶ１の生成処理を行う。

本実施形態では、各マクロブロックＭＢについて、その輝度成分と色差成分との差分がしきい値を超える場合に、色差情報の符号化誤差が生じやすい１６ｘ１６イントラ予測が選択されにくくでき、色差成分の符号化誤差を抑制できる。

＜第４実施形態＞
上述した実施形態では、差分判定回路６３が生成した判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に動き予測・補償回路６８の動きベクトル探索で用いる探索範囲を切り換える場合を例示したが、本実施形態では、図１に示すレート制御回路３２ｃが、判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に、量子化スケールＱＳの決定方法を切り替える場合を説明する。
本実施形態の符号化装置２ｃの構成は、レート制御回路３２ｃの処理を除いて、基本的に図１に示す第１実施形態の符号化装置２と同じである。
また、動き予測・補償回路６８は、第１実施形態で説明したように、判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に動きベクトル探索で用いる探索範囲を切り換える機能を有していてもよいし、従来のように有していなくてもよい。
また、動き予測・補償回路６８は、動きベクトルを階層的に探索しなくてもよい。この場合には、動き予測・補償回路（１／４）６４は不要である。

図１２は、本実施形態の符号化装置２ｃのレート制御回路３２ｃの処理を説明するためのフローチャートである。
ステップＳＴ４１：
レート制御回路３２ｃは、処理対象のマクロブロックＭＢの判定結果データｆｌｇ(ｉ，ｊ)を差分判定回路６３から取得し、それが「１」を示すと判断するとステップＳＴ４２に進み、そうでない場合はステップＳＴ４３に進む。

ステップＳＴ４２：
レート制御回路３２ｃは、バッファメモリ２８から読み出した画像データを基に量子化スケールＱＳを生成し、この量子化スケールＱＳの値を所定の割合で小さくする処理を行い、当該処理後の量子化スケールＱＳを量子化回路２６に出力する。
ステップＳＴ４３：
レート制御回路３２ｃは、バッファメモリ２８から読み出した画像データを基に量子化スケールＱＳを生成し、これを量子化スケールＱＳを量子化回路２６に出力する。

本実施形態では、各マクロブロックＭＢについて、その輝度成分と色差成分との差分がしきい値を超える場合に、量子化スケールＱＳを小さくすることで、色差成分の情報損失を低下させ、符号化誤差を抑制できる。

＜第５実施形態＞
上述した実施形態では、差分判定回路６３が生成した判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に動き予測・補償回路６８の動きベクトル探索で用いる探索範囲を切り換える場合を例示したが、本実施形態では、図１に示すレート制御回路３２ｃが、判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に、量子化スケールＱＳの決定方法を切り替える場合を説明する。
本実施形態の符号化装置２ｃの構成は、レート制御回路３２ｃの処理を除いて、基本的に図１に示す第１実施形態の符号化装置２と同じである。
また、動き予測・補償回路６８は、第１実施形態で説明したように、判定テーブルデータＣ＿ＦＬＧＴ，Ｒ＿ＦＬＧＴを基に動きベクトル探索で用いる探索範囲を切り換える機能を有していてもよいし、従来のように有していなくてもよい。
また、動き予測・補償回路６８は、動きベクトルを階層的に探索しなくてもよい。この場合には、動き予測・補償回路（１／４）６４は不要である。

図１３は、本実施形態の符号化装置２ｃのレート制御回路３２ｄの処理を説明するためのフローチャートである。
ステップＳＴ５１：
レート制御回路３２ｄは、処理対象のマクロブロックＭＢの判定結果データｆｌｇ(ｉ，ｊ)を差分判定回路６３から取得し、それが「１」を示すと判断するとステップＳＴ５２に進み、そうでない場合はステップＳＴ５３に進む。

ステップＳＴ５２：
レート制御回路３２ｃは、輝度成分と色差成分の各々について、バッファメモリ２８から読み出した画像データを基に量子化スケールＱＳを生成し、これを量子化回路２６に出力する。
量子化回路２６は、画像データＳ２５の輝度成分につては、レート制御回路３２ｃから入力した輝度成分の量子化スケールＱＳを用いて量子化する。
一方、量子化回路２６は、画像データＳ２５の色差成分につては、レート制御回路３２ｃから入力した色差成分の量子化スケールＱＳを用いて量子化する。
ステップＳＴ５３：
レート制御回路３２ｃは、バッファメモリ２８から読み出した画像データを基に量子化スケールＱＳを生成し、これを量子化スケールＱＳを量子化回路２６に出力する。
量子化回路２６は、画像データＳ２５を、輝度成分および色差成分を区別することなく、レート制御回路３２ｃから入力した輝度成分の量子化スケールＱＳを用いて量子化する。

本実施形態では、各マクロブロックＭＢについて、その輝度成分と色差成分との差分がしきい値を超える場合に、輝度成分と色差成分とで個別に量子化スケールＱＳを設定することで、色差成分の情報損失を低下させ、符号化誤差を抑制できる。

本発明は上述した実施形態には限定されない。
例えば、上述した実施形態では、ＭＰＥＧ４／ＡＶＣ方式の符号化装置２に本発明を適用した場合を例示したが、処理対象のブロックに関する処理を、輝度成分と色差成分を用いて行う処理を含む場合にも適用可能である。

また、間引き回路６１、フレームメモリ６２、差分判定回路６３、動き予測・補償回路（１／４）６４、動き予測・補償回路６８，６８ａ、レート制御回路３２ｃ，３２ｄ、選択回路４４ａの処理の一部を、プログラムをコンピュータやＣＰＵが実行して実現してもよい。

画像データを符号化するシステムに適用可能である。

図１は、本発明は、本発明の第１実施形態の通信システムの構成図である。 図２は、図１に示す符号化装置の機能ブロック図である。 図３は、図２に示す間引き回路の処理を説明するための図である。 図４は、図２に示す差分判定回路の処理を説明するための図である。 図５は、図２に示す差分判定回路の処理を説明するための図である。 図６は、図２に示す差分判定回路が記憶する判定テーブルデータを説明するための図である。 図７は、図２に示す動き予測・補償回路において用いられるブロックデータのサイズを説明するための図である。 図８は、図２に示す動き予測・補償回路における動きベクトルの探索処理を説明するための図である。 図９は、図２に示す符号化装置における動くベクトルの探索動作を説明するための図である。 図１０は、本発明の第２実施形態の符号化装置の選択回路の処理を説明するための図である。 図１１は、本発明の第３実施形態の符号化装置の動き予測・補償回路のブロックデータのサイズを決定する処理を説明するための図である。 図１２は、本発明の第４実施形態の符号化装置のレート制御回路の処理を説明するためのフローチャートである。 図１３は、本発明の第５実施形態の符号化装置のレート制御回路の処理を説明するためのフローチャートである。

符号の説明

１…通信システム、２，２ａ，２ｂ，２ｃ，２ｄ…符号化装置、３…復号装置、２２…Ａ／Ｄ変換回路、２３…画面並べ替え回路、２４…演算回路、２５…直交変換回路、２６…量子化回路、２７…可逆符号化回路、２８…バッファ、２９…逆量子化回路、３０…逆直交変換回路、３１…フレームメモリ、３２，３２ｃ，３２ｄ…レート制御回路、３３…加算回路、３４…デブロックフィルタ、４１…イントラ予測回路、４４，４４ａ…選択回路、５１…ＲＧＢ変換回路、５２…逆ガンマ変換回路、５３…ＹＣｂＣｒ変換回路、５４…ガンマ変換回路、６１…間引き回路、６２…フレームメモリ、６３…差分判定回路、６４…動き予測・補償回路（１／４）、６８，６８ｂ…動き予測・補償回路

Claims (14)

1. ２次元画像領域内に規定された複数のブロックを前記ブロックを単位として処理する画像処理装置であって、
   処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する差分検出手段と、
   前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの色差成分の影響を強く反映させた処理、あるいは前記色差成分の情報を失わない処理を行う処理手段と
   を有する画像処理装置。
2. 第１の解像度の前記色差強調ブロックを間引いて生成した第２の解像度の色差強調ブロックをメモリに記憶する間引き手段
   をさらに有し、
   前記処理手段は、
   前記処理対象のブロックから得られ前記メモリから読み出した前記第２の解像度の前記色差強調ブロックに対応する第２の解像度の色差強調ブロックを参照色差強調ピクチャ内で探索する第１の探索手段と、
   前記処理対象のブロックから得られた第１の解像度の輝度ブロックに対応する輝度ブロックを、参照輝度ピクチャ内の前記第１の探索手段が前記探索した色差強調ブロックの位置を基に規定された探索範囲内で探索し、当該探索した輝度ブロックと前記処理対象のブロックとの位置関係を基に、前記処理対象のブロックの動きベクトルを生成する第２の探索手段と
   を有し、
   前記第２の探索手段は、
   当該第１の探索手段が前記探索した前記参照色差強調ピクチャ内の前記色差強調ブロックに対応した前記ブロック、あるいは当該色差強調ブロックに対応した前記処理対象のピクチャ内の前記ブロックについて前記差分検出手段が検出した前記差分が前記所定のしきい値を超える場合に、前記所定のしきい値を超えない場合に比べて、前記探索範囲を狭く規定する
   請求項１に記載の画像処理装置。
3. 第１の解像度の前記色差強調ブロックを間引いて生成した第２の解像度の色差強調ブロックをメモリに記憶する間引き手段
   をさらに有し、
   前記処理手段は、
   前記処理対象のブロックから得られ前記メモリから読み出した前記第２の解像度の前記色差強調ブロックに対応する第２の解像度の色差強調ブロックを参照色差強調ピクチャ内で探索する第１の探索手段と、
   前記処理対象のブロックから得られた第１の解像度の輝度ブロックに対応する輝度ブロックを、参照輝度ピクチャ内の前記第１の探索手段が前記探索した色差強調ブロックの位置を基に規定された探索範囲内で探索し、当該探索した輝度ブロックと前記処理対象のブロックとの位置関係を基に、前記処理対象のブロックの動きベクトルを生成する第２の探索手段と
   を有し、
   前記第２の探索手段は、
   当該第１の探索手段が前記探索した前記参照色差強調ピクチャ内の前記色差強調ブロックに対応した前記ブロック、あるいは当該色差強調ブロックに対応した前記処理対象のピクチャ内の前記ブロックを基準として規定された所定の範囲内に前記差分検出手段が検出した前記差分が前記所定のしきい値を超えるブロックが存在する場合に、前記存在しない場合に比べて、前記探索範囲を狭く規定する
   請求項１に記載の画像処理装置。
4. 前記差分検出手段は、
   前記処理対象のブロックから得られた前記第１の解像度の前記輝度ブロックを前記第２の解像度に間引いた前記輝度ブロックと、前記処理対象のブロックに対応し前記メモリから読み出した前記第２の解像度の色差強調ブロックとの差分を検出する
   請求項２に記載の画像処理装置。
5. 前記差分検出手段は、
   前記処理対象のブロックに対応し前記メモリから読み出した前記第２の解像度の色差強調ブロックを補間して生成した前記第１の解像度の色差強調ブロックと、前記処理対象のブロックから得られた前記第１の解像度の前記輝度ブロックとの差分を検出する
   請求項２に記載の画像処理装置。
6. 前記処理手段は、
   前記処理対象のブロックと、当該ブロックの予測ブロックとの差分を量子化する量子化処理を行い、
   前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて細かい量子化スケールで前記差分を量子化する
   請求項２に記載の画像処理装置。
7. 前記処理手段は、
   前記処理対象のブロックと、当該ブロックの予測ブロックとの差分を量子化する量子化処理を行い、
   前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、符号化後のデータ量を基に前記処理対象のブロックの輝度成分と色差成分とを個別の量子化スケールで量子化し、前記差分が所定のしきい値を越えない場合に、符号化後のデータ量を基に前記処理対象のブロックの輝度成分と色差成分とを同じ量子化スケールで量子化する
   請求項２に記載の画像処理装置。
8. 前記処理手段は、
   前記処理対象のブロックのイントラ予測符号化による符号化コストと、インター予測符号化による符号化コストとを比較して、符号化コストの小さい方を選択し、
   前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記イントラ予測符号化による前記符号化コストを、前記インター予測符号化による前記符号化コストに対して相対的に下げる
   請求項２に記載の画像処理装置。
9. 前記処理手段は、
   前記処理対象のブロックのイントラ予測符号化による符号化コストと、インター予測符号化による符号化コストとを比較して、符号化コストの小さい方を選択し、
   前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、強制的に、前記イントラ予測符号化を選択する
   請求項２に記載の画像処理装置。
10. 前記処理手段は、
    第１のサイズの前記処理対象のブロックを用いた場合の符号化コストと、前記第１のサイズより小さい第２のサイズの前記処理対象のブロックを用いた場合の符号化コストとを比較して、符号化コストの小さい方を選択し、
    前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記第２のサイズによる前記符号化コストを、前記第１のサイズによる前記符号化コストに対して相対的に下げる
    請求項２に記載の画像処理装置。
11. 前記処理対象のブロックの輝度成分に対して色差成分を強調した色差強調ブロックを生成する色差強調ブロック生成手段
    をさらに有する
    請求項２に記載の画像処理装置。
12. ２次元画像領域内に規定された複数のブロックを前記ブロックを単位として符号化する符号化装置であって、
    処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する差分検出手段と、
    前記差分検出手段が検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの色差成分の影響を強く反映させた符号化処理、あるいは前記色差成分の情報を失わない符号化処理を行う処理手段と
    を有する符号化装置。
13. ２次元画像領域内に規定された複数のブロックを前記ブロックを単位として処理する画像処理方法であって、
    処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する第１の工程と、
    前記第１の工程で検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの色差成分の影響を強く反映させた処理、あるいは前記色差成分の情報を失わない処理を行う第２の工程と
    を有する画像処理方法。
14. ２次元画像領域内に規定された複数のブロックを前記ブロックを単位として符号化する符号化方法であって、
    処理対象のピクチャ内の処理対象の前記ブロック、あるいは当該処理対象の前記ブロックの処理に用いられるブロックについて、当該ブロックの輝度成分に対して色差成分を強調した色差強調ブロックと、当該ブロックから得た輝度成分の輝度ブロックとの差分を検出する第１の工程と、
    前記第１の工程で検出した前記差分が所定のしきい値を越える場合に、前記差分が前記所定のしきい値を超えない場合に比べて、前記処理対象のブロックの色差成分の影響を強く反映させた符号化処理、あるいは前記色差成分の情報を失わない符号化処理を行う第２の工程と
    を有する符号化方法。
    

Images