JP2004088795A - 画像信号生成装置および方法、並びに、画像信号再生装置および方法 - Google Patents

Abstract

【課題】　必要に応じて、解像度の高い色の画像を得ることができるようにする。
【解決手段】　所定のマクロブロックの、輝度ブロックのデータY1乃至Y4、および最も低い解像度の色差ブロックのデータCb5"，Cr6"により構成されるマスタスライス、対応するマクロブロックの中間の解像度の色差ブロックのデータCb5'，Cr6'，Cb7'，Cr8'，により構成されるスレーブスライス１、並びに対応するマクロブロックの最も高い解像度の色差ブロックのデータCb5，Cr6，Cb7，Cr8，Cb9，Cr10，Cb11，Cr12により構成されるスレーブスライス2が、順次配置される。
【選択図】　図８

Description

　本発明は、動画像信号を、例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器など、動画像信号を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合などに用いて好適な、画像信号生成装置および方法、並びに、画像信号再生装置および方法に関する。

　例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。

　ライン相関を利用すると、画像信号を、例えばＤＣＴ（離散コサイン変換）処理するなどして圧縮することができる。

　また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図１４に示すように、時刻ｔ１，ｔ２，ｔ３において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算して、ＰＣ１２を生成し、また、フレーム画像ＰＣ２とＰＣ３の差を演算して、ＰＣ２３を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。

　しかしながら、差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Ｉピクチャ、ＰピクチャまたはＢピクチャの３種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。

　即ち、例えば図１５に示すように、フレームＦ１乃至Ｆ１７までの１７フレームの画像信号をグループオブピクチャとし、処理の１単位とする。そして、その先頭のフレームＦ１の画像信号はＩピクチャとして符号化し、第２番目のフレームＦ２はＢピクチャとして、また第３番目のフレームＦ３はＰピクチャとして、それぞれ処理する。以下、第４番目以降のフレームＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとして交互に処理する。

　Ｉピクチャの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対して、Ｐピクチャの画像信号としては、基本的には、図１５（Ａ）に示すように、それより時間的に先行するＩピクチャまたはＰピクチャの画像信号からの差分を伝送する。さらにＢピクチャの画像信号としては、基本的には、図１５（Ｂ）に示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。

　図１６は、このようにして、動画像信号を符号化する方法の原理を示している。同図に示すように、最初のフレームＦ１はＩピクチャとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に伝送される（画像内符号化）。これに対して、第２のフレームＦ２は、Ｂピクチャとして処理されるため、時間的に先行するフレームＦ１と、時間的に後行するフレームＦ３の平均値との差分が演算され、その差分が伝送データＦ２Ｘとして伝送される。

　但し、このＢピクチャとしての処理は、さらに細かく説明すると、４種類存在する。その第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１）（イントラ符号化）、Ｉピクチャにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、その差分（ＳＰ２）を伝送するものである（後方予測符号化）。第３の処理は、時間的に先行するフレームＦ１との差分（ＳＰ３）を伝送するものである（前方予測符号化）。さらに第４の処理は、時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測符号化）。

　この４つの方法のうち、伝送データが最も少なくなる方法が採用される。

　尚、差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベクトル）（前方予測の場合）、もしくはｘ２（フレームＦ３とＦ２の間の動きベクトル）（後方予測の場合）、またはｘ１とｘ２の両方（両方向予測の場合）が、差分データとともに伝送される。

　また、ＰピクチャのフレームＦ３は、時間的に先行するフレームＦ１を予測画像として、このフレームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測符号化）。あるいはまた、元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送される（ＳＰ１）（イントラ符号化）。いずれの方法により伝送されるかは、Ｂピクチャにおける場合と同様に、伝送データがより少なくなる方が選択される。

　図１７は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の構成例を示している。符号化装置１は、入力された映像信号を符号化し、伝送路としての記録媒体３に伝送するようになされている。そして、復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力するようになされている。

　符号化装置１においては、入力された映像信号が前処理回路１１に入力され、そこで輝度信号と色信号（この例の場合、色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３によりＡ／Ｄ変換されてデジタル信号となった映像信号は、フレームメモリ１４に供給され、記憶される。フレームメモリ１４は、輝度信号を輝度信号フレームメモリ１５に、また、色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。

　フォーマット変換回路１７は、フレームメモリ１４に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。即ち、図１８に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。フォーマット変換回路１７は、この１フレームの信号を、１６ラインを単位としてＭ個のスライスに区分する。そして、各スライスは、Ｍ個のマクロブロックに分割される。各マクロブロックは、１６×１６個の画素（ドット）に対応する輝度信号により構成され、この輝度信号は、さらに８×８ドットを単位とするブロックＹ［１］乃至Ｙ［４］に区分される。そして、この１６×１６ドットの輝度信号には、８×８ドットのＣｂ信号と、８×８ドットのＣｒ信号が対応される。

　このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）が行われる。その詳細については、図１９を参照して後述する。

　エンコーダ１８によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体３に記録される。

　記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給され、デコードされる。デコーダ３１の詳細については、図２２を参照して後述する。

　デコーダ３１によりデコードされたデータは、フォーマット変換回路３２に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給され、記憶され、色差信号は色差信号フレームメモリ３５に供給され、記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給され、合成される。そして、図示せぬ例えばＣＲＴなどのディスプレイに出力され、表示される。

　次に図１９を参照して、エンコーダ１８の構成例について説明する。

　符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、図１５に示したように、フレームＦ１乃至Ｆ１７により構成されるグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。

　Ｉピクチャとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部５１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送、記憶される。

　また、次のタイミングにおいて、さらにＢピクチャ（フレームＦ４）またはＰピクチャ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。

　フレームメモリ５１に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り替え回路５２において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測、または両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（２乗和でもよい）を生成する。

　ここで、予測モード切り替え回路５２におけるフレーム予測モードとフィールド予測モードについて説明する。

　フレーム予測モードが設定された場合においては、予測モード切り替え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出力する。即ち、この場合においては、図２０（Ａ）に示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。

　これに対して、予測モード切り替え回路５２は、フィールド予測モードにおいては、図２０（Ａ）に示す構成で動きベクトル検出回路５０より入力される信号を、図２０（Ｂ）に示すように、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。

　動きベクトル検出回路５０は、フレーム予測モードにおける予測誤差の絶対値和と、フィールド予測モードにおける予測誤差の絶対値和を、予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフィールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。

　但し、このような処理は、実際には動きベクトル検出回路５０で行われる。即ち、動きベクトル検出回路５０は、決定されたモードに対応する構成の信号を予測モード切り替え回路５２に出力し、予測モード切り替え回路５２は、その信号を、そのまま後段の演算部５３に出力する。

　尚、色差信号は、フレーム予測モードの場合、図２０（Ａ）に示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部５３に供給される。また、フィールド予測モードの場合、図２０（Ｂ）に示すように、各色差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ［４］に対応する偶数フィールドの色差信号とされる。

　また、動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、画像内予測、前方予測、後方予測、または両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。

　即ち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijの和ΣＡijの絶対値|ΣＡij|と、マクロブロックの信号Ａijの絶対値|Ａij|の和Σ|Ａij|の差を求める。また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijと、予測画像のマクロブロックの信号Ｂijの差Ａij−Ｂijの絶対値|Ａij−Ｂij|の和Σ|Ａij−Ｂij|を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。

　これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測および両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。即ち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが設定される。

　このように、動きベクトル検出回路５０は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測モード切り替え回路５２により選択されたモードに対応する構成で、予測モード切り替え回路５２を介して演算部５３に供給するとともに、４つの予測モードのうち、予測判定回路５４により選択された予測モードに対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路５８と動き補償回路６４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。

　予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチャの画像データを読み出しているとき、予測モードとして、フレーム（画像）内予測モード（動き補償を行わないモード）を設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り替える。これにより、Ｉピクチャの画像データがＤＣＴモード切り替え回路５５に入力される。

　このＤＣＴモード切り替え回路５５は、図２１（Ａ）または（Ｂ）に示すように、４個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態（フレームＤＣＴモード）、または、分離された状態（フィールドＤＣＴモード）、のいずれかの状態にして、ＤＣＴ回路５６に出力する。

　即ち、ＤＣＴモード切り替え回路５５は、奇数フィールドと偶数フィールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。

　例えば、入力された信号を、図２１（Ａ）に示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また、入力された信号を、図２１（Ｂ）に示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。さらに、両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。即ち、前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フィールドＤＣＴモードを設定する。

　そして、選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路５８と動き補償回路６４に出力する。

　予測モード切り替え回路５２における予測モード（図２０）と、このＤＣＴモード切り替え回路５５におけるＤＣＴモード（図２１）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。

　予測モード切り替え回路５２において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り替え回路５５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り替え回路５２において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り替え回路５５において、フィールドＤＣＴモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。

　しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り替え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り替え回路５５においては、符号化効率が良好となるようにモードが決定される。

　ＤＣＴモード切り替え回路５５より出力されたＩピクチャの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路５７に入力され、送信バッファ５９
のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路５８に入力される。

　可変長符号化回路５８は、量子化回路５７より供給される量子化ステップ（スケール）に対応して、量子化回路５７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ５９に出力する。

　可変長符号化回路５８にはまた、量子化回路５７より量子化ステップ（スケール）、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、動きベクトル検出回路５０より動きベクトル、予測モード切り替え回路５２より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、およびＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。

　送信バッファ５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。

　送信バッファ５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ５９は、量子化制御信号によって量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ５９のオーバフローまたはアンダフローが防止される。

　そして、送信バッファ５９に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力され、例えば記録媒体３に記録される。

　一方、量子化回路５７より出力されたＩピクチャのデータは、逆量子化回路６０に入力され、量子化回路５７より供給される量子化ステップに対応して逆量子化される。逆量子化回路６０の出力は、ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された後、演算器６２を介してフレームメモリ６３の前方予測画像部６３ａに供給され、記憶される。

　動きベクトル検出回路５０は、シーケンシャルに入力される各フレームの画像データを、たとえば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測を伴うため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。

　そこで動きベクトル検出回路５０は、Ｉピクチャの処理の次に、後方原画像部５１ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測モード切り替え回路５２と予測判定回路５４に供給される。予測モード切り替え回路５２と予測判定回路５４は、このＰピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム／フィールド予測モード、または画像内予測、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。

　演算部５３はフレーム内予測モードが設定されたとき、スイッチ５３ｄを上述したように接点ａ側に切り替える。従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２を介してフレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。

　前方予測モードの時、スイッチ５３ｄが接点ｂに切り替えられるとともに、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（いまの場合Ｉピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

　動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。

　この演算器６２にはまた、演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。

　動きベクトル検出回路５０は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。予測モード切り替え回路５２と予測判定回路５４は、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールドモードを設定し、また、予測モードをフレーム内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。

　上述したように、フレーム内予測モードまたは前方予測モードの時、スイッチ５３ｄは接点ａまたはｂに切り替えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。

　これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ５３ｄは、接点ｃまたはｄにそれぞれ切り替えられる。

　スイッチ５３ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

　動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り替え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。

　スイッチ５３ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。

　動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。

　Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。

　尚、フレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。

　以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図２０および図２１に示すマクロブロックを単位として処理され、伝送される。尚、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。

　次に、図２２は、図１７のデコーダ３１の一例の構成を示すブロック図である。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、受信バッファ８１に一時記憶された後、復号回路９０の可変長復号化回路８２に供給される。可変長復号化回路８２は、受信バッファ８１より供給されたデータを可変長復号化し、動きベクトル、予測モード、予測フラグおよびＤＣＴフラグを動き補償回路８７に、また、量子化ステップを逆量子化回路８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。

　逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化ステップに従って逆量子化し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８４で、逆ＤＣＴ処理され、演算器８５に供給される。

　ＩＤＣＴ回路８４より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部８６ａに供給されて記憶される。また、このデータは、フォーマット変換回路３２（図１７）に出力される。

　ＩＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであって、前方予測モードのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして、演算器８５において、ＩＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、即ち、復号されたＰピクチャのデータは、演算器８５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部８６ｂに供給されて記憶される。

　Ｐピクチャのデータであっても、画像内予測モードのデータは、Ｉピクチャのデータと同様に、演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。

　このＰピクチャは、次のＢピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路３２へ出力されない（上述したように、Ｂピクチャの後に入力されたＰピクチャが、Ｂピクチャより先に処理され、伝送されている）。

　ＩＤＣＴ回路８４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において、可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。

　このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において、ＩＤＣＴ回路８４の出力と加算される。この加算出力は、フォーマット変換回路３２に出力される。

　但し、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。

　Ｂピクチャの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路８７を介して演算器８５に供給される。但し、このとき、動き補償は行われない。

　尚、このデコーダ３１には、図１９のエンコーダ１８における予測モード切り替え回路５２とＤＣＴモード切り替え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、即ち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８７が実行する。

　また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。但し、この場合、動きベクトルは、輝度信号用のものを、垂直方向および水平方向に１／２にしたものが用いられる。

　以上のように、従来の画像信号符号化および復号化方法では、色差信号の解像度は１種類に固定されており、複数種の解像度の色差信号を伝送することはできなかった。

　本発明はこのような状況に鑑みてなされたものであり、複数種類の解像度の色差信号を効率良く伝送し、複数種類の解像度の色の画像をリアルタイムに容易に得ることができるようにするものである。

　本発明の画像信号生成装置は、所定のマクロブロック単位で符号化された画像信号を生成する画像信号生成装置であって、マクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化手段と、マクロブロックの第１の解像度とは異なる第２の解像度の色信号成分を、第１の画像符号化手段により符号化された第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化手段と、第１の画像符号化手段から出力された第１のスライスデータ信号と、第２の画像符号化手段から出力された第２のスライスデータ信号とを、復号処理のときに順次読み出されていずれか一方が選択されるように、互いに近接する位置に配置して合成する合成手段とを備えることを特徴とする。

　第２の画像符号化手段は、第１の符号化色信号が復号された信号に基づいて、第２の解像度の色信号成分に対する第１の予測画像信号を生成する第１の予測画像生成手段と、符号化済みの画像信号に関する第２の符号化色信号を保存する保存手段と、保存手段に保存済みの第２の符号化色信号が復号された信号に基づいて、第２の解像度の色信号成分に対する第２の予測画像信号を生成する第２の予測画像生成手段と、第１の予測画像生成手段により生成された第１の予測画像信号を用いた場合における予測誤差信号と、第２の予測画像生成手段により生成された第２の予測画像信号を用いた場合における予測誤差信号とを比較し、その比較の結果に基づいて、第１の予測画像信号と第２の予測画像信号のうちのいずれか一方を選択する選択手段と、第２の解像度の色信号成分を、第１の予測画像信号と第２の予測画像信号のうちの選択手段により選択された方を用いて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の符号化色信号生成手段とを有するようにすることができる。

　合成手段は、第１のスライスデータ信号と第２のスライスデータ信号とともに、選択手段による選択の結果をさらに多重合成するようにすることができる。

　第２の画像符号化手段は、符号化済みの画像信号に関する第２の符号化色信号を保存する保存手段と、第１の符号化色信号を復号した信号と、保存手段に保存済みの第２の符号化色信号を復号した信号とに、其々所定の重み付けを行って合成する信号合成手段とを有し、第２の解像度の色信号成分を、信号合成手段により重み付け合成された復号信号に基づいて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力するようにすることができる。

　第２の画像符号化手段において、信号合成手段は、其々大きさが異なる複数の重み付け係数で第１の符号化色信号を復号した信号と保存手段に保存済みの第２の符号化色信号を復号した信号とを重み付け合成して、複数の復号信号を生成し、複数の重み付け係数のそれぞれについて、復号信号に基づいて第２の符号化色信号を生成した場合における予測誤差信号をそれぞれ算出して比較し、何れの復号信号を第２の符号化色信号の符号化に用いるか選択する選択手段を更に有するようにすることができる。

　合成手段は、第１のスライスデータ信号と第２のスライスデータ信号とともに、重み付け係数をさらに多重合成するようにすることができる。

　本発明の画像信号生成方法は、所定のマクロブロック単位で符号化された画像信号を生成する画像信号生成方法であって、マクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化ステップと、マクロブロックの第１の解像度とは異なる第２の解像度の色信号成分を、第１の画像符号化ステップの処理により符号化された第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化ステップと、第１の画像符号化ステップの処理により出力された第１のスライスデータ信号と、第２の画像符号化ステップの処理により出力された第２のスライスデータ信号とを、復号処理のときに順次読み出されていずれか一方が選択されるように、互いに近接する位置に配置して合成する合成ステップとを含むことを特徴とする。

　第２の画像符号化ステップは、第１の符号化色信号が復号された信号に基づいて、第２の解像度の色信号成分に対する第１の予測画像信号を生成する第１の予測画像生成ステップと、符号化済みの画像信号に関する第２の符号化色信号を保存する保存ステップと、保存ステップの処理により保存済みの第２の符号化色信号が復号された信号に基づいて、第２の解像度の色信号成分に対する第２の予測画像信号を生成する第２の予測画像生成ステップと、第１の予測画像生成ステップの処理により生成された第１の予測画像信号を用いた場合における予測誤差信号と、第２の予測画像生成ステップの処理により生成された第２の予測画像信号を用いた場合における予測誤差信号とを比較し、その比較の結果に基づいて、第１の予測画像信号と第２の予測画像信号のうちのいずれか一方を選択する選択ステップと、第２の解像度の色信号成分を、第１の予測画像信号と第２の予測画像信号のうちの選択ステップの処理により選択された方を用いて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の符号化色信号生成ステップとを含むようにすることができる。

　合成ステップは、第１のスライスデータ信号と第２のスライスデータ信号とともに、選択ステップの選択処理の結果をさらに多重合成するようにすることができる。

　第２の画像符号化ステップは、符号化済みの画像信号に関する第２の符号化色信号を保存する保存ステップと、第１の符号化色信号を復号した信号と、保存ステップの処理により保存済みの第２の符号化色信号を復号した信号とに、其々所定の重み付けを行って合成する信号合成ステップとを含み、第２の解像度の色信号成分を、信号合成ステップの処理により重み付け合成された復号信号に基づいて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力するようにすることができる。

　第２の画像符号化ステップにおいて、信号合成ステップは、其々大きさが異なる複数の重み付け係数で第１の符号化色信号を復号した信号と保存ステップの処理により保存済みの第２の符号化色信号を復号した信号とを重み付け合成して、複数の復号信号を生成し、複数の重み付け係数のそれぞれについて、復号信号に基づいて第２の符号化色信号を生成した場合における予測誤差信号をそれぞれ算出して比較し、何れの復号信号を第２の符号化色信号の符号化に用いるか選択する選択ステップを更に含むようにすることができる。

　合成ステップは、第１のスライスデータ信号と第２のスライスデータ信号とともに、重み付け係数をさらに多重合成して出力するようにすることができる。

　本発明の画像信号生成装置および方法においては、画像信号がマクロブロック単位で符号化されて画像信号が生成される。詳細には、マクロブロックの輝度信号成分が符号化されて符号化輝度信号が生成されるとともに、マクロブロックの色信号成分が第１の解像度で符号化されて第１の符号化色信号が生成され、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号が出力される。また、マクロブロックの第１の解像度より高い第２の解像度の色信号成分が、第１の画像符号化ステップの処理により符号化された第１の符号化色信号が復号された信号を用いて符号化されて第２の符号化色信号が生成され、第２の符号化色信号を含む第２のスライスデータ信号が出力される。そして、出力された第１のスライスデータ信号と、出力された第２のスライスデータ信号とが、復号処理のときに順次読み出されていずれか一方が選択されように、互いに近接する位置に配置されて合成される。

　本発明の画像信号再生装置は、所定のマクロブロック単位で符号化された画像信号であって、符号化された画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号、およびマクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号を含む第１のスライスデータ信号と、マクロブロックの第１の解像度とは異なる第２の解像度の色信号成分が、第１の符号化色信号が復号された信号を用いて符号化された第２の符号化色信号を含む第２のスライスデータ信号とが、互いに近接する位置に配置されて供給されてきた画像信号を再生する画像信号再生装置であって、マクロブロックに対応する第１のスライスデータ信号と第２のスライスデータ信号とを順次再生し、再生した第１のスライスデータ信号と第２のスライスデータ信号とを分離する分離手段と、第１のスライスデータ信号から、符号化輝度信号を復号して輝度信号成分を再生するとともに、第１の符号化色信号を復号して第１の解像度の第１の色信号成分を再生する第１の画像復号手段と、第１の画像復号手段により復号された第１の色信号成分を用いて、第２のスライスデータ信号から第２の符号化色信号を復号して、第２の解像度の第２の色信号成分を再生する第２の画像復号手段と、第１の画像復号手段により再生された第１の色信号成分と、第２の画像復号手段により再生された第２の色信号成分とのうち、マクロブロックの復号の処理に用いられる色信号成分を選択する選択手段とを備えることを特徴とする。

　第２の画像復号化手段は、第１の色信号成分に基づいて、第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成手段と、既に復号された第２の色信号成分を保存する保存手段と、保存手段に保存された第２の色信号成分に基づいて、第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成手段と、第１の予測画像生成手段により生成された第１の予測画像信号と、第２の予測画像生成手段により生成された第２の予測画像信号とのうちのいずれか一方を選択する予測画像選択手段と、第２の符号化色信号を、第１の予測画像信号と第２の予測画像信号のうちの予測画像選択手段により選択された方を用いて復号して第２の色信号成分を再生する第２の色信号再生手段とを有するようにすることができる。

　第１のスライスデータ信号と第２のスライスデータ信号とを含む画像信号には、第１の予測画像信号と第２の予測画像信号とのうちの何れを利用するのかを指示する指令がさらに多重合成されており、予測画像選択手段は、その指令に基づいて、第１の予測画像信号と第２の予測画像信号とのうちのいずれか一方を選択するようにすることができる。

　第２の画像復号手段は、第１の色信号成分に基づいて、第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成手段と、既に復号された第２の色信号成分を保存する保存手段と、保存手段に保存された第２の色信号成分に基づいて、第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成手段と、第１の予測画像信号と第２の予測画像信号とに、それぞれ所定の重み付けを行って合成した合成信号を出力する予測画像合成手段と、第２の符号化色信号を、合成信号を用いて復号して第２の色信号成分を再生する第２の色信号再生手段とを有するようにすることができる。

　第１のスライスデータ信号と第２のスライスデータ信号とを含む画像信号には、予測画像合成手段の予測画像信号の合成処理で用いられる重み付け係数がさらに多重合成されており、予測画像合成手段は、重み付け係数に基づいて第１の予測画像信号と第２の予測画像信号とを重み付け合成して、合成信号を出力するようにすることができる。

　本発明の画像信号再生方法は、所定のマクロブロック単位で符号化された画像信号であって、符号化された画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号、およびマクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号を含む第１のスライスデータ信号と、マクロブロックの第１の解像度とは異なる第２の解像度の色信号成分が、第１の符号化色信号が復号された信号を用いて符号化された第２の符号化色信号を含む第２のスライスデータ信号とが、互いに近接する位置に配置されて供給されてきた画像信号を再生する画像信号再生方法であって、マクロブロックに対応する第１のスライスデータ信号と第２のスライスデータ信号とを順次再生し、再生した第１のスライスデータ信号と第２のスライスデータ信号とを分離する分離ステップと、第１のスライスデータ信号から、符号化輝度信号を復号して輝度信号成分を再生するとともに、第１の符号化色信号を復号して第１の解像度の第１の色信号成分を再生する第１の画像復号ステップと、第１の画像復号ステップの処理により復号された第１の色信号成分を用いて、第２のスライスデータ信号から第２の符号化色信号を復号して、第２の解像度の第２の色信号成分を再生する第２の画像復号ステップと、第１の画像復号ステップの処理により再生された第１の色信号成分と、第２の画像復号ステップの処理により再生された第２の色信号成分とのうち、マクロブロックの復号の処理に用いられる色信号成分を選択する選択ステップとを含むことを特徴とする。

　第２の画像復号化ステップは、第１の色信号成分に基づいて、第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成ステップと、既に復号された第２の色信号成分を保存する保存ステップと、保存ステップの処理により保存された第２の色信号に基づいて、第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成ステップと、第１の予測画像生成ステップの処理により生成された第１の予測画像信号と、第２の予測画像生成ステップの処理により生成された第２の予測画像信号とのうちのいずれか一方を選択する予測画像選択ステップと、第２の符号化色信号を、第１の予測画像信号と第２の予測画像信号のうちの予測画像選択ステップの処理により選択された方を用いて復号して第２の色信号成分を再生する第２の色信号再生ステップとを含むようにすることができる。

　第１のスライスデータ信号と第２のスライスデータ信号とを含む画像信号には、第１の予測画像信号と第２の予測画像信号とのうちの何れを利用するのかを指示する指令がさらに多重合成されており、予測画像選択ステップは、その指令に基づいて、第１の予測画像信号と第２の予測画像信号とのうちのいずれか一方を選択するようにすることができる。

　第２の画像復号ステップは、第１の色信号成分に基づいて、第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成ステップと、既に復号された第２の色信号成分を保存する保存ステップと、保存ステップの処理により保存された第２の色信号成分に基づいて、第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成ステップと、第１の予測画像信号と第２の予測画像信号とに、それぞれ所定の重み付けを行って合成した合成信号を出力する予測画像合成ステップと、第２の符号化色信号を、合成信号を用いて復号して第２の色信号成分を再生する第２の色信号再生ステップとを含むようにすることができる。

　第１のスライスデータ信号と第２のスライスデータ信号とを含む画像信号には、予測画像合成ステップの予測画像信号の合成処理で用いられる重み付け係数がさらに多重合成されており、予測画像合成ステップは、重み付け係数に基づいて第１の予測画像信号と第２の予測画像信号とを重み付け合成して、合成信号を出力するようにすることができる。

　本発明の画像信号再生装置および方法においては、符号化された画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号と、マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号とを含む第１のスライスデータ信号と、第１の符号化色信号が復号された信号を利用して符号化された第２の符号化色信号を含む第２のスライスデータ信号とが、互いに近接する位置に配置されて提供されてきた画像信号が再生される。詳細には、マクロブロックに対応する第１のスライスデータ信号と、第２のスライスデータ信号とが順次再生され、再生された第１のスライスデータ信号と第２のスライスデータ信号とが分離される。第１のスライスデータ信号から、符号化輝度信号が復号されて輝度信号成分が再生されるとともに、第１の符号化色信号が復号されて第１の解像度の第１の色信号成分が再生される。一方、復号された第１の色信号成分が用いられて、第２のスライスデータ信号から第２の符号化色信号が復号されて、第２の解像度の第２の色信号成分が再生される。そして、再生された第１の色信号成分と第２の色信号成分とのうち、マクロブロックの復号の処理に用いられる色信号成分が選択される。

　以上のごとく、本発明によれば、解像度の低い色信号に対応する画像を復号化する装置において、解像度の高い色信号成分を処理する回路を付加するだけで、必要に応じて、解像度の低い色の画像と解像度の高い色の画像をリアルタイムに得ることが容易に可能となる。

　以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

　さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

　本発明によれば、画像信号生成装置が提供される。この画像信号生成装置（例えば、図１０または図１２の画像信号生成装置）は、所定のマクロブロック単位で符号化された画像信号を生成する画像信号生成装置であって、マクロブロックの輝度信号成分（例えば、図１０または図１２のY1乃至Y４）を符号化して符号化輝度信号（例えば、図１０または図１２の<Y1>，<Y2>，<Y3>，<Y4>）を生成するとともに、前記マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し（例えば、図１０または図１２のCb5''とCr6''とを符号化して<cb5''>と<cr6''>を生成し）、前記符号化輝度信号と前記第１の符号化色信号とを含む第１のスライスデータ信号（例えば、図８のマスタスライス）を出力する第１の画像符号化手段（例えば、図１０または図１２の回路１００）と、前記マクロブロックの前記第１の解像度とは異なる第２の解像度の色信号成分（例えば、図１０または図１２のCb5'，Cr6'，Cb7'，Cr8'）を、前記第１の画像符号化手段により符号化された前記第１の符号化色信号が復号された信号（例えば、回路１００の演算器６２からの信号）を用いて符号化して第２の符号化色信号（例えば、図１０または図１２の<Cb5'>，<Cr6'>，<Cb7'>，<Cr8'>）を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号（例えば、図８のスレーブスライス１）を出力する第２の画像符号化手段（例えば、図１０または図１２の回路１０１）と、前記第１の画像符号化手段から出力された前記第１のスライスデータ信号と、前記第２の画像符号化手段から出力された前記第２のスライスデータ信号とを、復号の処理のときに順次読み出されていずれか一方が選択されるように、互いに近接する位置に配置して（例えば、図８に示されるように配置して）合成する合成手段（例えば、図１０の合成回路１０５）とを備えることを特徴とする。

　この画像信号生成装置の第２の画像符号化手段（例えば、図１０の回路１０１）は、前記第１の符号化色信号が復号された前記信号に基づいて、前記第２の解像度の前記色信号成分に対する第１の予測画像信号を生成する第１の予測画像生成手段（例えば、図１０のアップサンプリング回路１１１）と、符号化済みの画像信号に関する前記第２の符号化色信号を保存する保存手段（例えば、図１０のクロマフレームメモリ１７４）と、前記保存手段に保存済みの前記第２の符号化色信号が復号された信号に基づいて、前記第２の解像度の前記色信号成分に対する第２の予測画像信号を生成する第２の予測画像生成手段（例えば、図１０の動き補償回路１７５）と、前記第１の予測画像生成手段により生成された前記第１の予測画像信号を用いた場合における予測誤差信号と、前記第２の予測画像生成手段により生成された前記第２の予測画像信号を用いた場合における予測誤差信号とを比較し、その比較の結果に基づいて、前記第１の予測画像信号と前記第２の予測画像信号のうちのいずれか一方を選択する選択手段（例えば、図１０の選択回路１７６）と、前記第２の解像度の前記色信号成分を、前記第１の予測画像信号と前記第２の予測画像信号のうちの前記選択手段により選択された方を用いて符号化して前記第２の符号化色信号を生成し、前記第２の符号化色信号を含む前記第２のスライスデータ信号を出力する第２の符号化色信号生成手段（例えば、図１０の演算器１１２乃至可変長符号化回路１１５）とを有することができる。

　この画像信号生成装置の前記合成手段（例えば、図１０の回路１０５）は、前記第１のスライスデータ信号と前記第２のスライスデータ信号とともに、前記選択手段による選択の結果（例えば、図１０のSpace/Time flag）をさらに多重合成することができる。

　この画像信号生成装置の前記第２の画像符号化手段（例えば、図１２の回路１０１）は、符号化済みの画像信号に関する前記第２の符号化色信号を保存する保存手段（例えば、図１２のクロマフレームメモリ１７４）と、前記第１の符号化色信号を復号した信号と、前記保存手段に保存済みの前記第２の符号化色信号を復号した信号とに、其々所定の重み付けを行って合成する信号合成手段と（例えば、図１２のアップサンプリング回路１１１、動き補償回路１７５、重み付け回路１９１、重み付け回路１９２、および、演算器１９３）とを有し、前記第２の解像度の色信号成分を、前記信号合成手段により重み付け合成された復号信号に基づいて符号化して前記第２の符号化色信号を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号を出力することができる。

　この画像信号生成装置の前記第２の画像符号化手段において、前記信号合成手段は、其々大きさが異なる複数の重み付け係数（例えば、図１２の係数（１−Ｗ）であって、具体的には、１，３／４，２／４，１／４，０と、図１２の係数Ｗであって、０，１／４，２／４，３／４，１）で前記第１の符号化色信号を復号した信号と前記保存手段に保存済みの前記第２の符号化色信号を復号した信号とを重み付け合成して、複数の復号信号を生成し、複数の前記重み付け係数のそれぞれについて、前記復号信号に基づいて前記第２の符号化色信号を生成した場合における予測誤差信号をそれぞれ算出して比較し、何れの復号信号を前記第２の符号化色信号の符号化に用いるか選択する選択手段（例えば、図１２の演算器１９３）を更に有することができる。

　この画像信号生成装置の前記合成手段（例えば、図１２の回路１０５）は、前記第１のスライスデータ信号と前記第２のスライスデータ信号とともに、前記重み付け係数（例えば、図１０のWeighting Factor：Ｗ）をさらに多重合成して出力することができる。

　本発明によれば、画像信号生成方法が提供される。この画像信号生成方法（例えば、図１０または図１２の画像信号生成装置の画像信号生成方法）は、所定のマクロブロック単位で符号化された画像信号を生成する画像信号生成方法であって、マクロブロックの輝度信号成分（例えば、図１０または図１２のY1乃至Y４）を符号化して符号化輝度信号（例えば、図１０または図１２の<Y1>，<Y2>，<Y3>，<Y4>）を生成するとともに、前記マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し（例えば、図１０または図１２のCb5''とCr6''とを符号化して<cb5''>と<cr6''>を生成し）、前記符号化輝度信号と前記第１の符号化色信号とを含む第１のスライスデータ信号（例えば、図８のマスタスライス）を出力する第１の画像符号化ステップ（例えば、図１０または図１２の回路１００の処理に対応するステップ）と、前記マクロブロックの前記第１の解像度とは異なる第２の解像度の色信号成分（例えば、図１０または図１２のCb5'，Cr6'，Cb7'，Cr8'）を、前記第１の画像符号化ステップの処理により符号化された前記第１の符号化色信号が復号された信号（例えば、回路１００の演算器６２からの信号）を用いて符号化して第２の符号化色信号（例えば、図１０または図１２の<Cb5'>，<Cr6'>，<Cb7'>，<Cr8'>）を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号（例えば、図８のスレーブスライス１）を出力する第２の画像符号化ステップ（例えば、図１０または図１２の回路１０１に対応するステップ）と、前記第１の画像符号化ステップの処理により出力された前記第１のスライスデータ信号と、前記第２の画像符号化ステップの処理により出力された前記第２のスライスデータ信号とを、復号処理のときに順次読み出されていずれか一方が選択されるように、互いに近接する位置に配置して（例えば、図８に示されるように配置して）合成する合成ステップ（例えば、図１０の合成回路１０５の処理に対応するステップ）とを含むことを特徴とする。

　この画像信号生成方法の前記第２の画像符号化ステップ（例えば、図１０の回路１０１の処理に対応するステップ）は、前記第１の符号化色信号が復号された前記信号に基づいて、前記第２の解像度の前記色信号成分に対する第１の予測画像信号を生成する第１の予測画像生成ステップ（例えば、図１０のアップサンプリング回路１１１の処理に対応するステップ）と、符号化済みの画像信号に関する前記第２の符号化色信号を保存する保存ステップ（例えば、図１０のクロマフレームメモリ１７４の処理に対応するステップ）と、前記保存手段に保存済みの前記第２の符号化色信号が復号された信号に基づいて、前記第２の解像度の前記色信号成分に対する第２の予測画像信号を生成する第２の予測画像生成ステップ（例えば、図１０の動き補償回路１７５の処理に対応するステップ）と、前記第１の予測画像生成ステップの処理により生成された前記第１の予測画像信号を用いた場合における予測誤差信号と、前記第２の予測画像生成ステップの処理により生成された前記第２の予測画像信号を用いた場合における予測誤差信号とを比較し、その比較の結果に基づいて、前記第１の予測画像信号と前記第２の予測画像信号のうちのいずれか一方を選択する選択ステップ（例えば、図１０の選択回路１７６の処理に対応するステップ）と、前記第２の解像度の前記色信号成分を、前記第１の予測画像信号と前記第２の予測画像信号のうちの前記選択ステップの処理により選択された方を用いて符号化して前記第２の符号化色信号を生成し、前記第２の符号化色信号を含む前記第２のスライスデータ信号を出力する第２の符号化色信号生成ステップ（例えば、図１０の演算器１１２乃至可変長符号化回路１１５の処理に対応するステップ）とを含むことができる。

　この画像信号生成方法の前記合成ステップ（例えば、図１０の回路１０５に対応する処理）は、前記第１のスライスデータ信号と前記第２のスライスデータ信号とともに、前記選択ステップの選択処理の結果（例えば、図１０のSpace/Time flag）をさらに多重合成することができる。

　この画像信号生成方法の前記第２の画像符号化ステップ（例えば、図１２の回路１０１の処理に対応するステップ）は、符号化済みの画像信号に関する前記第２の符号化色信号を保存する保存ステップ（例えば、図１２のクロマフレームメモリ１７４の処理に対応するステップ）と、前記第１の符号化色信号を復号した信号と、前記保存ステップの処理により保存済みの前記第２の符号化色信号を復号した信号とに、其々所定の重み付けを行って合成する信号合成ステップ（例えば、図１２のアップサンプリング回路１１１、動き補償回路１７５、重み付け回路１９１、重み付け回路１９２、および、演算器１９３のそれぞれの処理に対応するステップ）とを有し、前記第２の解像度の色信号成分を、前記信号合成ステップの処理により重み付け合成された復号信号に基づいて符号化して前記第２の符号化色信号を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号を出力することができる。

　この画像信号生成装置の前記第２の画像符号化ステップにおいて、前記信号合成ステップは、其々大きさが異なる複数の重み付け係数（例えば、図１２の係数（１−Ｗ）であって、具体的には、１，３／４，２／４，１／４，０と、図１２の係数Ｗであって、０，１／４，２／４，３／４，１）で前記第１の符号化色信号を復号した信号と前記保存手段に保存済みの前記第２の符号化色信号を復号した信号とを重み付け合成して、複数の復号信号を生成し、複数の前記重み付け係数のそれぞれについて、前記復号信号に基づいて前記第２の符号化色信号を生成した場合における予測誤差信号をそれぞれ算出して比較し、何れの復号信号を前記第２の符号化色信号の符号化に用いるか選択する選択ステップ（例えば、図１２の演算器１９３の処理に対応するステップ）を更に含むことができる。

　この画像信号生成方法の前記合成ステップ（例えば、図１２の回路１０５に対応する処理）は、前記第１のスライスデータ信号と前記第２のスライスデータ信号とともに、前記重み付け係数（例えば、図１０のWeighting Factor：Ｗ）をさらに多重合成して出力することができる。

　本発明によれば、画像信号再生装置が提供される。この画像信号再生装置（例えば、図１１または図１３の画像信号再生装置）は、所定のマクロブロック単位で符号化された画像信号であって、符号化された前記画像信号のうちの所定のマクロブロックの輝度信号成分（例えば、図１０または図１２のY1乃至Y４）が符号化された符号化輝度信号（例えば、図１０または図１２の<Y1>，<Y2>，<Y3>，<Y4>）、および前記マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号（例えば、図１０または図１２のCb5''とCr6''とが符号化された<cb5''>と<cr6''>）を含む第１のスライスデータ信号（例えば、図８のマスタスライス）と、前記マクロブロックの前記第１の解像度とは異なる第２の解像度の色信号成分（例えば、図１０または図１２のCb5'，Cr6'，Cb7'，Cr8'）が、前記第１の符号化色信号が復号された信号（例えば、回路１００の演算器６２からの信号）を用いて符号化された第２の符号化色信号（例えば、図１０または図１２の<Cb5'>，<Cr6'>，<Cb7'>，<Cr8'>）を含む第２のスライスデータ信号（例えば、図８のスレーブスライス１）とが、互いに近接する位置に配置されて（例えば、図８に示されるように配置された）供給されてきた前記画像信号を再生する画像信号再生装置である。

　詳細には、この画像信号再生装置は、前記マクロブロックに対応する前記第１のスライスデータ信号と前記第２のスライスデータ信号とを順次再生し、再生した前記第１のスライスデータ信号と前記第２のスライスデータ信号とを分離する分離手段（例えば、図１１または図１３の分離回路１５０）と、前記第１のスライスデータ信号から、前記符号化輝度信号を復号して前記輝度信号成分を再生するとともに、前記第１の符号化色信号を復号して前記第１の解像度の第１の色信号成分を再生する第１の画像復号手段（例えば、図１１または図１３の回路１６１）と、前記第１の画像復号手段により復号された前記第１の色信号成分を用いて、前記第２のスライスデータ信号から前記第２の符号化色信号を復号して、前記第２の解像度の第２の色信号成分を再生する第２の画像復号手段（例えば、図１１または図１３の回路１６２）と、前記第１の画像復号手段により再生された前記第１の色信号成分と、前記第２の画像復号手段により再生された前記第２の色信号成分とのうち、前記マクロブロックの復号の処理に用いられる色信号成分を選択する選択手段（例えば、図１１または図１３の選択回路１６４）とを備えることを特徴とする。

　この画像信号再生装置の前記第２の画像復号化手段（例えば、図１１の回路１６２）は、前記第１の色信号成分に基づいて、前記第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成手段（例えば、図１１のアップサンプリング回路１５１）と、既に復号された前記第２の色信号成分を保存する保存手段（例えば、図１１のクロマフレームメモリ１８１）と、前記保存手段に保存された前記第２の色信号成分に基づいて、前記第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成手段（例えば、図１１の動き補償回路１８２）と、前記第１の予測画像生成手段により生成された前記第１の予測画像信号と、前記第２の予測画像生成手段により生成された前記第２の予測画像信号とのうちのいずれか一方を選択する予測画像選択手段（例えば、図１１の選択回路１８３）と、前記第２の符号化色信号を、前記第１の予測画像信号と前記第２の予測画像信号のうちの前記予測画像選択手段により選択された方を用いて復号して前記第２の色信号成分を再生する第２の色信号再生手段（例えば、図１１の可変長復号化回路１５２乃至演算器１５５）とを有することができる。

　この画像信号再生装置においては、前記第１のスライスデータ信号と前記第２のスライスデータ信号とを含む前記画像信号には、前記第１の予測画像信号と前記第２の予測画像信号とのうちの何れを利用するのかを指示する指令（例えば、図１１のSpace/Time flag）がさらに多重合成されており、前記予測画像選択手段は、前記指令に基づいて、記第１の予測画像信号と前記第２の予測画像信号とのうちのいずれか一方を選択することができる。

　この画像信号再生装置の前記第２の画像復号手段（例えば、図１３の回路１６２）は、前記第１の色信号成分に基づいて、前記第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成手段（例えば、図１３のアップサンプリング回路１５１）と、既に復号された前記第２の色信号成分を保存する保存手段（例えば、図１３のクロマフレームメモリ１８１）と、前記保存手段に保存された前記第２の色信号成分に基づいて、前記第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成手段（例えば、図１３の動き補償回路１８２）と、前記第１の予測画像信号と前記第２の予測画像信号とに、それぞれ所定の重み付けを行って合成した合成信号を出力する予測画像合成手段（例えば、図１３の重み付け回路２０１、重み付け回路２０２、および、演算器２０３）と、前記第２の符号化色信号を、前記合成信号を用いて復号して前記第２の色信号成分を再生する第２の色信号再生手段（例えば、図１３の可変長復号化回路１５２乃至演算器１５５）とを有することができる。

　この画像信号再生装置においては、前記第１のスライスデータ信号と前記第２のスライスデータ信号とを含む前記画像信号には、前記予測画像合成手段の予測画像信号の合成処理で用いられる重み付け係数（例えば、図１３のWeighting Factor：Ｗ）がさらに多重合成されており、前記予測画像合成手段は、前記重み付け係数に基づいて前記第１の予測画像信号と前記第２の予測画像信号とを重み付け合成して、前記合成信号を出力することができる。

　本発明によれば、画像信号再生方法が提供される。この画像信号再生方法（例えば、図１１または図１３の画像信号再生装置の画像信号再生方法）は、所定のマクロブロック単位で符号化された画像信号であって、符号化された前記画像信号のうちの所定のマクロブロックの輝度信号成分（例えば、図１０または図１２のY1乃至Y４）が符号化された符号化輝度信号（例えば、図１０または図１２の<Y1>，<Y2>，<Y3>，<Y4>）、および前記マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号（例えば、図１０または図１２のCb5''とCr6''とが符号化された<cb5''>と<cr6''>）を含む第１のスライスデータ信号（例えば、図８のマスタスライス）と、前記マクロブロックの前記第１の解像度とは異なる第２の解像度の色信号成分（例えば、図１０または図１２のCb5'，Cr6'，Cb7'，Cr8'）が、前記第１の符号化色信号が復号された信号（例えば、回路１００の演算器６２からの信号）を用いて符号化された第２の符号化色信号（例えば、図１０または図１２の<Cb5'>，<Cr6'>，<Cb7'>，<Cr8'>）を含む第２のスライスデータ信号（例えば、図８のスレーブスライス１）とが、互いに近接する位置に配置されて（例えば、図８に示されるように配置された）供給されてきた前記画像信号を再生する画像信号再生方法である。

　詳細には、この画像信号再生方法は、前記マクロブロックに対応する前記第１のスライスデータ信号と前記第２のスライスデータ信号とを順次再生し、再生した前記第１のスライスデータ信号と前記第２のスライスデータ信号とを分離する分離ステップ（例えば、図１１または図１３の分離回路１５０の処理に対応するステップ）と、前記第１のスライスデータ信号から、前記符号化輝度信号を復号して前記輝度信号成分を再生するとともに、前記第１の符号化色信号を復号して前記第１の解像度の第１の色信号成分を再生する第１の画像復号ステップ（例えば、図１１または図１３の回路１６１の処理に対応するステップ）と、前記第１の画像復号ステップの処理により復号された前記第１の色信号成分を用いて、前記第２のスライスデータ信号から前記第２の符号化色信号を復号して、前記第２の解像度の第２の色信号成分を再生する第２の画像復号ステップ（例えば、図１１または図１３の回路１６２の処理に対応するステップ）と、前記第１の画像復号ステップの処理により再生された前記第１の色信号成分と、前記第２の画像復号ステップの処理により再生された前記第２の色信号成分とのうち、前記マクロブロックの復号の処理に用いられる色信号成分を選択する選択ステップ（例えば、図１１または図１３の選択回路１６４に対応するステップ）とを含むことを特徴とする。

　この画像信号再生方法の前記第２の画像復号化ステップ（例えば、図１１の回路１６２の処理に対応するステップ）は、前記第１の色信号成分に基づいて、前記第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成ステップ（例えば、図１１のアップサンプリング回路１５１の処理に対応するステップ）と、既に復号された前記第２の色信号成分を保存する保存ステップ（例えば、図１１のクロマフレームメモリ１８１の処理に対応するステップ）と、前記保存ステップの処理により保存された前記第２の色信号成分に基づいて、前記第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成ステップ（例えば、図１１の動き補償回路１８２に対応するステップ）と、前記第１の予測画像生成ステップの処理により生成された前記第１の予測画像信号と、前記第２の予測画像生成ステップの処理により生成された前記第２の予測画像信号とのうちのいずれか一方を選択する予測画像選択ステップ（例えば、図１１の選択回路１８３の処理に対応するステップ）と、前記第２の符号化色信号を、前記第１の予測画像信号と前記第２の予測画像信号のうちの前記予測画像選択ステップの処理により選択された方を用いて復号して前記第２の色信号成分を再生する第２の色信号再生ステップ（例えば、図１１の可変長復号化回路１５２乃至演算器１５５の処理に対応するステップ）とを含むことができる。

　この画像信号再生方法においては、前記第１のスライスデータ信号と前記第２のスライスデータ信号とを含む前記画像信号には、前記第１の予測画像信号と前記第２の予測画像信号とのうちの何れを利用するのかを指示する指令（例えば、図１１のSpace/Time flag）がさらに多重合成されており、前記予測画像選択ステップは、前記指令に基づいて、記第１の予測画像信号と前記第２の予測画像信号とのうちのいずれか一方を選択することができる。

　この画像信号再生方法の前記第２の画像復号ステップ（例えば、図１３の回路１６２の処理に対応するステップ）は、前記第１の色信号成分に基づいて、前記第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成ステップ（例えば、図１３のアップサンプリング回路１５１の処理に対応するステップ）と、既に復号された前記第２の色信号成分を保存する保存ステップ（例えば、図１３のクロマフレームメモリ１８１）と、前記保存手ステップの処理により保存された前記第２の色信号成分に基づいて、前記第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成ステップ（例えば、図１３の動き補償回路１８２の処理に対応するステップ）と、前記第１の予測画像信号と前記第２の予測画像信号とに、それぞれ所定の重み付けを行って合成した合成信号を出力する予測画像合成ステップ（例えば、図１３の重み付け回路２０１、重み付け回路２０２、および、演算器２０３の処理に対応するステップ）と、前記第２の符号化色信号を、前記合成信号を用いて復号して前記第２の色信号成分を再生する第２の色信号再生ステップ（例えば、図１３の可変長復号化回路１５２乃至演算器１５５の処理に対応するステップ）とを有することができる。

　この画像信号再生方法においては、前記第１のスライスデータ信号と前記第２のスライスデータ信号を含む前記画像信号には、前記予測画像合成ステップの予測画像信号の合成処理で用いられる重み付け係数（例えば、図１３のWeighting Factor：Ｗ）がさらに多重合成されており、前記予測画像合成ステップは、前記重み付け係数に基づいて前記第１の予測画像信号と前記第２の予測画像信号とを重み付け合成して、前記合成信号を出力することができる。

　以下、図面を参照して、本発明について説明する。

　図１は、本発明の画像信号符号化装置と復号化装置の全体の構成を示すブロック図であり、図１７に示した従来の場合と対応する部分には同一の符号を付してある。本実施例においては、Ａ／Ｄ変換器３００における前処理回路１１が出力する色差信号のＡ／Ｄ変換のタイミング（サンプリングのタイミング）が、図１７におけるＡ／Ｄ変換器１３における場合と異なっている。その結果、Ａ／Ｄ変換器３００が出力する色差信号をその後段で処理する、色差信号フレームメモリ３０１、フォーマット変換回路３０２、エンコーダ（画像信号生成装置）３０３が従来の場合と異なる構成とされている。

　さらにまた、復号化装置２においては、デコーダ（画像信号再生装置）４０１、フォーマット変換回路４０２、色差信号フレームメモリ４０３、およびＤ／Ａ変換器４０４が、図１７に示したデコーダ３１、フォーマット変換回路３２、色差信号フレームメモリ３５、およびＤ／Ａ変換器３７と異なる構成とされている。

　その他の構成は、図１７における場合と同様である。

　本発明のＡ／Ｄ変換器３００においては、図２（Ａ）に示すように、サンプリングが行われる。即ち、Ａ／Ｄ変換器１２における輝度信号のサンプリング点が、図中、丸印で示されるものとすると、Ａ／Ｄ変換器３００で行われる色差信号のサンプリング点は、図中、×印で示すように、輝度信号のサンプル点と１：１に対応するものとされる（４：４：４サンプリングとされる）。

　このＡ／Ｄ変換器３００によりサンプリングされた色差信号は、色差信号フレームメモリ３０１に供給され、記憶される。色差信号フレームメモリ３０１より読み出された色差信号は、フォーマット変換回路３０２に入力され、ダウンサンプリングされる。

　即ち、フォーマット変換回路３０２は、例えば図３に示すようなダウンサンプリング回路を内蔵しており、Ａ／Ｄ変換器３００により、４：４：４の比でサンプリングされた色差信号を、ローパスフィルタ１３１で１／２の周波数帯域に帯域制限した後、間引き回路１３２で、各ラインのデータを１つおきに間引く。これにより、図２（Ｂ）に示すように、４：２：２のサンプリングとされる。即ち、この場合においては、各ラインにおいて、２つの輝度信号に対して１つの色差信号が対応することになる。

　フォーマット変換回路３０２は、このようにして、４：２：２の比でサンプリングされた色差信号を、さらに同様にして、内蔵するダウンサンプリング回路によりダウンサンプルして、図２（Ｃ）に示すような４：２：０の比のサンプリングの色差信号を生成する。この場合は、４：２：２サンプリングの色差信号を１ラインおきにすべて間引くようにしているため、４つの輝度信号に対して、１つの色差信号が対応することになる。

　尚、以上においては、データを単に間引くことにより、サンプリングの比を変更するようにしたが、例えば複数の所定の位置の色差信号を平均するなどして、サブサンプリングすることも可能である。例えば、図２（Ａ）に示す４つの色差信号を平均することにより、図２（Ｃ）において、（）を付して×印で示す色差信号を得ることができる。

　フォーマット変換回路３０２は、このようにして生成した異なる分解能の階層の信号になされた色差信号を、対応する輝度信号のデータとともにブロック化を行う。これにより、図４に示すように、４：４：４、４：２：２、または４：２：０の３種類のマクロブロックの構成が可能となる。

　図４（Ａ）に示すように、４：４：４のマクロブロックは、４個の輝度ブロックＹ１乃至Ｙ４と、それに対応するＣｂの色差ブロックＣｂ５，Ｃｂ７，Ｃｂ９，Ｃｂ１１と、Ｃｒの色差ブロックＣｒ６，Ｃｒ８，Ｃｒ１０，Ｃｒ１２より構成される。これに対して、図４（Ｂ）に示すように、４：２：２のマクロブロックにおいては、輝度ブロックは、図４（Ａ）に示す４：４：４のマクロブロックにおける場合と同一であるが、色差ブロックＣｂが、Ｃｂ５'とＣｂ７'により構成される。また、色差ブロックＣｒは、Ｃｒ６'とＣｒ８'により構成される。さらに、図４（Ｃ）に示すように、４：２：０のマクロブロックにおいては、輝度ブロックは、４：４：４のマクロブロックにおける場合と同一であるが、色差ブロックＣｂは、Ｃｂ５”により構成され、色差ブロックＣｒは、Ｃｒ６”により構成される。

　尚、各ブロックの符号に付されている数字は、各マクロブロック内において、そのデータを伝送する場合における伝送の順番を示している。また、'は、それがダウンサンプリングされたデータであることを示し、”は、ダウンサンプリングが２回行われたものであることを示している。従って、例えばＣｂ５'は、Ｃｂ５を直接ダウンサンプリングして生成したものではない（これは、上述したように、Ｃｂ５とＣｂ９をダウンサンプリングして生成したものである）。

　図４（Ｂ）における４：２：２のマクロブロックの色差データの伝送の順序が、Ｃｂ５'の次にＣｂ７'を伝送するようになされていないのは、図４（Ｃ）に示す４：２：０のマクロブロックにおける伝送順序と対応させるためである。即ち、図４（Ｃ）に示すマクロブロックにおいては、Ｃｂ５”の次にＣｒ６”が伝送される。このため、図４（Ｂ）に示す４：２：２のマクロブロックにおいても、Ｃｂ５'の次にＣｒ６'を伝送するようにしているのである。

　同様に、図４（Ａ）に示す４：４：４のマクロブロックにおける伝送順序も、図４（Ｂ）に示す４：２：２のマクロブロックの伝送順序に対応するように定められている。このようにすることにより、いずれの比のマクロブロックが伝送されてきた場合においても、エンコーダにおいて共通の回路による処理が可能となる。

　但し、本実施例においては、この３種類のマクロブロックがエンコーダ３０３へ伝送されるのではなく、図４（Ｃ）に示す４個の輝度ブロックＹ１乃至Ｙ４と、２個の色差ブロックＣｂ５”，Ｃｒ６”により構成される４：２：０のマクロブロックと、図４（Ｂ）に示す４：２：２のマクロブロックを構成するブロックのうち、輝度ブロックを除く色差ブロックＣｂ５'，Ｃｂ７'、および色差ブロックＣｒ６'，Ｃｒ８'と、図４（Ａ）に示す４：４：４のマクロブロックのうち、輝度ブロックを除く色差ブロックＣｂ５，Ｃｂ７，Ｃｂ９，Ｃｂ１１、および色差ブロックＣｒ６，Ｃｒ８，Ｃｒ１０，Ｃｒ１２の３種類のデータが、エンコーダ３０３に伝送される。

　エンコーダ３０３は、例えば図５に示すように構成される。但し、図１９における動きベクトル検出回路５０、フレームメモリ５１、予測モード切り替え回路５２、予測判定回路５４、ＤＣＴモード切り替え回路５５、送信バッファ５９などは、その図示が省略されているが、図５の実施例においても同様に接続されているものである。

　また、図５の実施例においては、フレームメモリ６３が、ルマ（輝度信号）フレームメモリ６３Ｌとクロマ（色差信号）フレームメモリ６３Ｃに、また、動き補償回路６４が、動き補償回路６４Ｌと動き補償回路６４Ｃに分割して表示されているが、図１９の例においては、これを一体的に図示したものであって、図１９の装置においても、フレームメモリ６３と動き補償回路６４は、ルマ（輝度信号）用とクロマ（色差信号）用のものが２つ用意されている。

　さらに、図５の実施例においては、ルマフレームメモリ６３Ｌとクロマフレームメモリ６３Ｃは、図１９に示した場合と同様に、内部に前方予測画像部と後方予測画像部をそれぞれ有しているものである。

　即ち、図５の実施例のうち、動きベクトル検出回路５０乃至動き補償回路６４により構成されている回路１００は、図１９における場合と基本的に同様の構成となされている。

　この回路１００は、色差信号に関して着目すると、最も解像度の低い色差信号を処理するものである。本実施例においては、この回路１００における色差信号に較べて、より解像度の高い色差信号を処理するための回路として、アップサンプリング回路１１１、演算器１１２、ＤＣＴ回路１１３、量子化回路１１４、可変長符号化回路１１５よりなる回路１０１が設けられている。また、回路１０１における色差信号よりさらに高い解像度の色差信号を処理する回路１０２として、逆量子化回路１２１、ＩＤＣＴ回路１２２、演算器１２３、アップサンプリング回路１２４、演算器１２５、ＤＣＴ回路１２６、量子化回路１２７、可変長符号化回路１２８が設けられている。

　回路１０２には、最も解像度の高い色差信号が入力されており、回路１０１には、回路１０２に入力される色差信号をダウンサンプリング回路１０３でダウンサンプリングした、解像度の低い色差信号が入力されており、回路１００には、回路１０１に入力される色差信号をさらにダウンサンプリング回路１０４でダウンサンプリングした、最も低い解像度の色差信号が入力されるようになされている。

　図５に示すダウンサンプリング回路１０３と１０４は、図１におけるフォーマット変換回路３０２に内蔵されているものである。そして、４：４：４のマクロブロックを構成するように生成された、最も高い分解能を有する色差ブロックが回路１０２に入力され、このマクロブロックをダウンサンプリング回路１０３によりダウンサンプリングした４：２：２のマクロブロックを構成する色差ブロックが、回路１０１に入力されている。そして、この４：２：２のマクロブロックを構成する色差ブロックを、さらにダウンサンプリング回路１０４によりダウンサンプリングした、４：２：０のマクロブロックを構成する色差ブロックが、輝度ブロックとともに４：２：０のマクロブロックを単位として、回路１００に入力されている。

　回路１００における処理は、図１９を参照して説明した場合と同様であるから、その説明は省略する。ただ、輝度ブロックと色差ブロックの処理の順番について説明を付加しておくと、最初に輝度ブロックＹ１乃至Ｙ４が順次入力されるので、これらのデータが、動きベクトル検出回路５０を介してフレームメモリ５１の輝度ブロック用のフレームメモリに書き込まれる。同様にして、色差ブロックのデータは、動きベクトル検出回路５０を介してフレームメモリ５１の色差ブロック用のフレームメモリに書き込まれる（図１９）。

　そして、輝度ブロックＹ１乃至Ｙ４のデータは、フレームメモリ５１から読み出され、予測モード切り替え回路５２、演算器５３、ＤＣＴ回路５６、量子化回路５７、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２、ルマフレームメモリ６３Ｌ、動き補償回路６４Ｌにより処理された後、可変長符号化回路５８、送信バッファ５９を介して出力される。

　また、色差ブロックのデータは、基本的には輝度ブロックのデータと同様に処理されるのであるが、演算器６２より出力された色差ブロックのデータは、クロマフレームメモリ６３Ｃに供給され、記憶される。そして動き補償回路６４Ｃにおいては、輝度ブロックＹ１乃至Ｙ４における動きベクトルを、水平方向および垂直方向にそれぞれ１／２に短かくした動きベクトルを用いて動き補償が行われる。

　これにより、回路１００から輝度ブロックＹ１，Ｙ２，Ｙ３，Ｙ４と、色差ブロックＣｂ５”，Ｃｒ６”よりなるグループの信号が合成回路１０５に供給される。

　一方、ダウンサンプリング回路１０３により４：２：２のマクロブロックのフォーマットに変換された色差ブロックのデータは、回路１０１の演算器１１２に供給される。この演算器１１２にはまた、アップサンプリング回路１１１により、回路１００の演算器６２が出力した、より低い分解能の色差ブロックのデータを垂直方向に（空間的に）２倍にアップサンプルしたデータが、予測誤差信号として供給されている。

　このアップサンプリング回路１１１は、例えば図６に示すように、補間回路１４１により構成することができる。この補間回路１４１は、例えば図７に示すように、色差データの存在しないラインの色差データを、その上下のラインに位置する色差データの値をそれぞれ１／２した後、加算する（平均する）ことにより生成することができる。ダウンサンプリング回路１０４によりダウンサンプリングされたときに帯域制限が行われているため、このアップサンプリングにより空間周波数が広がるわけではないが、解像度は２倍にすることができる。

　このようにして、アップサンプリング回路１１１により生成された色差ブロックのデータを、予測画像信号としてダウンサンプリング回路１０３が出力する色差データから減算し、その差分を生成する。この差分は、アップサンプリング回路１１１により垂直方向に２倍のアップサンプリングが行われているため、垂直方向の高周波成分を含むことになる。演算器１１２のこの出力は、ＤＣＴ回路１１３によりＤＣＴ処理された後、量子化回路１１４により量子化され、可変長符号化回路１１５により可変長符号化される。そして、図示はしていないが、送信バッファを介して合成回路１０５に供給される。これにより、回路１００より出力される色差ブロックＣｂ５”，Ｃｒ６”より高い解像度を有する色差ブロックＣｂ５'，Ｃｒ６'，Ｃｂ７'，Ｃｒ８'のグループの信号が生成される。

　一方、回路１０２においては、回路１０１の量子化回路１１４が出力したデータを逆量子化回路１２１により逆量子化し、これをさらにＩＤＣＴ回路１２２によりＩＤＣＴ処理して、演算器１２３に出力している。演算器１２３には、アップサンプリング回路１１１より出力された回路１０１において用いた予測誤差信号が供給されている。演算器１２３は、このアップサンプリング回路１１１が出力する予測誤差信号と、ＩＤＣＴ回路１２２が出力する信号とを加算することにより、回路１０１における色差信号を局所的に復号する。

　そして、演算器１２３より出力された信号を、アップサンプリング回路１２４において水平方向に２倍にアップサンプリングして、演算器１２５に出力する。演算器１２５は、アップサンプリング回路１２４の出力する信号を予測誤差信号として、フォーマット変換回路３０２より供給される４：４：４のマクロブロックフォーマットの色差ブロックのデータから減算する。これにより、その差分データは、水平方向の高周波成分を含むことになる。

　この演算器１２５の出力は、ＤＣＴ回路１２６によりＤＣＴ処理され、量子化回路１２７により量子化処理された後、可変長符号化回路１２８において可変長符号化される。そして、図示せぬ送信バッファを介して合成回路１０５に出力される。これにより、最も高い解像度を有する色差ブロックＣｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２のグループのデータが得られる。

　合成回路１０５は、このようにして、回路１００が出力する輝度ブロックＹ１乃至Ｙ４と、最も低い解像度の色差ブロックのデータＣｂ５”，Ｃｒ６”により構成されるグループのデータと、回路１０１が出力する中間の解像度の色差ブロックのデータＣｂ５'，Ｃｒ６'，Ｃｂ７'，Ｃｒ８'により構成されるグループのデータ、さらに最も高い解像度の色差ブロックのデータＣｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２により構成されるグループのデータを合成する。

　この合成に際して、合成回路１０５は、図８に示すように、３つのグループのデータの先頭に、それぞれヘッダＨ１乃至ヘッダＨ３を配置する。これにより、ヘッダＨ１とＹ１，Ｙ２，Ｙ３，Ｙ４，Ｃｂ５”，Ｃｒ６”により構成されるマスタスライスと、ヘッダＨ２、Ｃｂ５'，Ｃｒ６'Ｃｂ７'，Ｃｒ８'により構成されるスレーブスライス１と、ヘッダＨ３、Ｃｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２により構成されるスレーブスライス２を単位とするビットストリームが構成され、これが伝送路に供給され、記録媒体３に記録される。

　１フレーム分のデータのマスタスライスのデータが伝送された後、次に１フレーム分のスレーブスライス１のデータを伝送し、その次に１フレーム分のスレーブスライス２のデータを伝送するようにすることも理論的には可能である。しかしながら、そのようにすると、リアルタイムで高解像度の色の画像を得ることが困難になるため、図８に示したように、マスタスライス、スレーブスライス１およびスレーブスライスを順次伝送するようにするのが好ましい。

　図８に示すフォーマットに従って、記録媒体３に記録されたデータは、記録媒体３から再生され、図１の復号化装置２のデコーダ４０１に入力される。

　このデコーダ４０１は、例えば図９に示すように構成される。この図９において、図２２に示した場合と対応する部分には同一の符号を付してある。この実施例においては、記録媒体３（伝送路）より供給されたデータが受信バッファ８１に供給され、一旦記憶された後、分離回路１５０に供給され、輝度ブロックと最も低い解像度の色差ブロックをグループとするデータと、中間の解像度の色差ブロックのグループのデータと、最も高い解像度の色差ブロックのグループのデータとに分離され、それぞれ回路１６１，１６２または１６３に供給される。

　回路１６１は、図２２に示した復号回路９０と実質的に同一の構成とされている。回路１６１においては、フレームメモリ８６として、ルマフレームメモリ８６Ｌとクロマフレームメモリ８６Ｃを、また、動き補償回路８７として、動き補償回路８７Ｌと動き補償回路８７Ｃを図示しているが、図２２の復号回路９０においても、図示は省略されているが、これらの回路が内蔵されている。また、図９のルマフレームメモリ８６Ｌとクロマフレームメモリ８６Ｃには、図２２に示した前方予測画像部と後方予測画像部の図示が省略されているが、いずれもこれらを内蔵しているものである。

　従って、回路１６１においては、図２２において説明した場合と同様に処理が行われる。ルマフレームメモリ８６Ｌとクロマフレームメモリ８６Ｃの関係についてだけ説明しておくと、ルマフレームメモリ８６Ｌには演算器８５が出力した輝度ブロックのデータが記憶される。そして、この輝度信号に関する動き補償が動き補償回路８７Ｌにより行われ、演算器８５に出力される。これに対して、クロマフレームメモリ８６Ｃには色差ブロックに関するデータが記憶される。そして動き補償回路８７Ｃは、動き補償回路８７Ｌにおいて用いる動きベクトルを水平方向と垂直方向にそれぞれ１／２した動きベクトルを用いて、クロマフレームメモリ８６Ｃより読み出したデータを動き補償して、演算器８５に出力する。

　このようにして、回路１６１から４つの輝度ブロックＹ１乃至Ｙ４と、最も低い解像度の色差信号のブロックＣｂ５”，Ｃｒ６”により構成される４：２：０のマクロブロックのデータが、選択回路１６４に出力される。

　一方、分離回路１５０により分離された中間の解像度を有する色差ブロックのデータは、可変長復号化回路１５２において可変長復号化され、逆量子化回路１５３において逆量子化される。そして、さらにＩＤＣＴ回路１５４においてＩＤＣＴ処理された後、演算器１５５に入力される。

　この演算器１５５には、回路１６１の演算器８５が出力する、より低い解像度の色差ブロックのデータがアップサンプリング回路１５１により垂直方向にアップサンプリングされて供給されている。即ち、この信号は、図５の回路１０１のアップサンプリング回路１１１により生成した予測画像信号に対応する。そこで、ＩＤＣＴ回路１５４が出力するデータと、アップサンプリング回路１５１が出力する予測誤差信号とを演算器１５５で加算することにより、中間の解像度を有する色差信号のブロックＣｂ５'，Ｃｒ６'，Ｃｂ７'，Ｃｒ８'が得られる。この色差信号は、選択回路１６４に供給される。

　さらに、分離回路１５０により分離された、最も高い解像度を有する色差ブロックＣｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２のデータは、回路１６３の可変長復号化回路１５７に供給され、可変長復号化される。可変長復号化回路１５７より出力された信号は、逆量子化回路１５８により逆量子化され、ＩＤＣＴ回路１５９によりＩＤＣＴ処理された後、演算器１６０に入力される。

　また、この演算器１６０には、回路１６２の演算器１５５が出力する中間の解像度の色差信号がアップサンプリング回路１５６により水平方向にアップサンプリングされて、予測誤差信号として供給されている。演算器１６０は、この予測誤差信号をＩＤＣＴ回路１５９の出力と加算し、最も高い解像度の色差信号Ｃｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２を復号して、選択回路１６４に出力する。

　選択回路１６４は、図１のフォーマット変換回路４０２に含まれている。この選択回路１６４は、輝度信号を選択するとともに、３つの解像度の異なる色差信号のうち、使用者からの指令に対応して、いずれか１つを選択する。輝度信号は輝度信号フレームメモリ３４に供給され、色差信号は色差信号フレームメモリ４０３に供給される。輝度信号フレームメモリ３４より読み出された輝度信号は、Ｄ／Ａ変換器３６によりＤ／Ａ変換された後、後処理回路３８に供給される。また、色差信号フレームメモリ４０３より読み出された色差信号は、Ｄ／Ａ変換器４０４によりＤ／Ａ変換された後、後処理回路３８に供給される。Ｄ／Ａ変換器４０４のクロックは、選択した色差信号に対応して変更される。

　従って、使用者は、必要に応じて３つの階層の解像度のいずれかを任意に選択して、ディスプレイなどに表示させることができる。

　図１０は、エンコーダ３０３の第２の実施例を表している。この実施例においては、第１の実施例（図５）における最も高い解像度の色差信号を処理する回路１０２が省略され、中間の解像度の色差信号を処理する回路１０１と、最も低い解像度の色差信号と輝度信号とを処理する回路１００により構成されている。このうち、回路１００は、図５における場合と同様の構成とされている。

　一方、回路１０１は、演算器１１２、ＤＣＴ回路１１３、量子化回路１１４、可変長符号化回路１１５に加えて、逆量子化回路１７１、ＩＤＣＴ回路１７２、演算器１７３、クロマフレームメモリ１７４、動き補償回路１７５、選択回路１７６を有している。

　即ち、この実施例においては、回路１００における動作は図５における場合と同様であり、その説明は省略する。

　回路１０１においては、予測画像信号の生成の方法が図５における場合と異なっている。即ち、この実施例においては、図５の実施例における場合と同様に、回路１００の演算器６２が出力する、局部的に復号された色差信号を、アップサンプリング回路１１１により垂直方向にアップサンプリングすることにより、第１の予測画像信号が生成される。

　また、量子化回路１１４が出力する信号を逆量子化回路１７１により逆量子化し、ＩＤＣＴ回路１７２によりＩＤＣＴ処理した後、演算器１７３に入力している。演算器１７３には、選択回路１７６により選択された予測画像信号が入力されている。

　演算器１７３は、この予測画像信号と、ＩＤＣＴ回路１７２が出力する信号とを加算し、局部的な復号を行う。復号された色差信号は、クロマフレームメモリ１７４に供給され、記憶される。このクロマフレームメモリ１７４に記憶された色差信号は、動き補償回路１７５において、動き補償回路６４Ｌにおける場合の動きベクトルを垂直方向に１／２した動きベクトルを用いて動き補償が行われ、選択回路１７６に第２の予測画像信号として供給される。

　選択回路１７６は、アップサンプリング回路１１１が出力する第１の予測画像信号を用いた場合における予測誤差信号と、動き補償回路１７５が出力する第２の予測画像信号を用いた場合における予測誤差信号とを比較し、小さい予測誤差信号に対応する予測画像信号を選択する。そして、選択した予測画像信号は、上述したようにして、演算器１７３に供給されて局部的な復号に用いられるとともに、演算器１１２に供給されて、フォーマット変換回路３０２から供給される、中間の解像度の色差信号を符号化するための予測画像信号として用いられる。

　このように、この実施例においては、回路１０１において、解像度の低い色差信号の復号画像に対して、補間回路１４１（図６）などにより構成されるアップサンプリング回路１１１（空間フィルタ）を適用して、解像度の高い（中間の解像度の）色差信号と同じ解像度の予測画像を生成するとともに、解像度の高い（中間の解像度の）色差信号を局所的に復号して予測画像を生成する。そして、２つの予測画像のうち、予測効率の良好な方を適用的に選択するようにしている。これにより、より効率的にデータを圧縮することが可能となる。

　この実施例においてはまた、選択回路１７６から、アップサンプリング回路１１１が出力する第１の予測画像信号と、動き補償回路１７５が出力する第２の予測画像信号のうち、いずれを選択したかを示すスペース（前者を選択した場合）／タイム（後者を選択した場合）フラグが出力され、これが回路１００と回路１０１が出力するデータとともに合成回路１０５において多重合成され、伝送される。

　図１１は、図１０に示すエンコーダ３０３によりエンコードされたデータと復号するデコーダ４０１の実施例を示している。この図１１の実施例において、図９に示す実施例と対応する部分には同一の符号を付してある。この実施例においては、図９における最も高い解像度の色差信号を処理する回路１６３が省略され、中間の解像度の色差信号を処理する回路１６２、および低い解像度の色差信号と輝度信号を処理する回路１６１とにより構成されている。回路１６１の構成は、図９における場合と同様である。

　回路１６２においては、アップサンプリング回路１５１、可変長復号化回路１５２、逆量子化回路１５３、ＩＤＣＴ回路１５４、演算器１５５の他に、クロマフレームメモリ１８１、動き補償回路１８２、および選択回路１８３が付加されている。

　演算器１５５より出力された、復号された中間の解像度の色差信号は、クロマフレームメモリ１８１に供給され、記憶される。そして、動き補償回路１８２により動き補償回路８７Ｃにおける動きベクトルを垂直方向に１／２にした動きベクトルを用いて動き補償され、時間軸方向の第２の予測画像信号として選択回路１８３に供給される。

　また、この選択回路１８３には、回路１６１の演算器８５が出力する、より低い解像度の色差信号をアップサンプリング回路１５１により垂直方向にアップサンプリングし、中間の解像度の色差信号の解像度に伸長した第１の予測画像信号が供給されている。

　分離回路１５０は、受信バッファ８１より供給された信号から、スペース／タイムフラグを検出し、これを選択回路１８３に出力する。選択回路１８３は、スペースフラグが検出されたとき、アップサンプリング回路１５１が出力する第１の予測画像信号を選択し、タイムフラグが検出されたとき、動き補償回路１８２が出力する第２の予測画像信号を選択して、選択した予測画像信号を演算器１５５に出力する。これにより、中間の解像度の色差信号が適応的に復号される。

　図１２は、エンコーダ３０３の第３の実施例を示している。この実施例においては、回路１０１の構成が、図１０に示した第２の実施例の回路１０１を若干改良した構成とされている。この回路１０１においては、動き補償回路１７５が出力した第２の予測画像信号が、重み付け回路１９１により重み付け係数Ｗが乗算された後、演算器１９３に供給される。また、アップサンプリング回路１１１が出力した第１の予測画像信号が、重み付け回路１９２により重み付け係数（１−Ｗ）が乗算された後、演算器１９３に供給されている。演算器１９３は、重み付け回路１９１と１９２より供給された、重み付けされた予測画像信号を加算する。

　例えば重み付け係数Ｗとして、０，１／４，２／４，３／４，１が重み付け回路１９１により設定されるとき、重み付け回路１９２においては、重み付け係数（１−Ｗ）として、１，３／４，２／４，１／４，０が設定される。重み付け回路１９１と１９２は、入力された予測画像信号にそれぞれ５種類の係数を乗算して、５種類の予測画像信号を演算器１９３に出力する。演算器１９３は、５種類の重み付けされた予測画像信号を、それぞれ対応するものどうしを加算して、５種類の予測画像信号を生成する。そして、５種類のそれぞれを採用した場合における予測誤差信号を生成し、この予測誤差信号が最も小さいものを最終的な予測誤差信号として選択し、選択した予測誤差信号に対応する予測画像信号を演算器１１２と１７３に出力する。

　これにより、より効率的な圧縮が可能となる。

　尚、この実施例においては、演算器１９３が最終的に選択した重み付け係数Ｗを合成回路１０５に出力する。合成回路１０５は、この重み付け係数Ｗを他の色差信号と多重合成して出力する。

　図１３は、図１２に示したエンコーダ３０３によりエンコードした信号をデコードする場合のデコーダ４０１の構成例を示している。この図１３の実施例は、図１１に示した実施例と基本的に同様の構成とされている。但し、回路１６２の構成が、図１１における場合を若干改良したものとなっている。

　図１３の実施例においては、動き補償回路１８２が出力する予測画像信号が重み付け回路２０１において係数Ｗで重み付けされた後、演算器２０３に供給される。また、アップサンプリング回路１５１が出力する予測画像信号が、重み付け回路２０２により係数（１−Ｗ）だけ重み付けされた後、演算器２０３に供給されている。この重み付け回路２０１と２０２における重み付け係数Ｗは、図１２における重み付け回路１９１と１９２の重み付け係数に対応されている。

　従って、演算器２０３は、重み付け回路２０１が出力する、５種類の重み付けがなされた第２の予測画像信号と、重み付け回路２０２が出力する、５種類の重み付けがなされた第１の予測画像信号との対応するものどうしを加算する。そして、分離回路１５０が受信バッファ８１より供給される信号から分離した重み付け係数Ｗに対応するものを、加算した予測画像信号の中から選択する。そして、この選択された予測画像信号が演算器１５５に入力され、中間の解像度を有する色差信号の予測画像信号として用いられる。

　尚、以上の実施例においては、ｎ×ｎ（上記実施例はｎ＝８）画素のブロックのデータを直交変換するのに、ＤＣＴによりバンド分割を行うようにしたが、例えばＱＭＦなどを用いてサブバンド分割を行うこともできる。また、ウェーブレッド変換によりオクターブ分割を行うようにしたり、入力した２次元画像データについて、所定の変換や分割を行って符号化を行う場合に適用することが可能である。

　さらにまた、符号化されたビデオ信号のビットストリームに対して、符号化されたオーディオ信号、同期信号を多重化し、さらにエラー訂正用のコードを付加し、所定の変調を加えて、この変調信号によりレーザ光を変調し、ディスク上にピット、またはマークとして記録するようにすることができる。また、このディスクをマスタディスクとしてスタンパを形成し、このスタンパより大量の複製ディスク（例えば光ディスク）を成形することができる。この場合、デコーダは、この複製ディスクからデータを再生することになる。

本発明の画像信号符号化装置および復号化装置の一実施例の構成を示すブロック図である。 図１のフォーマット変換回路３０２における色差信号のサンプリングフォーマットを説明する図である。 図５のダウンサンプリング回路１０３，１０４の構成例を示すブロック図である。 マクロブロックの構成を示す図である。 図１におけるエンコーダ３０３の第１の実施例の構成を示すブロック図である。 図５のアップサンプリング回路１１１，１２４の構成例を示すブロック図である。 図６の補間回路１４１の補間動作を説明する図である。 図１の記録媒体３の記録フォーマットを説明する図である。 図１のデコーダ４０１の第１の実施例の構成を示すブロック図である。 図１のエンコーダ３０３の第２の実施例の構成を示すブロック図である。 図１のデコーダ４０１の第２の実施例の構成を示すブロック図である。 図１のエンコーダ３０３の第３の実施例の構成を示すブロック図である。 図１のデコーダ４０１の第３の実施例の構成を示すブロック図である。 高能率符号化の原理を説明する図である。 画像データを圧縮する場合におけるピクチャのタイプを説明する図である。 動画像信号を符号化する原理を説明する図である。 従来の画像信号符号化装置と復号化装置の構成例を示すブロック図である。 図１７におけるフォーマット変換回路１７のフォーマット変換の動作を説明する図である。 図１７におけるエンコーダ１８の構成例を示すブロック図である。 図１９の予測モード切り替え回路５２の動作を説明する図である。 図１９のＤＣＴモード切り替え回路５５の動作を説明する図である。 図１７のデコーダ３１の構成例を示すブロック図である。

符号の説明

　１　符号化装置，　２　復号化装置，　３　記録媒体，　１２，１３　Ａ／Ｄ変換器，　１４　フレームメモリ，　１５　輝度信号フレームメモリ，　１６　色差信号フレームメモリ，　１７　フォーマット変換回路，　１８　エンコーダ，　３１　デコーダ，　３２　フォーマット変換回路，　３３　フレームメモリ，　３４　輝度信号フレームメモリ，　３５　色差信号フレームメモリ，　３６，３７　Ｄ／Ａ変換器，　５０　動きベクトル検出回路，　５１　フレームメモリ，　５２　予測モード切り替え回路，　５３　演算部，　５４　予測判定回路，　５５　ＤＣＴモード切り替え回路，　５６　ＤＣＴ回路，　５７　量子化回路，　５８　可変長符号化回路，　５９　送信バッファ，　６０　逆量子化回路，　６１　ＩＤＣＴ回路，　６２　演算器，　６３　フレームメモリ，　６４　動き補償回路，　８１　受信バッファ，　８２　可変長復号化回路，　８３　逆量子化回路，　８４　ＩＤＣＴ回路，　８５　演算器，　８６　フレームメモリ，　８７　動き補償回路，　１００，１０１，１０２　回路，　１０３，１０４　ダウンサンプリング回路，　１１１，１２４　アップサンプリング回路，　１３１　ローパスフィルタ，　１３２　間引き回路，　１４１　補間回路

Claims (22)

1. 　所定のマクロブロック単位で符号化された画像信号を生成する画像信号生成装置において、
   　マクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、前記マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、前記符号化輝度信号と前記第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化手段と、
   　前記マクロブロックの前記第１の解像度とは異なる第２の解像度の色信号成分を、前記第１の画像符号化手段により符号化された前記第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化手段と、
   　前記第１の画像符号化手段から出力された前記第１のスライスデータ信号と、前記第２の画像符号化手段から出力された前記第２のスライスデータ信号とを、復号処理のときに順次読み出されていずれか一方が選択されるように、互いに近接する位置に配置して合成する合成手段と
   　を備えることを特徴とする画像信号生成装置。
2. 　前記第２の画像符号化手段は、
   　　前記第１の符号化色信号が復号された前記信号に基づいて、前記第２の解像度の前記色信号成分に対する第１の予測画像信号を生成する第１の予測画像生成手段と、
   　　符号化済みの画像信号に関する前記第２の符号化色信号を保存する保存手段と、
   　　前記保存手段に保存済みの前記第２の符号化色信号が復号された信号に基づいて、前記第２の解像度の前記色信号成分に対する第２の予測画像信号を生成する第２の予測画像生成手段と、
   　　前記第１の予測画像生成手段により生成された前記第１の予測画像信号を用いた場合における予測誤差信号と、前記第２の予測画像生成手段により生成された前記第２の予測画像信号を用いた場合における予測誤差信号とを比較し、その比較の結果に基づいて、前記第１の予測画像信号と前記第２の予測画像信号のうちのいずれか一方を選択する選択手段と、
   　　前記第２の解像度の前記色信号成分を、前記第１の予測画像信号と前記第２の予測画像信号のうちの前記選択手段により選択された方を用いて符号化して前記第２の符号化色信号を生成し、前記第２の符号化色信号を含む前記第２のスライスデータ信号を出力する第２の符号化色信号生成手段と
   　を有することを特徴とする請求項１に記載の画像信号生成装置。
3. 　前記合成手段は、前記第１のスライスデータ信号と前記第２のスライスデータ信号とともに、前記選択手段による選択の結果をさらに多重合成する
   　ことを特徴とする請求項２に記載の画像信号生成装置。
4. 　　前記第２の画像符号化手段は、
   　符号化済みの画像信号に関する前記第２の符号化色信号を保存する保存手段と、
   　前記第１の符号化色信号を復号した信号と、前記保存手段に保存済みの前記第２の符号化色信号を復号した信号とに、其々所定の重み付けを行って合成する信号合成手段と
   　を有し、
   　前記第２の解像度の色信号成分を、前記信号合成手段により重み付け合成された復号信号に基づいて符号化して前記第２の符号化色信号を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号を出力する
   　ことを特徴とする請求項１に記載の画像信号生成装置。
5. 　前記第２の画像符号化手段において、
   　　前記信号合成手段は、其々大きさが異なる複数の重み付け係数で前記第１の符号化色信号を復号した信号と前記保存手段に保存済みの前記第２の符号化色信号を復号した信号とを重み付け合成して、複数の復号信号を生成し、
   　　複数の前記重み付け係数のそれぞれについて、前記復号信号に基づいて前記第２の符号化色信号を生成した場合における予測誤差信号をそれぞれ算出して比較し、何れの復号信号を前記第２の符号化色信号の符号化に用いるか選択する選択手段を更に有する
   　ことを特徴とする請求項４に記載の画像信号生成装置。
6. 　前記合成手段は、前記第１のスライスデータ信号と前記第２のスライスデータ信号とともに、前記重み付け係数をさらに多重合成する
   　ことを特徴とする請求項４に記載の画像信号生成装置。
7. 　所定のマクロブロック単位で符号化された画像信号を生成する画像信号生成方法において、
   　マクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、前記マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、前記符号化輝度信号と前記第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化ステップと、
   　前記マクロブロックの前記第１の解像度とは異なる第２の解像度の色信号成分を、前記第１の画像符号化ステップの処理により符号化された前記第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化ステップと、
   　前記第１の画像符号化ステップの処理により出力された前記第１のスライスデータ信号と、前記第２の画像符号化ステップの処理により出力された前記第２のスライスデータ信号とを、復号処理のときに順次読み出されていずれか一方が選択されるように、互いに近接する位置に配置して合成する合成ステップと
   　を含むことを特徴とする画像信号生成方法。
8. 　前記第２の画像符号化ステップは、
   　　前記第１の符号化色信号が復号された前記信号に基づいて、前記第２の解像度の前記色信号成分に対する第１の予測画像信号を生成する第１の予測画像生成ステップと、
   　　符号化済みの画像信号に関する前記第２の符号化色信号を保存する保存ステップと、
   　　前記保存ステップの処理により保存済みの前記第２の符号化色信号が復号された信号に基づいて、前記第２の解像度の前記色信号成分に対する第２の予測画像信号を生成する第２の予測画像生成ステップと、
   　　前記第１の予測画像生成ステップの処理により生成された前記第１の予測画像信号を用いた場合における予測誤差信号と、前記第２の予測画像生成ステップの処理により生成された前記第２の予測画像信号を用いた場合における予測誤差信号とを比較し、その比較の結果に基づいて、前記第１の予測画像信号と前記第２の予測画像信号のうちのいずれか一方を選択する選択ステップと、
   　　前記第２の解像度の前記色信号成分を、前記第１の予測画像信号と前記第２の予測画像信号のうちの前記選択ステップの処理により選択された方を用いて符号化して前記第２の符号化色信号を生成し、前記第２の符号化色信号を含む前記第２のスライスデータ信号を出力する第２の符号化色信号生成ステップと
   　を含むことを特徴とする請求項７に記載の画像信号生成方法。
9. 　前記合成ステップは、前記第１のスライスデータ信号と前記第２のスライスデータ信号とともに、前記選択ステップの選択処理の結果をさらに多重合成する
   　ことを特徴とする請求項８に記載の画像信号生成方法。
10. 　　前記第２の画像符号化ステップは、
    　　符号化済みの画像信号に関する前記第２の符号化色信号を保存する保存ステップと、
    　　前記第１の符号化色信号を復号した信号と、前記保存ステップの処理により保存済みの前記第２の符号化色信号を復号した信号とに、其々所定の重み付けを行って合成する信号合成ステップと
    　を含み、
    　前記第２の解像度の色信号成分を、前記信号合成ステップの処理により重み付け合成された復号信号に基づいて符号化して前記第２の符号化色信号を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号を出力する
    　ことを特徴とする請求項７に記載の画像信号生成方法。
11. 　前記第２の画像符号化ステップにおいて、
    　　前記信号合成ステップは、其々大きさが異なる複数の重み付け係数で前記第１の符号化色信号を復号した信号と前記保存ステップの処理により保存済みの前記第２の符号化色信号を復号した信号とを重み付け合成して、複数の復号信号を生成し、
    　　複数の前記重み付け係数のそれぞれについて、前記復号信号に基づいて前記第２の符号化色信号を生成した場合における予測誤差信号をそれぞれ算出して比較し、何れの復号信号を前記第２の符号化色信号の符号化に用いるか選択する選択ステップを更に含む
    　ことを特徴とする請求項１０に記載の画像信号生成方法。
12. 　前記合成ステップは、前記第１のスライスデータ信号と前記第２のスライスデータ信号とともに、前記重み付け係数をさらに多重合成する
    　ことを特徴とする請求項１０に記載の画像信号生成方法。
13. 　所定のマクロブロック単位で符号化された画像信号であって、
    　　符号化された前記画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号、および前記マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号を含む第１のスライスデータ信号と、
    　　前記マクロブロックの前記第１の解像度とは異なる第２の解像度の色信号成分が、前記第１の符号化色信号が復号された信号を用いて符号化された第２の符号化色信号を含む第２のスライスデータ信号とが、
    　互いに近接する位置に配置されて供給されてきた前記画像信号を再生する画像信号再生装置において、
    　前記マクロブロックに対応する前記第１のスライスデータ信号と前記第２のスライスデータ信号とを順次再生し、再生した前記第１のスライスデータ信号と前記第２のスライスデータ信号とを分離する分離手段と、
    　前記第１のスライスデータ信号から、前記符号化輝度信号を復号して前記輝度信号成分を再生するとともに、前記第１の符号化色信号を復号して前記第１の解像度の第１の色信号成分を再生する第１の画像復号手段と、
    　前記第１の画像復号手段により復号された前記第１の色信号成分を用いて、前記第２のスライスデータ信号から前記第２の符号化色信号を復号して、前記第２の解像度の第２の色信号成分を再生する第２の画像復号手段と、
    　前記第１の画像復号手段により再生された前記第１の色信号成分と、前記第２の画像復号手段により再生された前記第２の色信号成分とのうち、前記マクロブロックの復号の処理に用いられる色信号成分を選択する選択手段と
    　を備えることを特徴とする画像信号再生装置。
14. 　前記第２の画像復号化手段は、
    　　前記第１の色信号成分に基づいて、前記第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成手段と、
    　　既に復号された前記第２の色信号成分を保存する保存手段と、
    　　前記保存手段に保存された前記第２の色信号成分に基づいて、前記第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成手段と、
    　　前記第１の予測画像生成手段により生成された前記第１の予測画像信号と、前記第２の予測画像生成手段により生成された前記第２の予測画像信号とのうちのいずれか一方を選択する予測画像選択手段と、
    　　前記第２の符号化色信号を、前記第１の予測画像信号と前記第２の予測画像信号のうちの前記予測画像選択手段により選択された方を用いて復号して前記第２の色信号成分を再生する第２の色信号再生手段と
    　を有することを特徴とする請求項１３に記載の画像信号再生装置。
15. 　前記第１のスライスデータ信号と前記第２のスライスデータ信号とを含む前記画像信号には、前記第１の予測画像信号と前記第２の予測画像信号とのうちの何れを利用するのかを指示する指令がさらに多重合成されており、
    　前記予測画像選択手段は、前記指令に基づいて、前記第１の予測画像信号と前記第２の予測画像信号とのうちのいずれか一方を選択する
    　ことを特徴とする請求項１４に記載の画像信号再生装置。
16. 　前記第２の画像復号手段は、
    　　前記第１の色信号成分に基づいて、前記第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成手段と、
    　　既に復号された前記第２の色信号成分を保存する保存手段と、
    　　前記保存手段に保存された前記第２の色信号成分に基づいて、前記第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成手段と、
    　　前記第１の予測画像信号と前記第２の予測画像信号とに、それぞれ所定の重み付けを行って合成した合成信号を出力する予測画像合成手段と、
    　　前記第２の符号化色信号を、前記合成信号を用いて復号して前記第２の色信号成分を再生する第２の色信号再生手段と
    　を有することを特徴とする請求項１３に記載の画像信号再生装置。
17. 　前記第１のスライスデータ信号と前記第２のスライスデータ信号とを含む前記画像信号には、前記予測画像合成手段の予測画像信号の合成処理で用いられる重み付け係数がさらに多重合成されており、
    　前記予測画像合成手段は、前記重み付け係数に基づいて前記第１の予測画像信号と前記第２の予測画像信号とを重み付け合成して、前記合成信号を出力する
    　ことを特徴とする請求項１６に記載の画像信号再生装置。
18. 　所定のマクロブロック単位で符号化された画像信号であって、
    　　符号化された前記画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号、および前記マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号を含む第１のスライスデータ信号と、
    　　前記マクロブロックの前記第１の解像度とは異なる第２の解像度の色信号成分が、前記第１の符号化色信号が復号された信号を用いて符号化された第２の符号化色信号を含む第２のスライスデータ信号とが、
    　互いに近接する位置に配置されて供給されてきた前記画像信号を再生する画像信号再生方法において、
    　前記マクロブロックに対応する前記第１のスライスデータ信号と前記第２のスライスデータ信号とを順次再生し、再生した前記第１のスライスデータ信号と前記第２のスライスデータ信号とを分離する分離ステップと、
    　前記第１のスライスデータ信号から、前記符号化輝度信号を復号して前記輝度信号成分を再生するとともに、前記第１の符号化色信号を復号して前記第１の解像度の第１の色信号成分を再生する第１の画像復号ステップと、
    　前記第１の画像復号ステップの処理により復号された前記第１の色信号成分を用いて、前記第２のスライスデータ信号から前記第２の符号化色信号を復号して、前記第２の解像度の第２の色信号成分を再生する第２の画像復号ステップと、
    　前記第１の画像復号ステップの処理により再生された前記第１の色信号成分と、前記第２の画像復号ステップの処理により再生された前記第２の色信号成分とのうち、前記マクロブロックの復号の処理に用いられる色信号成分を選択する選択ステップと
    　を含むことを特徴とする画像信号再生方法。
19. 　前記第２の画像復号化ステップは、
    　　前記第１の色信号成分に基づいて、前記第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成ステップと、
    　　既に復号された前記第２の色信号成分を保存する保存ステップと、
    　　前記保存ステップの処理により保存された前記第２の色信号成分に基づいて、前記第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成ステップと、
    　　前記第１の予測画像生成ステップの処理により生成された前記第１の予測画像信号と、前記第２の予測画像生成ステップの処理により生成された前記第２の予測画像信号とのうちのいずれか一方を選択する予測画像選択ステップと、
    　　前記第２の符号化色信号を、前記第１の予測画像信号と前記第２の予測画像信号のうちの前記予測画像選択ステップの処理により選択された方を用いて復号して前記第２の色信号成分を再生する第２の色信号再生ステップと
    　を含むことを特徴とする請求項１８に記載の画像信号再生方法。
20. 　前記第１のスライスデータ信号と前記第２のスライスデータ信号とを含む前記画像信号には、前記第１の予測画像信号と前記第２の予測画像信号とのうちの何れを利用するのかを指示する指令がさらに多重合成されており、
    　前記予測画像選択ステップは、前記指令に基づいて、前記第１の予測画像信号と前記第２の予測画像信号とのうちのいずれか一方を選択する
    　ことを特徴とする請求項１９に記載の画像信号再生方法。
21. 　前記第２の画像復号ステップは、
    　　前記第１の色信号成分に基づいて、前記第２の符号化色信号に対する第１の予測画像信号を生成する第１の予測画像生成ステップと、
    　　既に復号された前記第２の色信号成分を保存する保存ステップと、
    　　前記保存ステップの処理により保存された前記第２の色信号成分に基づいて、前記第２の符号化色信号に対する第２の予測画像信号を生成する第２の予測画像生成ステップと、
    　　前記第１の予測画像信号と前記第２の予測画像信号とに、それぞれ所定の重み付けを行って合成した合成信号を出力する予測画像合成ステップと、
    　　前記第２の符号化色信号を、前記合成信号を用いて復号して前記第２の色信号成分を再生する第２の色信号再生ステップと
    　を有することを特徴とする請求項１８に記載の画像信号再生方法。
22. 　前記第１のスライスデータ信号と前記第２のスライスデータ信号とを含む前記画像信号には、前記予測画像合成ステップの予測画像信号の合成処理で用いられる重み付け係数がさらに多重合成されており、
    　前記予測画像合成ステップは、前記重み付け係数に基づいて前記第１の予測画像信号と前記第２の予測画像信号とを重み付け合成して、前記合成信号を出力する
    　ことを特徴とする請求項２１に記載の画像信号再生方法。

Images