JP3552045B2 - 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置 - Google Patents
画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置 Download PDFInfo
- Publication number
- JP3552045B2 JP3552045B2 JP2001252202A JP2001252202A JP3552045B2 JP 3552045 B2 JP3552045 B2 JP 3552045B2 JP 2001252202 A JP2001252202 A JP 2001252202A JP 2001252202 A JP2001252202 A JP 2001252202A JP 3552045 B2 JP3552045 B2 JP 3552045B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- circuit
- image
- encoded
- slice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像信号を、例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器など、動画像信号を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合などに用いて好適な画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置に関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。
【０００３】
ライン相関を利用すると、画像信号を、例えばＤＣＴ（離散コサイン変換）処理するなどして圧縮することができる。
【０００４】
また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図１４に示すように、時刻ｔ１，ｔ２，ｔ３において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算して、ＰＣ１２を生成し、また、フレーム画像ＰＣ２とＰＣ３の差を演算して、ＰＣ２３を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。
【０００５】
しかしながら、差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Ｉピクチャ、ＰピクチャまたはＢピクチャの３種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
【０００６】
即ち、例えば図１５に示すように、フレームＦ１乃至Ｆ１７までの１７フレームの画像信号をグループオブピクチャとし、処理の１単位とする。そして、その先頭のフレームＦ１の画像信号はＩピクチャとして符号化し、第２番目のフレームＦ２はＢピクチャとして、また第３番目のフレームＦ３はＰピクチャとして、それぞれ処理する。以下、第４番目以降のフレームＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとして交互に処理する。
【０００７】
Ｉピクチャの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対して、Ｐピクチャの画像信号としては、基本的には、図１５（Ａ）に示すように、それより時間的に先行するＩピクチャまたはＰピクチャの画像信号からの差分を伝送する。さらにＢピクチャの画像信号としては、基本的には、図１５（Ｂ）に示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。
【０００８】
図１６は、このようにして、動画像信号を符号化する方法の原理を示している。同図に示すように、最初のフレームＦ１はＩピクチャとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に伝送される（画像内符号化）。これに対して、第２のフレームＦ２は、Ｂピクチャとして処理されるため、時間的に先行するフレームＦ１と、時間的に後行するフレームＦ３の平均値との差分が演算され、その差分が伝送データＦ２Ｘとして伝送される。
【０００９】
但し、このＢピクチャとしての処理は、さらに細かく説明すると、４種類存在する。その第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１）（イントラ符号化）、Ｉピクチャにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、その差分（ＳＰ２）を伝送するものである（後方予測符号化）。第３の処理は、時間的に先行するフレームＦ１との差分（ＳＰ３）を伝送するものである（前方予測符号化）。さらに第４の処理は、時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測符号化）。
【００１０】
この４つの方法のうち、伝送データが最も少なくなる方法が採用される。
【００１１】
尚、差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベクトル）（前方予測の場合）、もしくはｘ２（フレームＦ３とＦ２の間の動きベクトル）（後方予測の場合）、またはｘ１とｘ２の両方（両方向予測の場合）が、差分データとともに伝送される。
【００１２】
また、ＰピクチャのフレームＦ３は、時間的に先行するフレームＦ１を予測画像として、このフレームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測符号化）。あるいはまた、元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送される（ＳＰ１）（イントラ符号化）。いずれの方法により伝送されるかは、Ｂピクチャにおける場合と同様に、伝送データがより少なくなる方が選択される。
【００１３】
図１７は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の構成例を示している。符号化装置１は、入力された映像信号を符号化し、伝送路としての記録媒体３に伝送するようになされている。そして、復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力するようになされている。
【００１４】
符号化装置１においては、入力された映像信号が前処理回路１１に入力され、そこで輝度信号と色信号（この例の場合、色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３によりＡ／Ｄ変換されてデジタル信号となった映像信号は、フレームメモリ１４に供給され、記憶される。フレームメモリ１４は、輝度信号を輝度信号フレームメモリ１５に、また、色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。
【００１５】
フォーマット変換回路１７は、フレームメモリ１４に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。即ち、図１８に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。フォーマット変換回路１７は、この１フレームの信号を、１６ラインを単位としてＭ個のスライスに区分する。そして、各スライスは、Ｍ個のマクロブロックに分割される。各マクロブロックは、１６×１６個の画素（ドット）に対応する輝度信号により構成され、この輝度信号は、さらに８×８ドットを単位とするブロックＹ［１］乃至Ｙ［４］に区分される。そして、この１６×１６ドットの輝度信号には、８×８ドットのＣｂ信号と、８×８ドットのＣｒ信号が対応される。
【００１６】
このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）が行われる。その詳細については、図１９を参照して後述する。
【００１７】
エンコーダ１８によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体３に記録される。
【００１８】
記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給され、デコードされる。デコーダ３１の詳細については、図２２を参照して後述する。
【００１９】
デコーダ３１によりデコードされたデータは、フォーマット変換回路３２に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給され、記憶され、色差信号は色差信号フレームメモリ３５に供給され、記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給され、合成される。そして、図示せぬ例えばＣＲＴなどのディスプレイに出力され、表示される。
【００２０】
次に図１９を参照して、エンコーダ１８の構成例について説明する。
【００２１】
符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、図１５に示したように、フレームＦ１乃至Ｆ１７により構成されるグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。
【００２２】
Ｉピクチャとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部５１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送、記憶される。
【００２３】
また、次のタイミングにおいて、さらにＢピクチャ（フレームＦ４）またはＰピクチャ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００２４】
フレームメモリ５１に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り替え回路５２において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測、または両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（２乗和でもよい）を生成する。
【００２５】
ここで、予測モード切り替え回路５２におけるフレーム予測モードとフィールド予測モードについて説明する。
【００２６】
フレーム予測モードが設定された場合においては、予測モード切り替え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出力する。即ち、この場合においては、図２０（Ａ）に示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。
【００２７】
これに対して、予測モード切り替え回路５２は、フィールド予測モードにおいては、図２０（Ａ）に示す構成で動きベクトル検出回路５０より入力される信号を、図２０（Ｂ）に示すように、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【００２８】
動きベクトル検出回路５０は、フレーム予測モードにおける予測誤差の絶対値和と、フィールド予測モードにおける予測誤差の絶対値和を、予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフィールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。
【００２９】
但し、このような処理は、実際には動きベクトル検出回路５０で行われる。即ち、動きベクトル検出回路５０は、決定されたモードに対応する構成の信号を予測モード切り替え回路５２に出力し、予測モード切り替え回路５２は、その信号を、そのまま後段の演算部５３に出力する。
【００３０】
尚、色差信号は、フレーム予測モードの場合、図２０（Ａ）に示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部５３に供給される。また、フィールド予測モードの場合、図２０（Ｂ）に示すように、各色差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ［４］に対応する偶数フィールドの色差信号とされる。
【００３１】
また、動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、画像内予測、前方予測、後方予測、または両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。
【００３２】
即ち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａｉｊの和ΣＡｉｊの絶対値｜ΣＡｉｊ｜と、マクロブロックの信号Ａｉｊの絶対値｜Ａｉｊ｜の和Σ｜Ａｉｊ｜の差を求める。また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａｉｊと、予測画像のマクロブロックの信号Ｂｉｊの差Ａｉｊ−Ｂｉｊの絶対値｜Ａｉｊ−Ｂｉｊ｜の和Σ｜Ａｉｊ−Ｂｉｊ｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。
【００３３】
これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測および両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。即ち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが設定される。
【００３４】
このように、動きベクトル検出回路５０は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測モード切り替え回路５２により選択されたモードに対応する構成で、予測モード切り替え回路５２を介して演算部５３に供給するとともに、４つの予測モードのうち、予測判定回路５４により選択された予測モードに対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路５８と動き補償回路６４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【００３５】
予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチャの画像データを読み出しているとき、予測モードとして、フレーム（画像）内予測モード（動き補償を行わないモード）を設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り替える。これにより、Ｉピクチャの画像データがＤＣＴモード切り替え回路５５に入力される。
【００３６】
このＤＣＴモード切り替え回路５５は、図２１（Ａ）または（Ｂ）に示すように、４個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態（フレームＤＣＴモード）、または、分離された状態（フィールドＤＣＴモード）、のいずれかの状態にして、ＤＣＴ回路５６に出力する。
【００３７】
即ち、ＤＣＴモード切り替え回路５５は、奇数フィールドと偶数フィールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【００３８】
例えば、入力された信号を、図２１（Ａ）に示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また、入力された信号を、図２１（Ｂ）に示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。さらに、両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。即ち、前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フィールドＤＣＴモードを設定する。
【００３９】
そして、選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路５８と動き補償回路６４に出力する。
【００４０】
予測モード切り替え回路５２における予測モード（図２０）と、このＤＣＴモード切り替え回路５５におけるＤＣＴモード（図２１）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
【００４１】
予測モード切り替え回路５２において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り替え回路５５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り替え回路５２において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り替え回路５５において、フィールドＤＣＴモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。
【００４２】
しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り替え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り替え回路５５においては、符号化効率が良好となるようにモードが決定される。
【００４３】
ＤＣＴモード切り替え回路５５より出力されたＩピクチャの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路５７に入力され、送信バッファ５９のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路５８に入力される。
【００４４】
可変長符号化回路５８は、量子化回路５７より供給される量子化ステップ（スケール）に対応して、量子化回路５７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ５９に出力する。
【００４５】
可変長符号化回路５８にはまた、量子化回路５７より量子化ステップ（スケール）、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、動きベクトル検出回路５０より動きベクトル、予測モード切り替え回路５２より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、およびＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。
【００４６】
送信バッファ５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。
【００４７】
送信バッファ５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ５９は、量子化制御信号によって量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ５９のオーバフローまたはアンダフローが防止される。
【００４８】
そして、送信バッファ５９に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力され、例えば記録媒体３に記録される。
【００４９】
一方、量子化回路５７より出力されたＩピクチャのデータは、逆量子化回路６０に入力され、量子化回路５７より供給される量子化ステップに対応して逆量子化される。逆量子化回路６０の出力は、ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された後、演算器６２を介してフレームメモリ６３の前方予測画像部６３ａに供給され、記憶される。
【００５０】
動きベクトル検出回路５０は、シーケンシャルに入力される各フレームの画像データを、たとえば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測を伴うため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。
【００５１】
そこで動きベクトル検出回路５０は、Ｉピクチャの処理の次に、後方原画像部５１ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測モード切り替え回路５２と予測判定回路５４に供給される。予測モード切り替え回路５２と予測判定回路５４は、このＰピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム／フィールド予測モード、または画像内予測、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。
【００５２】
演算部５３はフレーム内予測モードが設定されたとき、スイッチ５３ｄを上述したように接点ａ側に切り替える。従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２を介してフレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【００５３】
前方予測モードの時、スイッチ５３ｄが接点ｂに切り替えられるとともに、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（いまの場合Ｉピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００５４】
動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。
【００５５】
この演算器６２にはまた、演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【００５６】
動きベクトル検出回路５０は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。予測モード切り替え回路５２と予測判定回路５４は、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールドモードを設定し、また、予測モードをフレーム内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。
【００５７】
上述したように、フレーム内予測モードまたは前方予測モードの時、スイッチ５３ｄは接点ａまたはｂに切り替えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。
【００５８】
これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ５３ｄは、接点ｃまたはｄにそれぞれ切り替えられる。
【００５９】
スイッチ５３ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００６０】
動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り替え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。
【００６１】
スイッチ５３ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００６２】
動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。
【００６３】
Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。
【００６４】
尚、フレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。
【００６５】
以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図２０および図２１に示すマクロブロックを単位として処理され、伝送される。尚、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【００６６】
次に、図２２は、図１７のデコーダ３１の一例の構成を示すブロック図である。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、受信バッファ８１に一時記憶された後、復号回路９０の可変長復号化回路８２に供給される。可変長復号化回路８２は、受信バッファ８１より供給されたデータを可変長復号化し、動きベクトル、予測モード、予測フラグおよびＤＣＴフラグを動き補償回路８７に、また、量子化ステップを逆量子化回路８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。
【００６７】
逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化ステップに従って逆量子化し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８４で、逆ＤＣＴ処理され、演算器８５に供給される。
【００６８】
ＩＤＣＴ回路８４より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部８６ａに供給されて記憶される。また、このデータは、フォーマット変換回路３２（図１７）に出力される。
【００６９】
ＩＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであって、前方予測モードのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして、演算器８５において、ＩＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、即ち、復号されたＰピクチャのデータは、演算器８５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部８６ｂに供給されて記憶される。
【００７０】
Ｐピクチャのデータであっても、画像内予測モードのデータは、Ｉピクチャのデータと同様に、演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。
【００７１】
このＰピクチャは、次のＢピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路３２へ出力されない（上述したように、Ｂピクチャの後に入力されたＰピクチャが、Ｂピクチャより先に処理され、伝送されている）。
【００７２】
ＩＤＣＴ回路８４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において、可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。
【００７３】
このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において、ＩＤＣＴ回路８４の出力と加算される。この加算出力は、フォーマット変換回路３２に出力される。
【００７４】
但し、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。
【００７５】
Ｂピクチャの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路８７を介して演算器８５に供給される。但し、このとき、動き補償は行われない。
【００７６】
尚、このデコーダ３１には、図１９のエンコーダ１８における予測モード切り替え回路５２とＤＣＴモード切り替え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、即ち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８７が実行する。
【００７７】
また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。但し、この場合、動きベクトルは、輝度信号用のものを、垂直方向および水平方向に１／２にしたものが用いられる。
【００７８】
【発明が解決しようとする課題】
以上のように、従来の画像信号符号化および復号化方法では、色差信号の解像度は１種類に固定されており、複数種の解像度の色差信号を伝送することはできなかった。
【００７９】
本発明はこのような状況に鑑みてなされたものであり、複数種類の解像度の色差信号を効率良く伝送することができるようにするものである。
【００８２】
【課題を解決するための手段】
本発明の画像信号記録媒体の記録方法は、所定のマクロブロック単位で符号化された画像信号を画像信号記録媒体に記録する画像信号記録媒体の記録方法であって、画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化ステップと、マクロブロックの第１の解像度より高い第２の解像度の色信号成分を、第１の画像符号化ステップの処理により符号化された第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化ステップと、第１の画像符
号化ステップの処理により出力された第１のスライスデータ信号と、第２の画像符号化ステップの処理により出力された第２のスライスデータ信号とを、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されように、画像信号記録媒体の互いに近接する位置に記録する記録ステップとを含むことを特徴とする。
本発明の画像信号記録媒体の記録方法においては、画像信号のうちの所定のマクロブロックの輝度信号成分が符号化されて符号化輝度信号が生成されるとともに、マクロブロックの色信号成分が第１の解像度で符号化されて第１の符号化色信号が生成され、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号が出力される。また、マクロブロックの第１の解像度より高い第２の解像度の色信号成分が、第１の画像符号化ステップの処理により符号化された第１の符号化色信号が復号された信号を用いて符号化されて第２の符号化色信号が生成され、第２の符号化色信号を含む第２のスライスデータ信号が出力される。そして、出力された第１のスライスデータ信号と、出力された第２のスライスデータ信号とが、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されように、画像信号記録媒体の互いに近接する位置に記録される。
【００８３】
本発明の画像信号記録装置は、所定のマクロブロック単位で符号化された画像信号を画像信号記録媒体に記録する画像信号記録装置であって、画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化回路と、マクロブロックの第１の解像度より高い第２の解像度の色信号成分を、第１の画像符号化回路により符号化された第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化回路と、第１の画像符号化回路より出力された第１のスライスデータ信号と、第２の画像符号化回路より出力された第２のスライスデータ信号とを、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されるように、画像信号記録媒体の互いに近接する位置に記録する記録回路とを備えることを特徴とする。
本発明の画像信号記録装置においては、画像信号のうちの所定のマクロブロックの輝度信号成分が符号化されて符号化輝度信号が生成されるとともに、マクロブロックの色信号成分が第１の解像度で符号化されて第１の符号化色信号が生成され、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号が出力される。また、マクロブロックの第１の解像度より高い第２の解像度の色信号成分が、第１の画像符号化ステップの処理により符号化された第１の符号化色信号が復号された信号を用いて符号化されて第２の符号化色信号が生成され、第２の符号化色信号を含む第２のスライスデータ信号が出力される。そして、出力された第１のスライスデータ信号と、出力された第２のスライスデータ信号とが、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されように、画像信号記録媒体の互いに近接する位置に記録される。
【００８４】
本発明の画像信号再生装置は、所定のマクロブロック単位で符号化された画像信号が記録された画像信号記録媒体から、画像信号を再生する画像信号再生装置であって、その画像信号記録媒体に、符号化された画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号と、マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号とを含む第１のスライスデータ信号を記録した第１のスライスデータ記録部と、マクロブロックの第１の解像度より高い第２の解像度の色信号成分が、第１の符号化色信号が復号された信号を利用して符号化された第２の符号化色信号を含む第２のスライスデータ信号を記録した第２のスライスデータ記録部とを備える構造であって、第１のスライスデータ記録部と第２のスライスデータ記録部が、互いに近接する位置に配置される構造を有するデータが記録されている場合、画像信号記録媒体から、マクロブロックに対応する第１のスライスデータ記録部に記録された第１のスライスデータ信号と、第２のスライスデータ記録部に記録された第２のスライスデータ信号とを順次再生する再生手段と、再生手段により再生された第１のスライスデータ信号と第２のスライスデータ信号とを分離する分離手段と、分離手段により分離された第１のスライスデータ信号から、符号化輝度信号を復号して輝度信号成分を再生するとともに、第１の符号化色信号を復号して第１の解像度の第１の色信号成分を再生する第１の画像復号回路と、第１の画像復号回路により復号された第１の色信号成分を用いて、分離手段により分離された第２のスライスデータ信号から第２の符号化色信号を復号して、第２の解像度の第２の色信号成分を再生する第２の画像復号回路と、第１の画像復号回路により再生された第１の色信号成分と、第２の画像復号回路により再生された第２の色信号成分とのうち、マクロブロックの復号の処理に用いられる色信号成分を選択する選択手段とを備えることを特徴とする。
本発明の画像信号再生装置においては、符号化された画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号と、マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号とを含む第１のスライスデータ信号を記録した第１のスライスデータ記録部と、マクロブロックの第１の解像度より高い第２の解像度の色信号成分が、第１の符号化色信号が復号された信号を利用して符号化された第２の符号化色信号を含む第２のスライスデータ信号を記録した第２のスライスデータ記録部とを備える構造であって、第１のスライスデータ記録部と第２のスライスデータ記録部が、互いに近接する位置に配置される構造を有するデータが記録されて画像信号記録媒体から、画像信号が再生される。詳細には、画像信号記録媒体から、マクロブロックに対応する第１のスライスデータ記録部に記録された第１のスライスデータ信号と、第２のスライスデータ記録部に記録された第２のスライスデータ信号とが順次再生され、再生された第１のスライスデータ信号と第２のスライスデータ信号とが分離される。分離された第１のスライスデータ信号から、符号化輝度信号が復号されて輝度信号成分が再生されるとともに、第１の符号化色信号が復号されて第１の解像度の第１の色信号成分が再生される。一方、復号された第１の色信号成分が用いられて分離された第２のスライスデータ信号から第２の符号化色信号が復号されて、第２の解像度の第２の色信号成分が再生される。そして、再生された第１の色信号成分と第２の色信号成分とのうち、マクロブロックの復号の処理に用いられる色信号成分が選択される。
【００８５】
これにより、従来の装置と同一の装置で、低い色信号成分の画像を得ることができるばかりでなく、必要に応じてアダプタを付加することにより、解像度の高い色信号成分に基づく画像を得ることも可能となる。
【００８６】
【発明の実施の形態】
図１は、本発明の画像信号符号化装置と復号化装置の全体の構成を示すブロック図であり、図１７に示した従来の場合と対応する部分には同一の符号を付してある。本実施例においては、Ａ／Ｄ変換器３００における前処理回路１１が出力する色差信号のＡ／Ｄ変換のタイミング（サンプリングのタイミング）が、図１７におけるＡ／Ｄ変換器１３における場合と異なっている。その結果、Ａ／Ｄ変換器３００が出力する色差信号をその後段で処理する、色差信号フレームメモリ３０１、フォーマット変換回路３０２、エンコーダ３０３が従来の場合と異なる構成とされている。
【００８７】
さらにまた、復号化装置２においては、デコーダ４０１、フォーマット変換回路４０２、色差信号フレームメモリ４０３、およびＤ／Ａ変換器４０４が、図１７に示したデコーダ３１、フォーマット変換回路３２、色差信号フレームメモリ３５、およびＤ／Ａ変換器３７と異なる構成とされている。
【００８８】
その他の構成は、図１７における場合と同様である。
【００８９】
本発明のＡ／Ｄ変換器３００においては、図２（Ａ）に示すように、サンプリングが行われる。即ち、Ａ／Ｄ変換器１２における輝度信号のサンプリング点が、図中、丸印で示されるものとすると、Ａ／Ｄ変換器３００で行われる色差信号のサンプリング点は、図中、×印で示すように、輝度信号のサンプル点と１：１に対応するものとされる（４：４：４サンプリングとされる）。
【００９０】
このＡ／Ｄ変換器３００によりサンプリングされた色差信号は、色差信号フレームメモリ３０１に供給され、記憶される。色差信号フレームメモリ３０１より読み出された色差信号は、フォーマット変換回路３０２に入力され、ダウンサンプリングされる。
【００９１】
即ち、フォーマット変換回路３０２は、例えば図３に示すようなダウンサンプリング回路を内蔵しており、Ａ／Ｄ変換器３００により、４：４：４の比でサンプリングされた色差信号を、ローパスフィルタ１３１で１／２の周波数帯域に帯域制限した後、間引き回路１３２で、各ラインのデータを１つおきに間引く。これにより、図２（Ｂ）に示すように、４：２：２のサンプリングとされる。即ち、この場合においては、各ラインにおいて、２つの輝度信号に対して１つの色差信号が対応することになる。
【００９２】
フォーマット変換回路３０２は、このようにして、４：２：２の比でサンプリングされた色差信号を、さらに同様にして、内蔵するダウンサンプリング回路によりダウンサンプルして、図２（Ｃ）に示すような４：２：０の比のサンプリングの色差信号を生成する。この場合は、４：２：２サンプリングの色差信号を１ラインおきにすべて間引くようにしているため、４つの輝度信号に対して、１つの色差信号が対応することになる。
【００９３】
尚、以上においては、データを単に間引くことにより、サンプリングの比を変更するようにしたが、例えば複数の所定の位置の色差信号を平均するなどして、サブサンプリングすることも可能である。例えば、図２（Ａ）に示す４つの色差信号を平均することにより、図２（Ｃ）において、（）を付して×印で示す色差信号を得ることができる。
【００９４】
フォーマット変換回路３０２は、このようにして生成した異なる分解能の階層の信号になされた色差信号を、対応する輝度信号のデータとともにブロック化を行う。これにより、図４に示すように、４：４：４、４：２：２、または４：２：０の３種類のマクロブロックの構成が可能となる。
【００９５】
図４（Ａ）に示すように、４：４：４のマクロブロックは、４個の輝度ブロックＹ１乃至Ｙ４と、それに対応するＣｂの色差ブロックＣｂ５，Ｃｂ７，Ｃｂ９，Ｃｂ１１と、Ｃｒの色差ブロックＣｒ６，Ｃｒ８，Ｃｒ１０，Ｃｒ１２より構成される。これに対して、図４（Ｂ）に示すように、４：２：２のマクロブロックにおいては、輝度ブロックは、図４（Ａ）に示す４：４：４のマクロブロックにおける場合と同一であるが、色差ブロックＣｂが、Ｃｂ５’とＣｂ７’により構成される。また、色差ブロックＣｒは、Ｃｒ６’とＣｒ８’により構成される。さらに、図４（Ｃ）に示すように、４：２：０のマクロブロックにおいては、輝度ブロックは、４：４：４のマクロブロックにおける場合と同一であるが、色差ブロックＣｂは、Ｃｂ５”により構成され、色差ブロックＣｒは、Ｃｒ６”により構成される。
【００９６】
尚、各ブロックの符号に付されている数字は、各マクロブロック内において、そのデータを伝送する場合における伝送の順番を示している。また、’は、それがダウンサンプリングされたデータであることを示し、”は、ダウンサンプリングが２回行われたものであることを示している。従って、例えばＣｂ５’は、Ｃｂ５を直接ダウンサンプリングして生成したものではない（これは、上述したように、Ｃｂ５とＣｂ９をダウンサンプリングして生成したものである）。
【００９７】
図４（Ｂ）における４：２：２のマクロブロックの色差データの伝送の順序が、Ｃｂ５’の次にＣｂ７’を伝送するようになされていないのは、図４（Ｃ）に示す４：２：０のマクロブロックにおける伝送順序と対応させるためである。即ち、図４（Ｃ）に示すマクロブロックにおいては、Ｃｂ５”の次にＣｒ６”が伝送される。このため、図４（Ｂ）に示す４：２：２のマクロブロックにおいても、Ｃｂ５’の次にＣｒ６’を伝送するようにしているのである。
【００９８】
同様に、図４（Ａ）に示す４：４：４のマクロブロックにおける伝送順序も、図４（Ｂ）に示す４：２：２のマクロブロックの伝送順序に対応するように定められている。このようにすることにより、いずれの比のマクロブロックが伝送されてきた場合においても、エンコーダにおいて共通の回路による処理が可能となる。
【００９９】
但し、本実施例においては、この３種類のマクロブロックがエンコーダ３０３へ伝送されるのではなく、図４（Ｃ）に示す４個の輝度ブロックＹ１乃至Ｙ４と、２個の色差ブロックＣｂ５”，Ｃｒ６”により構成される４：２：０のマクロブロックと、図４（Ｂ）に示す４：２：２のマクロブロックを構成するブロックのうち、輝度ブロックを除く色差ブロックＣｂ５’，Ｃｂ７’、および色差ブロックＣｒ６’，Ｃｒ８’と、図４（Ａ）に示す４：４：４のマクロブロックのうち、輝度ブロックを除く色差ブロックＣｂ５，Ｃｂ７，Ｃｂ９，Ｃｂ１１、および色差ブロックＣｒ６，Ｃｒ８，Ｃｒ１０，Ｃｒ１２の３種類のデータが、エンコーダ３０３に伝送される。
【０１００】
エンコーダ３０３は、例えば図５に示すように構成される。但し、図１９における動きベクトル検出回路５０、フレームメモリ５１、予測モード切り替え回路５２、予測判定回路５４、ＤＣＴモード切り替え回路５５、送信バッファ５９などは、その図示が省略されているが、図５の実施例においても同様に接続されているものである。
【０１０１】
また、図５の実施例においては、フレームメモリ６３が、ルマ（輝度信号）フレームメモリ６３Ｌとクロマ（色差信号）フレームメモリ６３Ｃに、また、動き補償回路６４が、動き補償回路６４Ｌと動き補償回路６４Ｃに分割して表示されているが、図１９の例においては、これを一体的に図示したものであって、図１９の装置においても、フレームメモリ６３と動き補償回路６４は、ルマ（輝度信号）用とクロマ（色差信号）用のものが２つ用意されている。
【０１０２】
さらに、図５の実施例においては、ルマフレームメモリ６３Ｌとクロマフレームメモリ６３Ｃは、図１９に示した場合と同様に、内部に前方予測画像部と後方予測画像部をそれぞれ有しているものである。
【０１０３】
即ち、図５の実施例のうち、動きベクトル検出回路５０乃至動き補償回路６４により構成されている回路１００は、図１９における場合と基本的に同様の構成となされている。
【０１０４】
この回路１００は、色差信号に関して着目すると、最も解像度の低い色差信号を処理するものである。本実施例においては、この回路１００における色差信号に較べて、より解像度の高い色差信号を処理するための回路として、アップサンプリング回路１１１、演算器１１２、ＤＣＴ回路１１３、量子化回路１１４、可変長符号化回路１１５よりなる回路１０１が設けられている。また、回路１０１における色差信号よりさらに高い解像度の色差信号を処理する回路１０２として、逆量子化回路１２１、ＩＤＣＴ回路１２２、演算器１２３、アップサンプリング回路１２４、演算器１２５、ＤＣＴ回路１２６、量子化回路１２７、可変長符号化回路１２８が設けられている。
【０１０５】
回路１０２には、最も解像度の高い色差信号が入力されており、回路１０１には、回路１０２に入力される色差信号をダウンサンプリング回路１０３でダウンサンプリングした、解像度の低い色差信号が入力されており、回路１００には、回路１０１に入力される色差信号をさらにダウンサンプリング回路１０４でダウンサンプリングした、最も低い解像度の色差信号が入力されるようになされている。
【０１０６】
図５に示すダウンサンプリング回路１０３と１０４は、図１におけるフォーマット変換回路３０２に内蔵されているものである。そして、４：４：４のマクロブロックを構成するように生成された、最も高い分解能を有する色差ブロックが回路１０２に入力され、このマクロブロックをダウンサンプリング回路１０３によりダウンサンプリングした４：２：２のマクロブロックを構成する色差ブロックが、回路１０１に入力されている。そして、この４：２：２のマクロブロックを構成する色差ブロックを、さらにダウンサンプリング回路１０４によりダウンサンプリングした、４：２：０のマクロブロックを構成する色差ブロックが、輝度ブロックとともに４：２：０のマクロブロックを単位として、回路１００に入力されている。
【０１０７】
回路１００における処理は、図１９を参照して説明した場合と同様であるから、その説明は省略する。ただ、輝度ブロックと色差ブロックの処理の順番について説明を付加しておくと、最初に輝度ブロックＹ１乃至Ｙ４が順次入力されるので、これらのデータが、動きベクトル検出回路５０を介してフレームメモリ５１の輝度ブロック用のフレームメモリに書き込まれる。同様にして、色差ブロックのデータは、動きベクトル検出回路５０を介してフレームメモリ５１の色差ブロック用のフレームメモリに書き込まれる（図１９）。
【０１０８】
そして、輝度ブロックＹ１乃至Ｙ４のデータは、フレームメモリ５１から読み出され、予測モード切り替え回路５２、演算器５３、ＤＣＴ回路５６、量子化回路５７、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２、ルマフレームメモリ６３Ｌ、動き補償回路６４Ｌにより処理された後、可変長符号化回路５８、送信バッファ５９を介して出力される。
【０１０９】
また、色差ブロックのデータは、基本的には輝度ブロックのデータと同様に処理されるのであるが、演算器６２より出力された色差ブロックのデータは、クロマフレームメモリ６３Ｃに供給され、記憶される。そして動き補償回路６４Ｃにおいては、輝度ブロックＹ１乃至Ｙ４における動きベクトルを、水平方向および垂直方向にそれぞれ１／２に短かくした動きベクトルを用いて動き補償が行われる。
【０１１０】
これにより、回路１００から輝度ブロックＹ１，Ｙ２，Ｙ３，Ｙ４と、色差ブロックＣｂ５”，Ｃｒ６”よりなるグループの信号が合成回路１０５に供給される。
【０１１１】
一方、ダウンサンプリング回路１０３により４：２：２のマクロブロックのフォーマットに変換された色差ブロックのデータは、回路１０１の演算器１１２に供給される。この演算器１１２にはまた、アップサンプリング回路１１１により、回路１００の演算器６２が出力した、より低い分解能の色差ブロックのデータを垂直方向に（空間的に）２倍にアップサンプルしたデータが、予測誤差信号として供給されている。
【０１１２】
このアップサンプリング回路１１１は、例えば図６に示すように、補間回路１４１により構成することができる。この補間回路１４１は、例えば図７に示すように、色差データの存在しないラインの色差データを、その上下のラインに位置する色差データの値をそれぞれ１／２した後、加算する（平均する）ことにより生成することができる。ダウンサンプリング回路１０４によりダウンサンプリングされたときに帯域制限が行われているため、このアップサンプリングにより空間周波数が広がるわけではないが、解像度は２倍にすることができる。
【０１１３】
このようにして、アップサンプリング回路１１１により生成された色差ブロックのデータを、予測画像信号としてダウンサンプリング回路１０３が出力する色差データから減算し、その差分を生成する。この差分は、アップサンプリング回路１１１により垂直方向に２倍のアップサンプリングが行われているため、垂直方向の高周波成分を含むことになる。演算器１１２のこの出力は、ＤＣＴ回路１１３によりＤＣＴ処理された後、量子化回路１１４により量子化され、可変長符号化回路１１５により可変長符号化される。そして、図示はしていないが、送信バッファを介して合成回路１０５に供給される。これにより、回路１００より出力される色差ブロックＣｂ５”，Ｃｒ６”より高い解像度を有する色差ブロックＣｂ５’，Ｃｒ６’，Ｃｂ７’，Ｃｒ８’のグループの信号が生成される。
【０１１４】
一方、回路１０２においては、回路１０１の量子化回路１１４が出力したデータを逆量子化回路１２１により逆量子化し、これをさらにＩＤＣＴ回路１２２によりＩＤＣＴ処理して、演算器１２３に出力している。演算器１２３には、アップサンプリング回路１１１より出力された回路１０１において用いた予測誤差信号が供給されている。演算器１２３は、このアップサンプリング回路１１１が出力する予測誤差信号と、ＩＤＣＴ回路１２２が出力する信号とを加算することにより、回路１０１における色差信号を局所的に復号する。
【０１１５】
そして、演算器１２３より出力された信号を、アップサンプリング回路１２４において水平方向に２倍にアップサンプリングして、演算器１２５に出力する。演算器１２５は、アップサンプリング回路１２４の出力する信号を予測誤差信号として、フォーマット変換回路３０２より供給される４：４：４のマクロブロックフォーマットの色差ブロックのデータから減算する。これにより、その差分データは、水平方向の高周波成分を含むことになる。
【０１１６】
この演算器１２５の出力は、ＤＣＴ回路１２６によりＤＣＴ処理され、量子化回路１２７により量子化処理された後、可変長符号化回路１２８において可変長符号化される。そして、図示せぬ送信バッファを介して合成回路１０５に出力される。これにより、最も高い解像度を有する色差ブロックＣｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２のグループのデータが得られる。
【０１１７】
合成回路１０５は、このようにして、回路１００が出力する輝度ブロックＹ１乃至Ｙ４と、最も低い解像度の色差ブロックのデータＣｂ５”，Ｃｒ６”により構成されるグループのデータと、回路１０１が出力する中間の解像度の色差ブロックのデータＣｂ５’，Ｃｒ６’，Ｃｂ７’，Ｃｒ８’により構成されるグループのデータ、さらに最も高い解像度の色差ブロックのデータＣｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２により構成されるグループのデータを合成する。
【０１１８】
この合成に際して、合成回路１０５は、図８に示すように、３つのグループのデータの先頭に、それぞれヘッダＨ１乃至ヘッダＨ３を配置する。これにより、ヘッダＨ１とＹ１，Ｙ２，Ｙ３，Ｙ４，Ｃｂ５”，Ｃｒ６”により構成されるマスタスライスと、ヘッダＨ２、Ｃｂ５’，Ｃｒ６’Ｃｂ７’，Ｃｒ８’により構成されるスレーブスライス１と、ヘッダＨ３、Ｃｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２により構成されるスレーブスライス２を単位とするビットストリームが構成され、これが伝送路に供給され、記録媒体３に記録される。
【０１１９】
１フレーム分のデータのマスタスライスのデータが伝送された後、次に１フレーム分のスレーブスライス１のデータを伝送し、その次に１フレーム分のスレーブスライス２のデータを伝送するようにすることも理論的には可能である。しかしながら、そのようにすると、リアルタイムで高解像度の色の画像を得ることが困難になるため、図８に示したように、マスタスライス、スレーブスライス１およびスレーブスライスを順次伝送するようにするのが好ましい。
【０１２０】
図８に示すフォーマットに従って、記録媒体３に記録されたデータは、記録媒体３から再生され、図１の復号化装置２のデコーダ４０１に入力される。
【０１２１】
このデコーダ４０１は、例えば図９に示すように構成される。この図９において、図２２に示した場合と対応する部分には同一の符号を付してある。この実施例においては、記録媒体３（伝送路）より供給されたデータが受信バッファ８１に供給され、一旦記憶された後、分離回路１５０に供給され、輝度ブロックと最も低い解像度の色差ブロックをグループとするデータと、中間の解像度の色差ブロックのグループのデータと、最も高い解像度の色差ブロックのグループのデータとに分離され、それぞれ回路１６１，１６２または１６３に供給される。
【０１２２】
回路１６１は、図２２に示した復号回路９０と実質的に同一の構成とされている。回路１６１においては、フレームメモリ８６として、ルマフレームメモリ８６Ｌとクロマフレームメモリ８６Ｃを、また、動き補償回路８７として、動き補償回路８７Ｌと動き補償回路８７Ｃを図示しているが、図２２の復号回路９０においても、図示は省略されているが、これらの回路が内蔵されている。また、図９のルマフレームメモリ８６Ｌとクロマフレームメモリ８６Ｃには、図２２に示した前方予測画像部と後方予測画像部の図示が省略されているが、いずれもこれらを内蔵しているものである。
【０１２３】
従って、回路１６１においては、図２２において説明した場合と同様に処理が行われる。ルマフレームメモリ８６Ｌとクロマフレームメモリ８６Ｃの関係についてだけ説明しておくと、ルマフレームメモリ８６Ｌには演算器８５が出力した輝度ブロックのデータが記憶される。そして、この輝度信号に関する動き補償が動き補償回路８７Ｌにより行われ、演算器８５に出力される。これに対して、クロマフレームメモリ８６Ｃには色差ブロックに関するデータが記憶される。そして動き補償回路８７Ｃは、動き補償回路８７Ｌにおいて用いる動きベクトルを水平方向と垂直方向にそれぞれ１／２した動きベクトルを用いて、クロマフレームメモリ８６Ｃより読み出したデータを動き補償して、演算器８５に出力する。
【０１２４】
このようにして、回路１６１から４つの輝度ブロックＹ１乃至Ｙ４と、最も低い解像度の色差信号のブロックＣｂ５”，Ｃｒ６”により構成される４：２：０のマクロブロックのデータが、選択回路１６４に出力される。
【０１２５】
一方、分離回路１５０により分離された中間の解像度を有する色差ブロックのデータは、可変長復号化回路１５２において可変長復号化され、逆量子化回路１５３において逆量子化される。そして、さらにＩＤＣＴ回路１５４においてＩＤＣＴ処理された後、演算器１５５に入力される。
【０１２６】
この演算器１５５には、回路１６１の演算器８５が出力する、より低い解像度の色差ブロックのデータがアップサンプリング回路１５１により垂直方向にアップサンプリングされて供給されている。即ち、この信号は、図５の回路１０１のアップサンプリング回路１１１により生成した予測画像信号に対応する。そこで、ＩＤＣＴ回路１５４が出力するデータと、アップサンプリング回路１５１が出力する予測誤差信号とを演算器１５５で加算することにより、中間の解像度を有する色差信号のブロックＣｂ５’，Ｃｒ６’，Ｃｂ７’，Ｃｒ８’が得られる。この色差信号は、選択回路１６４に供給される。
【０１２７】
さらに、分離回路１５０により分離された、最も高い解像度を有する色差ブロックＣｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２のデータは、回路１６３の可変長復号化回路１５７に供給され、可変長復号化される。可変長復号化回路１５７より出力された信号は、逆量子化回路１５８により逆量子化され、ＩＤＣＴ回路１５９によりＩＤＣＴ処理された後、演算器１６０に入力される。
【０１２８】
また、この演算器１６０には、回路１６２の演算器１５５が出力する中間の解像度の色差信号がアップサンプリング回路１５６により水平方向にアップサンプリングされて、予測誤差信号として供給されている。演算器１６０は、この予測誤差信号をＩＤＣＴ回路１５９の出力と加算し、最も高い解像度の色差信号Ｃｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２を復号して、選択回路１６４に出力する。
【０１２９】
選択回路１６４は、図１のフォーマット変換回路４０２に含まれている。この選択回路１６４は、輝度信号を選択するとともに、３つの解像度の異なる色差信号のうち、使用者からの指令に対応して、いずれか１つを選択する。輝度信号は輝度信号フレームメモリ３４に供給され、色差信号は色差信号フレームメモリ４０３に供給される。輝度信号フレームメモリ３４より読み出された輝度信号は、Ｄ／Ａ変換器３６によりＤ／Ａ変換された後、後処理回路３８に供給される。また、色差信号フレームメモリ４０３より読み出された色差信号は、Ｄ／Ａ変換器４０４によりＤ／Ａ変換された後、後処理回路３８に供給される。Ｄ／Ａ変換器４０４のクロックは、選択した色差信号に対応して変更される。
【０１３０】
従って、使用者は、必要に応じて３つの階層の解像度のいずれかを任意に選択して、ディスプレイなどに表示させることができる。
【０１３１】
図１０は、エンコーダ３０３の第２の実施例を表している。この実施例においては、第１の実施例（図５）における最も高い解像度の色差信号を処理する回路１０２が省略され、中間の解像度の色差信号を処理する回路１０１と、最も低い解像度の色差信号と輝度信号とを処理する回路１００により構成されている。このうち、回路１００は、図５における場合と同様の構成とされている。
【０１３２】
一方、回路１０１は、演算器１１２、ＤＣＴ回路１１３、量子化回路１１４、可変長符号化回路１１５に加えて、逆量子化回路１７１、ＩＤＣＴ回路１７２、演算器１７３、クロマフレームメモリ１７４、動き補償回路１７５、選択回路１７６を有している。
【０１３３】
即ち、この実施例においては、回路１００における動作は図５における場合と同様であり、その説明は省略する。
【０１３４】
回路１０１においては、予測画像信号の生成の方法が図５における場合と異なっている。即ち、この実施例においては、図５の実施例における場合と同様に、回路１００の演算器６２が出力する、局部的に復号された色差信号を、アップサンプリング回路１１１により垂直方向にアップサンプリングすることにより、第１の予測誤差信号が生成される。
【０１３５】
また、量子化回路１１４が出力する信号を逆量子化回路１７１により逆量子化し、ＩＤＣＴ回路１７２によりＩＤＣＴ処理した後、演算器１７３に入力している。演算器１７３には、選択回路１７６により選択された予測画像信号が入力されている。
【０１３６】
演算器１７３は、この予測画像信号と、ＩＤＣＴ回路１７２が出力する信号とを加算し、局部的な復号を行う。復号された色差信号は、クロマフレームメモリ１７４に供給され、記憶される。このクロマフレームメモリ１７４に記憶された色差信号は、動き補償回路１７５において、動き補償回路６４Ｌにおける場合の動きベクトルを垂直方向に１／２した動きベクトルを用いて動き補償が行われ、選択回路１７６に予測画像信号として供給される。
【０１３７】
選択回路１７６は、アップサンプリング回路１１１が出力する予測画像信号を用いた場合における予測誤差信号と、動き補償回路１７５が出力した予測画像信号を用いた場合における予測誤差信号とを比較し、小さい予測誤差信号に対応する予測画像を選択する。そして、選択した予測画像信号は、上述したようにして、演算器１７３に供給されて局部的な復号に用いられるとともに、演算器１１２に供給されて、フォーマット変換回路３０２から供給される、中間の解像度の色差信号を符号化するための予測画像信号として用いられる。
【０１３８】
このように、この実施例においては、回路１０１において、解像度の低い色差信号の復号画像に対して、補間回路１４１（図６）などにより構成されるアップサンプリング回路１１１（空間フィルタ）を適用して、解像度の高い（中間の解像度の）色差信号と同じ解像度の予測画像を生成するとともに、解像度の高い（中間の解像度の）色差信号を局所的に復号して予測画像を生成する。そして、２つの予測画像のうち、予測効率の良好な方を適用的に選択するようにしている。これにより、より効率的にデータを圧縮することが可能となる。
【０１３９】
この実施例においてはまた、選択回路１７６から、アップサンプリング回路１１１が出力する予測画像信号と、動き補償回路１７５が出力する予測画像信号のうち、いずれを選択したかを示すスペース（前者を選択した場合）／タイム（後者を選択した場合）フラグが出力され、これが回路１００と回路１０１が出力するデータとともに合成回路１０５において多重合成され、伝送される。
【０１４０】
図１１は、図１０に示すエンコーダ３０３によりエンコードされたデータと復号するデコーダ４０１の実施例を示している。この図１１の実施例において、図９に示す実施例と対応する部分には同一の符号を付してある。この実施例においては、図９における最も高い解像度の色差信号を処理する回路１６３が省略され、中間の解像度の色差信号を処理する回路１６２、および低い解像度の色差信号と輝度信号を処理する回路１６１とにより構成されている。回路１６１の構成は、図９における場合と同様である。
【０１４１】
回路１６２においては、アップサンプリング回路１５１、可変長復号化回路１５２、逆量子化回路１５３、ＩＤＣＴ回路１５４、演算器１５５の他に、クロマフレームメモリ１８１、動き補償回路１８２、および選択回路１８３が付加されている。
【０１４２】
演算器１５５より出力された、復号された中間の解像度の色差信号は、クロマフレームメモリ１８１に供給され、記憶される。そして、動き補償回路１８２により動き補償回路８７Ｃにおける動きベクトルを垂直方向に１／２にした動きベクトルを用いて動き補償され、時間軸方向の予測画像信号として選択回路１８３に供給される。
【０１４３】
また、この選択回路１８３には、回路１６１の演算器８５が出力する、より低い解像度の色差信号をアップサンプリング回路１５１により垂直方向にアップサンプリングし、中間の解像度の色差信号の解像度に伸長した予測画像信号が供給されている。
【０１４４】
分離回路１５０は、受信バッファ８１より供給された信号から、スペース／タイムフラグを検出し、これを選択回路１８３に出力する。選択回路１８３は、スペースフラグが検出されたとき、アップサンプリング回路１５１が出力する予測誤差信号を選択し、タイムフラグが検出されたとき、動き補償回路１８２が出力する予測誤差信号を選択して、演算器１５５に出力する。これにより、中間の解像度の色差信号が適応的に復号される。
【０１４５】
図１２は、エンコーダ３０３の第３の実施例を示している。この実施例においては、回路１０１の構成が、図１０に示した第２の実施例の回路１０１を若干改良した構成とされている。この回路１０１においては、動き補償回路１７５が出力した予測画像信号が、重み付け回路１９１により重み付け係数Ｗが乗算された後、演算器１９３に供給される。また、アップサンプリング回路１１１が出力した予測画像信号が、重み付け回路１９２により係数（１−Ｗ）が乗算された後、演算器１９３に供給されている。演算器１９３は、重み付け回路１９１と１９２より供給された、重み付けされた予測画像信号を加算する。
【０１４６】
例えば係数Ｗとして、０，１／４，２／４，３／４，１が重み付け回路１９１により設定されるとき、重み付け回路１９２においては、係数１，３／４，２／４，１／４，０が設定される。重み付け回路１９１と１９２は、入力された予測画像信号にそれぞれ５種類の係数を乗算して、５種類の予測画像信号を演算器１９３に出力する。演算器１９３は、５種類の重み付けされた予測画像信号を、それぞれ対応するものどうしを加算して、５種類の予測画像信号を生成する。そして、５種類のそれぞれを採用した場合における予測誤差信号を生成し、この予測誤差信号が最も小さいものを最終的な予測誤差信号として選択し、演算器１１２と１７３に出力する。
【０１４７】
これにより、より効率的な圧縮が可能となる。
【０１４８】
尚、この実施例においては、演算器１９３が最終的に選択した重み付け係数Ｗを合成回路１０５に出力する。合成回路１０５は、この重み付け係数Ｗを他の色差信号と多重合成して出力する。
【０１４９】
図１３は、図１２に示したエンコーダ３０３によりエンコードした信号をデコードする場合のデコーダ４０１の構成例を示している。この図１３の実施例は、図１１に示した実施例と基本的に同様の構成とされている。但し、回路１６２の構成が、図１１における場合を若干改良したものとなっている。
【０１５０】
図１３の実施例においては、動き補償回路１８２が出力する予測画像信号が重み付け回路２０１において係数Ｗで重み付けされた後、演算器２０３に供給される。また、アップサンプリング回路１５１が出力する予測画像信号が、重み付け回路２０２により係数（１−Ｗ）だけ重み付けされた後、演算器２０３に供給されている。この重み付け回路２０１と２０２における重み付け係数Ｗは、図１２における重み付け回路１９１と１９２の重み付け係数に対応されている。
【０１５１】
従って、演算器２０３は、重み付け回路２０１が出力する、５種類の重み付けがなされた予測画像信号と、重み付け回路２０２が出力する、５種類の重み付けがなされた予測画像信号との対応するものどうしを加算する。そして、分離回路１５０が受信バッファ８１より供給される信号から分離した重み付け係数Ｗに対応するものを、加算した予測画像信号の中から選択する。そして、この選択された予測画像信号が演算器１５５に入力され、中間の解像度を有する色差信号の予測画像信号として用いられる。
【０１５２】
尚、以上の実施例においては、ｎ×ｎ（上記実施例はｎ＝８）画素のブロックのデータを直交変換するのに、ＤＣＴによりバンド分割を行うようにしたが、例えばＱＭＦなどを用いてサブバンド分割を行うこともできる。また、ウェーブレッド変換によりオクターブ分割を行うようにしたり、入力した２次元画像データについて、所定の変換や分割を行って符号化を行う場合に適用することが可能である。
【０１５３】
さらにまた、符号化されたビデオ信号のビットストリームに対して、符号化されたオーディオ信号、同期信号を多重化し、さらにエラー訂正用のコードを付加し、所定の変調を加えて、この変調信号によりレーザ光を変調し、ディスク上にピット、またはマークとして記録するようにすることができる。また、このディスクをマスタディスクとしてスタンパを形成し、このスタンパより大量の複製ディスク（例えば光ディスク）を成形することができる。この場合、デコーダは、この複製ディスクからデータを再生することになる。
【０１５４】
【発明の効果】
本発明の画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置によれば、解像度の低い色信号に対応する画像を復号化する装置において、解像度の高い色信号成分を処理する回路を付加するだけで、必要に応じて、解像度の低い色の画像と解像度の高い色の画像をリアルタイムに得ることが容易に可能となる。
【図面の簡単な説明】
【図１】本発明の画像信号符号化装置および復号化装置の一実施例の構成を示すブロック図である。
【図２】図１のフォーマット変換回路３０２における色差信号のサンプリングフォーマットを説明する図である。
【図３】図５のダウンサンプリング回路１０３，１０４の構成例を示すブロック図である。
【図４】マクロブロックの構成を示す図である。
【図５】図１におけるエンコーダ３０３の第１の実施例の構成を示すブロック図である。
【図６】図５のアップサンプリング回路１１１，１２４の構成例を示すブロック図である。
【図７】図６の補間回路１４１の補間動作を説明する図である。
【図８】図１の記録媒体３の記録フォーマットを説明する図である。
【図９】図１のデコーダ４０１の第１の実施例の構成を示すブロック図である。
【図１０】図１のエンコーダ３０３の第２の実施例の構成を示すブロック図である。
【図１１】図１のデコーダ４０１の第２の実施例の構成を示すブロック図である。
【図１２】図１のエンコーダ３０３の第３の実施例の構成を示すブロック図である。
【図１３】図１のデコーダ４０１の第３の実施例の構成を示すブロック図である。
【図１４】高能率符号化の原理を説明する図である。
【図１５】画像データを圧縮する場合におけるピクチャのタイプを説明する図である。
【図１６】動画像信号を符号化する原理を説明する図である。
【図１７】従来の画像信号符号化装置と復号化装置の構成例を示すブロック図である。
【図１８】図１７におけるフォーマット変換回路１７のフォーマット変換の動作を説明する図である。
【図１９】図１７におけるエンコーダ１８の構成例を示すブロック図である。
【図２０】図１９の予測モード切り替え回路５２の動作を説明する図である。
【図２１】図１９のＤＣＴモード切り替え回路５５の動作を説明する図である。
【図２２】図１７のデコーダ３１の構成例を示すブロック図である。
【符号の説明】
１ 符号化装置， ２ 復号化装置， ３ 記録媒体， １２，１３ Ａ／Ｄ変換器， １４ フレームメモリ， １５ 輝度信号フレームメモリ， １６ 色差信号フレームメモリ， １７ フォーマット変換回路， １８ エンコーダ， ３１ デコーダ， ３２ フォーマット変換回路， ３３ フレームメモリ， ３４ 輝度信号フレームメモリ， ３５ 色差信号フレームメモリ， ３６，３７ Ｄ／Ａ変換器， ５０ 動きベクトル検出回路， ５１ フレームメモリ， ５２ 予測モード切り替え回路， ５３ 演算部， ５４ 予測判定回路， ５５ ＤＣＴモード切り替え回路， ５６ ＤＣＴ回路， ５７ 量子化回路， ５８ 可変長符号化回路， ５９ 送信バッファ， ６０ 逆量子化回路， ６１ ＩＤＣＴ回路， ６２ 演算器， ６３ フレームメモリ， ６４ 動き補償回路， ８１ 受信バッファ， ８２ 可変長復号化回路， ８３ 逆量子化回路， ８４ ＩＤＣＴ回路， ８５ 演算器， ８６ フレームメモリ， ８７ 動き補償回路， １００，１０１，１０２ 回路， １０３，１０４ダウンサンプリング回路， １１１，１２４ アップサンプリング回路， １３１ ローパスフィルタ， １３２ 間引き回路， １４１ 補間回路
【発明の属する技術分野】
本発明は、動画像信号を、例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器など、動画像信号を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合などに用いて好適な画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置に関する。
【０００２】
【従来の技術】
例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。
【０００３】
ライン相関を利用すると、画像信号を、例えばＤＣＴ（離散コサイン変換）処理するなどして圧縮することができる。
【０００４】
また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図１４に示すように、時刻ｔ１，ｔ２，ｔ３において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算して、ＰＣ１２を生成し、また、フレーム画像ＰＣ２とＰＣ３の差を演算して、ＰＣ２３を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。
【０００５】
しかしながら、差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Ｉピクチャ、ＰピクチャまたはＢピクチャの３種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
【０００６】
即ち、例えば図１５に示すように、フレームＦ１乃至Ｆ１７までの１７フレームの画像信号をグループオブピクチャとし、処理の１単位とする。そして、その先頭のフレームＦ１の画像信号はＩピクチャとして符号化し、第２番目のフレームＦ２はＢピクチャとして、また第３番目のフレームＦ３はＰピクチャとして、それぞれ処理する。以下、第４番目以降のフレームＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとして交互に処理する。
【０００７】
Ｉピクチャの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対して、Ｐピクチャの画像信号としては、基本的には、図１５（Ａ）に示すように、それより時間的に先行するＩピクチャまたはＰピクチャの画像信号からの差分を伝送する。さらにＢピクチャの画像信号としては、基本的には、図１５（Ｂ）に示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化する。
【０００８】
図１６は、このようにして、動画像信号を符号化する方法の原理を示している。同図に示すように、最初のフレームＦ１はＩピクチャとして処理されるため、そのまま伝送データＦ１Ｘとして伝送路に伝送される（画像内符号化）。これに対して、第２のフレームＦ２は、Ｂピクチャとして処理されるため、時間的に先行するフレームＦ１と、時間的に後行するフレームＦ３の平均値との差分が演算され、その差分が伝送データＦ２Ｘとして伝送される。
【０００９】
但し、このＢピクチャとしての処理は、さらに細かく説明すると、４種類存在する。その第１の処理は、元のフレームＦ２のデータをそのまま伝送データＦ２Ｘとして伝送するものであり（ＳＰ１）（イントラ符号化）、Ｉピクチャにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、その差分（ＳＰ２）を伝送するものである（後方予測符号化）。第３の処理は、時間的に先行するフレームＦ１との差分（ＳＰ３）を伝送するものである（前方予測符号化）。さらに第４の処理は、時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分（ＳＰ４）を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測符号化）。
【００１０】
この４つの方法のうち、伝送データが最も少なくなる方法が採用される。
【００１１】
尚、差分データを伝送するとき、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（フレームＦ１とＦ２の間の動きベクトル）（前方予測の場合）、もしくはｘ２（フレームＦ３とＦ２の間の動きベクトル）（後方予測の場合）、またはｘ１とｘ２の両方（両方向予測の場合）が、差分データとともに伝送される。
【００１２】
また、ＰピクチャのフレームＦ３は、時間的に先行するフレームＦ１を予測画像として、このフレームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測符号化）。あるいはまた、元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送される（ＳＰ１）（イントラ符号化）。いずれの方法により伝送されるかは、Ｂピクチャにおける場合と同様に、伝送データがより少なくなる方が選択される。
【００１３】
図１７は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の構成例を示している。符号化装置１は、入力された映像信号を符号化し、伝送路としての記録媒体３に伝送するようになされている。そして、復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力するようになされている。
【００１４】
符号化装置１においては、入力された映像信号が前処理回路１１に入力され、そこで輝度信号と色信号（この例の場合、色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３によりＡ／Ｄ変換されてデジタル信号となった映像信号は、フレームメモリ１４に供給され、記憶される。フレームメモリ１４は、輝度信号を輝度信号フレームメモリ１５に、また、色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。
【００１５】
フォーマット変換回路１７は、フレームメモリ１４に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。即ち、図１８に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。フォーマット変換回路１７は、この１フレームの信号を、１６ラインを単位としてＭ個のスライスに区分する。そして、各スライスは、Ｍ個のマクロブロックに分割される。各マクロブロックは、１６×１６個の画素（ドット）に対応する輝度信号により構成され、この輝度信号は、さらに８×８ドットを単位とするブロックＹ［１］乃至Ｙ［４］に区分される。そして、この１６×１６ドットの輝度信号には、８×８ドットのＣｂ信号と、８×８ドットのＣｒ信号が対応される。
【００１６】
このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）が行われる。その詳細については、図１９を参照して後述する。
【００１７】
エンコーダ１８によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体３に記録される。
【００１８】
記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給され、デコードされる。デコーダ３１の詳細については、図２２を参照して後述する。
【００１９】
デコーダ３１によりデコードされたデータは、フォーマット変換回路３２に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給され、記憶され、色差信号は色差信号フレームメモリ３５に供給され、記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給され、合成される。そして、図示せぬ例えばＣＲＴなどのディスプレイに出力され、表示される。
【００２０】
次に図１９を参照して、エンコーダ１８の構成例について説明する。
【００２１】
符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、図１５に示したように、フレームＦ１乃至Ｆ１７により構成されるグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。
【００２２】
Ｉピクチャとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部５１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送、記憶される。
【００２３】
また、次のタイミングにおいて、さらにＢピクチャ（フレームＦ４）またはＰピクチャ（フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００２４】
フレームメモリ５１に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り替え回路５２において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、画像内予測、前方予測、後方予測、または両方向予測の演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応して決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（２乗和でもよい）を生成する。
【００２５】
ここで、予測モード切り替え回路５２におけるフレーム予測モードとフィールド予測モードについて説明する。
【００２６】
フレーム予測モードが設定された場合においては、予測モード切り替え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出力する。即ち、この場合においては、図２０（Ａ）に示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。
【００２７】
これに対して、予測モード切り替え回路５２は、フィールド予測モードにおいては、図２０（Ａ）に示す構成で動きベクトル検出回路５０より入力される信号を、図２０（Ｂ）に示すように、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【００２８】
動きベクトル検出回路５０は、フレーム予測モードにおける予測誤差の絶対値和と、フィールド予測モードにおける予測誤差の絶対値和を、予測モード切り替え回路５２に出力する。予測モード切り替え回路５２は、フレーム予測モードとフィールド予測モードにおける予測誤差の絶対値和を比較し、その値が小さい予測モードに対応する処理を施して、データを演算部５３に出力する。
【００２９】
但し、このような処理は、実際には動きベクトル検出回路５０で行われる。即ち、動きベクトル検出回路５０は、決定されたモードに対応する構成の信号を予測モード切り替え回路５２に出力し、予測モード切り替え回路５２は、その信号を、そのまま後段の演算部５３に出力する。
【００３０】
尚、色差信号は、フレーム予測モードの場合、図２０（Ａ）に示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部５３に供給される。また、フィールド予測モードの場合、図２０（Ｂ）に示すように、各色差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ［４］に対応する偶数フィールドの色差信号とされる。
【００３１】
また、動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、画像内予測、前方予測、後方予測、または両方向予測のいずれの予測を行なうかを決定するための予測誤差の絶対値和を生成する。
【００３２】
即ち、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａｉｊの和ΣＡｉｊの絶対値｜ΣＡｉｊ｜と、マクロブロックの信号Ａｉｊの絶対値｜Ａｉｊ｜の和Σ｜Ａｉｊ｜の差を求める。また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａｉｊと、予測画像のマクロブロックの信号Ｂｉｊの差Ａｉｊ−Ｂｉｊの絶対値｜Ａｉｊ−Ｂｉｊ｜の和Σ｜Ａｉｊ−Ｂｉｊ｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。
【００３３】
これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、前方予測、後方予測および両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。即ち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが設定される。
【００３４】
このように、動きベクトル検出回路５０は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測モード切り替え回路５２により選択されたモードに対応する構成で、予測モード切り替え回路５２を介して演算部５３に供給するとともに、４つの予測モードのうち、予測判定回路５４により選択された予測モードに対応する予測画像と参照画像の間の動きベクトルを検出し、可変長符号化回路５８と動き補償回路６４に出力する。上述したように、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【００３５】
予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチャの画像データを読み出しているとき、予測モードとして、フレーム（画像）内予測モード（動き補償を行わないモード）を設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り替える。これにより、Ｉピクチャの画像データがＤＣＴモード切り替え回路５５に入力される。
【００３６】
このＤＣＴモード切り替え回路５５は、図２１（Ａ）または（Ｂ）に示すように、４個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態（フレームＤＣＴモード）、または、分離された状態（フィールドＤＣＴモード）、のいずれかの状態にして、ＤＣＴ回路５６に出力する。
【００３７】
即ち、ＤＣＴモード切り替え回路５５は、奇数フィールドと偶数フィールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【００３８】
例えば、入力された信号を、図２１（Ａ）に示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また、入力された信号を、図２１（Ｂ）に示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。さらに、両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。即ち、前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フィールドＤＣＴモードを設定する。
【００３９】
そして、選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路５８と動き補償回路６４に出力する。
【００４０】
予測モード切り替え回路５２における予測モード（図２０）と、このＤＣＴモード切り替え回路５５におけるＤＣＴモード（図２１）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
【００４１】
予測モード切り替え回路５２において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り替え回路５５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り替え回路５２において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り替え回路５５において、フィールドＤＣＴモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。
【００４２】
しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り替え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り替え回路５５においては、符号化効率が良好となるようにモードが決定される。
【００４３】
ＤＣＴモード切り替え回路５５より出力されたＩピクチャの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路５７に入力され、送信バッファ５９のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路５８に入力される。
【００４４】
可変長符号化回路５８は、量子化回路５７より供給される量子化ステップ（スケール）に対応して、量子化回路５７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ５９に出力する。
【００４５】
可変長符号化回路５８にはまた、量子化回路５７より量子化ステップ（スケール）、予測判定回路５４より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、動きベクトル検出回路５０より動きベクトル、予測モード切り替え回路５２より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、およびＤＣＴモード切り替え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。
【００４６】
送信バッファ５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。
【００４７】
送信バッファ５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ５９は、量子化制御信号によって量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ５９のオーバフローまたはアンダフローが防止される。
【００４８】
そして、送信バッファ５９に蓄積されたデータは、所定のタイミングで読み出され、伝送路に出力され、例えば記録媒体３に記録される。
【００４９】
一方、量子化回路５７より出力されたＩピクチャのデータは、逆量子化回路６０に入力され、量子化回路５７より供給される量子化ステップに対応して逆量子化される。逆量子化回路６０の出力は、ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された後、演算器６２を介してフレームメモリ６３の前方予測画像部６３ａに供給され、記憶される。
【００５０】
動きベクトル検出回路５０は、シーケンシャルに入力される各フレームの画像データを、たとえば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測を伴うため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。
【００５１】
そこで動きベクトル検出回路５０は、Ｉピクチャの処理の次に、後方原画像部５１ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測モード切り替え回路５２と予測判定回路５４に供給される。予測モード切り替え回路５２と予測判定回路５４は、このＰピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム／フィールド予測モード、または画像内予測、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。
【００５２】
演算部５３はフレーム内予測モードが設定されたとき、スイッチ５３ｄを上述したように接点ａ側に切り替える。従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２を介してフレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【００５３】
前方予測モードの時、スイッチ５３ｄが接点ｂに切り替えられるとともに、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（いまの場合Ｉピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００５４】
動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り替え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。
【００５５】
この演算器６２にはまた、演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【００５６】
動きベクトル検出回路５０は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。予測モード切り替え回路５２と予測判定回路５４は、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールドモードを設定し、また、予測モードをフレーム内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。
【００５７】
上述したように、フレーム内予測モードまたは前方予測モードの時、スイッチ５３ｄは接点ａまたはｂに切り替えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。
【００５８】
これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ５３ｄは、接点ｃまたはｄにそれぞれ切り替えられる。
【００５９】
スイッチ５３ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００６０】
動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り替え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。
【００６１】
スイッチ５３ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００６２】
動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り替え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。
【００６３】
Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。
【００６４】
尚、フレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。
【００６５】
以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図２０および図２１に示すマクロブロックを単位として処理され、伝送される。尚、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【００６６】
次に、図２２は、図１７のデコーダ３１の一例の構成を示すブロック図である。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、受信バッファ８１に一時記憶された後、復号回路９０の可変長復号化回路８２に供給される。可変長復号化回路８２は、受信バッファ８１より供給されたデータを可変長復号化し、動きベクトル、予測モード、予測フラグおよびＤＣＴフラグを動き補償回路８７に、また、量子化ステップを逆量子化回路８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。
【００６７】
逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化ステップに従って逆量子化し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８４で、逆ＤＣＴ処理され、演算器８５に供給される。
【００６８】
ＩＤＣＴ回路８４より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部８６ａに供給されて記憶される。また、このデータは、フォーマット変換回路３２（図１７）に出力される。
【００６９】
ＩＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであって、前方予測モードのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして、演算器８５において、ＩＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、即ち、復号されたＰピクチャのデータは、演算器８５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部８６ｂに供給されて記憶される。
【００７０】
Ｐピクチャのデータであっても、画像内予測モードのデータは、Ｉピクチャのデータと同様に、演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。
【００７１】
このＰピクチャは、次のＢピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路３２へ出力されない（上述したように、Ｂピクチャの後に入力されたＰピクチャが、Ｂピクチャより先に処理され、伝送されている）。
【００７２】
ＩＤＣＴ回路８４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において、可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。
【００７３】
このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において、ＩＤＣＴ回路８４の出力と加算される。この加算出力は、フォーマット変換回路３２に出力される。
【００７４】
但し、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。
【００７５】
Ｂピクチャの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路８７を介して演算器８５に供給される。但し、このとき、動き補償は行われない。
【００７６】
尚、このデコーダ３１には、図１９のエンコーダ１８における予測モード切り替え回路５２とＤＣＴモード切り替え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、即ち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８７が実行する。
【００７７】
また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。但し、この場合、動きベクトルは、輝度信号用のものを、垂直方向および水平方向に１／２にしたものが用いられる。
【００７８】
【発明が解決しようとする課題】
以上のように、従来の画像信号符号化および復号化方法では、色差信号の解像度は１種類に固定されており、複数種の解像度の色差信号を伝送することはできなかった。
【００７９】
本発明はこのような状況に鑑みてなされたものであり、複数種類の解像度の色差信号を効率良く伝送することができるようにするものである。
【００８２】
【課題を解決するための手段】
本発明の画像信号記録媒体の記録方法は、所定のマクロブロック単位で符号化された画像信号を画像信号記録媒体に記録する画像信号記録媒体の記録方法であって、画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化ステップと、マクロブロックの第１の解像度より高い第２の解像度の色信号成分を、第１の画像符号化ステップの処理により符号化された第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化ステップと、第１の画像符
号化ステップの処理により出力された第１のスライスデータ信号と、第２の画像符号化ステップの処理により出力された第２のスライスデータ信号とを、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されように、画像信号記録媒体の互いに近接する位置に記録する記録ステップとを含むことを特徴とする。
本発明の画像信号記録媒体の記録方法においては、画像信号のうちの所定のマクロブロックの輝度信号成分が符号化されて符号化輝度信号が生成されるとともに、マクロブロックの色信号成分が第１の解像度で符号化されて第１の符号化色信号が生成され、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号が出力される。また、マクロブロックの第１の解像度より高い第２の解像度の色信号成分が、第１の画像符号化ステップの処理により符号化された第１の符号化色信号が復号された信号を用いて符号化されて第２の符号化色信号が生成され、第２の符号化色信号を含む第２のスライスデータ信号が出力される。そして、出力された第１のスライスデータ信号と、出力された第２のスライスデータ信号とが、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されように、画像信号記録媒体の互いに近接する位置に記録される。
【００８３】
本発明の画像信号記録装置は、所定のマクロブロック単位で符号化された画像信号を画像信号記録媒体に記録する画像信号記録装置であって、画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化回路と、マクロブロックの第１の解像度より高い第２の解像度の色信号成分を、第１の画像符号化回路により符号化された第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化回路と、第１の画像符号化回路より出力された第１のスライスデータ信号と、第２の画像符号化回路より出力された第２のスライスデータ信号とを、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されるように、画像信号記録媒体の互いに近接する位置に記録する記録回路とを備えることを特徴とする。
本発明の画像信号記録装置においては、画像信号のうちの所定のマクロブロックの輝度信号成分が符号化されて符号化輝度信号が生成されるとともに、マクロブロックの色信号成分が第１の解像度で符号化されて第１の符号化色信号が生成され、符号化輝度信号と第１の符号化色信号とを含む第１のスライスデータ信号が出力される。また、マクロブロックの第１の解像度より高い第２の解像度の色信号成分が、第１の画像符号化ステップの処理により符号化された第１の符号化色信号が復号された信号を用いて符号化されて第２の符号化色信号が生成され、第２の符号化色信号を含む第２のスライスデータ信号が出力される。そして、出力された第１のスライスデータ信号と、出力された第２のスライスデータ信号とが、符号化された画像信号が復号されるときに順次読み出されていずれか一方が選択されように、画像信号記録媒体の互いに近接する位置に記録される。
【００８４】
本発明の画像信号再生装置は、所定のマクロブロック単位で符号化された画像信号が記録された画像信号記録媒体から、画像信号を再生する画像信号再生装置であって、その画像信号記録媒体に、符号化された画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号と、マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号とを含む第１のスライスデータ信号を記録した第１のスライスデータ記録部と、マクロブロックの第１の解像度より高い第２の解像度の色信号成分が、第１の符号化色信号が復号された信号を利用して符号化された第２の符号化色信号を含む第２のスライスデータ信号を記録した第２のスライスデータ記録部とを備える構造であって、第１のスライスデータ記録部と第２のスライスデータ記録部が、互いに近接する位置に配置される構造を有するデータが記録されている場合、画像信号記録媒体から、マクロブロックに対応する第１のスライスデータ記録部に記録された第１のスライスデータ信号と、第２のスライスデータ記録部に記録された第２のスライスデータ信号とを順次再生する再生手段と、再生手段により再生された第１のスライスデータ信号と第２のスライスデータ信号とを分離する分離手段と、分離手段により分離された第１のスライスデータ信号から、符号化輝度信号を復号して輝度信号成分を再生するとともに、第１の符号化色信号を復号して第１の解像度の第１の色信号成分を再生する第１の画像復号回路と、第１の画像復号回路により復号された第１の色信号成分を用いて、分離手段により分離された第２のスライスデータ信号から第２の符号化色信号を復号して、第２の解像度の第２の色信号成分を再生する第２の画像復号回路と、第１の画像復号回路により再生された第１の色信号成分と、第２の画像復号回路により再生された第２の色信号成分とのうち、マクロブロックの復号の処理に用いられる色信号成分を選択する選択手段とを備えることを特徴とする。
本発明の画像信号再生装置においては、符号化された画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号と、マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号とを含む第１のスライスデータ信号を記録した第１のスライスデータ記録部と、マクロブロックの第１の解像度より高い第２の解像度の色信号成分が、第１の符号化色信号が復号された信号を利用して符号化された第２の符号化色信号を含む第２のスライスデータ信号を記録した第２のスライスデータ記録部とを備える構造であって、第１のスライスデータ記録部と第２のスライスデータ記録部が、互いに近接する位置に配置される構造を有するデータが記録されて画像信号記録媒体から、画像信号が再生される。詳細には、画像信号記録媒体から、マクロブロックに対応する第１のスライスデータ記録部に記録された第１のスライスデータ信号と、第２のスライスデータ記録部に記録された第２のスライスデータ信号とが順次再生され、再生された第１のスライスデータ信号と第２のスライスデータ信号とが分離される。分離された第１のスライスデータ信号から、符号化輝度信号が復号されて輝度信号成分が再生されるとともに、第１の符号化色信号が復号されて第１の解像度の第１の色信号成分が再生される。一方、復号された第１の色信号成分が用いられて分離された第２のスライスデータ信号から第２の符号化色信号が復号されて、第２の解像度の第２の色信号成分が再生される。そして、再生された第１の色信号成分と第２の色信号成分とのうち、マクロブロックの復号の処理に用いられる色信号成分が選択される。
【００８５】
これにより、従来の装置と同一の装置で、低い色信号成分の画像を得ることができるばかりでなく、必要に応じてアダプタを付加することにより、解像度の高い色信号成分に基づく画像を得ることも可能となる。
【００８６】
【発明の実施の形態】
図１は、本発明の画像信号符号化装置と復号化装置の全体の構成を示すブロック図であり、図１７に示した従来の場合と対応する部分には同一の符号を付してある。本実施例においては、Ａ／Ｄ変換器３００における前処理回路１１が出力する色差信号のＡ／Ｄ変換のタイミング（サンプリングのタイミング）が、図１７におけるＡ／Ｄ変換器１３における場合と異なっている。その結果、Ａ／Ｄ変換器３００が出力する色差信号をその後段で処理する、色差信号フレームメモリ３０１、フォーマット変換回路３０２、エンコーダ３０３が従来の場合と異なる構成とされている。
【００８７】
さらにまた、復号化装置２においては、デコーダ４０１、フォーマット変換回路４０２、色差信号フレームメモリ４０３、およびＤ／Ａ変換器４０４が、図１７に示したデコーダ３１、フォーマット変換回路３２、色差信号フレームメモリ３５、およびＤ／Ａ変換器３７と異なる構成とされている。
【００８８】
その他の構成は、図１７における場合と同様である。
【００８９】
本発明のＡ／Ｄ変換器３００においては、図２（Ａ）に示すように、サンプリングが行われる。即ち、Ａ／Ｄ変換器１２における輝度信号のサンプリング点が、図中、丸印で示されるものとすると、Ａ／Ｄ変換器３００で行われる色差信号のサンプリング点は、図中、×印で示すように、輝度信号のサンプル点と１：１に対応するものとされる（４：４：４サンプリングとされる）。
【００９０】
このＡ／Ｄ変換器３００によりサンプリングされた色差信号は、色差信号フレームメモリ３０１に供給され、記憶される。色差信号フレームメモリ３０１より読み出された色差信号は、フォーマット変換回路３０２に入力され、ダウンサンプリングされる。
【００９１】
即ち、フォーマット変換回路３０２は、例えば図３に示すようなダウンサンプリング回路を内蔵しており、Ａ／Ｄ変換器３００により、４：４：４の比でサンプリングされた色差信号を、ローパスフィルタ１３１で１／２の周波数帯域に帯域制限した後、間引き回路１３２で、各ラインのデータを１つおきに間引く。これにより、図２（Ｂ）に示すように、４：２：２のサンプリングとされる。即ち、この場合においては、各ラインにおいて、２つの輝度信号に対して１つの色差信号が対応することになる。
【００９２】
フォーマット変換回路３０２は、このようにして、４：２：２の比でサンプリングされた色差信号を、さらに同様にして、内蔵するダウンサンプリング回路によりダウンサンプルして、図２（Ｃ）に示すような４：２：０の比のサンプリングの色差信号を生成する。この場合は、４：２：２サンプリングの色差信号を１ラインおきにすべて間引くようにしているため、４つの輝度信号に対して、１つの色差信号が対応することになる。
【００９３】
尚、以上においては、データを単に間引くことにより、サンプリングの比を変更するようにしたが、例えば複数の所定の位置の色差信号を平均するなどして、サブサンプリングすることも可能である。例えば、図２（Ａ）に示す４つの色差信号を平均することにより、図２（Ｃ）において、（）を付して×印で示す色差信号を得ることができる。
【００９４】
フォーマット変換回路３０２は、このようにして生成した異なる分解能の階層の信号になされた色差信号を、対応する輝度信号のデータとともにブロック化を行う。これにより、図４に示すように、４：４：４、４：２：２、または４：２：０の３種類のマクロブロックの構成が可能となる。
【００９５】
図４（Ａ）に示すように、４：４：４のマクロブロックは、４個の輝度ブロックＹ１乃至Ｙ４と、それに対応するＣｂの色差ブロックＣｂ５，Ｃｂ７，Ｃｂ９，Ｃｂ１１と、Ｃｒの色差ブロックＣｒ６，Ｃｒ８，Ｃｒ１０，Ｃｒ１２より構成される。これに対して、図４（Ｂ）に示すように、４：２：２のマクロブロックにおいては、輝度ブロックは、図４（Ａ）に示す４：４：４のマクロブロックにおける場合と同一であるが、色差ブロックＣｂが、Ｃｂ５’とＣｂ７’により構成される。また、色差ブロックＣｒは、Ｃｒ６’とＣｒ８’により構成される。さらに、図４（Ｃ）に示すように、４：２：０のマクロブロックにおいては、輝度ブロックは、４：４：４のマクロブロックにおける場合と同一であるが、色差ブロックＣｂは、Ｃｂ５”により構成され、色差ブロックＣｒは、Ｃｒ６”により構成される。
【００９６】
尚、各ブロックの符号に付されている数字は、各マクロブロック内において、そのデータを伝送する場合における伝送の順番を示している。また、’は、それがダウンサンプリングされたデータであることを示し、”は、ダウンサンプリングが２回行われたものであることを示している。従って、例えばＣｂ５’は、Ｃｂ５を直接ダウンサンプリングして生成したものではない（これは、上述したように、Ｃｂ５とＣｂ９をダウンサンプリングして生成したものである）。
【００９７】
図４（Ｂ）における４：２：２のマクロブロックの色差データの伝送の順序が、Ｃｂ５’の次にＣｂ７’を伝送するようになされていないのは、図４（Ｃ）に示す４：２：０のマクロブロックにおける伝送順序と対応させるためである。即ち、図４（Ｃ）に示すマクロブロックにおいては、Ｃｂ５”の次にＣｒ６”が伝送される。このため、図４（Ｂ）に示す４：２：２のマクロブロックにおいても、Ｃｂ５’の次にＣｒ６’を伝送するようにしているのである。
【００９８】
同様に、図４（Ａ）に示す４：４：４のマクロブロックにおける伝送順序も、図４（Ｂ）に示す４：２：２のマクロブロックの伝送順序に対応するように定められている。このようにすることにより、いずれの比のマクロブロックが伝送されてきた場合においても、エンコーダにおいて共通の回路による処理が可能となる。
【００９９】
但し、本実施例においては、この３種類のマクロブロックがエンコーダ３０３へ伝送されるのではなく、図４（Ｃ）に示す４個の輝度ブロックＹ１乃至Ｙ４と、２個の色差ブロックＣｂ５”，Ｃｒ６”により構成される４：２：０のマクロブロックと、図４（Ｂ）に示す４：２：２のマクロブロックを構成するブロックのうち、輝度ブロックを除く色差ブロックＣｂ５’，Ｃｂ７’、および色差ブロックＣｒ６’，Ｃｒ８’と、図４（Ａ）に示す４：４：４のマクロブロックのうち、輝度ブロックを除く色差ブロックＣｂ５，Ｃｂ７，Ｃｂ９，Ｃｂ１１、および色差ブロックＣｒ６，Ｃｒ８，Ｃｒ１０，Ｃｒ１２の３種類のデータが、エンコーダ３０３に伝送される。
【０１００】
エンコーダ３０３は、例えば図５に示すように構成される。但し、図１９における動きベクトル検出回路５０、フレームメモリ５１、予測モード切り替え回路５２、予測判定回路５４、ＤＣＴモード切り替え回路５５、送信バッファ５９などは、その図示が省略されているが、図５の実施例においても同様に接続されているものである。
【０１０１】
また、図５の実施例においては、フレームメモリ６３が、ルマ（輝度信号）フレームメモリ６３Ｌとクロマ（色差信号）フレームメモリ６３Ｃに、また、動き補償回路６４が、動き補償回路６４Ｌと動き補償回路６４Ｃに分割して表示されているが、図１９の例においては、これを一体的に図示したものであって、図１９の装置においても、フレームメモリ６３と動き補償回路６４は、ルマ（輝度信号）用とクロマ（色差信号）用のものが２つ用意されている。
【０１０２】
さらに、図５の実施例においては、ルマフレームメモリ６３Ｌとクロマフレームメモリ６３Ｃは、図１９に示した場合と同様に、内部に前方予測画像部と後方予測画像部をそれぞれ有しているものである。
【０１０３】
即ち、図５の実施例のうち、動きベクトル検出回路５０乃至動き補償回路６４により構成されている回路１００は、図１９における場合と基本的に同様の構成となされている。
【０１０４】
この回路１００は、色差信号に関して着目すると、最も解像度の低い色差信号を処理するものである。本実施例においては、この回路１００における色差信号に較べて、より解像度の高い色差信号を処理するための回路として、アップサンプリング回路１１１、演算器１１２、ＤＣＴ回路１１３、量子化回路１１４、可変長符号化回路１１５よりなる回路１０１が設けられている。また、回路１０１における色差信号よりさらに高い解像度の色差信号を処理する回路１０２として、逆量子化回路１２１、ＩＤＣＴ回路１２２、演算器１２３、アップサンプリング回路１２４、演算器１２５、ＤＣＴ回路１２６、量子化回路１２７、可変長符号化回路１２８が設けられている。
【０１０５】
回路１０２には、最も解像度の高い色差信号が入力されており、回路１０１には、回路１０２に入力される色差信号をダウンサンプリング回路１０３でダウンサンプリングした、解像度の低い色差信号が入力されており、回路１００には、回路１０１に入力される色差信号をさらにダウンサンプリング回路１０４でダウンサンプリングした、最も低い解像度の色差信号が入力されるようになされている。
【０１０６】
図５に示すダウンサンプリング回路１０３と１０４は、図１におけるフォーマット変換回路３０２に内蔵されているものである。そして、４：４：４のマクロブロックを構成するように生成された、最も高い分解能を有する色差ブロックが回路１０２に入力され、このマクロブロックをダウンサンプリング回路１０３によりダウンサンプリングした４：２：２のマクロブロックを構成する色差ブロックが、回路１０１に入力されている。そして、この４：２：２のマクロブロックを構成する色差ブロックを、さらにダウンサンプリング回路１０４によりダウンサンプリングした、４：２：０のマクロブロックを構成する色差ブロックが、輝度ブロックとともに４：２：０のマクロブロックを単位として、回路１００に入力されている。
【０１０７】
回路１００における処理は、図１９を参照して説明した場合と同様であるから、その説明は省略する。ただ、輝度ブロックと色差ブロックの処理の順番について説明を付加しておくと、最初に輝度ブロックＹ１乃至Ｙ４が順次入力されるので、これらのデータが、動きベクトル検出回路５０を介してフレームメモリ５１の輝度ブロック用のフレームメモリに書き込まれる。同様にして、色差ブロックのデータは、動きベクトル検出回路５０を介してフレームメモリ５１の色差ブロック用のフレームメモリに書き込まれる（図１９）。
【０１０８】
そして、輝度ブロックＹ１乃至Ｙ４のデータは、フレームメモリ５１から読み出され、予測モード切り替え回路５２、演算器５３、ＤＣＴ回路５６、量子化回路５７、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２、ルマフレームメモリ６３Ｌ、動き補償回路６４Ｌにより処理された後、可変長符号化回路５８、送信バッファ５９を介して出力される。
【０１０９】
また、色差ブロックのデータは、基本的には輝度ブロックのデータと同様に処理されるのであるが、演算器６２より出力された色差ブロックのデータは、クロマフレームメモリ６３Ｃに供給され、記憶される。そして動き補償回路６４Ｃにおいては、輝度ブロックＹ１乃至Ｙ４における動きベクトルを、水平方向および垂直方向にそれぞれ１／２に短かくした動きベクトルを用いて動き補償が行われる。
【０１１０】
これにより、回路１００から輝度ブロックＹ１，Ｙ２，Ｙ３，Ｙ４と、色差ブロックＣｂ５”，Ｃｒ６”よりなるグループの信号が合成回路１０５に供給される。
【０１１１】
一方、ダウンサンプリング回路１０３により４：２：２のマクロブロックのフォーマットに変換された色差ブロックのデータは、回路１０１の演算器１１２に供給される。この演算器１１２にはまた、アップサンプリング回路１１１により、回路１００の演算器６２が出力した、より低い分解能の色差ブロックのデータを垂直方向に（空間的に）２倍にアップサンプルしたデータが、予測誤差信号として供給されている。
【０１１２】
このアップサンプリング回路１１１は、例えば図６に示すように、補間回路１４１により構成することができる。この補間回路１４１は、例えば図７に示すように、色差データの存在しないラインの色差データを、その上下のラインに位置する色差データの値をそれぞれ１／２した後、加算する（平均する）ことにより生成することができる。ダウンサンプリング回路１０４によりダウンサンプリングされたときに帯域制限が行われているため、このアップサンプリングにより空間周波数が広がるわけではないが、解像度は２倍にすることができる。
【０１１３】
このようにして、アップサンプリング回路１１１により生成された色差ブロックのデータを、予測画像信号としてダウンサンプリング回路１０３が出力する色差データから減算し、その差分を生成する。この差分は、アップサンプリング回路１１１により垂直方向に２倍のアップサンプリングが行われているため、垂直方向の高周波成分を含むことになる。演算器１１２のこの出力は、ＤＣＴ回路１１３によりＤＣＴ処理された後、量子化回路１１４により量子化され、可変長符号化回路１１５により可変長符号化される。そして、図示はしていないが、送信バッファを介して合成回路１０５に供給される。これにより、回路１００より出力される色差ブロックＣｂ５”，Ｃｒ６”より高い解像度を有する色差ブロックＣｂ５’，Ｃｒ６’，Ｃｂ７’，Ｃｒ８’のグループの信号が生成される。
【０１１４】
一方、回路１０２においては、回路１０１の量子化回路１１４が出力したデータを逆量子化回路１２１により逆量子化し、これをさらにＩＤＣＴ回路１２２によりＩＤＣＴ処理して、演算器１２３に出力している。演算器１２３には、アップサンプリング回路１１１より出力された回路１０１において用いた予測誤差信号が供給されている。演算器１２３は、このアップサンプリング回路１１１が出力する予測誤差信号と、ＩＤＣＴ回路１２２が出力する信号とを加算することにより、回路１０１における色差信号を局所的に復号する。
【０１１５】
そして、演算器１２３より出力された信号を、アップサンプリング回路１２４において水平方向に２倍にアップサンプリングして、演算器１２５に出力する。演算器１２５は、アップサンプリング回路１２４の出力する信号を予測誤差信号として、フォーマット変換回路３０２より供給される４：４：４のマクロブロックフォーマットの色差ブロックのデータから減算する。これにより、その差分データは、水平方向の高周波成分を含むことになる。
【０１１６】
この演算器１２５の出力は、ＤＣＴ回路１２６によりＤＣＴ処理され、量子化回路１２７により量子化処理された後、可変長符号化回路１２８において可変長符号化される。そして、図示せぬ送信バッファを介して合成回路１０５に出力される。これにより、最も高い解像度を有する色差ブロックＣｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２のグループのデータが得られる。
【０１１７】
合成回路１０５は、このようにして、回路１００が出力する輝度ブロックＹ１乃至Ｙ４と、最も低い解像度の色差ブロックのデータＣｂ５”，Ｃｒ６”により構成されるグループのデータと、回路１０１が出力する中間の解像度の色差ブロックのデータＣｂ５’，Ｃｒ６’，Ｃｂ７’，Ｃｒ８’により構成されるグループのデータ、さらに最も高い解像度の色差ブロックのデータＣｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２により構成されるグループのデータを合成する。
【０１１８】
この合成に際して、合成回路１０５は、図８に示すように、３つのグループのデータの先頭に、それぞれヘッダＨ１乃至ヘッダＨ３を配置する。これにより、ヘッダＨ１とＹ１，Ｙ２，Ｙ３，Ｙ４，Ｃｂ５”，Ｃｒ６”により構成されるマスタスライスと、ヘッダＨ２、Ｃｂ５’，Ｃｒ６’Ｃｂ７’，Ｃｒ８’により構成されるスレーブスライス１と、ヘッダＨ３、Ｃｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２により構成されるスレーブスライス２を単位とするビットストリームが構成され、これが伝送路に供給され、記録媒体３に記録される。
【０１１９】
１フレーム分のデータのマスタスライスのデータが伝送された後、次に１フレーム分のスレーブスライス１のデータを伝送し、その次に１フレーム分のスレーブスライス２のデータを伝送するようにすることも理論的には可能である。しかしながら、そのようにすると、リアルタイムで高解像度の色の画像を得ることが困難になるため、図８に示したように、マスタスライス、スレーブスライス１およびスレーブスライスを順次伝送するようにするのが好ましい。
【０１２０】
図８に示すフォーマットに従って、記録媒体３に記録されたデータは、記録媒体３から再生され、図１の復号化装置２のデコーダ４０１に入力される。
【０１２１】
このデコーダ４０１は、例えば図９に示すように構成される。この図９において、図２２に示した場合と対応する部分には同一の符号を付してある。この実施例においては、記録媒体３（伝送路）より供給されたデータが受信バッファ８１に供給され、一旦記憶された後、分離回路１５０に供給され、輝度ブロックと最も低い解像度の色差ブロックをグループとするデータと、中間の解像度の色差ブロックのグループのデータと、最も高い解像度の色差ブロックのグループのデータとに分離され、それぞれ回路１６１，１６２または１６３に供給される。
【０１２２】
回路１６１は、図２２に示した復号回路９０と実質的に同一の構成とされている。回路１６１においては、フレームメモリ８６として、ルマフレームメモリ８６Ｌとクロマフレームメモリ８６Ｃを、また、動き補償回路８７として、動き補償回路８７Ｌと動き補償回路８７Ｃを図示しているが、図２２の復号回路９０においても、図示は省略されているが、これらの回路が内蔵されている。また、図９のルマフレームメモリ８６Ｌとクロマフレームメモリ８６Ｃには、図２２に示した前方予測画像部と後方予測画像部の図示が省略されているが、いずれもこれらを内蔵しているものである。
【０１２３】
従って、回路１６１においては、図２２において説明した場合と同様に処理が行われる。ルマフレームメモリ８６Ｌとクロマフレームメモリ８６Ｃの関係についてだけ説明しておくと、ルマフレームメモリ８６Ｌには演算器８５が出力した輝度ブロックのデータが記憶される。そして、この輝度信号に関する動き補償が動き補償回路８７Ｌにより行われ、演算器８５に出力される。これに対して、クロマフレームメモリ８６Ｃには色差ブロックに関するデータが記憶される。そして動き補償回路８７Ｃは、動き補償回路８７Ｌにおいて用いる動きベクトルを水平方向と垂直方向にそれぞれ１／２した動きベクトルを用いて、クロマフレームメモリ８６Ｃより読み出したデータを動き補償して、演算器８５に出力する。
【０１２４】
このようにして、回路１６１から４つの輝度ブロックＹ１乃至Ｙ４と、最も低い解像度の色差信号のブロックＣｂ５”，Ｃｒ６”により構成される４：２：０のマクロブロックのデータが、選択回路１６４に出力される。
【０１２５】
一方、分離回路１５０により分離された中間の解像度を有する色差ブロックのデータは、可変長復号化回路１５２において可変長復号化され、逆量子化回路１５３において逆量子化される。そして、さらにＩＤＣＴ回路１５４においてＩＤＣＴ処理された後、演算器１５５に入力される。
【０１２６】
この演算器１５５には、回路１６１の演算器８５が出力する、より低い解像度の色差ブロックのデータがアップサンプリング回路１５１により垂直方向にアップサンプリングされて供給されている。即ち、この信号は、図５の回路１０１のアップサンプリング回路１１１により生成した予測画像信号に対応する。そこで、ＩＤＣＴ回路１５４が出力するデータと、アップサンプリング回路１５１が出力する予測誤差信号とを演算器１５５で加算することにより、中間の解像度を有する色差信号のブロックＣｂ５’，Ｃｒ６’，Ｃｂ７’，Ｃｒ８’が得られる。この色差信号は、選択回路１６４に供給される。
【０１２７】
さらに、分離回路１５０により分離された、最も高い解像度を有する色差ブロックＣｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２のデータは、回路１６３の可変長復号化回路１５７に供給され、可変長復号化される。可変長復号化回路１５７より出力された信号は、逆量子化回路１５８により逆量子化され、ＩＤＣＴ回路１５９によりＩＤＣＴ処理された後、演算器１６０に入力される。
【０１２８】
また、この演算器１６０には、回路１６２の演算器１５５が出力する中間の解像度の色差信号がアップサンプリング回路１５６により水平方向にアップサンプリングされて、予測誤差信号として供給されている。演算器１６０は、この予測誤差信号をＩＤＣＴ回路１５９の出力と加算し、最も高い解像度の色差信号Ｃｂ５，Ｃｒ６，Ｃｂ７，Ｃｒ８，Ｃｂ９，Ｃｒ１０，Ｃｂ１１，Ｃｒ１２を復号して、選択回路１６４に出力する。
【０１２９】
選択回路１６４は、図１のフォーマット変換回路４０２に含まれている。この選択回路１６４は、輝度信号を選択するとともに、３つの解像度の異なる色差信号のうち、使用者からの指令に対応して、いずれか１つを選択する。輝度信号は輝度信号フレームメモリ３４に供給され、色差信号は色差信号フレームメモリ４０３に供給される。輝度信号フレームメモリ３４より読み出された輝度信号は、Ｄ／Ａ変換器３６によりＤ／Ａ変換された後、後処理回路３８に供給される。また、色差信号フレームメモリ４０３より読み出された色差信号は、Ｄ／Ａ変換器４０４によりＤ／Ａ変換された後、後処理回路３８に供給される。Ｄ／Ａ変換器４０４のクロックは、選択した色差信号に対応して変更される。
【０１３０】
従って、使用者は、必要に応じて３つの階層の解像度のいずれかを任意に選択して、ディスプレイなどに表示させることができる。
【０１３１】
図１０は、エンコーダ３０３の第２の実施例を表している。この実施例においては、第１の実施例（図５）における最も高い解像度の色差信号を処理する回路１０２が省略され、中間の解像度の色差信号を処理する回路１０１と、最も低い解像度の色差信号と輝度信号とを処理する回路１００により構成されている。このうち、回路１００は、図５における場合と同様の構成とされている。
【０１３２】
一方、回路１０１は、演算器１１２、ＤＣＴ回路１１３、量子化回路１１４、可変長符号化回路１１５に加えて、逆量子化回路１７１、ＩＤＣＴ回路１７２、演算器１７３、クロマフレームメモリ１７４、動き補償回路１７５、選択回路１７６を有している。
【０１３３】
即ち、この実施例においては、回路１００における動作は図５における場合と同様であり、その説明は省略する。
【０１３４】
回路１０１においては、予測画像信号の生成の方法が図５における場合と異なっている。即ち、この実施例においては、図５の実施例における場合と同様に、回路１００の演算器６２が出力する、局部的に復号された色差信号を、アップサンプリング回路１１１により垂直方向にアップサンプリングすることにより、第１の予測誤差信号が生成される。
【０１３５】
また、量子化回路１１４が出力する信号を逆量子化回路１７１により逆量子化し、ＩＤＣＴ回路１７２によりＩＤＣＴ処理した後、演算器１７３に入力している。演算器１７３には、選択回路１７６により選択された予測画像信号が入力されている。
【０１３６】
演算器１７３は、この予測画像信号と、ＩＤＣＴ回路１７２が出力する信号とを加算し、局部的な復号を行う。復号された色差信号は、クロマフレームメモリ１７４に供給され、記憶される。このクロマフレームメモリ１７４に記憶された色差信号は、動き補償回路１７５において、動き補償回路６４Ｌにおける場合の動きベクトルを垂直方向に１／２した動きベクトルを用いて動き補償が行われ、選択回路１７６に予測画像信号として供給される。
【０１３７】
選択回路１７６は、アップサンプリング回路１１１が出力する予測画像信号を用いた場合における予測誤差信号と、動き補償回路１７５が出力した予測画像信号を用いた場合における予測誤差信号とを比較し、小さい予測誤差信号に対応する予測画像を選択する。そして、選択した予測画像信号は、上述したようにして、演算器１７３に供給されて局部的な復号に用いられるとともに、演算器１１２に供給されて、フォーマット変換回路３０２から供給される、中間の解像度の色差信号を符号化するための予測画像信号として用いられる。
【０１３８】
このように、この実施例においては、回路１０１において、解像度の低い色差信号の復号画像に対して、補間回路１４１（図６）などにより構成されるアップサンプリング回路１１１（空間フィルタ）を適用して、解像度の高い（中間の解像度の）色差信号と同じ解像度の予測画像を生成するとともに、解像度の高い（中間の解像度の）色差信号を局所的に復号して予測画像を生成する。そして、２つの予測画像のうち、予測効率の良好な方を適用的に選択するようにしている。これにより、より効率的にデータを圧縮することが可能となる。
【０１３９】
この実施例においてはまた、選択回路１７６から、アップサンプリング回路１１１が出力する予測画像信号と、動き補償回路１７５が出力する予測画像信号のうち、いずれを選択したかを示すスペース（前者を選択した場合）／タイム（後者を選択した場合）フラグが出力され、これが回路１００と回路１０１が出力するデータとともに合成回路１０５において多重合成され、伝送される。
【０１４０】
図１１は、図１０に示すエンコーダ３０３によりエンコードされたデータと復号するデコーダ４０１の実施例を示している。この図１１の実施例において、図９に示す実施例と対応する部分には同一の符号を付してある。この実施例においては、図９における最も高い解像度の色差信号を処理する回路１６３が省略され、中間の解像度の色差信号を処理する回路１６２、および低い解像度の色差信号と輝度信号を処理する回路１６１とにより構成されている。回路１６１の構成は、図９における場合と同様である。
【０１４１】
回路１６２においては、アップサンプリング回路１５１、可変長復号化回路１５２、逆量子化回路１５３、ＩＤＣＴ回路１５４、演算器１５５の他に、クロマフレームメモリ１８１、動き補償回路１８２、および選択回路１８３が付加されている。
【０１４２】
演算器１５５より出力された、復号された中間の解像度の色差信号は、クロマフレームメモリ１８１に供給され、記憶される。そして、動き補償回路１８２により動き補償回路８７Ｃにおける動きベクトルを垂直方向に１／２にした動きベクトルを用いて動き補償され、時間軸方向の予測画像信号として選択回路１８３に供給される。
【０１４３】
また、この選択回路１８３には、回路１６１の演算器８５が出力する、より低い解像度の色差信号をアップサンプリング回路１５１により垂直方向にアップサンプリングし、中間の解像度の色差信号の解像度に伸長した予測画像信号が供給されている。
【０１４４】
分離回路１５０は、受信バッファ８１より供給された信号から、スペース／タイムフラグを検出し、これを選択回路１８３に出力する。選択回路１８３は、スペースフラグが検出されたとき、アップサンプリング回路１５１が出力する予測誤差信号を選択し、タイムフラグが検出されたとき、動き補償回路１８２が出力する予測誤差信号を選択して、演算器１５５に出力する。これにより、中間の解像度の色差信号が適応的に復号される。
【０１４５】
図１２は、エンコーダ３０３の第３の実施例を示している。この実施例においては、回路１０１の構成が、図１０に示した第２の実施例の回路１０１を若干改良した構成とされている。この回路１０１においては、動き補償回路１７５が出力した予測画像信号が、重み付け回路１９１により重み付け係数Ｗが乗算された後、演算器１９３に供給される。また、アップサンプリング回路１１１が出力した予測画像信号が、重み付け回路１９２により係数（１−Ｗ）が乗算された後、演算器１９３に供給されている。演算器１９３は、重み付け回路１９１と１９２より供給された、重み付けされた予測画像信号を加算する。
【０１４６】
例えば係数Ｗとして、０，１／４，２／４，３／４，１が重み付け回路１９１により設定されるとき、重み付け回路１９２においては、係数１，３／４，２／４，１／４，０が設定される。重み付け回路１９１と１９２は、入力された予測画像信号にそれぞれ５種類の係数を乗算して、５種類の予測画像信号を演算器１９３に出力する。演算器１９３は、５種類の重み付けされた予測画像信号を、それぞれ対応するものどうしを加算して、５種類の予測画像信号を生成する。そして、５種類のそれぞれを採用した場合における予測誤差信号を生成し、この予測誤差信号が最も小さいものを最終的な予測誤差信号として選択し、演算器１１２と１７３に出力する。
【０１４７】
これにより、より効率的な圧縮が可能となる。
【０１４８】
尚、この実施例においては、演算器１９３が最終的に選択した重み付け係数Ｗを合成回路１０５に出力する。合成回路１０５は、この重み付け係数Ｗを他の色差信号と多重合成して出力する。
【０１４９】
図１３は、図１２に示したエンコーダ３０３によりエンコードした信号をデコードする場合のデコーダ４０１の構成例を示している。この図１３の実施例は、図１１に示した実施例と基本的に同様の構成とされている。但し、回路１６２の構成が、図１１における場合を若干改良したものとなっている。
【０１５０】
図１３の実施例においては、動き補償回路１８２が出力する予測画像信号が重み付け回路２０１において係数Ｗで重み付けされた後、演算器２０３に供給される。また、アップサンプリング回路１５１が出力する予測画像信号が、重み付け回路２０２により係数（１−Ｗ）だけ重み付けされた後、演算器２０３に供給されている。この重み付け回路２０１と２０２における重み付け係数Ｗは、図１２における重み付け回路１９１と１９２の重み付け係数に対応されている。
【０１５１】
従って、演算器２０３は、重み付け回路２０１が出力する、５種類の重み付けがなされた予測画像信号と、重み付け回路２０２が出力する、５種類の重み付けがなされた予測画像信号との対応するものどうしを加算する。そして、分離回路１５０が受信バッファ８１より供給される信号から分離した重み付け係数Ｗに対応するものを、加算した予測画像信号の中から選択する。そして、この選択された予測画像信号が演算器１５５に入力され、中間の解像度を有する色差信号の予測画像信号として用いられる。
【０１５２】
尚、以上の実施例においては、ｎ×ｎ（上記実施例はｎ＝８）画素のブロックのデータを直交変換するのに、ＤＣＴによりバンド分割を行うようにしたが、例えばＱＭＦなどを用いてサブバンド分割を行うこともできる。また、ウェーブレッド変換によりオクターブ分割を行うようにしたり、入力した２次元画像データについて、所定の変換や分割を行って符号化を行う場合に適用することが可能である。
【０１５３】
さらにまた、符号化されたビデオ信号のビットストリームに対して、符号化されたオーディオ信号、同期信号を多重化し、さらにエラー訂正用のコードを付加し、所定の変調を加えて、この変調信号によりレーザ光を変調し、ディスク上にピット、またはマークとして記録するようにすることができる。また、このディスクをマスタディスクとしてスタンパを形成し、このスタンパより大量の複製ディスク（例えば光ディスク）を成形することができる。この場合、デコーダは、この複製ディスクからデータを再生することになる。
【０１５４】
【発明の効果】
本発明の画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置によれば、解像度の低い色信号に対応する画像を復号化する装置において、解像度の高い色信号成分を処理する回路を付加するだけで、必要に応じて、解像度の低い色の画像と解像度の高い色の画像をリアルタイムに得ることが容易に可能となる。
【図面の簡単な説明】
【図１】本発明の画像信号符号化装置および復号化装置の一実施例の構成を示すブロック図である。
【図２】図１のフォーマット変換回路３０２における色差信号のサンプリングフォーマットを説明する図である。
【図３】図５のダウンサンプリング回路１０３，１０４の構成例を示すブロック図である。
【図４】マクロブロックの構成を示す図である。
【図５】図１におけるエンコーダ３０３の第１の実施例の構成を示すブロック図である。
【図６】図５のアップサンプリング回路１１１，１２４の構成例を示すブロック図である。
【図７】図６の補間回路１４１の補間動作を説明する図である。
【図８】図１の記録媒体３の記録フォーマットを説明する図である。
【図９】図１のデコーダ４０１の第１の実施例の構成を示すブロック図である。
【図１０】図１のエンコーダ３０３の第２の実施例の構成を示すブロック図である。
【図１１】図１のデコーダ４０１の第２の実施例の構成を示すブロック図である。
【図１２】図１のエンコーダ３０３の第３の実施例の構成を示すブロック図である。
【図１３】図１のデコーダ４０１の第３の実施例の構成を示すブロック図である。
【図１４】高能率符号化の原理を説明する図である。
【図１５】画像データを圧縮する場合におけるピクチャのタイプを説明する図である。
【図１６】動画像信号を符号化する原理を説明する図である。
【図１７】従来の画像信号符号化装置と復号化装置の構成例を示すブロック図である。
【図１８】図１７におけるフォーマット変換回路１７のフォーマット変換の動作を説明する図である。
【図１９】図１７におけるエンコーダ１８の構成例を示すブロック図である。
【図２０】図１９の予測モード切り替え回路５２の動作を説明する図である。
【図２１】図１９のＤＣＴモード切り替え回路５５の動作を説明する図である。
【図２２】図１７のデコーダ３１の構成例を示すブロック図である。
【符号の説明】
１ 符号化装置， ２ 復号化装置， ３ 記録媒体， １２，１３ Ａ／Ｄ変換器， １４ フレームメモリ， １５ 輝度信号フレームメモリ， １６ 色差信号フレームメモリ， １７ フォーマット変換回路， １８ エンコーダ， ３１ デコーダ， ３２ フォーマット変換回路， ３３ フレームメモリ， ３４ 輝度信号フレームメモリ， ３５ 色差信号フレームメモリ， ３６，３７ Ｄ／Ａ変換器， ５０ 動きベクトル検出回路， ５１ フレームメモリ， ５２ 予測モード切り替え回路， ５３ 演算部， ５４ 予測判定回路， ５５ ＤＣＴモード切り替え回路， ５６ ＤＣＴ回路， ５７ 量子化回路， ５８ 可変長符号化回路， ５９ 送信バッファ， ６０ 逆量子化回路， ６１ ＩＤＣＴ回路， ６２ 演算器， ６３ フレームメモリ， ６４ 動き補償回路， ８１ 受信バッファ， ８２ 可変長復号化回路， ８３ 逆量子化回路， ８４ ＩＤＣＴ回路， ８５ 演算器， ８６ フレームメモリ， ８７ 動き補償回路， １００，１０１，１０２ 回路， １０３，１０４ダウンサンプリング回路， １１１，１２４ アップサンプリング回路， １３１ ローパスフィルタ， １３２ 間引き回路， １４１ 補間回路
Claims (5)
- 所定のマクロブロック単位で符号化された画像信号を画像信号記録媒体に記録する画像信号記録媒体の記録方法において、
前記画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、前記マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、前記符号化輝度信号と前記第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化ステップと、
前記マクロブロックの前記第１の解像度より高い第２の解像度の色信号成分を、前記第１の画像符号化ステップの処理により符号化された前記第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化ステップと、
前記第１の画像符号化ステップの処理により出力された前記第１のスライスデータ信号と、前記第２の画像符号化ステップの処理により出力された前記第２のスライスデータ信号とを、符号化された前記画像信号が復号されるときに順次読み出されていずれか一方が選択されように、前記画像信号記録媒体の互いに近接する位置に記録する記録ステップと
を含むことを特徴とする画像信号記録媒体の記録方法。 - 前記記録ステップは、前記第２のスライスデータ信号を、前記第１のスライスデータ信号が記録された位置の後方であって、前記第１のスライスデータ信号と連続する位置に記録する
ことを特徴とする請求項１に記載の画像信号記録媒体の記録方法。 - 所定のマクロブロック単位で符号化された画像信号を画像信号記録媒体に記録する画像信号記録装置において、
前記画像信号のうちの所定のマクロブロックの輝度信号成分を符号化して符号化輝度信号を生成するとともに、前記マクロブロックの色信号成分を第１の解像度で符号化して第１の符号化色信号を生成し、前記符号化輝度信号と前記第１の符号化色信号とを含む第１のスライスデータ信号を出力する第１の画像符号化回路と、
前記マクロブロックの前記第１の解像度より高い第２の解像度の色信号成分を、前記第１の画像符号化回路により符号化された前記第１の符号化色信号が復号された信号を用いて符号化して第２の符号化色信号を生成し、前記第２の符号化色信号を含む第２のスライスデータ信号を出力する第２の画像符号化回路と、
前記第１の画像符号化回路より出力された前記第１のスライスデータ信号と、前記第２の画像符号化回路より出力された前記第２のスライスデータ信号とを、符号化された前記画像信号が復号されるときに順次読み出されていずれか一方が選択されるように、前記画像信号記録媒体の互いに近接する位置に記録する記録回路と
を備えることを特徴とする画像信号記録装置。 - 前記記録回路は、前記第２のスライスデータ信号を、前記第１のスライスデータ信号が記録された位置の後方であって、前記第１のスライスデータ記録信号と連続する位置に記録する
ことを特徴とする請求項３に記載の画像信号記録装置。 - 所定のマクロブロック単位で符号化された画像信号が記録された画像信号記録媒体から、前記画像信号を再生する画像信号再生装置において、
前記画像信号記録媒体に、
符号化された前記画像信号のうちの所定のマクロブロックの輝度信号成分が符号化された符号化輝度信号と、前記マクロブロックの色信号成分が第１の解像度で符号化された第１の符号化色信号とを含む第１のスライスデータ信号を記録した第１のスライスデータ記録部と、
前記マクロブロックの前記第１の解像度より高い第２の解像度の色信号成分が、前記第１の符号化色信号が復号された信号を利用して符号化された第２の符号化色信号を含む第２のスライスデータ信号を記録した第２のスライスデータ記録部と
を備える構造であって、
前記第１のスライスデータ記録部と前記第２のスライスデータ記録部が、互いに近接する位置に配置される構造を有するデータが記録されている場合、
前記画像信号記録媒体から、前記マクロブロックに対応する前記第１のスライスデータ記録部に記録された前記第１のスライスデータ信号と、前記第２のスライスデータ記録部に記録された前記第２のスライスデータ信号とを順次再生する再生手段と、
前記再生手段により再生された前記第１のスライスデータ信号と前記第２のスライスデータ信号とを分離する分離手段と、
前記分離手段により分離された前記第１のスライスデータ信号から、前記符号化輝度信号を復号して前記輝度信号成分を再生するとともに、前記第１の符号化色信号を復号して前記第１の解像度の第１の色信号成分を再生する第１の画像復号回路と、
前記第１の画像復号回路により復号された前記第１の色信号成分を用いて、前記分離手段により分離された前記第２のスライスデータ信号から前記第２の符号化色信号を復号して、前記第２の解像度の第２の色信号成分を再生する第２の画像復号回路と、
前記第１の画像復号回路により再生された前記第１の色信号成分と、前記第２の画像復号回路により再生された前記第２の色信号成分とのうち、前記マクロブロックの復号の処理に用いられる色信号成分を選択する選択手段と
を備えることを特徴とする画像信号再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001252202A JP3552045B2 (ja) | 2001-08-23 | 2001-08-23 | 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001252202A JP3552045B2 (ja) | 2001-08-23 | 2001-08-23 | 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36017092A Division JP3381855B2 (ja) | 1992-12-28 | 1992-12-28 | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003345279A Division JP2004088795A (ja) | 2003-10-03 | 2003-10-03 | 画像信号生成装置および方法、並びに、画像信号再生装置および方法 |
| JP2004007597A Division JP4210925B2 (ja) | 2004-01-15 | 2004-01-15 | 画像信号生成装置および方法、並びに、画像信号再生装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002135803A JP2002135803A (ja) | 2002-05-10 |
| JP3552045B2 true JP3552045B2 (ja) | 2004-08-11 |
Family
ID=19080716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001252202A Expired - Lifetime JP3552045B2 (ja) | 2001-08-23 | 2001-08-23 | 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3552045B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023054068A1 (ja) * | 2021-09-30 | 2023-04-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法、および復号方法 |
-
2001
- 2001-08-23 JP JP2001252202A patent/JP3552045B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002135803A (ja) | 2002-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3381855B2 (ja) | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 | |
| JP3164031B2 (ja) | 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体 | |
| JP3189258B2 (ja) | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 | |
| JP3374989B2 (ja) | 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置 | |
| JPH06197334A (ja) | 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体 | |
| JP3540447B2 (ja) | 動画像符号化装置及び復号装置 | |
| JP2000036963A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
| JP3552045B2 (ja) | 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置 | |
| JP4210925B2 (ja) | 画像信号生成装置および方法、並びに、画像信号再生装置および方法 | |
| JPH08307896A (ja) | 画像信号記録方法および装置、画像信号再生方法および装置、ならびに画像信号記録媒体 | |
| JP2004088795A (ja) | 画像信号生成装置および方法、並びに、画像信号再生装置および方法 | |
| JP4422629B2 (ja) | 動画像符号化装置、復号化装置、動画像記録装置および動画像再生装置 | |
| JPH08307814A (ja) | 画像信号記録方法および装置、画像信号再生方法および装置、ならびに画像信号記録媒体 | |
| JP3186406B2 (ja) | 画像合成符号化方法及び画像合成装置 | |
| JP4526529B2 (ja) | 階層画像を用いる映像信号変換装置 | |
| JP3946177B2 (ja) | 動画像符号化装置及び復号装置 | |
| JPH06311498A (ja) | 画像信号の符号化・復号化装置 | |
| JP3307379B2 (ja) | 復号化装置及び方法 | |
| JP3164110B2 (ja) | 符号化装置及び方法 | |
| JPH06197326A (ja) | 画像信号符号化方法および復号化方法並びに画像信号符号化装置および復号化装置 | |
| JP2003158720A (ja) | 画像記録装置および画像再生装置 | |
| JPH06189293A (ja) | 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置及び記録媒体 | |
| JPH08307815A (ja) | 画像信号記録方法および装置、画像信号再生方法および装置、ならびに画像信号記録媒体 | |
| JP2000036961A (ja) | 画像符号化装置、画像符号化方法および画像復号化装置 | |
| JPH06153148A (ja) | 映像信号記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031219 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040115 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040420 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |