JP3687458B2 - 圧縮復号化方法及び圧縮復号化装置 - Google Patents
圧縮復号化方法及び圧縮復号化装置 Download PDFInfo
- Publication number
- JP3687458B2 JP3687458B2 JP2000008756A JP2000008756A JP3687458B2 JP 3687458 B2 JP3687458 B2 JP 3687458B2 JP 2000008756 A JP2000008756 A JP 2000008756A JP 2000008756 A JP2000008756 A JP 2000008756A JP 3687458 B2 JP3687458 B2 JP 3687458B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- color difference
- pixels
- difference signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は圧縮復号化方法及び圧縮復号化装置に係り、特にコンポーネントビデオ信号のフォーマットを変更して高画質に圧縮符号化し、またこれを圧縮復号化し得る圧縮復号化方法及び圧縮復号化装置に関する。
【０００２】
【従来の技術】
２種類の色差信号の各標本化周波数を、それぞれ輝度信号のそれの１／２とした４：２：２コンポーネント符号化方式のディジタル動画像信号（以下、４：２：２画像信号という）を、２種類の色差信号の各標本化周波数は、それぞれ輝度信号のそれの１／２であるが、線順次で色差信号を伝送する４：２：０コンポーネント符号化方式のディジタル動画像信号（以下、４：２：０画像信号という）へ仕様変換し、４：２：０画像信号と動画像の圧縮符号化に必要な付加情報をデータ圧縮部へ転送する場合に、バスライン制御を複雑化させない画像圧縮符号化装置が、従来より知られている（特開平８−４６５１９号公報）。
【０００３】
この従来の画像圧縮符号化装置では、公知のＤ１フォーマットでの記録再生を行うＤ１−ＶＴＲにより再生された４：２：２画像信号を仕様変換回路で４：２：０画像信号へ変換した後、フレームメモリに書き込む一方、付加情報検出部に供給して動画像の圧縮符号化に必要となる付加情報（動きベクトル情報や動き補償予測に必要となるモード判定情報）を検出する。マルチプレクサは、上記のフレームメモリからの４：２：０画像信号を奇数フィールドと偶数フィールドで交互に出力するが、奇数フィールドでは輝度信号画素と色差信号画素とが１画素毎に交互に配列され、偶数フィールドでは輝度信号と付加情報検出部からの付加情報とが１画素毎に交互に配列されたデータ列として取り出してデータ圧縮部へ転送する。データ圧縮部ではデマルチプレクサで４：２：０画像信号と付加情報を分離し、付加情報を用いて４：２：０画像信号を圧縮符号化する。
【０００４】
この従来の画像圧縮符号化装置では４：２：２画像信号フォーマットを４：２：０に変換した場合の、一画面の色差信号画素データが半分に減少した部分を効果的に利用して、ＭＰＥＧなどの４：２：０画像を圧縮符号化する際に必要なパラメータ情報を多重化している。
【０００５】
次に、ここで使用されている圧縮方式ＭＰＥＧについて説明する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の略称である。ＭＰＥＧ１（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、サービス統合ディジタル網（ＩＳＤＮ）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ １１１７２として成立している。ＭＰＥＧ２（ＭＰＥＧフェ−ズ２）は、通信や放送などの多様なアプリケーションに対応できるように、汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ １３８１８、Ｈ．２６２として成立している。
【０００６】
ＭＰＥＧの入力画像のフォーマットは、ＭＰＥＧ１とＭＰＥＧ２のＭＰ＠ＭＬという一般的に使用されているプロファイルでは基本的に４：２：０である。 ＩＴＵ−Ｒ勧告６０１で規定されている４：２：２コンポーネントフォーマットは、画面上に模式的に表した場合、図１４（Ａ）に白四角で示す輝度信号の画素に対し、黒丸で示す色差信号の画素が水平方向において１／２倍になっているのに対し、上記のＭＰＥＧ２の４：２：０コンポーネントフォーマットは、図１４（Ｂ）に示すように、白四角で示す輝度信号の画素に対し、黒丸で示す色差信号の画素が垂直方向及び水平方向のそれぞれにおいて１／２倍になっている。なお、図１４において、画素位置は位相を示している。
【０００７】
また、ＭＰＥＧ１の４：２：０コンポーネントフォーマットは、４：２：２コンポーネントフォーマットに対して、図１４（Ｃ）に示すように、白四角で示す輝度信号の画素に対し、黒丸で示す色差信号の画素が垂直方向及び水平方向のそれぞれにおいて１／２倍になっている点はＭＰＥＧ２の４：２：０コンポーネントフォーマットと同様であるが、ＭＰＥＧ２の４：２：０コンポーネントフォーマットとは色差信号の画素位置（位相）が異なる。
【０００８】
いずれにしても４：２：０コンポーネント信号は、４：２：２コンポーネント信号に対して垂直解像度が半分になり、ディジタルデータの色の画素数も半分になっていることに変わりはない。周知のように、人間の目は輝度に比べて、色の解像度の認識力が小さいという実験結果に基づいて、ＭＰＥＧ符号化の入力時点で色差信号の画素数を間引いているのである。
【０００９】
ＭＰＥＧの符号化部分は幾つかの技術を組み合わせて作成されている。図１５はＭＰＥＧによる画像圧縮符号化装置の一例のブロック図を示す。同図において、入力画像は動き補償予測器１で復号化され、この動き補償予測画像と入力画像の差分を減算回路２でとることで時間冗長部分を削減する。予測の方向は、過去、未来、両方からの３モード存在する。また、これらは１６画素×１６画素のＭＢ（マクロブロック）ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。ピクチャタイプはＰピクチャとＢピクチャとＩピクチャがある。過去からの予測と、予測をしないでそのＭＢを独立で符号化する２モード存在するのがＰピクチャである。また、未来からの予測、過去からの予測、両方からの予測、独立で符号化する４モード存在するのがＢピクチャである。そして全てのＭＢが独立で符号化するのがＩピクチャである。
【００１０】
動き補償（ＭＣ：Motion Compensation）は、動き領域をＭＢごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣモードと共に、ＭＢの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が使用される。
【００１１】
減算回路２より取り出された差分画像信号は、ＤＣＴ器３において直交変換が行われる。離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）とは余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではＭＢを４分割した８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【００１２】
ＤＣＴされた画像データ（ＤＣＴ係数）は、量子化器４で量子化が行われる。この量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【００１３】
量子化されたデータはＶＬＣ器５で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化の一つであるＤＰＣＭ（Differencial Pulse Code Modulation）を使用する。また交流（ＡＣ）成分は低域から高域にジクザグスキャンを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。可変長符号化されたデータは一時バッファ６に蓄えられ、所定の転送レートで符号化データとして出力される。
【００１４】
また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器７に供給され、目標符号量に対する発生符号量との誤差符号量を量子化器４にフイードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器８にて逆量子化、逆ＤＣＴ器９にて逆ＤＣＴされた後、加算回路１０を通して画像メモリ１１に一時蓄えられたのち、動き補償予測器１において、差分画像を計算するためのリファレンスの復号化画像として使用される。動き補償予測器１の出力信号は減算回路２と加算回路１０に入力される。
【００１５】
バッファ６より出力される符号化ビットストリームは、ビデオの場合１ピクチャごとに可変長の符号量をもっている。これはＭＰＥＧがＤＣＴ、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャごとに配分する符号量は適応的に変更する必要性がある。動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。この場合多くはその画像のエントロピー比率に配分しつつ、バッファの制限を守りながら符号量制御される。このバッファの制限は、復号装置側のバッファがオーバーフローもアンダーフローも発生しないように符号化することであり、ＭＰＥＧでＶＢＶ（Video Buffering Verifier）として規定されている。
【００１６】
図１６はＭＰＥＧにより圧縮符号化された符号化データの復号化装置の一例のブロック図を示す。同図において、ＭＰＥＧにより圧縮符号化された符号化データは、ＶＬＤ器１５で可変長復号されてから逆量子化器１６で量子化幅と乗算されることにより、元のＤＣＴ係数に近似した値とされた後、逆ＤＣＴ器１７に供給されて逆ＤＣＴされることにより局部復号化される。
【００１７】
また、逆量子化器１６より取り出された動きベクトルと予測モードは、動き補償予測器１８に画像メモリ２０よりの復号化データと共に供給され、これより動き補償予測化した画像データを出力させる。加算器１９は逆ＤＣＴ器１７からのデータと動き補償予測器１８よりの動き補償予測化した画像データとを加算することにより、符号化装置に入力された画像データと等価な画像データを復号し、復号化データとして画像メモリ２０に供給する一方、外部へ出力する。
【００１８】
【発明が解決しようとする課題】
図１５に示した従来のＭＰＥＧ方式に準拠した画像圧縮符号化装置では、前述したように、４：２：０フォーマットで圧縮符号化される。一方、家庭用ディジタルＶＴＲの代表的なものにＤＶＣ（Digital Video Cassette）がある。ＤＶＣはＭＰＥＧとは違った圧縮方式であり、現行方式用のＳＤ規格とＨＤＴＶ用のＨＤ規格とがあり、ＳＤ方式では、入力画像フォーマットがＮＴＳＣにおいては４：１：１コンポーネントフォーマットとなっている。４：１：１コンポーネントフォーマットは、４：２：２コンポーネントフォーマットに対して、図１４（Ｄ）に示すように、白四角で示す輝度信号の画素に対し、黒丸で示す色差信号の画素が水平方向において１／２倍（入力画像の１／４倍）になっていて、垂直方向は同じである。
【００１９】
ここで、４：２：２画像信号がＤＶＣに記録され、さらにＤＶＣから出力されてＭＰＥＧ符号化を用いているアプリケーションにコピーする場合を考える。ＤＶＣにより符号化された画像データを復号すると、ＤＶＣフォーマットが４：１：１である理由から、色差信号の画素間隔は輝度信号の画素間隔に対して、水平方向に１／４になっている。この信号を４：２：０フォーマットのＭＰＥＧ符号化で再度符号化する場合、４：１：１画像信号の垂直方向をさらに１／２にしてしまい、画素数は４：２：０画像信号と同じ色差信号画素数が存在しているにもかかわらず、４：１：０画像信号と同じ色差信号帯域、すなわち、色差信号の画素数は輝度信号の画素数に対して、水平方向に１／４に、垂直方向は１／２となった信号フォーマットと等価となってしまう。
【００２０】
これは４：２：２画像信号の画素数概念図を図１７（Ａ）に、４：２：０画像信号の画素数概念図を同図（Ｂ）に、４：１：１画像信号の画素数概念図を同図（Ｃ）に示すと、４：１：１画像信号をＭＰＥＧ符号化装置で再度符号化した画像信号は、４：２：２画像信号に比べて、４：１：１画像信号と４：２：０画像信号の色差信号（Ｃｂ，Ｃｒ）の水平、垂直双方の悪い条件を持ちあわせた、図１７（Ｄ）に示すような４：１：０画像信号の画素数しか持っていない画像と、同じ帯域になっていることを意味する。このように、従来は色差信号フォーマットの違ったフォーマットの符号化を行うことで、色差信号の劣化を顕著にしてしまうことが問題である。
【００２１】
なお、特開平８−４６５１９号公報に記載されている従来の画像圧縮符号化装置は、４：２：２画像信号フォーマットを４：２：０画像信号フォーマットに変換した場合の、一画面の色差信号画素データが半分に減少した部分を効果的に利用して、ＭＰＥＧなどの４：２：０画像信号を圧縮符号化する際に必要なパラメータ情報を多重化することで、システムとして必要な付加情報をデータ圧縮部へ転送する場合に、バスライン制御を複雑化させないなどの効果はあるものの、この従来装置では、画像の色差信号の劣化を軽減するための手段に関しては何ら開示されていない。
【００２２】
本発明は以上の点に鑑みなされたもので、コンポーネントフォーマットを変更して圧縮符号化した場合の画像符号化データの色差信号の劣化を軽減し得る圧縮符号化方法、圧縮復号化方法、圧縮符号化装置及び圧縮復号化装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
上記の目的を達成するため、本発明の圧縮復号化方法は、４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、各ライン毎に４画素周期で水平方向に配置される入力画像信号中の色差信号の画素のうち、隣接する４ラインを一組としたとき、各組において２番目又は３番目のライン上の色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上の色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトすることにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１のステップと、画素置き換えされた画像信号を４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置により圧縮符号化を行う第２のステップと、圧縮符号化された画像信号を４：２：０のコンポーネントフォーマットで復号化する復号化装置により復号化して復号信号を得る第３のステップと、復号信号を一画面に表示したとき、復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、第１のステップによる画素シフトとは逆の画素シフトを行うことにより、４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えを行う第４のステップとを含むことを特徴とする。
【００２４】
また、本発明の圧縮復号化方法は、上記の目的を達成するため、４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、水平方向８画素及び垂直方向４画素の隣接する計３２画素を一組としたとき、各ライン毎に４画素周期で水平方向に配置され、かつ、各組毎に８つある入力画像信号中の色差信号の画素のうち、垂直方向に隣接する４つの色差信号の画素については、２番目又は３番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、垂直方向に隣接する残りの４つの画素については、１番目のライン上にある色差信号の画素と３番目又は２番目のライン上にある色差信号の画素は右へ２画素それぞれシフトし、かつ、シフト後の色差信号の画素位置に２番目又は３番目のライン上と４番目のライン上にある色差信号の画素をそれぞれ垂直方向にシフトすることを各組毎に行うことにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１のステップと、画素置き換えされた画像信号を４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置により圧縮符号化を行う第２のステップと、圧縮符号化された画像信号を４：２：０のコンポーネントフォーマットで復号化する復号化装置により復号化して復号信号を得る第３のステップと、復号信号を一画面に表示したとき、復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、第１のステップによる画素シフトとは逆の画素シフトを行うことにより、４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えを行う第４のステップとを含むことを特徴とする。
【００３１】
更に、上記の目的を達成するため、本発明の圧縮復号化装置は、４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、各ライン毎に４画素周期で水平方向に配置される入力画像信号中の色差信号の画素のうち、隣接する４ラインを一組としたとき、各組において２番目又は３番目のライン上の色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上の色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトすることにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１の画素置き換え器と、第１の画素置き換え器で画素置き換えが行われた画像信号を、４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置と、符号化装置で圧縮符号化された圧縮符号化画像信号を受け、４：２：０のコンポーネントフォーマットで復号化して復号信号を出力する復号化器と、復号信号を一画面に表示したとき、復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、第１のステップによる画素シフトとは逆の画素シフトを行うことにより、４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えをして、符号化装置に入力された画像信号と同じ画像信号を出力する第２の画素置き換え器とを有することを特徴とする。
【００３２】
更に、上記の目的を達成するため、本発明の圧縮復号化装置は、４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、水平方向８画素及び垂直方向４画素の隣接する計３２画素を一組としたとき、各ライン毎に４画素周期で水平方向に配置され、かつ、各組毎に８つある入力画像信号中の色差信号の画素のうち、垂直方向に隣接する４つの色差信号の画素については、２番目又は３番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、垂直方向に隣接する残りの４つの画素については、１番目のライン上にある色差信号の画素と３番目又は２番目のライン上にある色差信号の画素は右へ２画素それぞれシフトし、かつ、シフト後の色差信号の画素位置に２番目又は３番目のライン上と４番目のライン上にある色差信号の画素をそれぞれ垂直方向にシフトすることを各組毎に行うことにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１の画素置き換え器と、第１の画素置き換え器で画素置き換えが行われた画像信号を、４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置と、符号化装置で圧縮符号化された圧縮符号化画像信号を受け、４：２：０のコンポーネントフォーマットで復号化して復号信号を出力する復号化器と、復号信号を一画面に表示したとき、復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、第１のステップによる画素シフトとは逆の画素シフトを行うことにより、４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えをして、符号化装置に入力された画像信号と同じ画像信号を出力する第２の画素置き換え器とを有することを特徴とする。
【００３５】
【発明の実施の形態】
次に、本発明の実施の形態について、図面と共に説明する。まず、図１７を用いて本発明の概念を説明する。図１７の画素数概念図では、面積が一画面当たりの画素数を示しており、４：２：２（コンポーネントフォーマット）画像信号では、図１７（Ａ）に示すように、一画面の色差信号Ｃｂ及びＣｒの各画素数が輝度信号Ｙの画素数と比較して、水平方向に対して１／２になっていて垂直方向は同じである。また、４：２：０画像信号では、図１７（Ｂ）に示すように、一画面の色差信号Ｃｂ、Ｃｒの各画素数が輝度信号Ｙの画素数と比較して水平方向に対して１／２、垂直方向にも１／２となっている。
【００３６】
また、４：１：１画像信号では、図１７（Ｃ）に示すように、一画面の色差信号Ｃｂ、Ｃｒの各画素数が輝度信号Ｙの画素数と比較して、水平方向に対して１／４となっていて垂直方向は同じである。更に、４：１：０画像信号では、図１７（Ｄ）に示すように、一画面の色差信号Ｃｂ、Ｃｒの各画素数が輝度信号Ｙの画素数と比較して水平方向に対して１／４、垂直方向にも１／４となっている。
【００３７】
従って、図１７（Ｂ）及び（Ｃ）から分かるように、４：２：０画像信号と４：１：１画像信号の色差信号（Ｃｂ、Ｃｒ）の画素数（面積）はそれぞれ等しい。本実施の形態はこのことに着目して、画素の置き換えを行い、４：１：１コンポーネントフォーマットの色差信号を、あたかも４：２：０コンポーネントフォーマットの色差信号であったかのようにして変換するようにしたものである。
【００３８】
すなわち、前述したように、もとの圧縮符号化画像データが４：１：１コンポーネントフォーマットの画像信号であって、それを４：２：０コンポーネントフォーマットの画像信号にする場合、単純に変換すると、４：１：１画像信号の色差信号の垂直方向の画素数をさらに１／２にしてしまい、画素数は４：２：０画像信号と同じ色差信号画素数が存在しているにもかかわらず、４：１：０画像信号と同じ、２つの色差信号の各画素数は輝度信号の画素数に対して、水平方向に１／４に、垂直方向は１／２となった信号フォーマットと等価となってしまう。
【００３９】
そこで、この実施の形態では、これを避けるために、画素の置き換えを行い、４：１：１画像信号中の色差信号をあたかも４：２：０画像信号中の色差信号であったかのようにして変換する。これは実際の画像の位相を無視したやり方であるが、出力する場合に必ずこの逆変換を行えば位相は戻る。また、圧縮を伴うので、符号化劣化が波及する可能性もあるが、劣化を最小限に抑えるべく、符号化レートを高くしてやることで、十分回避できる。
【００４０】
例えば、ＤＶＣが約２５Ｍｂｐｓで４：１：１コンポーネントフォーマットであるので、この出力圧縮符号化画像データを４：２：０コンポーネントフォーマットのＭＰＥＧ２圧縮を用いたＤＶＤで約８Ｍｂｐｓなどで記録する場合、本実施の形態を使用しなければどんなに符号化レートを高くして符号化しても、フォーマット上４：１：０コンポーネントフォーマットの帯域となり、垂直方向の解像度が約半分になってしまう。また、動画の場合にはフィールド処理を行って、フィールドで垂直方向の画素数を半分にするために、動画帯域での垂直解像度特性は１／４になってしまう。しかし、本発明を用いることにより、一般的な画像であれば、ＭＰＥＧ２圧縮で符号化レート８Ｍｂｐｓでは符号化劣化は殆ど発生しない。従って、本発明の画素の置き換えを逆の手順で戻すことにより、４：１：１画像信号の垂直方向解像度を保ったまま、復号化することが可能となる。
【００４１】
次に、４：１：１コンポーネントフォーマットの色差信号を４：２：０コンポーネントフォーマットの色差信号に変換する方法（以下、これを「色差信号４１１／４２０画素置き換え方法」という）について、具体的に説明する。色差信号４１１／４２０画素置き換え方法は、大きく分けて、フレームピクチャ内で置き換える方法とフィールドピクチャ内で置き換える方法の２種類がある。
【００４２】
図１（Ａ）及び（Ｂ）は本発明になる画像圧縮符号化方法の第１及び第２の実施の形態の説明図で、いずれもフィールドピクチャ内での色差信号４１１／４２０画素置き換え方法を示す。図１（Ａ）及び（Ｂ）は、いずれも４：１：１画像信号の画面上での画素位置を示しており、白四角が輝度信号の画素、黒丸が色差信号の画素を示し、灰色の丸印が輝度信号のみが存在する画素位置に置き換えられた後の色差信号の画素を示す。実際の４：１：１画像信号は、画面上には例えば３６０画素（水平方向に０から３５９）×４８０ライン（垂直方向に０から４７９）存在しているところを、図１では８画素×８ラインの部分を表わしている（後述の図２も同様）。
【００４３】
図１（Ａ）の色差信号画素置き換え方法は、０からカウントした画素番号が４で割り切れるときであってライン番号が４で割って２余る、第１フィールドの画素位置の色差信号の画素は、右へ２画素分、上へ２画素分シフトするように置き換え、また、画素番号が４で割り切れるときであって、ライン番号が４で割って３余る、第２フィールドの画素位置の色差信号の画素は、右へ２画素分、上へ２画素分シフトする方法である（ただし、画素番号０は４で割り切れるものとする）。
【００４４】
従って、例えば第１フィールドの画素番号０で垂直方向３番目（ライン番号２）の色差信号は、図１（Ａ）に矢印２１で示すように、画素番号が４で割り切れ、かつ、ライン番号が４で割って２余る画素位置にあるので、右へ２画素分、上へ２画素分シフトされて画素番号２、ライン番号０の画素位置にシフトされる。同様に、例えば第２フィールドの画素番号０で垂直方向４番目（ライン番号３）の色差信号は、図１（Ａ）に矢印２２で示すように、画素番号が４で割り切れ、かつ、ライン番号が４で割って３余る画素位置にあるので、右へ２画素分、上へ２画素分シフトされて画素番号２、ライン番号１の画素位置にシフトされる。
【００４５】
この画素置き換え方法によって、４：１：１画像信号の、４で割り切れる画素番号で、４で割ったときに２又は３余るライン番号に存在する色差信号の各画素は、すべて４で割り切れるか４で割ったときに１余るライン番号の、色差信号が存在しない画素位置にシフトされることとなり、結果として４：２：０画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００４６】
また、図１（Ｂ）の色差信号画素置き換え方法は、０からカウントした画素番号が８で割り切れるときであってライン番号が４で割って２余る、第１フィールドの画素位置にある色差信号の画素は、右へ２画素分、上へ２画素分シフトするように置き換え、また、画素番号が８で割ったときに４余り、ライン番号が４で割り切れる、第１フィールドの画素位置にある色差信号の画素は、右ヘ２画素分シフトし、次に、２つ下の画素をカレントの位置へ（上へ）２画素分シフトする。また、画素番号が８で割りきれるときであって、ライン番号が４で割って３余る、第２フィールドの画素位置にある色差信号の画素は、右へ２画素分、上へ２画素分シフトする。また、画素番号が８で割ったときに４余り、ライン番号が４で割って１余る、第２フィールドの画素位置にある色差信号の画素は、右ヘ２画素分シフトし、次に、２つ下の画素をカレントの位置へ（上へ）２画素分シフトする方法である（ただし、０は４で割り切れるものとする）。
【００４７】
従って、例えば画素番号４で垂直方向１番目（ライン番号０）の色差信号は、画素番号が８で割り切れ、かつ、ライン番号が４で割り切れる、第１フィールドの画素位置にあるので、図１（Ｂ）に矢印２３で示すように、右ヘ２画素分シフトされて本来、色差信号画素が存在しない画素番号６でライン番号０の位置に置き換えられ、続いて、画素番号４、ライン番号０の画素の２つ下の画素番号４、ライン番号２の第１フィールドの色差信号の画素を、図１（Ｂ）に矢印２４で示すようにシフトして、色差信号画素が存在しなくなったカレントの位置の画素番号４、ライン番号０の画素位置にシフトする。また、画素番号が８で割り切れ、かつ、ライン番号が４で割って２又は３余る位置にある色差信号画素は、図１（Ａ）と同様にしてシフトされる。この画素置き換え方法によって、図１（Ｂ）に示すように、４：１：１画像信号が４：２：０画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００４８】
図２（Ａ）及び（Ｂ）は本発明になる画像圧縮符号化方法の第３及び第４の実施の形態の説明図で、いずれもフレームピクチャ内での色差信号４１１／４２０画素置き換え方法を示す。図２（Ａ）及び（Ｂ）は、いずれも４：１：１画像信号の画面上での画素位置を示しており、白四角が輝度信号の画素、黒丸が色差信号の画素を示し、灰色の丸印が色差信号の画素が存在しない画素位置に置き換えられた色差信号の画素を示す。
【００４９】
図２（Ａ）の色差信号画素置き換え方法は、０からカウントした画素番号が４で割り切れるときであってライン番号が２で割って１又は３余る画素位置にある色差信号の画素は、右へ２画素分、上へ１画素分シフトするように置き換える方法である（ただし、画素番号０は４で割り切れるものとする）。従って、例えば画素番号０で垂直方向２番目（ライン番号１）の色差信号は、図２（Ａ）に矢印２６で示すように、画素番号が４で割り切れ、かつ、ライン番号が２で割って１余る画素位置にあるので、右へ２画素分、上へ１画素分シフトされて画素番号２、ライン番号０の画素位置にシフトされる。同様に、例えば画素番号０で垂直方向４番目（ライン番号３）の色差信号は、図２（Ａ）に矢印２７で示すように、画素番号が４で割り切れ、かつ、ライン番号が２で割って１余る画素位置にあるので、右へ２画素分、上へ１画素分シフトされて画素番号２、ライン番号２の画素位置にシフトされる。
【００５０】
この画素置き換え方法によって、４で割り切れる画素番号で、４で割ったときに１又は３余るライン番号に存在する色差信号の各画素は、すべて４で割ったときに２余る画素番号で、２で割り切れるライン番号の、色差信号が存在しない画素位置にシフトされることとなり、結果として４：２：０画像信号の色差信号の画素位置と等価な画素配列となる。
【００５１】
また、図２（Ｂ）の色差信号画素置き換え方法は、０からカウントした画素番号が８で割り切れる画素位置にあり、ライン番号が４で割ったときに１又は３余る画素位置にある色差信号の画素は、右へ２画素分、上へ１画素分シフトするように置き換え、また、画素番号が８で割ったときに４余り、ライン番号が２で割り切れる画素位置にある色差信号の画素は、右ヘ２画素分シフトし、次に、１つ下の画素をカレントの位置へ（上へ）１画素分シフトする方法である（ただし、０は８で割り切れるものとする）。
【００５２】
従って、例えば画素番号４で垂直方向１番目（ライン番号０）の色差信号は、画素番号が８で割って４余り、かつ、ライン番号が２で割り切れる画素位置にあるので、図２（Ｂ）に矢印２８で示すように、右ヘ２画素分シフトされて本来、色差信号画素が存在しない画素番号６でライン番号０の位置に置き換えられ、続いて、画素番号４、ライン番号０の画素の１つ下の画素番号４、ライン番号１の色差信号の画素を、図２（Ｂ）に矢印２９で示すようにシフトして、色差信号画素が存在しなくなったカレントの位置の画素番号４、ライン番号０の画素位置にシフトする。また、画素番号が８で割り切れ、かつ、ライン番号が２で割って１余る位置にある色差信号画素は、図２（Ａ）と同様にしてシフトされる。この画素置き換え方法によって、図２（Ｂ）に示すように、４：１：１画像信号の色差信号が、４：２：０画像信号の色差信号の画素位置と等価な画素配列となる。
【００５３】
次に、４：２：０コンポーネントフォーマットの色差信号を４：１：１コンポーネントフォーマットの色差信号に変換する方法（以下、これを「色差信号４２０／４１１画素置き換え方法」という）について、具体的に説明する。色差信号４２０／４１１画素置き換え方法は、上記の色差信号４１１／４２０画素置き換え方法の逆の操作を行うものであり、この方法も大きく分けて、フレームピクチャ内で置き換える方法とフィールドピクチャ内で置き換える方法の２種類がある。
【００５４】
図３（Ａ）及び（Ｂ）は本発明になる画像圧縮復号化方法の第１及び第２の実施の形態の説明図で、いずれもフィールドピクチャ内での色差信号４２０／４１１画素置き換え方法を示す。図３（Ａ）及び（Ｂ）は、いずれも４：２：０画像信号の画面上での画素位置を示しており、白四角が輝度信号の画素、黒丸が色差信号の画素を示し、灰色の丸印が置き換え後の色差信号の画素を示す。実際の４：２：０画像信号は、画面上には例えば３６０画素（水平方向に０から３５９）×４８０ライン（垂直方向に０から４７９）存在しているところを、図３では４画素×８ラインの部分を表わしている（後述の図４も同様）。
【００５５】
図３（Ａ）の色差信号画素置き換え方法は、０からカウントした画素番号が４で割って２余るときであって、ライン番号が４で割り切れる第１フィールドの色差信号の画素は、左へ２画素分、下へ２画素分シフトするように置き換え、また、画素番号が４で割って２余るときであって、ライン番号が４で割って１余るときは、左へ２画素分、下へ２画素分シフトする方法である（ただし、画素番号０は４で割り切れるものとする）。
【００５６】
従って、例えば画素番号２で垂直方向１番目（ライン番号０）の色差信号は、画素番号が４で割って２余り、かつ、ライン番号が４で割り切れる画素位置にあるので、図３（Ａ）に矢印３１で示すように、左へ２画素分、下へ２画素分シフトされて画素番号０、ライン番号２の画素位置にシフトされる。同様に、例えば画素番号２で垂直方向２番目（ライン番号１）の色差信号は、図３（Ａ）に矢印３２で示すように、画素番号が４で割って２余り、かつ、ライン番号が４で割って１余る画素位置にあるので、左へ２画素分、下へ２画素分シフトされて画素番号０、ライン番号３の画素位置にシフトされる。この画素置き換え方法によって、図１（Ａ）の方法によって置き換えられた４：２：０画像信号の色差信号が、４：１：１画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００５７】
また、図３（Ｂ）の色差信号画素置き換え方法は、０からカウントした画素番号が８で割って２余るときであってライン番号が４で割り切れるときには、左へ２画素分、下へ２画素分シフトするように置き換え、また、画素番号が８で割って４余るときであって、ライン番号が４で割り切れるときは、下ヘ２画素分シフトし、次に、２つ右の画素をカレントの位置へ（左へ）１画素分シフトする。また、画素番号が８で割って２余るときであって、ライン番号が４で割って１余るときには、左へ２画素分、下へ２画素分シフトする。また、画素番号が８で割って４余るときであって、ライン番号が４で割って１余るときは、下ヘ２画素分シフトし、次に、２つ右の画素をカレントの位置へ（左へ）２画素分シフトする方法である（ただし、０は４で割り切れるものとする）。
【００５８】
従って、例えば画素番号４で垂直方向１番目（ライン番号０）の色差信号は、画素番号が８で割って４余り、かつ、ライン番号が４で割り切れる画素位置にあるので、図３（Ｂ）に矢印３３で示すように、下ヘ２画素分シフトされて本来、色差信号画素が存在しない画素番号４でライン番号２の位置に置き換えられ、続いて、画素番号４、ライン番号０の画素の２つ右の画素番号６、ライン番号０の色差信号の画素を、図３（Ｂ）に矢印３４で示すようにシフトして、色差信号画素が存在しなくなったカレントの位置の画素番号４、ライン番号０の画素位置にシフトする。また、画素番号が８で割って２余り、かつ、ライン番号が４で割り切れるか、１余る位置にある色差信号画素は、図３（Ａ）と同様にしてシフトされる。この画素置き換え方法によって、図１（Ｂ）の方法によって画素が置き換えられた４：２：０画像信号の色差信号が、図３（Ｂ）に示すように、４：１：１画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００５９】
図４（Ａ）及び（Ｂ）は本発明になる画像圧縮復号化方法の第３及び第４の実施の形態の説明図で、いずれもフレームピクチャ内での色差信号４２０／４１１画素置き換え方法を示す。図４（Ａ）及び（Ｂ）は、いずれも４：２：０画像信号の画面上での画素位置を示しており、白四角が輝度信号の画素、黒丸が色差信号の画素を示し、灰色の丸印が置き換え後の色差信号の画素を示す。
【００６０】
図４（Ａ）の色差信号画素置き換え方法は、０からカウントした画素番号が４で割って２余るときであって、ライン番号が２で割り切れるときには、左へ２画素分、下へ１画素分シフトするように置き換える方法である（ただし、画素番号０は２で割り切れるものとする）。
【００６１】
従って、例えば画素番号２で垂直方向１番目（ライン番号０）の色差信号は、画素番号が４で割って２余り、かつ、ライン番号が２で割り切れる画素位置にあるので、図４（Ａ）に矢印３６で示すように、左へ２画素分、下へ１画素分シフトされて画素番号０、ライン番号１の画素位置にシフトされる。同様に、例えば画素番号２で垂直方向３番目（ライン番号２）の色差信号は、画素番号が４で割って２余り、かつ、ライン番号が２で割り切れる画素位置にあるので、図４（Ａ）に矢印３７で示すように、左へ２画素分、下へ１画素分シフトされて画素番号０、ライン番号３の画素位置にシフトされる。この画素置き換え方法によって、図２（Ａ）の方法により画素が置き換えられた４：２：０画像信号の色差信号が、４：１：１画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００６２】
また、図４（Ｂ）の色差信号画素置き換え方法は、０からカウントした画素番号が８で割って２余るときであって、ライン番号が２で割り切れるときには、左へ２画素分、下へ１画素分シフトするように置き換え、また、画素番号が８で割って４余るときであって、ライン番号が２で割り切れるときは、下ヘ１画素分シフトし、次に、２つ右の画素をカレントの位置へ（左へ）２画素分シフトする方法である（ただし、０は２で割り切れるものとする）。
【００６３】
従って、例えば画素番号４で垂直方向１番目（ライン番号０）の色差信号は、画素番号が８で割って４余り、かつ、ライン番号が２で割り切れる画素位置にあるので、図４（Ｂ）に矢印３８で示すように、下ヘ１画素分シフトされて本来、色差信号画素が存在しない画素番号４でライン番号１の位置に置き換えられ、続いて、画素番号４、ライン番号０の画素の２つ右の画素番号６、ライン番号０の色差信号の画素を、図４（Ｂ）に矢印３９で示すようにシフトして、色差信号画素が存在しなくなったカレントの位置の画素番号４、ライン番号０の画素位置にシフトする。また、画素番号が８で割って２余り、かつ、ライン番号が２で割り切れる位置にある色差信号画素は、図４（Ａ）と同様にしてシフトされる。この画素置き換え方法によって、図２（Ｂ）の方法によって画素が置き換えられた４：２：０画像信号の色差信号が、図４（Ｂ）に示すように、４：１：１画像信号の色差信号の画素位置と等価な画素配列となる。
【００６４】
なお、上記の説明では、便宜上、画像圧縮符号化では色差信号４１１／４２０画素置き換えをし、画像圧縮復号化では色差信号４２０／４１１画素置き換えをするものとして説明したが、その逆（つまり、画像圧縮復号化で色差信号４１１／４２０画素置き換え、画像圧縮符号化で色差信号４２０／４１１画素置き換え）としてもよいことは勿論である。
【００６５】
次に、本発明になる圧縮符号化装置及び圧縮復号化装置の各実施の形態について、図面と共に説明する。図５は本発明になる圧縮符号化装置の第１の実施の形態のブロック図を示す。同図において、４：１：１画像信号は、色差信号４１１／４２０フォーマット変換器４１と、色差信号４１１／４２０画素置き換え器４２にそれぞれ入力される。
【００６６】
色差信号４１１／４２０フォーマット変換器４１は、入力された４：１：１画像信号の水平方向をオーバーサンプリングして水平画素数を２倍にする。また垂直方向には帯域を１／２にするフィルタリングを施してから、サンプリング数を半分にする。色差信号４１１／４２０画素置き換え器４２は、前記図１（Ａ）及び（Ｂ）、図２（Ａ）及び（Ｂ）と共に説明した色差信号４１１／４２０画素置き換え方法のうち、いずれか任意に設定した、あるいは予め定められた一つの方法により色差信号４１１／４２０画素置き換えをする。
【００６７】
この色差信号４１１／４２０画素置き換え器４２は、例えば入力された４：１：１画像信号から色差信号を分離してメモリにアドレス制御器の制御の下に順次に書き込み、前記図１、図２と共に説明した色差信号４１１／４２０画素置き換え方法を実現するようなアドレス順で、メモリから記憶色差信号データを読み出して再度メモリに書き込み、その後そのメモリから読み出した色差信号データを入力４：１：１画像信号から分離した輝度信号データに合成して出力する構成である。
【００６８】
色差信号４１１／４２０フォーマット変換器４１と、色差信号４１１／４２０画素置き換え器４２の各出力画像信号は、スイッチ回路（Ｓ／Ｗ）４４にそれぞれ供給され、ここでユーザーインターフェース４３からのスイッチング信号により、ユーザーにより指定された方の方式の画像信号が選択される。この場合、後述する本発明の復号化装置を使用して復号する場合には、色差信号４１１／４２０画素置き換え器４２からの等価的に４：２：０コンポーネントフォーマットとされた、４：２：０画像信号が選択されるように、Ｓ／Ｗ４４が切り替えられる。これに対し、本発明による画素置き換え手段を有しない既存の復号化装置で圧縮符号化したディジタル信号を復号させる場合は、色差信号４１１／４２０フォーマット変換器４１から取り出された、帯域的に４：１：０コンポーネントフォーマットとされた画像信号が選択されるように、Ｓ／Ｗ４４が切り替えられる。
【００６９】
Ｓ／Ｗ４４により選択された画像信号はＭＰＥＧ符号化器４５に入力され、４：２：０コンポーネントフォーマットのＭＰＥＧ方式に準拠した圧縮符号化がなされる。このＭＰＥＧ符号化器４５は、図１５に示した公知の構成である。このＭＰＥＧ符号化器４５の入力画像信号は、本来は４：１：１コンポーネントフォーマットであるが、色差信号４１１／４２０画素置き換え器４２で画素置き換えがなされている場合は、色差信号に関してはあたかも４：２：０コンポーネントフォーマットの色差信号であったかのように変換されているので、従来のように符号化によって４：１：０画像信号のようになることはなく、４：２：０画像信号として取り出される。ＭＰＥＧ符号化器４５により符号化されて取り出されたビットストリームは、バッファメモリ及びフォーマッタ４６に供給される。
【００７０】
一方、同期制御部４７は所定の期間のタイマを持ち、同期信号発生器４８に所定の期間ごとにトリガー信号を出力する。この所定の期間は例えばＮＴＳＣ方式画像信号の１フレーム期間である１／２９．９７秒などに選定される。同期信号発生部４８は、同期制御部４７からのトリガー信号の入力を検出すると、最初のＭＰＥＧのシンタックスで映像音声とは関係ないデータを埋め込むことのできるエリアとして設定されている、ｕｓｅｒ＿ｄａｔａなどの所定のエリア内で本実施の形態の識別コードの存在を示す、予め一意に識別可能な固定パターンの同期信号を発生する。
【００７１】
例えば、ＭＰＥＧ１のビデオストリームピクチャレイヤは、図１２に示すように定められていて、スライスレイヤの手前で、ユーザデータスタートコード（ｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅ）を送った後に、ユーザデータ（ｕｓｅｒ＿ｄａｔａ）を８ビット単位で伝送することができるような仕組みが定義されている。また、ＭＰＥＧ２などのトランスポートストリームのシステムレイヤにも、図１３に示すように、トランスポート・プライベート・データ・フラグ（ｔｒａｎｓｐｏｒｔ＿ｐｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇ）に１を立てると、プライベートデータ（ｐｒｉｖａｔｅ＿ｄａｔａ）が存在することを明示でき、データ長もトランスポートパケットをはみ出さないという制限のもとで、トランスポート・プライベート・データ・レングス（ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｌｅｎｇｔｈ）に設定したデータ長のプライベートデータ（ｐｒｉｖａｔｅ＿ｄａｔａ）を送信することができるように定められている。
【００７２】
これ以外にも、ＭＰＥＧシステムでユーザ固有のデータを伝送する方法は、ストリームｉｄ（ｓｔｒｅａｍ＿ｉｄ）にプライベートストリーム（ｐｒｉｖａｔｅ＿ｓｔｒｅａｍ）を設定して専用のパケットを宣言することで送信するなど、仕組みは幾つか定義されており、本実施の形態で同期信号や識別コードを符号化データに多重して伝送する目的においては、それらのどの仕組みを用いても構わない。
【００７３】
ここでは、ＭＰＥＧ１ビデオのｕｓｅｒ＿ｄａｔａを用いるものとすると、ｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅはスライスレイヤの手前で０ｘ０００００１Ｂ２と定義されている。そのコードを送った後にユーザデータエリア内で後述する識別コードの存在を示す、予め一意に識別可能な同期信号を送信する。この同期信号は、ＭＰＥＧ規格とは別に定めた値（例えば、０ｘ０ｆ０ｆ０ｆ０ｆ２４２８ｆｄａａ）に設定されており、この同期信号の後に後述する識別コードが多重されている位置を復号化装置側に特定させる目的を持つ。具体的には、上記の同期信号の発生タイミングは、バッファメモリ及びフォーマッタ４６に、ＭＰＥＧ符号化器４５から入力されるＭＰＥＧのストリームを観測しながら、所定のｕｓｅｒ＿ｄａｔａエリアを特定し、その後にｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅを発生し、ｕｓｅｒ＿ｄａｔａエリアであることを宣言してからとなる。
【００７４】
図５に示す同期信号発生部４８は、また同期信号を発生したことを示す信号を識別コード発生部４９に出力する。識別コード発生部４９は、同期信号の後のタイミングで、バッファメモリ及びフォーマッタ４６の入力画像信号が色差信号４１１／４２０フォーマット変換器４１で処理されたものなのか、色差信号４１１／４２０画素置き換え器４２で処理されたものなのかを示す値の識別コードを発生して、バッファメモリ及びフォーマッタ４６に供給する。
【００７５】
識別コードの値は、ユーザインタフェース４３から同期信号発生部４８を介して入力される信号に基づいて定められ、例えば識別コードとして１バイトを用意して、０ｘ０１であれば色差信号４１１／４２０画素置き換え器４２で処理されたことを示し、０ｘ００であれば色差信号４１１／４２０フォーマット変換器４１で処理されたことを示す。バッファメモリ及びフォーマッタ４６は、記録媒体５１のフォーマットに準じたデータ配置を行った圧縮符号化画像データや同期信号及び識別コードからなるディジタル信号をデータ記録部５０に出力し、これにより、磁気テープ、光ディスクその他の記録媒体５１に記録させる。
【００７６】
なお、色差信号４１１／４２０画素置き換え器４２が、図１及び図２と共に示した４種類の色差信号４１１／４２０画素置き換え方法のうち、２種類以上の色差信号４１１／４２０画素置き換え方法を選択できる構成である場合は、どの種類の色差信号４１１／４２０画素置き換え方法を用いたかを示す情報も識別コードに含める。
【００７７】
次に、本発明を実現するための好適な復号化装置例について説明する。図６は本発明になる圧縮復号化装置の第１の実施の形態のブロック図を示す。同図において、図５の画像圧縮符号化装置により記録された記録媒体５１から読み出されたディジタル信号は、バッファメモリ５２に一時蓄積された後、同期信号検出部５３、識別コード検出部５４及びＭＰＥＧ復号化器５５にそれぞれ供給される。同期信号検出部５３は、ＭＰＥＧのストリームを観測しながら、所定のｕｓｅｒ＿ｄａｔａエリアを特定し、その後にｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅを検出して、ｕｓｅｒ＿ｄａｔａエリアであることを確認した後で、固定パターンの同期信号を検出する。
【００７８】
識別コード検出部５４は、同期信号を検出した時点で同期信号検出部５３から出力されるトリガー信号を受け、同期信号に同期して所定エリアに多重されている識別コードを再生ディジタル信号中から検出し、色差信号生成方法判定部５６に送信する。色差信号生成方法判定部５６は、再生ディジタル信号が図５の色差信号４１１／４２０フォーマット変換器４１で処理されたものなのか、色差信号４１１／４２０画素置き換え器４２で処理されたものなのかを入力識別コードから判定し、その判定結果に応じてスイッチ回路（Ｓ／Ｗ）５７をスイッチング制御すると共に、その判定結果を色差信号出力フォーマット変換器５９に供給する。
【００７９】
すなわち、色差信号生成方法判定部５６は、色差信号４１１／４２０画素置き換え器４２で処理されたと判定した場合には、図１６に示した公知の構成のＭＰＥＧ復号化器５５により復号化された画像データを、色差信号４２０／４１１画素置き換え器５８へ供給し、また、色差信号４１１／４２０フォーマット変換器４１で処理されたと判定した場合には、ＭＰＥＧ復号化器５５により復号化された画像データを直接、色差信号出力フォーマット変換器５９に供給するように、スイッチ回路（Ｓ／Ｗ）５７をスイッチング制御する。
【００８０】
色差信号４２０／４１１画素置き換え器５８は、前記図３（Ａ）及び（Ｂ）、図４（Ａ）及び（Ｂ）と共に説明した色差信号４２０／４１１画素置き換え方法のうち、記録媒体５１に記録された画像信号で採用された色差信号４１１／４２０画素置き換え方法に対応した、所定の一つの方法により色差信号４２０／４１１画素置き換えをして、圧縮符号化装置に入力された元の画像信号と同じ４：１：１画像信号に戻されて出力する。
【００８１】
すなわち、図５の圧縮符号化装置の色差信号４１１／４２０画素置き換え器４２により、４：１：１画像信号の色差信号については、４：２：０画像信号の色差信号配列と等価的にされ、４：１：１画像信号中の色差信号をあたかも４：２：０画像信号中の色差信号であったかのようにして、ＭＰＥＧ符号化器４５で符号化した信号の復号信号がＭＰＥＧ復号化器５５から出力される場合は、その復号信号の色差信号に関しては本来の画像の位相とは異なっているので、色差信号４１１／４２０画素置き換え器４２で行った色差信号４１１／４２０画素置き換え方法と逆の色差信号４２０／４１１画素置き換えをして、色差信号の位相を元に戻す必要がある。
【００８２】
そのため、色差信号４１１／４２０画素置き換え器４２で図１（Ａ）の色差信号４１１／４２０画素置き換え方法を行った場合は、色差信号４２０／４１１画素置き換え器５８は、図３（Ａ）の色差信号４２０／４１１画素置き換え方法を行う必要があり、同様に、色差信号４１１／４２０画素置き換え方法が図１（Ｂ）、図２（Ａ）、図２（Ｂ）の場合は、それぞれ対応する図３（Ｂ）、図４（Ａ）、図４（Ｂ）に示した色差信号４１１／４２０画素置き換え方法を行う必要がある。
【００８３】
色差信号出力フォーマット変換器５９は、色差信号生成方法判定部５６からの判定結果に基づいて、色差信号４２０／４１１画素置き換え器５８により圧縮符号化装置に入力された画像信号と同じ４：１：１画像信号に戻された画像信号が入力されたと検出したときは、その４：１：１画像信号を水平方向に２倍のオーバーサンプルをして４：２：２画像信号に変換して出力する。一方、色差信号出力フォーマット変換器５９は、色差信号生成方法判定部５６からの判定結果に基づいて、ＭＰＥＧ復号化器５５から出力された画像信号がそのまま入力されたと検出したときは、その画像信号を垂直方向に２倍にオーバーサンプルして出力する。
【００８４】
従って、色差信号出力フォーマット変換器５９にＭＰＥＧ復号化器５５からスイッチ回路５７を通して直接に入力される画像信号が、４：２：０画像信号であれば４：２：２画像信号として色差信号出力フォーマット変換器５９から出力され、他方、４：１：１画像信号をＭＰＥＧ符号化した信号をＭＰＥＧ復号化器５５で復号した４：１：０画像信号であれば、４：１：０画像信号のまま出力されることとなる。
【００８５】
次に、本発明装置の第２の実施の形態について説明する。図７は本発明になる圧縮符号化装置の第２の実施の形態のブロック図を示す。同図中、図５と同一構成部分には同一符号を付し、その説明を省略する。上記の第１の実施の形態では、画面全体においてフレームピクチャ内での色差信号画素の置き換え、又はフィールドピクチャ内での色差信号画素の置き換えを固定的に行うこととして説明したが、この実施の形態では、フレーム／フィールド相関判定部６１を用いて自動で切り替えるようにしたものである。
【００８６】
すなわち、４：１：１画像信号は図７のフレーム／フィールド相関判定部６１に供給され、ここで所定のエリアごとにフレーム／フィールド相関の判定が行われ、フィールドの相関が大きいとの判定結果が得られた場合は、図１（Ａ）、（Ｂ）のようにフィールドピクチャ内で色差信号の画素を置き換え、フレーム相関が大きいとの判定結果が得られた場合は、図２（Ａ）、（Ｂ）のようにフレームピクチャ内で色差信号の画素を置き換えるように、色差信号４１１／４２０画素書き換え器４２を判定結果に応じて制御して、４：２：０画像信号に変換させる。
【００８７】
また、フレーム／フィールド相関判定部６１からの判定結果が識別コード発生部６２に供給され、フィールドピクチャ内で色差信号の画素を置き換えたか、フレームピクチャ内で色差信号の画素を置き換えたかを識別コードの中のもう１ビットを用いて指定する。
【００８８】
フレーム／フィールド相関判定部６１による相関判定は、例えば図１８の特定エリア８１の画像データ内において、８２で示すように１ラインの画像データと１ライン下の画像データとの第１の差分和（上下の２つの画素間の差の値を１ライン分の画素について加算した値）を計算し、同様に８３で示すように２ライン下の画素との第２の差分和を計算し、どちらか差分和の小さかったほうが相関が大きいと判定する方法が考えられる。図１８では第１の差分和がフレーム相関の大きさを示しており、第２の差分和がフィールド相関の大きさを示している。
【００８９】
図８は本発明になる圧縮符号化装置の第３の実施の形態のブロック図を示す。同図中、図５、図７と同一構成部分には同一符号を付し、その説明を省略する。この実施の形態は、図７の第２の実施の形態におけるフレーム／フィールド相関判定部６１の判定結果を識別コード発生部６２（４９）ではなく、ＭＰＥＧ符号化器６４に供給し、ＭＰＥＧで用いられているマクロブロック（１６画素×１６ライン）に、フレーム／フィールド相関判定結果を用いるようにしたものである。ＭＰＥＧ符号化器６４は、このフレーム／フィールド判断結果を受け、図１５に示したＤＣＴ器３が入力結果に基づいてフレーム／フィールドのどちらかで行い、また、動き補償予測器１がフレーム／フィールドのどちらかの動き補償予測を行う。
【００９０】
これにより、この実施の形態では、マクロブロック単位でフレームもしくはフィールド相関の大小を判断している判断結果に、あわせて色差信号画素の置き換え方法をフレームもしくはフィールド内のピクチャで行うことで、置き換え後のピクチャの垂直方向の相関が高くなり、ＭＰＥＧ圧縮の符号化効率が高まる。従って、同じ符号化レ−トで符号化した場合、相対的に高画質で符号化することが可能となる。
【００９１】
判定結果は図１９に示したＭＰＥＧ２のビデオシンタックスのマクロブロックレイヤであるＤＣＴをフレーム／フィールドのどちらで行ったかを示すモード（ＭＰＥＧ２のビデオ符号化シンタックスにおけるｄｃｔ＿ｔｙｐｅ１ビット ０のときがフレーム、１のときがフィールド）、あるいはフレーム／フィールドの動き補償モード（ＭＰＥＧ２のビデオ符号化シンタックスにおけるFrame_motion_type２ビットが01のときがフィールド、10のときがフレーム）をリンクして使うことで、あえて送信しなくても済む。
【００９２】
図９は本発明になる圧縮復号化装置の第２の実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付し、その説明を省略する。この第２の実施の形態は、図８に示した圧縮符号化装置に対応した実施の形態で、バッファメモリ５２からの再生ディジタル信号がＭＰＥＧ復号化器６８に供給されて、復号化されると共に、その際のＤＣＴモード信号が色差信号４２０／４１１画素置き換え器６９に供給される。
【００９３】
色差信号４２０／４１１画素置き換え器６９は、ＤＣＴモードがフィールドモードの場合、フィールドの相関が大きく、入力画像信号はフィールドピクチャ内で色差信号４１１／４２０画素書き換えが行われていると考えられるので、図３（Ａ）又は同図（Ｂ）に示したようにフィールドピクチャ内で色差信号４２０／４１１画素置き換えを行い、ＤＣＴモードがフレームモードの場合は、フレームの相関が大きく、フレームピクチャ内で色差信号４１１／４２０画素書き換えが行われていると考えられるので、図４（Ａ）又は同図（Ｂ）に示したようにフレームピクチャ内で色差信号４２０／４１１画素置き換えを行う。
【００９４】
図１０は本発明になる圧縮符号化装置の第４の実施の形態のブロック図を示す。同図中、図５と同一構成部分には同一符号を付し、その説明を省略する。この実施の形態は、４：２：０画像信号中の色差信号を４：１：１画像信号に置き換えて符号化する構成としたものである。すなわち、図１０において、４：２：０画像信号は、色差信号４２０／４１１フォーマット変換器７１及び色差信号４２０／４１１画素置き換え器７２にそれぞれ供給される。
【００９５】
色差信号４２０／４１１フォーマット変換器７１は、入力された４：２：０画像信号の水平画素数を半分にし、垂直方向には２倍にオーバーサンプルする。色差信号４２０／４１１画素置き換え器７２は、前記図３（Ａ）及び（Ｂ）、図４（Ａ）及び（Ｂ）と共に説明した色差信号４２０／４１１画素置き換え方法のうち、いずれか任意に設定した、又は予め定められた一つの方法により色差信号４２０／４１１画素置き換えをする。
【００９６】
色差信号４２０／４１１フォーマット変換器７１と、色差信号４２０／４１１画素置き換え器７２の各出力画像信号は、スイッチ回路（Ｓ／Ｗ）４４にそれぞれ供給され、ここでユーザーインターフェース４３からのスイッチング信号により、ユーザーにより指定された方の方式の画像信号が選択される。スイッチ回路４４により選択された４：１：１画像信号は、ＤＶＣ符号化器７３に供給され、ここでＤＶＣ規格に準拠した４：１：１コンポーネントフォーマットでの符号化が行われた後、バッファメモリ及びフォーマッタ７４に供給される。この実施の形態では、ＭＰＥＧデータをＤＶＣフォーマットとして符号化したときに、４：２：０コンポーネントフォーマットと同じ水平方向の帯域特性を保持して再生することができる。
【００９７】
図１１は本発明になる圧縮復号化装置の第３の実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付し、その説明を省略する。この第３の実施の形態は、図１０に示した圧縮符号化装置に対応した実施の形態で、バッファメモリ５２から取り出された４：１：１画像信号をＤＶＣ復号化器７６で復号化した後スイッチ回路５７に供給される。
【００９８】
色差信号４１１／４２０画素置き換え器７７は、スイッチ回路５７から入力された４：１：１画像信号を、前記図１（Ａ）、（Ｂ）及び図２（Ａ）及び（Ｂ）と共に説明した色差信号４１１／４２０画素置き換え方法のうち、符号化装置側に対応した一つの方法により色差信号４１１／４２０画素置き換えを行う。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、第２のコンポーネントフォーマットの入力画像信号が、ＤＶＣなど４：１：１コンポーネントフォーマットであり、これをＭＰＥＧのような４：２：０コンポーネントフォーマットに再符号化し直す場合、等価的に４：１：０の信号の画素数しか持っていない画像と同じ帯域になってしまうことなく、ＭＰＥＧ出力画像信号の帯域を４：１：１コンポーネントフォーマットと同じ垂直方向の帯域特性をほとんど保持して再生することができる。
【０１００】
また、本発明によれば、ＭＰＥＧなど４：２：０コンポーネントフォーマットを変更して４：１：１コンポーネントフォーマットのＤＶＣ符号化を用いているアプリケーションに符号化し直す場合、等価的に４：１：０画像信号の画素数しか持っていない画像と同じ帯域になってしまうことなく、ＤＶＣ出力画像信号の帯域を４：２：０コンポーネントフォーマットと同じ水平方向の帯域特性を保持して再生することができる。
【０１０１】
更に、本発明によれば、フレーム相関とフィールド相関のうち、相関の大きな方のピクチャ内での色差信号の画素置き換えを行うようにしているため、圧縮符号化効率を高めることができる。
【図面の簡単な説明】
【図１】本発明の画像圧縮符号化方法の第１及び第２の実施の形態における色差信号画素置き換え方法の説明図である。
【図２】 本発明の画像圧縮符号化方法の第３及び第４の実施の形態における色差信号画素置き換え方法の説明図である。
【図３】 本発明の画像圧縮復号化方法の第１及び第２の実施の形態における色差信号画素置き換え方法の説明図である。
【図４】 本発明の画像圧縮復号化方法の第３及び第４の実施の形態における色差信号画素置き換え方法の説明図である。
【図５】 本発明の圧縮符号化装置の第１の実施の形態のブロック図である。
【図６】 本発明の圧縮復号化装置の第１の実施の形態のブロック図である。
【図７】 本発明の圧縮符号化装置の第２の実施の形態のブロック図である。
【図８】 本発明の圧縮符号化装置の第３の実施の形態のブロック図である。
【図９】 本発明の圧縮復号化装置の第２の実施の形態のブロック図である。
【図１０】 本発明の圧縮符号化装置の第４の実施の形態のブロック図である。
【図１１】 本発明の圧縮復号化装置の第３の実施の形態のブロック図である。
【図１２】ＭＰＥＧ１ビデオストリームピクチャレイヤの一部を示す表である。
【図１３】ＭＰＥＧ２トランスポートストリームのシステムレイヤの一部を示す表である。
【図１４】４：２：２画像信号、ＭＰＥＧ２の画像信号、ＭＰＥＧ１の画像信号及び４：１：１画像信号の輝度信号と色差信号の各画素位置を説明する図である。
【図１５】 ＭＰＥＧ符号化器の一例のブロック図である。
【図１６】 ＭＰＥＧ復号化器の一例のブロック図である。
【図１７】 ４：２：２画像信号、４：２：０画像信号、４：１：１画像信号及び４：１：０画像信号の各画素数概念図である。
【図１８】 フレーム相関とフィード相関の判定の説明図である。
【図１９】 ＭＰＥＧ２のビデオシンタックスのマクロブロックレイヤを示す図である。
【符号の説明】
４１ 色差信号４１１／４２０フォーマット変換器
４２ 色差信号４１１／４２０画素置き換え器
４３ ユーザーインタフェース
４４、５７ スイッチ回路（Ｓ／Ｗ）
４５、６４ ＭＰＥＧ符号化器
４６、７４ バッファメモリ及びフォーマッタ
４７ 同期制御部
４８ 同期信号発生部
４９、６２ 識別コード発生部
５０ データ記録部
５１ 記録媒体
５２ バッファメモリ
５３ 同期信号検出部
５４ 識別コード検出部
５５、６８ ＭＰＥＧ復号化器
５６ 色差信号生成方法判別部
５８ 色差信号４２０／４１１画素置き換え器
５９、７８ 色差信号出力フォーマット変換器
６１ フレーム／フィールド相関判定部
７１ 色差信号４２０／４１１フォーマット変換器
７２ 色差信号４２０／４１１画素置き換え器
７３ ＤＶＣ符号化器
７７ 色差信号４１１／４２０画素置き換え器
【発明の属する技術分野】
本発明は圧縮復号化方法及び圧縮復号化装置に係り、特にコンポーネントビデオ信号のフォーマットを変更して高画質に圧縮符号化し、またこれを圧縮復号化し得る圧縮復号化方法及び圧縮復号化装置に関する。
【０００２】
【従来の技術】
２種類の色差信号の各標本化周波数を、それぞれ輝度信号のそれの１／２とした４：２：２コンポーネント符号化方式のディジタル動画像信号（以下、４：２：２画像信号という）を、２種類の色差信号の各標本化周波数は、それぞれ輝度信号のそれの１／２であるが、線順次で色差信号を伝送する４：２：０コンポーネント符号化方式のディジタル動画像信号（以下、４：２：０画像信号という）へ仕様変換し、４：２：０画像信号と動画像の圧縮符号化に必要な付加情報をデータ圧縮部へ転送する場合に、バスライン制御を複雑化させない画像圧縮符号化装置が、従来より知られている（特開平８−４６５１９号公報）。
【０００３】
この従来の画像圧縮符号化装置では、公知のＤ１フォーマットでの記録再生を行うＤ１−ＶＴＲにより再生された４：２：２画像信号を仕様変換回路で４：２：０画像信号へ変換した後、フレームメモリに書き込む一方、付加情報検出部に供給して動画像の圧縮符号化に必要となる付加情報（動きベクトル情報や動き補償予測に必要となるモード判定情報）を検出する。マルチプレクサは、上記のフレームメモリからの４：２：０画像信号を奇数フィールドと偶数フィールドで交互に出力するが、奇数フィールドでは輝度信号画素と色差信号画素とが１画素毎に交互に配列され、偶数フィールドでは輝度信号と付加情報検出部からの付加情報とが１画素毎に交互に配列されたデータ列として取り出してデータ圧縮部へ転送する。データ圧縮部ではデマルチプレクサで４：２：０画像信号と付加情報を分離し、付加情報を用いて４：２：０画像信号を圧縮符号化する。
【０００４】
この従来の画像圧縮符号化装置では４：２：２画像信号フォーマットを４：２：０に変換した場合の、一画面の色差信号画素データが半分に減少した部分を効果的に利用して、ＭＰＥＧなどの４：２：０画像を圧縮符号化する際に必要なパラメータ情報を多重化している。
【０００５】
次に、ここで使用されている圧縮方式ＭＰＥＧについて説明する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の略称である。ＭＰＥＧ１（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、サービス統合ディジタル網（ＩＳＤＮ）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ １１１７２として成立している。ＭＰＥＧ２（ＭＰＥＧフェ−ズ２）は、通信や放送などの多様なアプリケーションに対応できるように、汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ １３８１８、Ｈ．２６２として成立している。
【０００６】
ＭＰＥＧの入力画像のフォーマットは、ＭＰＥＧ１とＭＰＥＧ２のＭＰ＠ＭＬという一般的に使用されているプロファイルでは基本的に４：２：０である。 ＩＴＵ−Ｒ勧告６０１で規定されている４：２：２コンポーネントフォーマットは、画面上に模式的に表した場合、図１４（Ａ）に白四角で示す輝度信号の画素に対し、黒丸で示す色差信号の画素が水平方向において１／２倍になっているのに対し、上記のＭＰＥＧ２の４：２：０コンポーネントフォーマットは、図１４（Ｂ）に示すように、白四角で示す輝度信号の画素に対し、黒丸で示す色差信号の画素が垂直方向及び水平方向のそれぞれにおいて１／２倍になっている。なお、図１４において、画素位置は位相を示している。
【０００７】
また、ＭＰＥＧ１の４：２：０コンポーネントフォーマットは、４：２：２コンポーネントフォーマットに対して、図１４（Ｃ）に示すように、白四角で示す輝度信号の画素に対し、黒丸で示す色差信号の画素が垂直方向及び水平方向のそれぞれにおいて１／２倍になっている点はＭＰＥＧ２の４：２：０コンポーネントフォーマットと同様であるが、ＭＰＥＧ２の４：２：０コンポーネントフォーマットとは色差信号の画素位置（位相）が異なる。
【０００８】
いずれにしても４：２：０コンポーネント信号は、４：２：２コンポーネント信号に対して垂直解像度が半分になり、ディジタルデータの色の画素数も半分になっていることに変わりはない。周知のように、人間の目は輝度に比べて、色の解像度の認識力が小さいという実験結果に基づいて、ＭＰＥＧ符号化の入力時点で色差信号の画素数を間引いているのである。
【０００９】
ＭＰＥＧの符号化部分は幾つかの技術を組み合わせて作成されている。図１５はＭＰＥＧによる画像圧縮符号化装置の一例のブロック図を示す。同図において、入力画像は動き補償予測器１で復号化され、この動き補償予測画像と入力画像の差分を減算回路２でとることで時間冗長部分を削減する。予測の方向は、過去、未来、両方からの３モード存在する。また、これらは１６画素×１６画素のＭＢ（マクロブロック）ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。ピクチャタイプはＰピクチャとＢピクチャとＩピクチャがある。過去からの予測と、予測をしないでそのＭＢを独立で符号化する２モード存在するのがＰピクチャである。また、未来からの予測、過去からの予測、両方からの予測、独立で符号化する４モード存在するのがＢピクチャである。そして全てのＭＢが独立で符号化するのがＩピクチャである。
【００１０】
動き補償（ＭＣ：Motion Compensation）は、動き領域をＭＢごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣモードと共に、ＭＢの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が使用される。
【００１１】
減算回路２より取り出された差分画像信号は、ＤＣＴ器３において直交変換が行われる。離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）とは余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではＭＢを４分割した８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【００１２】
ＤＣＴされた画像データ（ＤＣＴ係数）は、量子化器４で量子化が行われる。この量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【００１３】
量子化されたデータはＶＬＣ器５で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化の一つであるＤＰＣＭ（Differencial Pulse Code Modulation）を使用する。また交流（ＡＣ）成分は低域から高域にジクザグスキャンを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。可変長符号化されたデータは一時バッファ６に蓄えられ、所定の転送レートで符号化データとして出力される。
【００１４】
また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器７に供給され、目標符号量に対する発生符号量との誤差符号量を量子化器４にフイードバックして量子化スケールを調整することで符号量制御される。量子化された画像データは逆量子化器８にて逆量子化、逆ＤＣＴ器９にて逆ＤＣＴされた後、加算回路１０を通して画像メモリ１１に一時蓄えられたのち、動き補償予測器１において、差分画像を計算するためのリファレンスの復号化画像として使用される。動き補償予測器１の出力信号は減算回路２と加算回路１０に入力される。
【００１５】
バッファ６より出力される符号化ビットストリームは、ビデオの場合１ピクチャごとに可変長の符号量をもっている。これはＭＰＥＧがＤＣＴ、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャごとに配分する符号量は適応的に変更する必要性がある。動き補償予測を行っているので、あるときは入力画像そのままを符号化し、あるときは予測画像の差分である差分画像を符号化するなど符号化画像自体のエントロピーも大きく変化するためである。この場合多くはその画像のエントロピー比率に配分しつつ、バッファの制限を守りながら符号量制御される。このバッファの制限は、復号装置側のバッファがオーバーフローもアンダーフローも発生しないように符号化することであり、ＭＰＥＧでＶＢＶ（Video Buffering Verifier）として規定されている。
【００１６】
図１６はＭＰＥＧにより圧縮符号化された符号化データの復号化装置の一例のブロック図を示す。同図において、ＭＰＥＧにより圧縮符号化された符号化データは、ＶＬＤ器１５で可変長復号されてから逆量子化器１６で量子化幅と乗算されることにより、元のＤＣＴ係数に近似した値とされた後、逆ＤＣＴ器１７に供給されて逆ＤＣＴされることにより局部復号化される。
【００１７】
また、逆量子化器１６より取り出された動きベクトルと予測モードは、動き補償予測器１８に画像メモリ２０よりの復号化データと共に供給され、これより動き補償予測化した画像データを出力させる。加算器１９は逆ＤＣＴ器１７からのデータと動き補償予測器１８よりの動き補償予測化した画像データとを加算することにより、符号化装置に入力された画像データと等価な画像データを復号し、復号化データとして画像メモリ２０に供給する一方、外部へ出力する。
【００１８】
【発明が解決しようとする課題】
図１５に示した従来のＭＰＥＧ方式に準拠した画像圧縮符号化装置では、前述したように、４：２：０フォーマットで圧縮符号化される。一方、家庭用ディジタルＶＴＲの代表的なものにＤＶＣ（Digital Video Cassette）がある。ＤＶＣはＭＰＥＧとは違った圧縮方式であり、現行方式用のＳＤ規格とＨＤＴＶ用のＨＤ規格とがあり、ＳＤ方式では、入力画像フォーマットがＮＴＳＣにおいては４：１：１コンポーネントフォーマットとなっている。４：１：１コンポーネントフォーマットは、４：２：２コンポーネントフォーマットに対して、図１４（Ｄ）に示すように、白四角で示す輝度信号の画素に対し、黒丸で示す色差信号の画素が水平方向において１／２倍（入力画像の１／４倍）になっていて、垂直方向は同じである。
【００１９】
ここで、４：２：２画像信号がＤＶＣに記録され、さらにＤＶＣから出力されてＭＰＥＧ符号化を用いているアプリケーションにコピーする場合を考える。ＤＶＣにより符号化された画像データを復号すると、ＤＶＣフォーマットが４：１：１である理由から、色差信号の画素間隔は輝度信号の画素間隔に対して、水平方向に１／４になっている。この信号を４：２：０フォーマットのＭＰＥＧ符号化で再度符号化する場合、４：１：１画像信号の垂直方向をさらに１／２にしてしまい、画素数は４：２：０画像信号と同じ色差信号画素数が存在しているにもかかわらず、４：１：０画像信号と同じ色差信号帯域、すなわち、色差信号の画素数は輝度信号の画素数に対して、水平方向に１／４に、垂直方向は１／２となった信号フォーマットと等価となってしまう。
【００２０】
これは４：２：２画像信号の画素数概念図を図１７（Ａ）に、４：２：０画像信号の画素数概念図を同図（Ｂ）に、４：１：１画像信号の画素数概念図を同図（Ｃ）に示すと、４：１：１画像信号をＭＰＥＧ符号化装置で再度符号化した画像信号は、４：２：２画像信号に比べて、４：１：１画像信号と４：２：０画像信号の色差信号（Ｃｂ，Ｃｒ）の水平、垂直双方の悪い条件を持ちあわせた、図１７（Ｄ）に示すような４：１：０画像信号の画素数しか持っていない画像と、同じ帯域になっていることを意味する。このように、従来は色差信号フォーマットの違ったフォーマットの符号化を行うことで、色差信号の劣化を顕著にしてしまうことが問題である。
【００２１】
なお、特開平８−４６５１９号公報に記載されている従来の画像圧縮符号化装置は、４：２：２画像信号フォーマットを４：２：０画像信号フォーマットに変換した場合の、一画面の色差信号画素データが半分に減少した部分を効果的に利用して、ＭＰＥＧなどの４：２：０画像信号を圧縮符号化する際に必要なパラメータ情報を多重化することで、システムとして必要な付加情報をデータ圧縮部へ転送する場合に、バスライン制御を複雑化させないなどの効果はあるものの、この従来装置では、画像の色差信号の劣化を軽減するための手段に関しては何ら開示されていない。
【００２２】
本発明は以上の点に鑑みなされたもので、コンポーネントフォーマットを変更して圧縮符号化した場合の画像符号化データの色差信号の劣化を軽減し得る圧縮符号化方法、圧縮復号化方法、圧縮符号化装置及び圧縮復号化装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
上記の目的を達成するため、本発明の圧縮復号化方法は、４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、各ライン毎に４画素周期で水平方向に配置される入力画像信号中の色差信号の画素のうち、隣接する４ラインを一組としたとき、各組において２番目又は３番目のライン上の色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上の色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトすることにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１のステップと、画素置き換えされた画像信号を４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置により圧縮符号化を行う第２のステップと、圧縮符号化された画像信号を４：２：０のコンポーネントフォーマットで復号化する復号化装置により復号化して復号信号を得る第３のステップと、復号信号を一画面に表示したとき、復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、第１のステップによる画素シフトとは逆の画素シフトを行うことにより、４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えを行う第４のステップとを含むことを特徴とする。
【００２４】
また、本発明の圧縮復号化方法は、上記の目的を達成するため、４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、水平方向８画素及び垂直方向４画素の隣接する計３２画素を一組としたとき、各ライン毎に４画素周期で水平方向に配置され、かつ、各組毎に８つある入力画像信号中の色差信号の画素のうち、垂直方向に隣接する４つの色差信号の画素については、２番目又は３番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、垂直方向に隣接する残りの４つの画素については、１番目のライン上にある色差信号の画素と３番目又は２番目のライン上にある色差信号の画素は右へ２画素それぞれシフトし、かつ、シフト後の色差信号の画素位置に２番目又は３番目のライン上と４番目のライン上にある色差信号の画素をそれぞれ垂直方向にシフトすることを各組毎に行うことにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１のステップと、画素置き換えされた画像信号を４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置により圧縮符号化を行う第２のステップと、圧縮符号化された画像信号を４：２：０のコンポーネントフォーマットで復号化する復号化装置により復号化して復号信号を得る第３のステップと、復号信号を一画面に表示したとき、復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、第１のステップによる画素シフトとは逆の画素シフトを行うことにより、４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えを行う第４のステップとを含むことを特徴とする。
【００３１】
更に、上記の目的を達成するため、本発明の圧縮復号化装置は、４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、各ライン毎に４画素周期で水平方向に配置される入力画像信号中の色差信号の画素のうち、隣接する４ラインを一組としたとき、各組において２番目又は３番目のライン上の色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上の色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトすることにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１の画素置き換え器と、第１の画素置き換え器で画素置き換えが行われた画像信号を、４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置と、符号化装置で圧縮符号化された圧縮符号化画像信号を受け、４：２：０のコンポーネントフォーマットで復号化して復号信号を出力する復号化器と、復号信号を一画面に表示したとき、復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、第１のステップによる画素シフトとは逆の画素シフトを行うことにより、４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えをして、符号化装置に入力された画像信号と同じ画像信号を出力する第２の画素置き換え器とを有することを特徴とする。
【００３２】
更に、上記の目的を達成するため、本発明の圧縮復号化装置は、４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、水平方向８画素及び垂直方向４画素の隣接する計３２画素を一組としたとき、各ライン毎に４画素周期で水平方向に配置され、かつ、各組毎に８つある入力画像信号中の色差信号の画素のうち、垂直方向に隣接する４つの色差信号の画素については、２番目又は３番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、垂直方向に隣接する残りの４つの画素については、１番目のライン上にある色差信号の画素と３番目又は２番目のライン上にある色差信号の画素は右へ２画素それぞれシフトし、かつ、シフト後の色差信号の画素位置に２番目又は３番目のライン上と４番目のライン上にある色差信号の画素をそれぞれ垂直方向にシフトすることを各組毎に行うことにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１の画素置き換え器と、第１の画素置き換え器で画素置き換えが行われた画像信号を、４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置と、符号化装置で圧縮符号化された圧縮符号化画像信号を受け、４：２：０のコンポーネントフォーマットで復号化して復号信号を出力する復号化器と、復号信号を一画面に表示したとき、復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、第１のステップによる画素シフトとは逆の画素シフトを行うことにより、４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えをして、符号化装置に入力された画像信号と同じ画像信号を出力する第２の画素置き換え器とを有することを特徴とする。
【００３５】
【発明の実施の形態】
次に、本発明の実施の形態について、図面と共に説明する。まず、図１７を用いて本発明の概念を説明する。図１７の画素数概念図では、面積が一画面当たりの画素数を示しており、４：２：２（コンポーネントフォーマット）画像信号では、図１７（Ａ）に示すように、一画面の色差信号Ｃｂ及びＣｒの各画素数が輝度信号Ｙの画素数と比較して、水平方向に対して１／２になっていて垂直方向は同じである。また、４：２：０画像信号では、図１７（Ｂ）に示すように、一画面の色差信号Ｃｂ、Ｃｒの各画素数が輝度信号Ｙの画素数と比較して水平方向に対して１／２、垂直方向にも１／２となっている。
【００３６】
また、４：１：１画像信号では、図１７（Ｃ）に示すように、一画面の色差信号Ｃｂ、Ｃｒの各画素数が輝度信号Ｙの画素数と比較して、水平方向に対して１／４となっていて垂直方向は同じである。更に、４：１：０画像信号では、図１７（Ｄ）に示すように、一画面の色差信号Ｃｂ、Ｃｒの各画素数が輝度信号Ｙの画素数と比較して水平方向に対して１／４、垂直方向にも１／４となっている。
【００３７】
従って、図１７（Ｂ）及び（Ｃ）から分かるように、４：２：０画像信号と４：１：１画像信号の色差信号（Ｃｂ、Ｃｒ）の画素数（面積）はそれぞれ等しい。本実施の形態はこのことに着目して、画素の置き換えを行い、４：１：１コンポーネントフォーマットの色差信号を、あたかも４：２：０コンポーネントフォーマットの色差信号であったかのようにして変換するようにしたものである。
【００３８】
すなわち、前述したように、もとの圧縮符号化画像データが４：１：１コンポーネントフォーマットの画像信号であって、それを４：２：０コンポーネントフォーマットの画像信号にする場合、単純に変換すると、４：１：１画像信号の色差信号の垂直方向の画素数をさらに１／２にしてしまい、画素数は４：２：０画像信号と同じ色差信号画素数が存在しているにもかかわらず、４：１：０画像信号と同じ、２つの色差信号の各画素数は輝度信号の画素数に対して、水平方向に１／４に、垂直方向は１／２となった信号フォーマットと等価となってしまう。
【００３９】
そこで、この実施の形態では、これを避けるために、画素の置き換えを行い、４：１：１画像信号中の色差信号をあたかも４：２：０画像信号中の色差信号であったかのようにして変換する。これは実際の画像の位相を無視したやり方であるが、出力する場合に必ずこの逆変換を行えば位相は戻る。また、圧縮を伴うので、符号化劣化が波及する可能性もあるが、劣化を最小限に抑えるべく、符号化レートを高くしてやることで、十分回避できる。
【００４０】
例えば、ＤＶＣが約２５Ｍｂｐｓで４：１：１コンポーネントフォーマットであるので、この出力圧縮符号化画像データを４：２：０コンポーネントフォーマットのＭＰＥＧ２圧縮を用いたＤＶＤで約８Ｍｂｐｓなどで記録する場合、本実施の形態を使用しなければどんなに符号化レートを高くして符号化しても、フォーマット上４：１：０コンポーネントフォーマットの帯域となり、垂直方向の解像度が約半分になってしまう。また、動画の場合にはフィールド処理を行って、フィールドで垂直方向の画素数を半分にするために、動画帯域での垂直解像度特性は１／４になってしまう。しかし、本発明を用いることにより、一般的な画像であれば、ＭＰＥＧ２圧縮で符号化レート８Ｍｂｐｓでは符号化劣化は殆ど発生しない。従って、本発明の画素の置き換えを逆の手順で戻すことにより、４：１：１画像信号の垂直方向解像度を保ったまま、復号化することが可能となる。
【００４１】
次に、４：１：１コンポーネントフォーマットの色差信号を４：２：０コンポーネントフォーマットの色差信号に変換する方法（以下、これを「色差信号４１１／４２０画素置き換え方法」という）について、具体的に説明する。色差信号４１１／４２０画素置き換え方法は、大きく分けて、フレームピクチャ内で置き換える方法とフィールドピクチャ内で置き換える方法の２種類がある。
【００４２】
図１（Ａ）及び（Ｂ）は本発明になる画像圧縮符号化方法の第１及び第２の実施の形態の説明図で、いずれもフィールドピクチャ内での色差信号４１１／４２０画素置き換え方法を示す。図１（Ａ）及び（Ｂ）は、いずれも４：１：１画像信号の画面上での画素位置を示しており、白四角が輝度信号の画素、黒丸が色差信号の画素を示し、灰色の丸印が輝度信号のみが存在する画素位置に置き換えられた後の色差信号の画素を示す。実際の４：１：１画像信号は、画面上には例えば３６０画素（水平方向に０から３５９）×４８０ライン（垂直方向に０から４７９）存在しているところを、図１では８画素×８ラインの部分を表わしている（後述の図２も同様）。
【００４３】
図１（Ａ）の色差信号画素置き換え方法は、０からカウントした画素番号が４で割り切れるときであってライン番号が４で割って２余る、第１フィールドの画素位置の色差信号の画素は、右へ２画素分、上へ２画素分シフトするように置き換え、また、画素番号が４で割り切れるときであって、ライン番号が４で割って３余る、第２フィールドの画素位置の色差信号の画素は、右へ２画素分、上へ２画素分シフトする方法である（ただし、画素番号０は４で割り切れるものとする）。
【００４４】
従って、例えば第１フィールドの画素番号０で垂直方向３番目（ライン番号２）の色差信号は、図１（Ａ）に矢印２１で示すように、画素番号が４で割り切れ、かつ、ライン番号が４で割って２余る画素位置にあるので、右へ２画素分、上へ２画素分シフトされて画素番号２、ライン番号０の画素位置にシフトされる。同様に、例えば第２フィールドの画素番号０で垂直方向４番目（ライン番号３）の色差信号は、図１（Ａ）に矢印２２で示すように、画素番号が４で割り切れ、かつ、ライン番号が４で割って３余る画素位置にあるので、右へ２画素分、上へ２画素分シフトされて画素番号２、ライン番号１の画素位置にシフトされる。
【００４５】
この画素置き換え方法によって、４：１：１画像信号の、４で割り切れる画素番号で、４で割ったときに２又は３余るライン番号に存在する色差信号の各画素は、すべて４で割り切れるか４で割ったときに１余るライン番号の、色差信号が存在しない画素位置にシフトされることとなり、結果として４：２：０画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００４６】
また、図１（Ｂ）の色差信号画素置き換え方法は、０からカウントした画素番号が８で割り切れるときであってライン番号が４で割って２余る、第１フィールドの画素位置にある色差信号の画素は、右へ２画素分、上へ２画素分シフトするように置き換え、また、画素番号が８で割ったときに４余り、ライン番号が４で割り切れる、第１フィールドの画素位置にある色差信号の画素は、右ヘ２画素分シフトし、次に、２つ下の画素をカレントの位置へ（上へ）２画素分シフトする。また、画素番号が８で割りきれるときであって、ライン番号が４で割って３余る、第２フィールドの画素位置にある色差信号の画素は、右へ２画素分、上へ２画素分シフトする。また、画素番号が８で割ったときに４余り、ライン番号が４で割って１余る、第２フィールドの画素位置にある色差信号の画素は、右ヘ２画素分シフトし、次に、２つ下の画素をカレントの位置へ（上へ）２画素分シフトする方法である（ただし、０は４で割り切れるものとする）。
【００４７】
従って、例えば画素番号４で垂直方向１番目（ライン番号０）の色差信号は、画素番号が８で割り切れ、かつ、ライン番号が４で割り切れる、第１フィールドの画素位置にあるので、図１（Ｂ）に矢印２３で示すように、右ヘ２画素分シフトされて本来、色差信号画素が存在しない画素番号６でライン番号０の位置に置き換えられ、続いて、画素番号４、ライン番号０の画素の２つ下の画素番号４、ライン番号２の第１フィールドの色差信号の画素を、図１（Ｂ）に矢印２４で示すようにシフトして、色差信号画素が存在しなくなったカレントの位置の画素番号４、ライン番号０の画素位置にシフトする。また、画素番号が８で割り切れ、かつ、ライン番号が４で割って２又は３余る位置にある色差信号画素は、図１（Ａ）と同様にしてシフトされる。この画素置き換え方法によって、図１（Ｂ）に示すように、４：１：１画像信号が４：２：０画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００４８】
図２（Ａ）及び（Ｂ）は本発明になる画像圧縮符号化方法の第３及び第４の実施の形態の説明図で、いずれもフレームピクチャ内での色差信号４１１／４２０画素置き換え方法を示す。図２（Ａ）及び（Ｂ）は、いずれも４：１：１画像信号の画面上での画素位置を示しており、白四角が輝度信号の画素、黒丸が色差信号の画素を示し、灰色の丸印が色差信号の画素が存在しない画素位置に置き換えられた色差信号の画素を示す。
【００４９】
図２（Ａ）の色差信号画素置き換え方法は、０からカウントした画素番号が４で割り切れるときであってライン番号が２で割って１又は３余る画素位置にある色差信号の画素は、右へ２画素分、上へ１画素分シフトするように置き換える方法である（ただし、画素番号０は４で割り切れるものとする）。従って、例えば画素番号０で垂直方向２番目（ライン番号１）の色差信号は、図２（Ａ）に矢印２６で示すように、画素番号が４で割り切れ、かつ、ライン番号が２で割って１余る画素位置にあるので、右へ２画素分、上へ１画素分シフトされて画素番号２、ライン番号０の画素位置にシフトされる。同様に、例えば画素番号０で垂直方向４番目（ライン番号３）の色差信号は、図２（Ａ）に矢印２７で示すように、画素番号が４で割り切れ、かつ、ライン番号が２で割って１余る画素位置にあるので、右へ２画素分、上へ１画素分シフトされて画素番号２、ライン番号２の画素位置にシフトされる。
【００５０】
この画素置き換え方法によって、４で割り切れる画素番号で、４で割ったときに１又は３余るライン番号に存在する色差信号の各画素は、すべて４で割ったときに２余る画素番号で、２で割り切れるライン番号の、色差信号が存在しない画素位置にシフトされることとなり、結果として４：２：０画像信号の色差信号の画素位置と等価な画素配列となる。
【００５１】
また、図２（Ｂ）の色差信号画素置き換え方法は、０からカウントした画素番号が８で割り切れる画素位置にあり、ライン番号が４で割ったときに１又は３余る画素位置にある色差信号の画素は、右へ２画素分、上へ１画素分シフトするように置き換え、また、画素番号が８で割ったときに４余り、ライン番号が２で割り切れる画素位置にある色差信号の画素は、右ヘ２画素分シフトし、次に、１つ下の画素をカレントの位置へ（上へ）１画素分シフトする方法である（ただし、０は８で割り切れるものとする）。
【００５２】
従って、例えば画素番号４で垂直方向１番目（ライン番号０）の色差信号は、画素番号が８で割って４余り、かつ、ライン番号が２で割り切れる画素位置にあるので、図２（Ｂ）に矢印２８で示すように、右ヘ２画素分シフトされて本来、色差信号画素が存在しない画素番号６でライン番号０の位置に置き換えられ、続いて、画素番号４、ライン番号０の画素の１つ下の画素番号４、ライン番号１の色差信号の画素を、図２（Ｂ）に矢印２９で示すようにシフトして、色差信号画素が存在しなくなったカレントの位置の画素番号４、ライン番号０の画素位置にシフトする。また、画素番号が８で割り切れ、かつ、ライン番号が２で割って１余る位置にある色差信号画素は、図２（Ａ）と同様にしてシフトされる。この画素置き換え方法によって、図２（Ｂ）に示すように、４：１：１画像信号の色差信号が、４：２：０画像信号の色差信号の画素位置と等価な画素配列となる。
【００５３】
次に、４：２：０コンポーネントフォーマットの色差信号を４：１：１コンポーネントフォーマットの色差信号に変換する方法（以下、これを「色差信号４２０／４１１画素置き換え方法」という）について、具体的に説明する。色差信号４２０／４１１画素置き換え方法は、上記の色差信号４１１／４２０画素置き換え方法の逆の操作を行うものであり、この方法も大きく分けて、フレームピクチャ内で置き換える方法とフィールドピクチャ内で置き換える方法の２種類がある。
【００５４】
図３（Ａ）及び（Ｂ）は本発明になる画像圧縮復号化方法の第１及び第２の実施の形態の説明図で、いずれもフィールドピクチャ内での色差信号４２０／４１１画素置き換え方法を示す。図３（Ａ）及び（Ｂ）は、いずれも４：２：０画像信号の画面上での画素位置を示しており、白四角が輝度信号の画素、黒丸が色差信号の画素を示し、灰色の丸印が置き換え後の色差信号の画素を示す。実際の４：２：０画像信号は、画面上には例えば３６０画素（水平方向に０から３５９）×４８０ライン（垂直方向に０から４７９）存在しているところを、図３では４画素×８ラインの部分を表わしている（後述の図４も同様）。
【００５５】
図３（Ａ）の色差信号画素置き換え方法は、０からカウントした画素番号が４で割って２余るときであって、ライン番号が４で割り切れる第１フィールドの色差信号の画素は、左へ２画素分、下へ２画素分シフトするように置き換え、また、画素番号が４で割って２余るときであって、ライン番号が４で割って１余るときは、左へ２画素分、下へ２画素分シフトする方法である（ただし、画素番号０は４で割り切れるものとする）。
【００５６】
従って、例えば画素番号２で垂直方向１番目（ライン番号０）の色差信号は、画素番号が４で割って２余り、かつ、ライン番号が４で割り切れる画素位置にあるので、図３（Ａ）に矢印３１で示すように、左へ２画素分、下へ２画素分シフトされて画素番号０、ライン番号２の画素位置にシフトされる。同様に、例えば画素番号２で垂直方向２番目（ライン番号１）の色差信号は、図３（Ａ）に矢印３２で示すように、画素番号が４で割って２余り、かつ、ライン番号が４で割って１余る画素位置にあるので、左へ２画素分、下へ２画素分シフトされて画素番号０、ライン番号３の画素位置にシフトされる。この画素置き換え方法によって、図１（Ａ）の方法によって置き換えられた４：２：０画像信号の色差信号が、４：１：１画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００５７】
また、図３（Ｂ）の色差信号画素置き換え方法は、０からカウントした画素番号が８で割って２余るときであってライン番号が４で割り切れるときには、左へ２画素分、下へ２画素分シフトするように置き換え、また、画素番号が８で割って４余るときであって、ライン番号が４で割り切れるときは、下ヘ２画素分シフトし、次に、２つ右の画素をカレントの位置へ（左へ）１画素分シフトする。また、画素番号が８で割って２余るときであって、ライン番号が４で割って１余るときには、左へ２画素分、下へ２画素分シフトする。また、画素番号が８で割って４余るときであって、ライン番号が４で割って１余るときは、下ヘ２画素分シフトし、次に、２つ右の画素をカレントの位置へ（左へ）２画素分シフトする方法である（ただし、０は４で割り切れるものとする）。
【００５８】
従って、例えば画素番号４で垂直方向１番目（ライン番号０）の色差信号は、画素番号が８で割って４余り、かつ、ライン番号が４で割り切れる画素位置にあるので、図３（Ｂ）に矢印３３で示すように、下ヘ２画素分シフトされて本来、色差信号画素が存在しない画素番号４でライン番号２の位置に置き換えられ、続いて、画素番号４、ライン番号０の画素の２つ右の画素番号６、ライン番号０の色差信号の画素を、図３（Ｂ）に矢印３４で示すようにシフトして、色差信号画素が存在しなくなったカレントの位置の画素番号４、ライン番号０の画素位置にシフトする。また、画素番号が８で割って２余り、かつ、ライン番号が４で割り切れるか、１余る位置にある色差信号画素は、図３（Ａ）と同様にしてシフトされる。この画素置き換え方法によって、図１（Ｂ）の方法によって画素が置き換えられた４：２：０画像信号の色差信号が、図３（Ｂ）に示すように、４：１：１画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００５９】
図４（Ａ）及び（Ｂ）は本発明になる画像圧縮復号化方法の第３及び第４の実施の形態の説明図で、いずれもフレームピクチャ内での色差信号４２０／４１１画素置き換え方法を示す。図４（Ａ）及び（Ｂ）は、いずれも４：２：０画像信号の画面上での画素位置を示しており、白四角が輝度信号の画素、黒丸が色差信号の画素を示し、灰色の丸印が置き換え後の色差信号の画素を示す。
【００６０】
図４（Ａ）の色差信号画素置き換え方法は、０からカウントした画素番号が４で割って２余るときであって、ライン番号が２で割り切れるときには、左へ２画素分、下へ１画素分シフトするように置き換える方法である（ただし、画素番号０は２で割り切れるものとする）。
【００６１】
従って、例えば画素番号２で垂直方向１番目（ライン番号０）の色差信号は、画素番号が４で割って２余り、かつ、ライン番号が２で割り切れる画素位置にあるので、図４（Ａ）に矢印３６で示すように、左へ２画素分、下へ１画素分シフトされて画素番号０、ライン番号１の画素位置にシフトされる。同様に、例えば画素番号２で垂直方向３番目（ライン番号２）の色差信号は、画素番号が４で割って２余り、かつ、ライン番号が２で割り切れる画素位置にあるので、図４（Ａ）に矢印３７で示すように、左へ２画素分、下へ１画素分シフトされて画素番号０、ライン番号３の画素位置にシフトされる。この画素置き換え方法によって、図２（Ａ）の方法により画素が置き換えられた４：２：０画像信号の色差信号が、４：１：１画像信号の色差信号の画素位置と等価な画素配列に置き換えられる。
【００６２】
また、図４（Ｂ）の色差信号画素置き換え方法は、０からカウントした画素番号が８で割って２余るときであって、ライン番号が２で割り切れるときには、左へ２画素分、下へ１画素分シフトするように置き換え、また、画素番号が８で割って４余るときであって、ライン番号が２で割り切れるときは、下ヘ１画素分シフトし、次に、２つ右の画素をカレントの位置へ（左へ）２画素分シフトする方法である（ただし、０は２で割り切れるものとする）。
【００６３】
従って、例えば画素番号４で垂直方向１番目（ライン番号０）の色差信号は、画素番号が８で割って４余り、かつ、ライン番号が２で割り切れる画素位置にあるので、図４（Ｂ）に矢印３８で示すように、下ヘ１画素分シフトされて本来、色差信号画素が存在しない画素番号４でライン番号１の位置に置き換えられ、続いて、画素番号４、ライン番号０の画素の２つ右の画素番号６、ライン番号０の色差信号の画素を、図４（Ｂ）に矢印３９で示すようにシフトして、色差信号画素が存在しなくなったカレントの位置の画素番号４、ライン番号０の画素位置にシフトする。また、画素番号が８で割って２余り、かつ、ライン番号が２で割り切れる位置にある色差信号画素は、図４（Ａ）と同様にしてシフトされる。この画素置き換え方法によって、図２（Ｂ）の方法によって画素が置き換えられた４：２：０画像信号の色差信号が、図４（Ｂ）に示すように、４：１：１画像信号の色差信号の画素位置と等価な画素配列となる。
【００６４】
なお、上記の説明では、便宜上、画像圧縮符号化では色差信号４１１／４２０画素置き換えをし、画像圧縮復号化では色差信号４２０／４１１画素置き換えをするものとして説明したが、その逆（つまり、画像圧縮復号化で色差信号４１１／４２０画素置き換え、画像圧縮符号化で色差信号４２０／４１１画素置き換え）としてもよいことは勿論である。
【００６５】
次に、本発明になる圧縮符号化装置及び圧縮復号化装置の各実施の形態について、図面と共に説明する。図５は本発明になる圧縮符号化装置の第１の実施の形態のブロック図を示す。同図において、４：１：１画像信号は、色差信号４１１／４２０フォーマット変換器４１と、色差信号４１１／４２０画素置き換え器４２にそれぞれ入力される。
【００６６】
色差信号４１１／４２０フォーマット変換器４１は、入力された４：１：１画像信号の水平方向をオーバーサンプリングして水平画素数を２倍にする。また垂直方向には帯域を１／２にするフィルタリングを施してから、サンプリング数を半分にする。色差信号４１１／４２０画素置き換え器４２は、前記図１（Ａ）及び（Ｂ）、図２（Ａ）及び（Ｂ）と共に説明した色差信号４１１／４２０画素置き換え方法のうち、いずれか任意に設定した、あるいは予め定められた一つの方法により色差信号４１１／４２０画素置き換えをする。
【００６７】
この色差信号４１１／４２０画素置き換え器４２は、例えば入力された４：１：１画像信号から色差信号を分離してメモリにアドレス制御器の制御の下に順次に書き込み、前記図１、図２と共に説明した色差信号４１１／４２０画素置き換え方法を実現するようなアドレス順で、メモリから記憶色差信号データを読み出して再度メモリに書き込み、その後そのメモリから読み出した色差信号データを入力４：１：１画像信号から分離した輝度信号データに合成して出力する構成である。
【００６８】
色差信号４１１／４２０フォーマット変換器４１と、色差信号４１１／４２０画素置き換え器４２の各出力画像信号は、スイッチ回路（Ｓ／Ｗ）４４にそれぞれ供給され、ここでユーザーインターフェース４３からのスイッチング信号により、ユーザーにより指定された方の方式の画像信号が選択される。この場合、後述する本発明の復号化装置を使用して復号する場合には、色差信号４１１／４２０画素置き換え器４２からの等価的に４：２：０コンポーネントフォーマットとされた、４：２：０画像信号が選択されるように、Ｓ／Ｗ４４が切り替えられる。これに対し、本発明による画素置き換え手段を有しない既存の復号化装置で圧縮符号化したディジタル信号を復号させる場合は、色差信号４１１／４２０フォーマット変換器４１から取り出された、帯域的に４：１：０コンポーネントフォーマットとされた画像信号が選択されるように、Ｓ／Ｗ４４が切り替えられる。
【００６９】
Ｓ／Ｗ４４により選択された画像信号はＭＰＥＧ符号化器４５に入力され、４：２：０コンポーネントフォーマットのＭＰＥＧ方式に準拠した圧縮符号化がなされる。このＭＰＥＧ符号化器４５は、図１５に示した公知の構成である。このＭＰＥＧ符号化器４５の入力画像信号は、本来は４：１：１コンポーネントフォーマットであるが、色差信号４１１／４２０画素置き換え器４２で画素置き換えがなされている場合は、色差信号に関してはあたかも４：２：０コンポーネントフォーマットの色差信号であったかのように変換されているので、従来のように符号化によって４：１：０画像信号のようになることはなく、４：２：０画像信号として取り出される。ＭＰＥＧ符号化器４５により符号化されて取り出されたビットストリームは、バッファメモリ及びフォーマッタ４６に供給される。
【００７０】
一方、同期制御部４７は所定の期間のタイマを持ち、同期信号発生器４８に所定の期間ごとにトリガー信号を出力する。この所定の期間は例えばＮＴＳＣ方式画像信号の１フレーム期間である１／２９．９７秒などに選定される。同期信号発生部４８は、同期制御部４７からのトリガー信号の入力を検出すると、最初のＭＰＥＧのシンタックスで映像音声とは関係ないデータを埋め込むことのできるエリアとして設定されている、ｕｓｅｒ＿ｄａｔａなどの所定のエリア内で本実施の形態の識別コードの存在を示す、予め一意に識別可能な固定パターンの同期信号を発生する。
【００７１】
例えば、ＭＰＥＧ１のビデオストリームピクチャレイヤは、図１２に示すように定められていて、スライスレイヤの手前で、ユーザデータスタートコード（ｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅ）を送った後に、ユーザデータ（ｕｓｅｒ＿ｄａｔａ）を８ビット単位で伝送することができるような仕組みが定義されている。また、ＭＰＥＧ２などのトランスポートストリームのシステムレイヤにも、図１３に示すように、トランスポート・プライベート・データ・フラグ（ｔｒａｎｓｐｏｒｔ＿ｐｉｖａｔｅ＿ｄａｔａ＿ｆｌａｇ）に１を立てると、プライベートデータ（ｐｒｉｖａｔｅ＿ｄａｔａ）が存在することを明示でき、データ長もトランスポートパケットをはみ出さないという制限のもとで、トランスポート・プライベート・データ・レングス（ｔｒａｎｓｐｏｒｔ＿ｐｒｉｖａｔｅ＿ｄａｔａ＿ｌｅｎｇｔｈ）に設定したデータ長のプライベートデータ（ｐｒｉｖａｔｅ＿ｄａｔａ）を送信することができるように定められている。
【００７２】
これ以外にも、ＭＰＥＧシステムでユーザ固有のデータを伝送する方法は、ストリームｉｄ（ｓｔｒｅａｍ＿ｉｄ）にプライベートストリーム（ｐｒｉｖａｔｅ＿ｓｔｒｅａｍ）を設定して専用のパケットを宣言することで送信するなど、仕組みは幾つか定義されており、本実施の形態で同期信号や識別コードを符号化データに多重して伝送する目的においては、それらのどの仕組みを用いても構わない。
【００７３】
ここでは、ＭＰＥＧ１ビデオのｕｓｅｒ＿ｄａｔａを用いるものとすると、ｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅはスライスレイヤの手前で０ｘ０００００１Ｂ２と定義されている。そのコードを送った後にユーザデータエリア内で後述する識別コードの存在を示す、予め一意に識別可能な同期信号を送信する。この同期信号は、ＭＰＥＧ規格とは別に定めた値（例えば、０ｘ０ｆ０ｆ０ｆ０ｆ２４２８ｆｄａａ）に設定されており、この同期信号の後に後述する識別コードが多重されている位置を復号化装置側に特定させる目的を持つ。具体的には、上記の同期信号の発生タイミングは、バッファメモリ及びフォーマッタ４６に、ＭＰＥＧ符号化器４５から入力されるＭＰＥＧのストリームを観測しながら、所定のｕｓｅｒ＿ｄａｔａエリアを特定し、その後にｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅを発生し、ｕｓｅｒ＿ｄａｔａエリアであることを宣言してからとなる。
【００７４】
図５に示す同期信号発生部４８は、また同期信号を発生したことを示す信号を識別コード発生部４９に出力する。識別コード発生部４９は、同期信号の後のタイミングで、バッファメモリ及びフォーマッタ４６の入力画像信号が色差信号４１１／４２０フォーマット変換器４１で処理されたものなのか、色差信号４１１／４２０画素置き換え器４２で処理されたものなのかを示す値の識別コードを発生して、バッファメモリ及びフォーマッタ４６に供給する。
【００７５】
識別コードの値は、ユーザインタフェース４３から同期信号発生部４８を介して入力される信号に基づいて定められ、例えば識別コードとして１バイトを用意して、０ｘ０１であれば色差信号４１１／４２０画素置き換え器４２で処理されたことを示し、０ｘ００であれば色差信号４１１／４２０フォーマット変換器４１で処理されたことを示す。バッファメモリ及びフォーマッタ４６は、記録媒体５１のフォーマットに準じたデータ配置を行った圧縮符号化画像データや同期信号及び識別コードからなるディジタル信号をデータ記録部５０に出力し、これにより、磁気テープ、光ディスクその他の記録媒体５１に記録させる。
【００７６】
なお、色差信号４１１／４２０画素置き換え器４２が、図１及び図２と共に示した４種類の色差信号４１１／４２０画素置き換え方法のうち、２種類以上の色差信号４１１／４２０画素置き換え方法を選択できる構成である場合は、どの種類の色差信号４１１／４２０画素置き換え方法を用いたかを示す情報も識別コードに含める。
【００７７】
次に、本発明を実現するための好適な復号化装置例について説明する。図６は本発明になる圧縮復号化装置の第１の実施の形態のブロック図を示す。同図において、図５の画像圧縮符号化装置により記録された記録媒体５１から読み出されたディジタル信号は、バッファメモリ５２に一時蓄積された後、同期信号検出部５３、識別コード検出部５４及びＭＰＥＧ復号化器５５にそれぞれ供給される。同期信号検出部５３は、ＭＰＥＧのストリームを観測しながら、所定のｕｓｅｒ＿ｄａｔａエリアを特定し、その後にｕｓｅｒ＿ｄａｔａ＿ｓｔａｒｔ＿ｃｏｄｅを検出して、ｕｓｅｒ＿ｄａｔａエリアであることを確認した後で、固定パターンの同期信号を検出する。
【００７８】
識別コード検出部５４は、同期信号を検出した時点で同期信号検出部５３から出力されるトリガー信号を受け、同期信号に同期して所定エリアに多重されている識別コードを再生ディジタル信号中から検出し、色差信号生成方法判定部５６に送信する。色差信号生成方法判定部５６は、再生ディジタル信号が図５の色差信号４１１／４２０フォーマット変換器４１で処理されたものなのか、色差信号４１１／４２０画素置き換え器４２で処理されたものなのかを入力識別コードから判定し、その判定結果に応じてスイッチ回路（Ｓ／Ｗ）５７をスイッチング制御すると共に、その判定結果を色差信号出力フォーマット変換器５９に供給する。
【００７９】
すなわち、色差信号生成方法判定部５６は、色差信号４１１／４２０画素置き換え器４２で処理されたと判定した場合には、図１６に示した公知の構成のＭＰＥＧ復号化器５５により復号化された画像データを、色差信号４２０／４１１画素置き換え器５８へ供給し、また、色差信号４１１／４２０フォーマット変換器４１で処理されたと判定した場合には、ＭＰＥＧ復号化器５５により復号化された画像データを直接、色差信号出力フォーマット変換器５９に供給するように、スイッチ回路（Ｓ／Ｗ）５７をスイッチング制御する。
【００８０】
色差信号４２０／４１１画素置き換え器５８は、前記図３（Ａ）及び（Ｂ）、図４（Ａ）及び（Ｂ）と共に説明した色差信号４２０／４１１画素置き換え方法のうち、記録媒体５１に記録された画像信号で採用された色差信号４１１／４２０画素置き換え方法に対応した、所定の一つの方法により色差信号４２０／４１１画素置き換えをして、圧縮符号化装置に入力された元の画像信号と同じ４：１：１画像信号に戻されて出力する。
【００８１】
すなわち、図５の圧縮符号化装置の色差信号４１１／４２０画素置き換え器４２により、４：１：１画像信号の色差信号については、４：２：０画像信号の色差信号配列と等価的にされ、４：１：１画像信号中の色差信号をあたかも４：２：０画像信号中の色差信号であったかのようにして、ＭＰＥＧ符号化器４５で符号化した信号の復号信号がＭＰＥＧ復号化器５５から出力される場合は、その復号信号の色差信号に関しては本来の画像の位相とは異なっているので、色差信号４１１／４２０画素置き換え器４２で行った色差信号４１１／４２０画素置き換え方法と逆の色差信号４２０／４１１画素置き換えをして、色差信号の位相を元に戻す必要がある。
【００８２】
そのため、色差信号４１１／４２０画素置き換え器４２で図１（Ａ）の色差信号４１１／４２０画素置き換え方法を行った場合は、色差信号４２０／４１１画素置き換え器５８は、図３（Ａ）の色差信号４２０／４１１画素置き換え方法を行う必要があり、同様に、色差信号４１１／４２０画素置き換え方法が図１（Ｂ）、図２（Ａ）、図２（Ｂ）の場合は、それぞれ対応する図３（Ｂ）、図４（Ａ）、図４（Ｂ）に示した色差信号４１１／４２０画素置き換え方法を行う必要がある。
【００８３】
色差信号出力フォーマット変換器５９は、色差信号生成方法判定部５６からの判定結果に基づいて、色差信号４２０／４１１画素置き換え器５８により圧縮符号化装置に入力された画像信号と同じ４：１：１画像信号に戻された画像信号が入力されたと検出したときは、その４：１：１画像信号を水平方向に２倍のオーバーサンプルをして４：２：２画像信号に変換して出力する。一方、色差信号出力フォーマット変換器５９は、色差信号生成方法判定部５６からの判定結果に基づいて、ＭＰＥＧ復号化器５５から出力された画像信号がそのまま入力されたと検出したときは、その画像信号を垂直方向に２倍にオーバーサンプルして出力する。
【００８４】
従って、色差信号出力フォーマット変換器５９にＭＰＥＧ復号化器５５からスイッチ回路５７を通して直接に入力される画像信号が、４：２：０画像信号であれば４：２：２画像信号として色差信号出力フォーマット変換器５９から出力され、他方、４：１：１画像信号をＭＰＥＧ符号化した信号をＭＰＥＧ復号化器５５で復号した４：１：０画像信号であれば、４：１：０画像信号のまま出力されることとなる。
【００８５】
次に、本発明装置の第２の実施の形態について説明する。図７は本発明になる圧縮符号化装置の第２の実施の形態のブロック図を示す。同図中、図５と同一構成部分には同一符号を付し、その説明を省略する。上記の第１の実施の形態では、画面全体においてフレームピクチャ内での色差信号画素の置き換え、又はフィールドピクチャ内での色差信号画素の置き換えを固定的に行うこととして説明したが、この実施の形態では、フレーム／フィールド相関判定部６１を用いて自動で切り替えるようにしたものである。
【００８６】
すなわち、４：１：１画像信号は図７のフレーム／フィールド相関判定部６１に供給され、ここで所定のエリアごとにフレーム／フィールド相関の判定が行われ、フィールドの相関が大きいとの判定結果が得られた場合は、図１（Ａ）、（Ｂ）のようにフィールドピクチャ内で色差信号の画素を置き換え、フレーム相関が大きいとの判定結果が得られた場合は、図２（Ａ）、（Ｂ）のようにフレームピクチャ内で色差信号の画素を置き換えるように、色差信号４１１／４２０画素書き換え器４２を判定結果に応じて制御して、４：２：０画像信号に変換させる。
【００８７】
また、フレーム／フィールド相関判定部６１からの判定結果が識別コード発生部６２に供給され、フィールドピクチャ内で色差信号の画素を置き換えたか、フレームピクチャ内で色差信号の画素を置き換えたかを識別コードの中のもう１ビットを用いて指定する。
【００８８】
フレーム／フィールド相関判定部６１による相関判定は、例えば図１８の特定エリア８１の画像データ内において、８２で示すように１ラインの画像データと１ライン下の画像データとの第１の差分和（上下の２つの画素間の差の値を１ライン分の画素について加算した値）を計算し、同様に８３で示すように２ライン下の画素との第２の差分和を計算し、どちらか差分和の小さかったほうが相関が大きいと判定する方法が考えられる。図１８では第１の差分和がフレーム相関の大きさを示しており、第２の差分和がフィールド相関の大きさを示している。
【００８９】
図８は本発明になる圧縮符号化装置の第３の実施の形態のブロック図を示す。同図中、図５、図７と同一構成部分には同一符号を付し、その説明を省略する。この実施の形態は、図７の第２の実施の形態におけるフレーム／フィールド相関判定部６１の判定結果を識別コード発生部６２（４９）ではなく、ＭＰＥＧ符号化器６４に供給し、ＭＰＥＧで用いられているマクロブロック（１６画素×１６ライン）に、フレーム／フィールド相関判定結果を用いるようにしたものである。ＭＰＥＧ符号化器６４は、このフレーム／フィールド判断結果を受け、図１５に示したＤＣＴ器３が入力結果に基づいてフレーム／フィールドのどちらかで行い、また、動き補償予測器１がフレーム／フィールドのどちらかの動き補償予測を行う。
【００９０】
これにより、この実施の形態では、マクロブロック単位でフレームもしくはフィールド相関の大小を判断している判断結果に、あわせて色差信号画素の置き換え方法をフレームもしくはフィールド内のピクチャで行うことで、置き換え後のピクチャの垂直方向の相関が高くなり、ＭＰＥＧ圧縮の符号化効率が高まる。従って、同じ符号化レ−トで符号化した場合、相対的に高画質で符号化することが可能となる。
【００９１】
判定結果は図１９に示したＭＰＥＧ２のビデオシンタックスのマクロブロックレイヤであるＤＣＴをフレーム／フィールドのどちらで行ったかを示すモード（ＭＰＥＧ２のビデオ符号化シンタックスにおけるｄｃｔ＿ｔｙｐｅ１ビット ０のときがフレーム、１のときがフィールド）、あるいはフレーム／フィールドの動き補償モード（ＭＰＥＧ２のビデオ符号化シンタックスにおけるFrame_motion_type２ビットが01のときがフィールド、10のときがフレーム）をリンクして使うことで、あえて送信しなくても済む。
【００９２】
図９は本発明になる圧縮復号化装置の第２の実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付し、その説明を省略する。この第２の実施の形態は、図８に示した圧縮符号化装置に対応した実施の形態で、バッファメモリ５２からの再生ディジタル信号がＭＰＥＧ復号化器６８に供給されて、復号化されると共に、その際のＤＣＴモード信号が色差信号４２０／４１１画素置き換え器６９に供給される。
【００９３】
色差信号４２０／４１１画素置き換え器６９は、ＤＣＴモードがフィールドモードの場合、フィールドの相関が大きく、入力画像信号はフィールドピクチャ内で色差信号４１１／４２０画素書き換えが行われていると考えられるので、図３（Ａ）又は同図（Ｂ）に示したようにフィールドピクチャ内で色差信号４２０／４１１画素置き換えを行い、ＤＣＴモードがフレームモードの場合は、フレームの相関が大きく、フレームピクチャ内で色差信号４１１／４２０画素書き換えが行われていると考えられるので、図４（Ａ）又は同図（Ｂ）に示したようにフレームピクチャ内で色差信号４２０／４１１画素置き換えを行う。
【００９４】
図１０は本発明になる圧縮符号化装置の第４の実施の形態のブロック図を示す。同図中、図５と同一構成部分には同一符号を付し、その説明を省略する。この実施の形態は、４：２：０画像信号中の色差信号を４：１：１画像信号に置き換えて符号化する構成としたものである。すなわち、図１０において、４：２：０画像信号は、色差信号４２０／４１１フォーマット変換器７１及び色差信号４２０／４１１画素置き換え器７２にそれぞれ供給される。
【００９５】
色差信号４２０／４１１フォーマット変換器７１は、入力された４：２：０画像信号の水平画素数を半分にし、垂直方向には２倍にオーバーサンプルする。色差信号４２０／４１１画素置き換え器７２は、前記図３（Ａ）及び（Ｂ）、図４（Ａ）及び（Ｂ）と共に説明した色差信号４２０／４１１画素置き換え方法のうち、いずれか任意に設定した、又は予め定められた一つの方法により色差信号４２０／４１１画素置き換えをする。
【００９６】
色差信号４２０／４１１フォーマット変換器７１と、色差信号４２０／４１１画素置き換え器７２の各出力画像信号は、スイッチ回路（Ｓ／Ｗ）４４にそれぞれ供給され、ここでユーザーインターフェース４３からのスイッチング信号により、ユーザーにより指定された方の方式の画像信号が選択される。スイッチ回路４４により選択された４：１：１画像信号は、ＤＶＣ符号化器７３に供給され、ここでＤＶＣ規格に準拠した４：１：１コンポーネントフォーマットでの符号化が行われた後、バッファメモリ及びフォーマッタ７４に供給される。この実施の形態では、ＭＰＥＧデータをＤＶＣフォーマットとして符号化したときに、４：２：０コンポーネントフォーマットと同じ水平方向の帯域特性を保持して再生することができる。
【００９７】
図１１は本発明になる圧縮復号化装置の第３の実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付し、その説明を省略する。この第３の実施の形態は、図１０に示した圧縮符号化装置に対応した実施の形態で、バッファメモリ５２から取り出された４：１：１画像信号をＤＶＣ復号化器７６で復号化した後スイッチ回路５７に供給される。
【００９８】
色差信号４１１／４２０画素置き換え器７７は、スイッチ回路５７から入力された４：１：１画像信号を、前記図１（Ａ）、（Ｂ）及び図２（Ａ）及び（Ｂ）と共に説明した色差信号４１１／４２０画素置き換え方法のうち、符号化装置側に対応した一つの方法により色差信号４１１／４２０画素置き換えを行う。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、第２のコンポーネントフォーマットの入力画像信号が、ＤＶＣなど４：１：１コンポーネントフォーマットであり、これをＭＰＥＧのような４：２：０コンポーネントフォーマットに再符号化し直す場合、等価的に４：１：０の信号の画素数しか持っていない画像と同じ帯域になってしまうことなく、ＭＰＥＧ出力画像信号の帯域を４：１：１コンポーネントフォーマットと同じ垂直方向の帯域特性をほとんど保持して再生することができる。
【０１００】
また、本発明によれば、ＭＰＥＧなど４：２：０コンポーネントフォーマットを変更して４：１：１コンポーネントフォーマットのＤＶＣ符号化を用いているアプリケーションに符号化し直す場合、等価的に４：１：０画像信号の画素数しか持っていない画像と同じ帯域になってしまうことなく、ＤＶＣ出力画像信号の帯域を４：２：０コンポーネントフォーマットと同じ水平方向の帯域特性を保持して再生することができる。
【０１０１】
更に、本発明によれば、フレーム相関とフィールド相関のうち、相関の大きな方のピクチャ内での色差信号の画素置き換えを行うようにしているため、圧縮符号化効率を高めることができる。
【図面の簡単な説明】
【図１】本発明の画像圧縮符号化方法の第１及び第２の実施の形態における色差信号画素置き換え方法の説明図である。
【図２】 本発明の画像圧縮符号化方法の第３及び第４の実施の形態における色差信号画素置き換え方法の説明図である。
【図３】 本発明の画像圧縮復号化方法の第１及び第２の実施の形態における色差信号画素置き換え方法の説明図である。
【図４】 本発明の画像圧縮復号化方法の第３及び第４の実施の形態における色差信号画素置き換え方法の説明図である。
【図５】 本発明の圧縮符号化装置の第１の実施の形態のブロック図である。
【図６】 本発明の圧縮復号化装置の第１の実施の形態のブロック図である。
【図７】 本発明の圧縮符号化装置の第２の実施の形態のブロック図である。
【図８】 本発明の圧縮符号化装置の第３の実施の形態のブロック図である。
【図９】 本発明の圧縮復号化装置の第２の実施の形態のブロック図である。
【図１０】 本発明の圧縮符号化装置の第４の実施の形態のブロック図である。
【図１１】 本発明の圧縮復号化装置の第３の実施の形態のブロック図である。
【図１２】ＭＰＥＧ１ビデオストリームピクチャレイヤの一部を示す表である。
【図１３】ＭＰＥＧ２トランスポートストリームのシステムレイヤの一部を示す表である。
【図１４】４：２：２画像信号、ＭＰＥＧ２の画像信号、ＭＰＥＧ１の画像信号及び４：１：１画像信号の輝度信号と色差信号の各画素位置を説明する図である。
【図１５】 ＭＰＥＧ符号化器の一例のブロック図である。
【図１６】 ＭＰＥＧ復号化器の一例のブロック図である。
【図１７】 ４：２：２画像信号、４：２：０画像信号、４：１：１画像信号及び４：１：０画像信号の各画素数概念図である。
【図１８】 フレーム相関とフィード相関の判定の説明図である。
【図１９】 ＭＰＥＧ２のビデオシンタックスのマクロブロックレイヤを示す図である。
【符号の説明】
４１ 色差信号４１１／４２０フォーマット変換器
４２ 色差信号４１１／４２０画素置き換え器
４３ ユーザーインタフェース
４４、５７ スイッチ回路（Ｓ／Ｗ）
４５、６４ ＭＰＥＧ符号化器
４６、７４ バッファメモリ及びフォーマッタ
４７ 同期制御部
４８ 同期信号発生部
４９、６２ 識別コード発生部
５０ データ記録部
５１ 記録媒体
５２ バッファメモリ
５３ 同期信号検出部
５４ 識別コード検出部
５５、６８ ＭＰＥＧ復号化器
５６ 色差信号生成方法判別部
５８ 色差信号４２０／４１１画素置き換え器
５９、７８ 色差信号出力フォーマット変換器
６１ フレーム／フィールド相関判定部
７１ 色差信号４２０／４１１フォーマット変換器
７２ 色差信号４２０／４１１画素置き換え器
７３ ＤＶＣ符号化器
７７ 色差信号４１１／４２０画素置き換え器
Claims (5)
- ４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、各ライン毎に４画素周期で水平方向に配置される前記入力画像信号中の色差信号の画素のうち、隣接する４ラインを一組としたとき、各組において２番目又は３番目のライン上の前記色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上の前記色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトすることにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１のステップと、
前記画素置き換えされた画像信号を４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置により圧縮符号化を行う第２のステップと、
前記圧縮符号化された画像信号を前記４：２：０のコンポーネントフォーマットで復号化する復号化装置により復号化して復号信号を得る第３のステップと、
前記復号信号を一画面に表示したとき、該復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、前記第１のステップによる画素シフトとは逆の画素シフトを行うことにより、前記４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えを行う第４のステップと
を含むことを特徴とする圧縮復号化方法。 - ４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、水平方向８画素及び垂直方向４画素の隣接する計３２画素を一組としたとき、各ライン毎に４画素周期で水平方向に配置され、かつ、各組毎に８つある前記入力画像信号中の色差信号の画素のうち、垂直方向に隣接する４つの色差信号の画素については、２番目又は３番目のライン上にある前記色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、垂直方向に隣接する残りの４つの画素については、１番目のライン上にある色差信号の画素と３番目又は２番目のライン上にある色差信号の画素は右へ２画素それぞれシフトし、かつ、シフト後の色差信号の画素位置に２番目又は３番目のライン上と４番目のライン上にある色差信号の画素をそれぞれ垂直方向にシフトすることを各組毎に行うことにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１のステップと、
前記画素置き換えされた画像信号を４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置により圧縮符号化を行う第２のステップと、
前記圧縮符号化された画像信号を前記４：２：０のコンポーネントフォーマットで復号化する復号化装置により復号化して復号信号を得る第３のステップと、
前記復号信号を一画面に表示したとき、該復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、前記第１のステップによる画素シフトとは逆の画素シフトを行うことにより、前記４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えを行う第４のステップと
を含むことを特徴とする圧縮復号化方法。 - ４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、各ライン毎に４画素周期で水平方向に配置される前記入力画像信号中の色差信号の画素のうち、隣接する４ラインを一組としたとき、各組において２番目又は３番目のライン上の前記色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上の前記色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素 上の位置にシフトすることにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１の画素置き換え器と、
前記第１の画素置き換え器で画素置き換えが行われた画像信号を、前記４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置と、
前記符号化装置で圧縮符号化された圧縮符号化画像信号を受け、前記４：２：０のコンポーネントフォーマットで復号化して復号信号を出力する復号化器と、
前記復号信号を一画面に表示したとき、該復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、前記第１のステップによる画素シフトとは逆の画素シフトを行うことにより、前記４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えをして、前記符号化装置に入力された画像信号と同じ画像信号を出力する第２の画素置き換え器と
を有することを特徴とする圧縮復号化装置。 - ４：１：１のコンポーネントフォーマットの入力画像信号を一画面に表示したとき、水平方向８画素及び垂直方向４画素の隣接する計３２画素を一組としたとき、各ライン毎に４画素周期で水平方向に配置され、かつ、各組毎に８つある前記入力画像信号中の色差信号の画素のうち、垂直方向に隣接する４つの色差信号の画素については、２番目又は３番目のライン上にある前記色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、４番目のライン上にある色差信号の画素は、右へ２画素、かつ、垂直方向に１又は２画素上の位置にシフトし、垂直方向に隣接する残りの４つの画素については、１番目のライン上にある色差信号の画素と３番目又は２番目のライン上にある色差信号の画素は右へ２画素それぞれシフトし、かつ、シフト後の色差信号の画素位置に２番目又は３番目のライン上と４番目のライン上にある色差信号の画素をそれぞれ垂直方向にシフトすることを各組毎に行うことにより、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が一画面上で表示される画素位置と等価な画素位置へシフトされた画素置き換えを行う第１の画素置き換え器と、
前記第１の画素置き換え器で画素置き換えが行われた画像信号を、前記４：２：０のコンポーネントフォーマットで圧縮符号化する符号化装置と、
前記符号化装置で圧縮符号化された圧縮符号化画像信号を受け、前記４：２：０のコンポーネントフォーマットで復号化して復号信号を出力する復号化器と、
前記復号信号を一画面に表示したとき、該復号信号中の水平方向に２画素周期で配置される色差信号の画素に対して、前記第１のステップによる画素シフトとは逆の画素シフトを行うことにより、前記４：１：１コンポーネントフォーマットの入力画像信号中の色差信号が一画面上で表示される画素位置と同じ画素位置で表示させる画素置き換えをして、前記符号化装置に入力された画像信号と同じ画像信号を出力する第２の画素置き換え器と
を有することを特徴とする圧縮復号化装置。 - 前記第１の画素置き換え器は、前記４：１：１のコンポーネントフォーマットの入力画像信号から色差信号を分離して第１のメモリに順次に書き込む第１の色差信号記憶手段と、前記入力画像信号を画面に表示したときの各画素のうち、前記入力画像信号中の色差信号の画素の位置が、４：２：０のコンポーネントフォーマットの画像信号中の色差信号が画面上で表示される画素位置と等価な画素位置へシフトされる読み出しアドレス順で前記第１の色差信号記憶手段から色差信号を読み出す第１の読み出し手段と、前記４：１：１のコンポーネントフォーマットの入力画像信号から輝度信号を分離して、その輝度信号と前記第１の読み出し手段により読み出された色差信号とを合成する第１の合成手段とからなり、
前記第２の画素置き換え器は、前記復号信号から色差信号を分離して第２のメモリに順次に書き込む第２の色差信号記憶手段と、前記前記復号信号を画面に表示したときの各画素のうち、該復号信号中の色差信号の画素の位置が、前記４：１：１コンポーネントフォ ーマットの入力画像信号中の色差信号が画面上で表示される画素位置と同じ画素位置へシフトされる読み出しアドレス順で前記第２の色差信号記憶手段から色差信号を読み出す第２の読み出し手段と、前記復号信号から輝度信号を分離して、その輝度信号と前記第２の読み出し手段により読み出された色差信号とを合成する第２の合成手段とからなることを特徴とする請求項３又は４記載の圧縮復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000008756A JP3687458B2 (ja) | 1999-03-17 | 2000-01-18 | 圧縮復号化方法及び圧縮復号化装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7188999 | 1999-03-17 | ||
| JP11-71889 | 1999-03-17 | ||
| JP2000008756A JP3687458B2 (ja) | 1999-03-17 | 2000-01-18 | 圧縮復号化方法及び圧縮復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000333203A JP2000333203A (ja) | 2000-11-30 |
| JP3687458B2 true JP3687458B2 (ja) | 2005-08-24 |
Family
ID=26413007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000008756A Expired - Fee Related JP3687458B2 (ja) | 1999-03-17 | 2000-01-18 | 圧縮復号化方法及び圧縮復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3687458B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3797209B2 (ja) | 2001-11-30 | 2006-07-12 | ソニー株式会社 | 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム |
| CN113422961A (zh) * | 2021-07-21 | 2021-09-21 | 杭州当虹科技股份有限公司 | 视频编码方法、视频解码方法、编码器以及解码器 |
-
2000
- 2000-01-18 JP JP2000008756A patent/JP3687458B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000333203A (ja) | 2000-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100231186B1 (ko) | 화상 데이타의 복호화 처리중에 발생되는 양자화 노이즈 감소방법 및 화상 데이타 복호화 장치 | |
| JPH04358486A (ja) | 高能率符号化信号処理装置 | |
| TW201301901A (zh) | 圖像處理裝置及圖像處理方法 | |
| KR19990072968A (ko) | 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법 | |
| TW201215156A (en) | Image decoding device, image encoding device, and method and program thereof | |
| JPH08154249A (ja) | 画像再生装置及び画像再生方式 | |
| JPH0937243A (ja) | 動画像符号化装置及び復号装置 | |
| JPH08336142A (ja) | 画像信号圧縮符号化装置および伸長再生装置 | |
| US6614989B1 (en) | Recording and editing HDTV signals | |
| JP3687458B2 (ja) | 圧縮復号化方法及び圧縮復号化装置 | |
| JP3703088B2 (ja) | 拡張画像符号化装置及び拡張画像復号化装置 | |
| TW201440500A (zh) | 影像處理裝置及方法 | |
| JP4306035B2 (ja) | 符号化方法、符号化装置およびカメラ装置 | |
| JP4200541B2 (ja) | データ変換装置及び方法、信号記録再生装置、並びに再生装置及び方法 | |
| JP2004200760A (ja) | 画像処理方法および装置 | |
| JP3501521B2 (ja) | ディジタル映像信号再生装置および再生方法 | |
| JP2000004440A (ja) | 動画像復号化方法および動画像復号化装置 | |
| JP2005518728A (ja) | 画像処理方法及び装置 | |
| JPH11289515A (ja) | 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体 | |
| JP3384910B2 (ja) | 撮像装置および画像再生装置 | |
| JP3501505B2 (ja) | 画像形成装置及び画像処理装置 | |
| JP3785711B2 (ja) | 画像再生装置及び画像再生方法 | |
| JPH07107464A (ja) | 画像符号化装置および復号化装置 | |
| JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
| JP3147636B2 (ja) | ビデオデータ配列方法並びにその符号化装置及び復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050517 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050530 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090617 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090617 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100617 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110617 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120617 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |