JP3681835B2 - 画像符号化装置及び画像復号化装置及び符号化・復号化システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像の高能率符号化あるいは復号化を行い、画像の効率的伝送もしくは蓄積を行うシステムに供することのできる画像符号化器および画像復号化器に関するものである。
【０００２】
【従来の技術】
従来の代表的な高能率符号化方式として、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１において検討された国際標準方式であるＭＰＥＧ２がある。例えば「テレビジョン学会誌 画像情報工学と放送技術」の１９９５年４月号では、ＭＰＥＧを特集テーマとして解説している。同誌ｐ．２９−６０に渡り、「３−２ビデオ圧縮」としてＭＰＥＧ２の符号化方式が紹介されている。以下、同解説を基にして従来の高能率符号化方式について説明する。
【０００３】
図２５は上記解説に示された画像フォーマットの説明図であり、輝度信号と色差成分のサンプル密度比のフォーマットを示すものである。ＭＰＥＧ２には４：２：０または４：２：２または４：４：４の３つのフォーマットがあるが、これらのフォーマットが動的に変更されることはなく、いずれかのフォーマットに固定した状態で符号化ないし復号を行う。
また、４：４：４フォーマットは１９９５年１１月現在、ＭＰＥＧ２の中でフォーマットとしての定義はされているものの、プロファイルと呼ばれるクラスの中ではどこにも属さず、実質的に使用されないフォーマットとなっている。４：２：０および４：２：２フォーマットでは、輝度成分のサンプル密度に対し、色差成分のサンプル密度が低い。これは人間の解像度識別能力が輝度に対してより高いことを利用して情報の圧縮効果を得ようとするためである。
【０００４】
図２６は上記解説に示されたＭＰＥＧ符号器の基本構成図である。図において、１はＡ／Ｄ変換部、２８はフォーマット変換部、２９は画面並び換え部、１６はインタ（フレーム内）／イントラ（フレーム間）切り替えセレクタ、４はＤＣＴ（Ｄｉｓｃｒｅａｔ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部、５は量子化部、６は可変長符号化部、７は送信バッファ、８はレート制御部である。また、１１は逆量子化部、１２は逆ＤＣＴ部、１７は加算器、１８はフレームメモリ、１９は動き補償部で、これらの付加ループは予測符号化手段を構成している。
図２７は同じ解説に示されたＭＰＥＧ復号器の基本構成図である。図において、９は受信バッファ、１０は可変長復号化部、１１は逆量子化部、１２は逆ＤＣＴ部、３０はフォーマット変換部、１４はＤ／Ａ変換部である。また、１８はフレームメモリ、２４は動き補償予測部、１７は加算器で、これらは予測復号化手段を構成している。また、、１０４はＤＣＴによる変換係数、１０５は変換係数の量子化インデックス、１０７は符号化ビットストリーム、１０８は情報発生量を示す信号、１０９は可変長復号された変換係数の量子化インデックス、１１０は逆量子化された変換係数、１１６は入力画像データ、１１７は予測誤差画像データ、１１８は逆ＤＣＴによって画素空間領域に戻された画像データ、１１９は予測画像データ、１２０は復号された画像データ、１２５は動き補償予測データ、１２６は動きベクトル情報である。
【０００５】
図２６によって符号器の動作を説明する。
入力画像信号はＡ／Ｄ変換１においてディジタル化される。入力画面は動き補償予測＋ＤＣＴ符号化によって符号化される。入力された画像データ１１６と、参照画面から動き予測によって生成される動き補償予測画像データ１２５との差分をとり、予測誤差信号１１７が得られる。この予測誤差信号を８画素×８ラインのブロック単位でＤＣＴ４により空間周波数領域の変換係数１０４に変換し、量子化部５により量子化を行う。
動き補償予測を行わないイントラ符号化の際は入力画像データ１１６がそのままＤＣＴ符号化される。この切り替えがセレクタ１６によって行われる。後で動き補償予測の参照画面として用いるため、量子化された情報１０５を逆量子化部１１で逆量子化し、逆ＤＣＴ部１２で逆ＤＣＴ化して、動き補償予測信号１１９と加算器１７で加算し、すなわち、局部復号によって画像を復号し、フレームメモリ１８に蓄積する。
量子化後の８×８ＤＣＴ係数は低周波数成分から順にスキャンされ１次元情報となった後、動きベクトル等の他の符号化情報とともに可変長符号化部６で可変長符号化される。可変となる符号発生量を一定に保つ場合は、出力バッファ７を監視することで発生符号量１０８を把握し、フィードバックによってレート制御部で量子化制御を行う手法が一般的である。バッファ７の出力は符号化ビットストリーム１０７である。
【０００６】
図２７によって復号器の動作を説明する。
復号処理は基本的に符号化器の逆の動作となる。まず符号化されたビットストリーム１０７はバッファ９に蓄積される。バッファ９内のデータは読み出され、可変長復号化部１０で復号が行われる。この過程でＤＣＴ係数の情報１０９、動きベクトルの情報１２６等が復号・分離される。復号された８×８の量子化ＤＣＴ係数１０９は逆量子化部１１でＤＣＴ係数１１０に復元され、逆ＤＣＴ部１２により画素空間データ１１８に変換される。イントラ符号化の際はこの段階で復号画像が得られている。
動き補償予測が行われている際は参照画面からの動き補償予測によって生成される動き補償予測画像データ１１９との加算によって画像が復号される。復号画像は必要に応じ、その後の復号処理で参照画面として用いるためにフレームメモリ１８に蓄積される。
【０００７】
【発明が解決しようとする課題】
上記の例は従来方式の代表的なものである。この例において、入力画像の符号化はブロック単位のＤＣＴを基本としており、輝度・色差成分のサンプル密度比は４：２：０や４：２：２など静的に固定されている。このことから、次のような課題が生じる。前提として、圧縮による画像品質の劣化はブロック単位で観察される。これは、量子化によって特定の変換係数に生じた雑音が逆ＤＣＴによってブロック全体に波及することが原因である。さらに、この劣化が色差成分に顕著に現われるように観察される。これは、色差成分のサンプル密度が一般に輝度成分のサンプル密度より低いことが原因である。色差成分のサンプル密度を上げれば、色雑音が特に目立つという現象は緩和されるが、符号化すべきサンプル数が多くなり、圧縮効率を高める上で不利となるというジレンマがある。
【０００８】
この発明は上記のような課題を解消するためになされたもので、圧縮率を高めた際に顕著となる色雑音を低減し、圧縮効率を低下させないで、より高品質の符号化画像が得られるような画像符号化器および画像復号化器を得ることを目的とする。
【０００９】
【課題を解決するための手段】
この発明に係る画像符号化装置は、ディジタル化入力画像をフォーマット変換し、フォーマット変換された画像を量子化する量子化部と、量子化された量子化画像データを符号化する符号化部を備えて、符号化ビットストリームを出力する画像符号化装置において、
フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、
選択結果が、上記複数フォーマット変換部により変換された画像データか、変換前の元の画像データかを示す選択情報を出力し、該選択結果の画像データを後段に伝える画像判定部と、
上記量子化された量子化画像データを逆量子化し、動きの予測差分とを加算して、複数の、所定の空間解像度の画像データに変換する第２の複数フォーマット変換部と、上記逆量子化した画像信号または上記第２の複数フォーマット変換部出力の画像信号を選択して記憶し、該記憶された参照画像データを用いて動きの予測差分を得るために、複数の、所定の空間解像度の画像データに変換する第３の複数フォーマット変換部と、を設けて、上記参照画像データまたは上記第３の複数フォーマット変換部の出力である画像信号を選択して元の画像データかまたはフォーマット変換後の出力に帰還減算する帰還符号化部と、を備えて、
上記符号化装置は、上記画像判定部が出力する選択情報に従って上記複数フォーマット変換部により変換された画像データか、または元の画像データのいずれかを選択して画像送信し、かつ上記選択情報を送信することを特徴とする。
【００１１】
この発明に係る画像復号化装置は、入力の符号化ビットストリームを復号化する復号化部と、復号された復号データのうち、変換係数に対応するデータを逆量子化及び逆変換する逆量子化部と逆変換部を備え、逆量子化及び逆変換された画像データによりディジタル画像データを復元する構成において、
逆変換された画像データを入力として、複数の、所定の輝度信号と色差信号による空間解像度のいずれかに変換して出力する複数フォーマット変換部を備え、
画像復号化装置は、符号化ビットストリームに含まれる選択情報を抽出し、この選択情報に基いて複数フォーマット変換部の出力か、または複数フォーマット変換部が変換する前の画像データのいずれかによりディジタル画像データを復元するようにした。
【００１２】
また更に、逆変換画像データを所定のフォーマット変換後に参照画像データとして記憶し、動きの予測誤差分を元の画像データかまたはフォーマット変換後の出力に加算する帰還予測手段を備え、
上記帰還予測手段は、上記参照画像データを得るために、複数の、所定の輝度信号と色差信号による空間解像度のどれかで再生画像データに変換する第２の複数フォーマット変換部と、帰還予測手段出力を元の画像データかまたはフォーマット変換後の出力に加算するために、複数の、所定の空間解像度の予測誤差分に変換する第３の複数フォーマット変換部と、を設けた。
【００１３】
また更に、画像状態判定部は、入力画像データまたは量子化画像データ中の色差信号の状態を設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。
【００１４】
また更に、画像状態判定部は、入力画像データまたは量子化画像データ中の輝度信号の状態を設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。
【００１５】
また更に、画像状態判定部は、動き補償予測部からの動きベクトルの値を、設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。
【００１６】
また更に、画像状態判定部は、所定の空間解像度の画像データと動き補償後の予測信号との差である予測誤差値を、設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。
【００１７】
また更に、画像状態判定部は、符号化ビットストリームに基づき発生した符号化量から量子化ステップサイズを、設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。
【００１８】
また更に、画像状態判定部は、入力画像データまたは量子化画像データ中の色差信号または輝度信号の状態と、動き補償予測部からの動きベクトルの値と、予測誤差値と、量子化ステップサイズとのいずれか複数の値を加算して、設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。
【００１９】
また基本構成に加えて更に、送信側の画像符号化装置中の色差信号、輝度信号または動きの変化の検出に対応する画像状態判定部を設け、送信側と同一の設定基準で入力の符号化ビットストリームの状態変化を検出して、複数の空間解像度のどれかを選択して復号化画像を得るようにした。
【００２０】
この発明に係る画像符号化・復号化システムは、ディジタル化入力画像をフォーマット変換し、量子化し、符号化して、符号化ビットストリームを出力するために、
（１）フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、
（２）選択結果が、上記複数フォーマット変換部により変換された画像データか、変換前の元の画像データかを示す選択情報を出力し、この選択結果の画像データを後段に伝える画像判定部と、
（３）上記量子化された量子化画像データを逆量子化し、動きの予測差分とを加算して、複数の、所定の空間解像度の画像データに変換する第２の複数フォーマット変換部と、上記逆量子化した画像信号または上記第２の複数フォーマット変換部出力の画像信号を選択して記憶し、この記憶された参照画像データを用いて動きの予測差分を得るために、複数の、所定の空間解像度の画像データに変換する第３の複数フォーマット変換部と、を設けて、上記参照画像データまたは上記第３の複数フォーマット変換部の出力である画像信号を選択して元の画像データかまたはフォーマット変換後の出力に帰還減算する帰還符号化部と、を備え、
上記画像判定部が出力する選択情報に従って上記複数フォーマット変換部により変換された画像データか、または元の画像データのいずれかを選択して画像送信し、かつ上記選択情報を送信する画像符号化装置と、
上記画像符号化装置から送られる入力の符号化ビットストリームを復号化し、復号された復号化データのうち、変換係数に対応するデータを逆量子化及び逆変換し、逆量子化及び逆変換された画像データによりディジタル画像データを復元するために、
（４）上記逆変換された画像データを入力として、複数の、所定の輝度信号と色差信号による空間解像度のいずれかに変換して出力する複数フォーマット変換部を備え、
上記符号化ビットストリームに含まれる選択情報を抽出し、この選択情報に基づいて複数フォーマット変換部の出力か、またはこの複数フォーマット変換部が変換する前の画像データのいずれかによりディジタル画像データを復元する画像復号化装置と、
で構成した。
【００２３】
【発明の実施の形態】
実施の形態１．
本発明の装置の具体的な応用例としては、衛星や地上波、有線通信網を介して行うディジタル放送システム、ディジタルビデオディスク等がある。
以下、この発明による画像の高能率符号化器および復号化器の実施の形態を図について説明する。図１は動き補償を含む予測符号化ループがない場合の基本的な画像符号化装置の構成図である。図において、新規な要素として、２は局所的フォーマット変換部（複数フォーマット変換部）、３は（画像状態）判定部である。その他のＡ／Ｄ変換部１、ＤＣＴ部４、量子化部５、可変長符号化部６、バッファ７、レート制御部８は従来と同等の要素である。また、１０１はディジタル化された画像データ、１０２は局所的にフォーマット変換された画像データ、１０３は動的にフォーマットを切り替えられた画像データ、１０４はＤＣＴによる変換係数、１０５は変換係数の量子化インデックス（量子化画像データ）、１０６はどのフォーマットを用いたかを示す信号、１０７は符号化ビットストリーム、１０８は情報発生量を示す信号である。
【００２４】
次に動作について説明する。
この実施の形態ではＤＣＴ符号化方式を用いる。入力画像信号はＡ／Ｄ変換１においてディジタル化された後、フォーマット変換される。今、画像データ１０１のフォーマットは図２５（ｃ）に示す４：４：４フォーマットであるとする。すなわち、輝度成分と色差成分のサンプル密度は等しい。この画像データを局所的フォーマット変換（複数フォーマット変換）２によって別のフォーマット変換、例えば図２５（ａ）に示す４：２：０フォーマットの画像データに変換する。４：２：０フォーマットは４：４：４フォーマットに比べて色差成分のサンプル密度が低いため、符号化すべき総サンプル数は小さくなり、圧縮効率は高まる。反面、色雑音が画面上の広い範囲に波及する可能性がある。これら４：４：４フォーマットの画像データと４：２：０フォーマットの画像データを動的に、例えばブロック単位もしくは複数のブロックを単位としてセレクタ３において切り替えながら符号化を行う。輝度成分（Ｙ）の８画素×８ラインブロック４個と位置的に等しい青、赤の色差成分（Ｃｂ、Ｃｒ）のブロックから構成されるマクロブロックの構成を図２に示す。マクロブロックは切り替えを行う単位の例である。
【００２５】
上記局所的フォーマット変換部２における実際の構成例を図示したのが、図３ないし図６である。図３では、多重化された輝度・色差信号である入力画像データ１０１を、輝度・色差信号分離器３１において輝度信号１３２と色差信号１３３とに分離する。色差信号１３３はさらに色差信号ダウンサンプリング器３２においてダウンサンプリングされるか、または色差信号アップサンプリング器においてアップサンプリングされる。上記処理によってフォーマット変換された色差信号１３４は、前記輝度信号１３２と共に輝度・色差信号多重器３４において多重化されて、多重化信号である複数フォーマット変換部出力信号１０２が送出される。従って、上記実施の形態の場合は、局所的フォーマット変換２において４：４：４フォーマットが４：２：０フォーマットに変換されるので、図３の動作は色差信号ダウンサンプリング器３２が選択され、ダウンサンプルされた信号が出ることになる。
【００２６】
輝度・色差信号分離器３１と輝度・色差信号多重器３４の構成はよく知られているのでここでの記述は省略する。色差信号ダウンサンプリング器３２の詳細動作を説明する。
輝度・色差信号分離器３１において分離された色差信号１３３は、画素レベルに分離される。図２（ｃ）の４：４：４フォーマットから図２（ａ）の４：２：０フォーマットにダウンサンプリングされる場合、Ｃｂ、Ｃｒ信号は共に１６×１６から８×８画素になる。各画素の色差信号の生成は例えば相隣なる左右の画素の信号も考慮してダウンサンプリングするなら、図３のＭで示される平均値算出部は、２つの画素値を入力として、ダウンサンプリングされて半減された８×８画素の新しい画素の値を出力する。例えば、２画素を１画素にダウンサンプリングする例で、１番目の画素には、係数ｗ１を、２番目の画素にはそれぞれｗ２の係数を乗じて、平均値算出部において平均値を求めるとすると、上記２つの画素がｐ１、ｐ２であれば
平均値＝（ｐ１×ｗ１＋ｐ２×ｗ２）／（ｗ１＋ｗ２）
で算出することができる。
次に、各平均値算出部より出力された平均値は、色差信号多重部において多重化されて、３２の出力となる。
上記において、フィルタ係数ｗを可変にすることも可能であり、また１／２のダウンサンプリングに限らず、１／３、１／４等の任意のダウンサンプリングを行うことができる。
【００２７】
また図３のアップサンプリング構成は、２／１の倍のアップサンプリングを行う構成例である。即ち元の１画素を、拡大して２画素とする。
まず、輝度・色差信号分離器３１において分離された画素はすべて繰り返し用いるため、２系統の出力をする（同一画素を２度繰り返して用いればよいので、別の構成も多く考えられる）。次に、色差信号分離部において分離された色差信号は、黒丸の部分から出力して、平均値算出部において平均値が算出される。点線表示用のように、拡大された新画素に対し、元の複数の画素から画素値を与える構成とすれば、平均化された色差信号値が得られる。この場合には、ダウンサンプリング器３２の構成例に示したフィルタ係数を乗じていないが、これを用いることができるのは言うまでもない。各平均値算出部Ｍより出力された平均の画素信号は、所定のブロック毎に輝度・色差信号多重器３４において多重化されて、局所的フォーマット変換２の出力となる。
なお、これら複数の、色差信号に対してアップサンプリングまたはダウンサンプリングされて異なる空間解像度を持つ画像データ１０２に対して、それを選択するか、または元の空間解像度の画像データ１０１を選択するかを判断して選択する判定部３は、ここでは構成と動作は述べていない。判断部３の入力は以後の実施の形態で各種の場合があり、そこで動作を説明する。
また、上記実施の形態では、局所的フォーマット変換部２の入出力は共に輝度信号と色差信号が多重化されているとしたが、もとから両者の信号が分離されて回路内を流れている場合には図３の輝度・色差信号分離器３１及び色差信号多重器３４が不要である。この場合には、図４に示すように構成することができる。さらに、回路の性格上、輝度・色差信号分離器３１のみが必要な場合、または色差信号多重器３４のみが必要な場合も考えられる。図５、図６が上記例に相当している。この局所的フォーマット変換部２の構成は、以下の本発明の各実施の形態においても全く同様である。
【００２８】
いずれのフォーマットを選んだ場合も、８画素×８ラインのブロック単位でＤＣＴ４により画像データを空間周波数領域の変換係数１０４に変換し、量子化部５で変換係数の量子化を行う。量子化後の８×８ＤＣＴ係数１０５は、低周波数成分から順にスキャンされ１次元情報となった後、可変長符号化部６で可変長符号化される。フォーマットの切り替えを行う個々の単位において、いずれのフォーマットを選んだかを示す情報１０６を符号化情報の一部として多重化する。符号化データはバッファ７に一時蓄積された後、符号化ビットストリーム１０７として出力される。
可変となる符号発生量を一定に保つ場合は、出力バッファ７を監視することで発生符号量１０８を把握し、フィードバックによって量子化制御を行う。
【００２９】
なお、本実施の形態ではＤＣＴ符号化を用いたが、サブバンド符号化等、他の符号化方式であってもこの発明を適用することができるのは言うまでもない。また、本実施の形態では、局所的フォーマット変換を行ったデータと行っていないデータとを（画像状態）判定部により切り替える構成を示したが、局所的フォーマット変換自体が処理内容を切り替えるような構成をとっても本質的に変わりのないことは勿論である。
【００３０】
少なくとも内部的には色差信号についても高精度処理をし、また処理能力あるいはビットレートにも余裕があるとすれば、入力画像１０１に対して常にアップサンプリングされた局所的フォーマット変換後の画像信号１０２（この場合は選択後の画像信号１０３にも等しい）を出力する。
実は、画像状態判定部３の出力選択ビットとして少なくとも１ビットが必要であるが、上記固定出力の場合には選択ビットが不要となる。そして常に高精度の色差信号が得られる。
この場合の構成を図７に示す。図７に示す画像符号化装置によれば、局所的フォーマット変換２からフォーマット変換信号１３０が出力される。このフォーマット変換信号は、ＤＣＴ４に入力して該フォーマットの符号化を行う。尚、本構成は、以下の他の実施の形態においても全く同様に考えることができ、符号化・復号化器においてセレクタを用いてフォーマット信号を切り換える他に、上記構成とすることができる。
【００３１】
実施の形態２．
図８は動き補償を含む予測符号化手段を備えた画像符号化装置の構成図である。図において、新規な要素として、２０の第２の局所的フォーマット変換部、２１の判定部３の出力部のセレクタ、２２の第３の局所的フォーマット変換部、２３の判定部３の出力部のセレクタがある。その他の減算器１５、インタ（フレーム内）／イントラ（フレーム間）切り替えセレクタ１６、加算器１７、フレーム（画像）メモリ１８、動き補償ベクトル推定および動き補償を行う動き補償予測部１９は従来と同等の要素である。
また、１１６は適応的にフォーマットの切り替えられた画像データ、１１７は予測誤差画像データ、１１８は逆ＤＣＴによって画素空間領域に戻された画像データ、１１９は予測画像データ、１２０は復号された画像データ、１２１は局所的にフォーマット変換された復号画像データ、１２２はフォーマットを統一された復号画像データ、１２３は動き補償予測部１９から読み出された動き補償後の画像データ、１２４は局所的にフォーマット変換された画像データ、１２５は動き補償予測データ、１２６は動きベクトル情報、１２７は局所的にいずれのフォーマットが使われたかを示す信号である。上記以外は既に説明された番号のものと同等である。
【００３２】
次に動作について説明する。
この実施の形態では動き補償予測とＤＣＴ符号化方式を用いる。入力画像信号はＡ／Ｄ変換１にてディジタル化された後、フォーマット変換される。今、画像データ１０１のフォーマットは図２５（ｃ）に示す４：４：４フォーマットであるとする。すなわち、輝度成分と色差成分のサンプル密度は等しい。この画像データ１０１を局所的フォーマット変換２によって別のフォーマット、例えば図２５（ａ）に示す４：２：０フォーマットの画像データ１０２に変換する。４：２：０フォーマットは４：４：４フォーマットに比べて色差成分のサンプル密度が低いため、符号化すべき総サンプル数は小さくなり、圧縮効率は高まる。反面、色雑音が画面上の広い範囲に波及する可能性がある。これら４：４：４フォーマットの画像データと４：２：０フォーマットの画像データを動的に、例えばブロック単位もしくは複数のブロックを単位として判定部３において切り替えながら符号化を行うことが基本である。
【００３３】
判定部３での選択後の入力画像データ１１６と、参照画面から動き予測によって生成される動き補償予測画像データ１２５との差分をとり、予測誤差信号１１７を得るためには、入力画像データ１１６のフォーマットと動き補償予測画像データ１２５のフォーマットとが同じでなければならない。このため、フレームメモリ１８から読み出された動き補償予測画像データに対しても第３の局所的フォーマット変換２２とセレクタ２３を用いてフォーマットをそろえる。例えば、フレームメモリ１８に蓄積された参照画像のフォーマットが効率を重んじて４：２：０のフォーマットであれば、第３の局所的フォーマット変換２２はサンプル密度を上げる方向の変換となる。
【００３４】
フォーマットが一致して予測誤差信号１１７が得られた後、８画素×８ラインのブロック単位でＤＣＴ４により画像データ１０３を空間周波数領域の変換係数１０４に変換し、量子化部５で変換係数の量子化を行う。後で動き補償予測の参照画面として用いるため、量子化された情報１０５を逆量子化部１１で逆量子化し、逆ＤＣＴして画像データ１１８を得て、予測画像データ（動き補償予測信号）１１９と加算器１７で加算する。すなわち局部復号によって画像を復号し、フレームメモリ１８に蓄積する。この際、フレームメモリ１８に蓄積するフォーマットを統一するために、必要に応じて第２の局所的フォーマット変換２０とセレクタ２１により局所的フォーマット変換を行う。量子化後の８×８ＤＣＴ係数１０５は低周波数成分から順にスキャンされ１次元情報となった後、可変長符号化部６で可変長符号化される。また、フォーマットの切り替えを行う個々の単位において、いずれのフォーマットを選んだかを示す情報１２７を符号化情報の一部として多重化する。
可変となる符号発生量を一定に保つ場合は、出力バッファ７を監視することで発生符号量１０８を把握し、レート制御部８によるフィードバックによって量子化制御を行う。
【００３５】
なお、本実施の形態ではＤＣＴ符号化を用いたが、サブバンド符号化等、他の符号化方式であってもこの発明を適用することができるのは言うまでもない。また、本実施の形態では、局所的フォーマット変換を行ったデータと行っていないデータとを判定部３により切り替える構成を示したが、局所的フォーマット変換自体が処理内容を切り替えるような構成をとっても本質的に変わりのないことは勿論である。
【００３６】
実施の形態３．
図９は予測復号化ループがない場合の、基本的な画像復号化装置の構成図である。図において、新規な要素として１３の局所的フォーマット変換（複数フォーマット変換）部がある。また、図の復号化装置における判定部３ａは、画像状態判定はせず、入力は選択情報１１３で出力選択をする。その他のバッファ９、可変長復号化部１０、逆量子化部１１、逆ＤＣＴ部１２、Ｄ／Ａ変換部１４は、従来と同様の要素である。
また、１０９は可変長復号された量子化インデックス情報、１１０は逆量子化された変換係数、１１１は逆ＤＣＴによって画素空間領域に戻された画像データ、１１２は局所的フォーマット変換された画像データ、１１３はいずれのフォーマットが選ばれたかを示す情報で、符号化装置側の選択情報１０６に対応しており、１１４はフォーマットの統一された画像データ、１１５は再生された画像信号である。上記以外は既に説明された番号のものと同等である。
【００３７】
次に動作について説明する。
この実施の形態の復号化装置は、実施の形態１で述べた画像符号化装置に呼応する復号化装置である。まず符号化されたビットストリーム１０７はバッファ９に蓄積される。バッファ９内のデータは読み出され、可変長復号化部１０において可変長復号が行われる。この過程でＤＣＴ係数の情報１０９、ブロックもしくは複数のブロックで形成される個々の単位においてどのようなフォーマットが選択されたかを示す情報１１３等が復号・分離される。復号された８×８の量子化ＤＣＴ係数１０９は逆量子化部１１でＤＣＴ係数１１０に復元され、逆ＤＣＴ部１２により画素空間データ１１１に変換される。
【００３８】
復号画像として出力する前に、局所的フォーマット変換側か元の画像信号のフォーマット側かを示す例えば１ビットの情報１１３に従って、画面のフォーマットを均一にするための局所的フォーマット変換１３を判定部３ａにおいて動的に切り替えながら行い、復号画像１１４を得る。最後にＤ／Ａ変換１４によって再生画像信号を得る。
【００３９】
実施の形態４．
図１０は動き補償を含む予測復号化手段を備えた画像復号化装置の構成図である。図において、新規な要素は、先の実施の形態で示した第２の局所的フォーマット変換部２０と、第３の局所的フォーマット変換部２２と、セレクタ２１、２３である。また、２４は動き補償予測部である。また、１２８は局所的にフォーマット変換された復号画像データである。上記以外は既に説明された番号のものと同等である。
【００４０】
次に動作について説明する。
この実施の形態の復号化装置は、実施の形態２で述べた画像符号化装置に呼応する復号化装置である。まず入力の符号化されたビットストリーム１０７はバッファ９に蓄積される。バッファ９内のデータは読み出され、可変長復号化部１０で可変長復号が行われる。この過程でＤＣＴ係数の情報１０９、動きベクトルの情報１２６、ブロックもしくは複数のブロックで形成される個々の単位においてどのようなフォーマットが選択されたかを示す情報１２７等が復号・分離される。復号された８×８の量子化ＤＣＴ係数１０９は逆量子化部１１でＤＣＴ係数１１０に復元され、逆ＤＣＴ部１２により画素空間データ１１８に変換される。
動き補償予測が行われている際は、上記の画素空間データ１１８と、参照画面からの動き補償予測によって生成される動き補償予測画像データ１１７との加算器１７による加算で画像が復号され、復号画像１２０は必要に応じてその後の復号処理で参照画面として用いるためにフレームメモリ１８に蓄積されるのが基本である。
【００４１】
復号された差分画素空間データ１１８と、参照画面から動き予測によって生成される動き補償予測画像データ１１７との加算を行うには、復号差分画素空間データ１１８のフォーマットと動き補償予測画像データ１１７のフォーマットとが同じでなければならない。このため、フレームメモリ１８から読み出された動き補償予測画像データに対して、必要に応じて第３の局所的フォーマット変換部２２と、セレクタ２３により局所的フォーマット変換を行ってフォーマットをそろえる。この局所的フォーマット変換が必要であるかどうか（セレクタでどちらを選ぶか）は、先に分離したフォーマット選択情報１２７によって知られる。
【００４２】
復号画像として出力する前に、選択されたフォーマットを示す情報１２７に従って、画面のフォーマットを均一にするための局所的フォーマット変換部１３を判定部３ａにおいて動的に切り替えながら行い、復号画像１１４を得る。
復号画像１１４をフレームメモリ１８に蓄積する際にも、フォーマットを統一するために、必要に応じて第２の局所的フォーマット変換部２０とセレクタ２１によって局所的フォーマット変換を行う。
【００４３】
実施の形態５．
図１１は局所的フォーマット（複数フォーマット）変換で、どのフォーマット変換を選択するかを切り替える具体的な基準の例を示した基本的符号化装置の構成図である。図において、新規な要素は２５の色差成分によるフォーマット判定部があり、図１の判定部３の入力信号を特定したものである。上記以外は既に説明された番号のものと同等である。
【００４４】
次に動作について説明する。
本実施の形態で説明するのは、局所的フォーマット変換を行うか否か、及びどのようなフォーマットを選択するかを決定する基準を与える仕組みである。今、フォーマットを選択する範囲はブロックもしくは複数のブロックをまとめたある単位とする。本実施の形態では、色差成分によるフォーマット判定部２５が同単位に含まれる画像データの色差成分に基づいてフォーマットを選択する。例えば、色雑音が顕著に検知され得るのは、濃い色の部分、色の値が激しく変化している部分等、色のアクティビティが高い部分である。また、顔や唇を含む人間の肌の色の周辺も色雑音が顕著に検知され得る部分である。このことを利用すれば、色雑音の目立ちやすくなるような箇所において、色差成分のサンプル密度の高いフォーマットを選択することができる。
【００４５】
具体的な構成例として、図１２にフォーマット判定部２５を示す。図に示すように、画像入力信号１０１が輝度・色差信号が多重化されていた場合には、輝度・色差信号分離器３１において各信号に分離され、色差信号１３６が出力される。他方、入力信号１０１が元来色差信号に分離されていた場合には、直接色差信号１３６となり、色差平均値検出器３５及び色差分散値算出器３６に入力される。色差平均値検出器３５では、ブロックもしくは複数のブロックをまとめたある単位毎の画像領域に対する色差の平均値１３７を算出する。該色差平均値１３７及び色差信号１３６を用いて、色差分散値算出器３６では色差分散値１３８を算出する。フォーマット決定部３７は、色差分散値１３８を予め定められた閾値との大小比較することで、局所的フォーマット変換するか否か、さらにどのフォーマットに変換するかのフォーマット切り替え情報１０６が得られる。また局所的フォーマット変換する場合は、図１１に示すように信号１０３は信号１０２を選択する。
【００４６】
ここで、例えば閾値を２つ（Ｔｈ１，Ｔｈ２）用意して、局所的フォーマット変換する場合を考えると色差成分の分散値Ｄｅｖを考えて、これと閾値Ｔｈ１，Ｔｈ２の大小関係を考える。原信号１０１が４：４：４、または逆に４：２：０の場合には、下記の通りになる。
１） 原信号１０１＝４：４：４の場合
１−１） ｉｆ（Ｄｅｖ＜Ｔｈ１）（但し、Ｔｈ１＜Ｔｈ２）
これは色の変化が平坦であると考えられる。従って、
｛４：４：４⇒４：２：０へＤｏｗｎ−Ｓａｍｐｌｉｎｇ｝
１−２） ｉｆ（Ｄｅｖ≧Ｔｈ１＆Ｄｅｖ２＜Ｔｈ２）
これは上記より変化するが、変化の割合は激しくないと考えられる。従って、
｛４：４：４⇒４：２：２にＤｏｗｎ−Ｓａｍｐｌｉｎｇ｝
１−３） ｅｌｓｅ
｛Ｎｏ Ｃｈａｎｇｅ｝
２） 原信号１０１＝４：２：０の場合、
２−１） ｉｆ（Ｄｅｖ＞Ｔｈ１）（但し、Ｔｈ１＞Ｔｈ２）
｛４：２：０⇒４：４：４へＵｐ−Ｓａｍｐｌｉｎｇ｝
２−２） ｉｆ（Ｄｅｖ≦Ｔｈ１＆Ｄｅｖ＞Ｔｈ２）
｛４：２：０⇒４：２：２へＵｐ−Ｓａｍｐｌｉｎｇ｝
２−３） ｅｌｓｅ
｛Ｎｏ Ｃｈａｎｇｅ｝
また、上記説明したように、判定基準としては、例えば画素値（上記例では色差値）の分散値を用いているが、これは分散値が大きいことは画素値の振幅が大きいことを意味し、逆に分散値が小さいときには画素値は平坦であり、全体が平均値に近いことを意味することを利用している。
【００４７】
この実施の形態では実施の形態１の画像符号化装置のフォーマット切換基準の選択について説明したが、これは輝度成分と色差成分のサンプル密度比を切り替えるための判断基準を与える仕組の具体例なので、予測符号化手段を付加した形式の実施の形態２で示した画像符号化装置においても適用できることは言うまでもない。この場合の構成例を図１３に示す。この図１３では、フォーマット判定部２５とそのセレクタ部３ｂとは別要素として表示しているが、図１１と同様に３ｂはそのセレクタ部分を表していてフォーマット判定部２５内にある。
本発明を実施の形態２の画像符号化装置に適用する場合には、フォーマットの選択を行う単位における色差成分のフレーム間におけるアクティビティを基準に用いることも可能である。
なお、本実施の形態では色差成分によるフォーマット判定部２５への入力として、入力画像信号１０１の色差信号分を用いた例を説明したが、後の実施の形態の他の基準入力のように量子化部５の出力である量子化インデックス１０５を用いてもよい。
【００４８】
実施の形態６．
図１４は局所的フォーマット変換で、どのフォーマット変換を選択するかを切り替える他の具体的な基準を用いた予測符号化手段付の符号化装置の構成図である。図において、新規な要素は２６の動きによるフォーマット判定部であり、図１の判定部３の入力信号を特定したものである。また、判定部分とセレクタ部分３ｂを別枠表示したのは図１３と同様である。上記以外は既に説明された番号のものと同等である。
【００４９】
次に動作について説明する。
本実施の形態で説明するのは、局所的フォーマット変換の選択基準を得る他の仕組である。今、フォーマットを選択する範囲はブロックもしくは複数のブロックをまとめたある単位とする。この本実施の形態では、同単位における動き補償予測のための動きベクトル１２６に基づいてフォーマットを選択する。例えば、色雑音が顕著に検知され得るのは、フレーム間で動きがあり、情報量が大きく発生するところで圧縮を行わねばならない部分である。このことを利用すれば、動きベクトルの値に基づいて色雑音の目立ちやすくなるような箇所を判断して、色差成分のサンプル密度の高いフォーマットを選択すれことができる。また、動きベクトルは元々符号化情報の一部として復号側に与えるべき情報であるため、改めてフォーマット選択情報を復号側に与える必要はなくなるという利点もある。また実施の形態５と同様に、フォーマット変換の有無、さらにどのフォーマットに変換するかは、輝度成分の値の閾値との大小判定により行う。
【００５０】
上記動きによるフォーマット判定部２６の構成例を具体的に示したのが、図１５である。図中、動きベクトル１２６を入力した動きベクトル絶対値算出器３８では、動きベクトルの絶対値、すなわち水平成分と垂直成分のそれぞれの絶対値和を算出する。フォーマット決定部３９では、得られた動きベクトルの絶対値１３９の値を、例えば予め定められた閾値と比較することで動きの激しさを判定して、局所的フォーマット変換を用いるかどうか決定し、フォーマット切り替え情報１０６を出力する。
また上記説明では動きベクトルの絶対値を用いたが、動きベクトルの水平・垂直成分の２乗和でも有効であることに変わりはない。
【００５１】
実施の形態７．
図１６は実施の形態６の符号化装置に対応する受け側の予測復号化手段を備えた画像復号化装置の構成図である。図中の番号の各要素は既に説明された番号のものと同等である。但し３ｂは動きによるフォーマット判定部２６のセレクタ部分である。
【００５２】
次に動作について説明する。
まず入力の符号化されたビットストリーム１０７は、バッファ９に蓄積される。バッファ９内のデータは読み出され、可変長復号化部１０で可変長復号が行われる。この過程でＤＣＴ係数の情報１０９、動きベクトルの情報１２６等が復号・分離される。復号された８×８の量子化ＤＣＴ係数１０９は逆量子化部１１でＤＣＴ係数１１０に復元され、逆ＤＣＴ部１２により画素空間データ１１８に変換される。動き補償予測が行われている際は参照画面からの動き補償予測によって生成される動き補償予測画像データ１１７との加算によって画像が復号され、復号画像１２０は必要に応じてその後の復号処理で参照画面として用いるためにフレームメモリに蓄積されるのが基本である。
【００５３】
復号された差分画素空間データ１１８と、参照画面から動き予測によって生成される動き補償予測画像データ１１７との加算を行う際に必要なフォーマットの一致のため、フレームメモリ１８から読み出された動き補償予測画像データに対して、第３の局所的フォーマット変換２２とセレクタ２３を用いる。この局所的フォーマット変換のセレクタによる選択には、先に分離した動きベクトル情報１２６を入力とする動きによるフォーマット判定部２６で得られるフォーマット情報１０６が用いられる。
実は、動きベクトル情報は動き補償を行う場合は、必らず伝送されるものであり、従って符号化装置側から対応する選択情報１２７は伝送は必要なく、伝送ビットを減らすことができる。
復号画像として出力する前に、選択されたフォーマットを示す情報１０６に従って、画面のフォーマットを均一にするための局所的フォーマット変換部１３出力を動きによるフォーマット判定部２６のセレクタ部分３ｂによって動的に切り替えながら行い、復号画像１１４を得る。復号画像をフレームメモリ１８に蓄積する際にも、フォーマットを統一するために、第２の局所的フォーマット変換部２０とセレクタ２１により局所的フォーマット変換を行う。
【００５４】
実施の形態８．
図１７は局所的フォーマット変換で、どのフォーマット変換を選択するかを切り替える基準として、更に他の具体例を記載した基本的な画像符号化装置の構成図である。図において、新規な要素は２７の輝度成分によるフォーマット判定部であり、図１の判定部３の入力信号を特定したものである。また判定部分とセレクタ部分とを別枠表示したのは図１３と同様である。またその具体構成例は図１２の色差信号の場合と同様である。上記以外の要素は既に説明された番号のものと同等である。
【００５５】
次に動作について説明する。
フォーマット選択の範囲も、他の実施の形態と同様に、ブロックまたは複数ブロックを単位とする。本実施の形態では、同単位に含まれる画像データの輝度成分に基づいて、局所的フォーマット変換出力を用いるかどうかを輝度成分によるフォーマット判定部２７で選択する。例えば、色雑音が顕著に検知され得るのは、輝度が高い、すなわち明るい部分である。暗い部分では色に対する感度が低下するために色雑音は目立ちにくい。このことを利用すれば、例えば図１２同等の構成回路により、色雑音の目立ちやすくなるような箇所において、色差成分のサンプル密度の高いフォーマットを選択すれことができる。また、輝度成分のサンプル密度を一定にして色差成分のサンプル密度を可変にしておけば、輝度成分はフォーマット選択の情報によらず復号側において復号可能であるため、復号側でも輝度成分を基に同一アルゴリズムでフォーマット選択を行うことができる。このため、改めてフォーマット選択情報を復号側に与える必要はなくなる。また、実施の形態５で述べた様にフォーマット変換の有無、さらにどのフォーマットに変換するかは、輝度成分値の閾値との大小判定により行う。
【００５６】
本実施の形態では実施の形態１相当の基本的な構成の符号化装置におけるフォーマット切換基準を与える他の場合を説明したが、基本的に輝度成分と色差成分のサンプル密度比を切り替えるための判断基準を与える具体例なので、予測符号化手段を付加した形式である実施の形態２の画像符号化装置においても適用できることは言うまでもない。この場合の構成例を図１８に示す。フォーマット判定部分２７とそのセレクタ部分３ｂとの分離表示も図１７と同様である。また、予測帰還ループのある図１８の場合には、フォーマットの選択を行う単位における輝度成分のフレーム間におけるアクティビティを、局部的フォーマット変換の出力を選択するか否かの選択基準に用いることも可能である。
上記、輝度成分によるフォーマット判定部２７の構成としては、量子化された輝度値１０５の大小判定を行う部分をフォーマット判定部２７の中に持たせ、その結果に基いてセレクタ部分３ｂで出力を選択し、判定を行った結果のフォーマット切り替え情報（選択情報）１０６を出力する構成とすればよい。
なお、本実施の形態では輝度成分によるフォーマット判定部２７への入力を量子化部５の出力である量子化インデックスである輝度値１０５を用いたが、先の実施の形態の色差成分によるとそれと同様に入力画像信号１０１の輝度信号分を用いてもよい。
【００５７】
実施の形態９．
図１９は実施の形態８の予測符号化手段付の画像符号化装置に対応する受け側の予測符号化手段付の画像復号化装置の構成図である。図中の番号は既に説明された番号のものと同等である。
次に動作について説明する。
まずバッファ９内で蓄積された符号化ビットストリーム１０７は読み出され、可変長復号が行われる。この過程でＤＣＴ係数の情報１０９、動きベクトルの情報１２６等が復号・分離される。復号された８×８の量子化ＤＣＴ係数１０９は逆量子化されてＤＣＴ係数１１０に復元され、逆ＤＣＴ化により画素空間データ１１８に変換される。これに、動き補償予測が行われている際は動き補償予測画像データ１１７と加算されて画像が復号され、復号画像１２０は必要に応じてフレームメモリ１８に蓄積されるのが基本である。
【００５８】
復号された差分画素空間データ１１８と、参照画面から動き予測によって生成される動き補償予測画像データ１１７との加算を行う際に必要なフォーマットの一致のため、先の実施の形態で述べたように、フレームメモリ１８から読み出された動き補償予測画像データに対して、第３の局所的フォーマット変換部２２とセレクタ２３を用いる。この局所的フォーマット変換のセレクタによる選択には、輝度成分の量子化値１０９を用いる。例えば、色雑音が顕著に検知され得るのは、輝度が高い、すなわち明るい部分である。暗い部分では色に対する感度が定価低下するために色雑音は目立ちにくい。符号化側と同一のアルゴリズムによってフォーマットを選択するものとすれば、フォーマット選択情報は不要である。復号画像として出力する前に、選択されたフォーマットを示す情報１０６に従って、画面のフォーマットを均一にするための局所的フォーマット変換部１３出力をフォーマット判定部２７のセレクタ部分３ｂによって動的に切り替えながら行い、復号画像１１４を得る。復号画像をフレームメモリ１８に蓄積する際にも、フォーマットを統一するために、第２の局所的フォーマット変換部２０とセレクタ２１により局所的フォーマット変換を行う。
【００５９】
実施の形態１０．
図２０は局所的フォーマット変換で、どのフォーマット変換を選択するかを切り替える他の具体的な基準を用いた画像符号化装置の構成図である。
図において、新規な要素は４０の予測誤差によるフォーマット判定部であり、図１の判定部３の入力信号を特定したものである。また判定部分４０とセレクタ部分３ｂとを別枠表示したのは、図１３と同様である。上記以外の要素は既に説明された番号のものと同等である。
【００６０】
次に動作について説明する。なお、局部的フォーマット変換の出力を選択するか否かの切り替えの基準を与える部分以外の動作は重複を避けて説明を省略する。本実施の形態の構成では、フォーマット選択情報１０６を復号側に与える必要がない。
図２０において、フォーマット変換の選択単位における動き補償予測後の予測誤差データ１１７に基づいてフォーマットを選択する。例えば、色雑音が顕著に検知され得るのは、予測誤差のエネルギーが大きい時に頻繁に起こる。図２０の構成で、予測誤差値によるフォーマット判定を設定しきい値と比較して、そのしきい値より大きいことで予測誤差のエネルギーが大きいことが判る。従って、この時に限り色差成分のサンプル数を増やし、それ以外の場合には減らすことが効率的である。また、上記の説明では、フォーマット判定部４０は、予測誤差データ１１７を入力してフォーマットの判定を行う構成としていたが、量子化部５の出力である量子化インデックス１０５を入力してフォーマットの判定を行う構成としてもよい。また、実施の形態５において述べた様に、上記予測誤差値と閾値との大小判定によりフォーマット変換を行うか、さらにどのフォーマットに変換するかを決定する構成とする。
【００６１】
実施の形態１１．
図２１は実施の形態１０の符号化装置に呼応する、受け側の画像復号化装置の構成図である。図中の番号は既に説明された番号のものと同等である。
なお、切り替えの基準に関する部分以外の動作は重複を避けて説明を省略する。バッファ９内の符号化ビットストリーム１０７が読み出され、可変長復号が行われる。この過程でＤＣＴ係数の情報１０９、動きベクトルの情報１２６等が復号・分離される。
復号された差分画素空間データ１１８と、動き補償予測画像データ１１７との加算を行う際に必要なフォーマットの一致のため、既に述べたようにフレームメモリ１８から読み出された動き補償予測画像データに対して、第３の局所的フォーマット変換部２２とセレクタ２３を用いる。この局所的フォーマット変換のセレクタによる選択には、先に分離した動きベクトル情報１２６を入力とする予測誤差値によるフォーマット判定部４０からの出力情報を用いる。
【００６２】
実施の形態１２．
図２２は局所的フォーマット変換で、どのフォーマット変換を選択するかを切り替える他の具体的な基準を用いた画像符号化装置の構成図である。
図において、新規な要素は４１の量子化ステップサイズによるフォーマット判定部であり、図１の判定部３の入力信号を特定したものである。また判定部分４１とセレクタ部分３ｂを別枠表示したのは、図１３と同様である。上記以外は既に説明された番号のものと同等である。
【００６３】
次に動作について説明する。
本実施の形態の構成によっても、フォーマット選択情報を復号側に与える必要がない。また、切り替えの基準に関する部分以外の動作説明は省略する。本実施の形態では、符号化係数または符号化画像を量子化する量子化ステップサイズ１４０に基づいてフォーマットを選択する。これは、レート制御部８の出力である量子化ステップサイズ１４０が大きい時に画像の劣化が顕著になることを利用し、量子化ステップサイズ１４０が大きい時に色差成分のサンプル密度の高いフォーマットに設定し、逆に量子化ステップサイズ１４０が小さい時には該色差成分のサンプル密度を低く設定することが効果的である。即ち、図２２の構成で量子化ステップサイズによるフォーマット判定４１は設定閾値と比較して、セレクタ部分３の選択をする。ここで、フォーマット変換の有無、さらにどのフォーマットに変換するかは、実施の形態５と同様にして上記量子化ステップサイズと閾値との大小判定により行う。
【００６４】
量子化ステップサイズ１４０はフォーマット選択の情報によらず復号側において復号可能であるため、復号側でも輝度成分を基に同一アルゴリズムでフォーマット選択を行うことができる。このため、改めてフォーマット選択情報を復号側に与える必要はなくなる。
本実施の形態では、予測符号化手段のない基本的画像符号化装置で説明したが、量子化ステップサイズによるフォーマット判定は、輝度成分と色差成分のサンプル密度比を切り替えるための判断基準を与えるためのものなので、予測符号化手段を備えた画像符号化装置においても適用できることは言うまでもない。この時の構成例を図２３に示す。
【００６５】
実施の形態１３．
図２４は実施の形態１２の予測符号化手段付画像符号化装置に呼応する、受け側の予測復号化手段付の画像復号化装置の構成図である。図中の番号は既に説明された番号のものと同等である。
次に動作について説明する。
同図の中で、復号された差分画素空間データ１１８と、動き予測によって生成される動き補償予測画像データ１１７との加算を行う際に必要なフォーマットの一致のため、既述のように、フレームメモリ１８から読み出された動き補償予測画像データに対して、第３の局所的フォーマット変換部２２とセレクタ２３を用いる。この局所的フォーマット変換のセレクタによる選択には、可変長復号化の過程で得られる分離された信号の量子化値ステップサイズ１４０を用いる。
復号画像として出力する前に、選択されたフォーマットを示す情報１０６に従って、画面のフォーマットを均一にするための局所的フォーマット変換１３をフォーマット判定部４１のセレクタ部分３ｂによって動的に切り替えながら行い、復号画像１１４を得る。復号画像をフレームメモリ１８に蓄積する際にも、第２の局所的フォーマット変換部２０とセレクタ２１により局所的フォーマット変換を行う。
【００６６】
なお、上記各実施の形態では局所的フォーマット変換で、複数フォーマット変換の出力を選択するかしないかを判定部で行うための信号として、単一の成分、例えば色差成分等を用いた場合を説明した。しかし、勿論判定入力として、単一成分ではなくて複数の成分を入力とし、加重加算した信号を用いたり、各成分の選択後の結果の論理演算結果で最終的な選択出力情報１０６を与えるようにしてもよい。
また、上記説明した画像符号化装置と、画像復号化装置は組にして伝送路を介して、または記録媒体等を介して画像符号化・復号化システムを構成する。
【００６７】
【発明の効果】
以上のようにこの発明によれば、符号化装置において、複数フォーマット変換部と各種の画像状態判定部を備えて、所定の画像データの状態変化を検出してフォーマットを選択するようにしたので、色差成分のサンプル数を大幅に増やさないで色雑音を低減する効果がある。
【００６８】
また、復号化装置においても、複数フォーマット変換部を備えて復号化過程で得られる値によりフォーマットを選択するようにしたので、色雑音が低減された復号画像が得られる効果がある。
【００６９】
また符号化装置において、色差信号、輝度信号、動きベクトルの値、画像データと動き補償後予測信号との予測誤差値、量子化ステップサイズを設定値と比較してフォーマット変換を切り換えるようにしたので、色雑音の目立ちやすい部分で色差成分のサンプル密度を上げ、場合によっては復号側に選択情報を送らないでよく、色雑音を低減して、場合によっては符号化効率が高まる効果がある。
【００７０】
また復号化装置においても、符号化側と対応した構成としたので、色雑音の低減がなされ、場合によっては高い符号化効率による一層の低減が得られる効果がある。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における基本的な画像符号化装置の構成ブロック図である。
【図２】 ８Ｘ８ブロックの輝度成分と色差成分のサンプルのフォーマットを示す図である。
【図３】 図１における局所的フォーマット変換部の構成例を示す図である。
【図４】 図１における局所的フォーマット変換部の構成例を示す図である。
【図５】 図１における局所的フォーマット変換部の構成例を示す図である。
【図６】 図１における局所的フォーマット変換部の構成例を示す図である。
【図７】 本発明の実施の形態１における基本的な画像符号化装置の他の構成ブロック図である。
【図８】 本発明の実施の形態２における予測符号化手段を備えた画像符号化装置の構成ブロック図である。
【図９】 本発明の実施の形態３における基本的な画像復号化装置の構成ブロック図である。
【図１０】 本発明の実施の形態４における予測復号化手段を備えた画像復号化装置の構成ブロック図である。
【図１１】 本発明の実施の形態５における基本的な画像符号化装置の構成ブロック図である。
【図１２】 図１１における色差成分によるフォーマット判定部の構成例を示す図である。
【図１３】 本発明の実施の形態５における予測符号化手段を備えた画像符号化装置の構成ブロック図である。
【図１４】 本発明の実施の形態６における予測符号化手段を備えた画像符号化装置の構成ブロック図である。
【図１５】 図１４における動きによるフォーマット判定部の構成例を示す図である。
【図１６】 本発明の実施の形態７における予測復号化手段を備えた画像復号化装置の構成ブロック図である。
【図１７】 本発明の実施の形態８における基本的な画像符号化装置の構成ブロック図である。
【図１８】 本発明の実施の形態８における予測符号化手段を備えた画像符号化装置の構成ブロック図である。
【図１９】 本発明の実施の形態９における予測復号化手段を備えた画像復号化装置の構成ブロック図である。
【図２０】 本発明の実施の形態１０における予測符号化手段を備えた画像符号化装置の構成ブロック図である。
【図２１】 本発明の実施の形態１１における予測復号化手段を備えた画像復号化装置の構成ブロック図である。
【図２２】 本発明の実施の形態１２における基本的な画像符号化装置の構成ブロック図である。
【図２３】 本発明の実施の形態１２における予測符号化手段を備えた画像符号化装置の構成ブロック図である。
【図２４】 本発明の実施の形態１３における予測復号化手段を備えた画像復号化装置の構成ブロック図である。
【図２５】 ビデオ圧縮の画像符号化方式における画像フォーマットの説明図である。
【図２６】 従来の画像符号化器の構成ブロック図である。
【図２７】 従来の画像復号化器の構成ブロック図である。
【符号の説明】
１ Ａ／Ｄ変換部、２ 局所的フォーマット変換部、３、３ａ （画像状態）判定部、４ ＤＣＴ部、５ 量子化部、６ 可変長符号化部、７ 送信バッファ、８ レート制御部、９ 受信バッファ、１０ 可変長復号化部、１１ 逆量子化部、１２ 逆ＤＣＴ部、１３ 局所的フォーマット変換部、１４ Ｄ／Ａ変換部、１５ 減算器、１６ セレクタ、１７ 加算器、１８ フレームメモリ、１９ 動き補償ベクトル推定および動き補償予測部、２０ 第２の局所的フォーマット変換部、２１ セレクタ、２２ 第３の局所的フォーマット変換部、２３ セレクタ、２４ 動き補償予測部、２５ 色差成分によるフォーマット判定部、２６ 動きによるフォーマット判定部、２７ 輝度成分によるフォーマット判定部、３０ フォーマット判定部、３１ 輝度・色差信号分離器、３２ 色差信号ダウンサンプリング器、３３ 色差信号アップサンプリング器、３４ 輝度・色差信号多重器、３５ 色差平均値検出器、３６ 色差分散値算出器、３７ フォーマット決定部、３８ 動きベクトル絶対値算出器、３９ フォーマット決定器、Ｓ４ 予測誤差によるフォーマット判定部、４１ 量子化ステップサイズによるフォーマット判定部、１０１ ディジタル化された画像データ、１０２ 局所的にフォーマット変換された画像データ、１０３ 動的にフォーマットが切り替わっている画像データ、１０４ ＤＣＴ変換係数、１０５ ＤＣＴ変換係数の量子化インデックス、１０６ フォーマットの切り替え情報、１０７ 符号化ビットストリーム、１０８ 情報発生量を示す信号、１０９ 可変長復号された変換係数の量子化インデックス、１１０ 逆量子化された変換係数、１１１ 逆ＤＣＴによって得られた画素空間領域のデータ、１１２ 局所的にフォーマット変換された画素空間領域のデータ、１１３ フォーマットの切り替え情報、１１４ 復号画像データ、１１５ 再生画像信号、１１６ 動的にフォーマットが切り替わっている画像データ、１１７ 予測誤差データ、１１８ 逆ＤＣＴによって得られた画素空間領域の差分画像データ、１１９ 動き補償予測データ、１２０ 復号画像データ、１２１ 局所的にフォーマット変換された復号画像データ、１２２ フォーマットを統一された復号画像データ、１２３ 動き補償予測のためにフレームメモリから読み出された画像データ、１２４ 局所的にフォーマット変換された画像データ、１２５ 予測信号、１２６ 動きベクトル情報、１２７フォーマットの切り替え情報、１２８ 局所的にフォーマット変換された復号画像データ、１３０ 局所的フォーマットの切り替え信号、１３１ 多重化された輝度・色差信号入力、１３２ 分離された輝度信号、１３３ 分離された色差信号、１３４ フォーマット変換された色差信号、１３５ 多重化された輝度・色差信号出力、１３６ 分離された色差信号、１３７ 色差平均値、１３８ 色差分散値、１３９ 動きベクトル絶対値、１４０ 量子化ステップサイズ。

Claims (11)

1. ディジタル化入力画像をフォーマット変換し、該フォーマット変換された画像を量子化する量子化部と、該量子化された量子化画像データを符号化する符号化部を備えて、該符号化された符号化ビットストリームを出力する画像符号化装置において、
   フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、
   選択結果が、上記複数フォーマット変換部により変換された画像データか、変換前の元の画像データかを示す選択情報を出力し、該選択結果の画像データを後段に伝える画像判定部と、
   上記量子化された量子化画像データを逆量子化し、動きの予測差分とを加算して、複数の、所定の空間解像度の画像データに変換する第２の複数フォーマット変換部と、上記逆量子化した画像信号または上記第２の複数フォーマット変換部出力の画像信号を選択して記憶し、該記憶された参照画像データを用いて動きの予測差分を得るために、複数の、所定の空間解像度の画像データに変換する第３の複数フォーマット変換部と、を設けて、上記参照画像データまたは上記第３の複数フォーマット変換部の出力である画像信号を選択して元の画像データかまたはフォーマット変換後の出力に帰還減算する帰還符号化部と、を備えて、
   上記符号化装置は、上記画像判定部が出力する選択情報に従って上記複数フォーマット変換部により変換された画像データか、または元の画像データのいずれかを選択して画像送信し、かつ上記選択情報を送信することを特徴とする画像符号化装置。
2. 画像判定部は、入力画像データまたは量子化画像データ中の色差信号の状態を設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項１記載の画像符号化装置。
3. 画像判定部は、入力画像データまたは量子化画像データ中の輝度信号の状態を設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項１記載の画像符号化装置。
4. 画像判定部は、動き補償予測部からの動きベクトルの値を、設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項１記載の画像符号化装置。
5. 画像判定部は、所定の空間解像度の画像データと動き補償後の予測信号との差である予測誤差値を、設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項１記載の画像符号化装置。
6. 画像判定部は、符号化ビットストリームに基き発生した符号化量による量子化ステップサイズを、設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項１記載の画像符号化装置。
7. 画像判定部は、入力画像データまたは量子化画像データ中の、それぞれ色差信号または輝度信号の状態と、動き補償予測部からの動きベクトルの値と、予測誤差値と、量子化ステップサイズと、のいずれか複数の値を加算して、設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項１記載の画像符号化装置。
8. 入力の符号化ビットストリームを復号化する復号化部と、該復号された復号データのうち、変換係数に対応するデータを逆量子化及び逆変換する逆量子化部と逆変換部を備え、該逆量子化及び逆変換された画像データによりディジタル画像データを復元する画像復号化装置において、
   上記逆変換された画像データを入力として、複数の、所定の輝度信号と色差信号による空間解像度のいずれかに変換して出力する複数フォーマット変換部を備え、
   画像復号化装置は、上記符号化ビットストリームに含まれる選択情報を抽出し、該選択 情報に基いて上記複数フォーマット変換部の出力か、または該複数フォーマット変換部が変換する前の画像データのいずれかによりディジタル画像データを復元することを特徴とする画像復号化装置。
9. 逆変換画像データを所定のフォーマット変換後に参照画像データとして記憶し、動きの予測誤差分を元の画像データかまたはフォーマット変換後の出力に加算する帰還予測手段を備え、
   上記帰還予測手段は、上記参照画像データを得るために、複数の、所定の輝度信号と色差信号による空間解像度のどれかで再生画像データに変換する第２の複数フォーマット変換部と、上記帰還予測手段出力を元の画像データかまたはフォーマット変換後の出力に加算するために、複数の、所定の空間解像度の予測誤差分に変換する第３の複数フォーマット変換部と、を設けたことを特徴とする請求項８記載の画像復号化装置。
10. 送信側の画像符号化装置中の色差信号、輝度信号または動きの変化の検出に対応する画像状態判定部を設け、送信側と同一の設定基準で入力の符号化ビットストリームの状態を検出して、複数の空間解像度のどれかを選択して復号化画像を得るようにしたことを特徴とする請求項８記載の画像復号化装置。
11. ディジタル化入力画像をフォーマット変換し、量子化し、符号化して、符号化ビットストリームを出力するために、
    （１）フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、
    （２）選択結果が、上記複数フォーマット変換部により変換された画像データか、変換前の元の画像データかを示す選択情報を出力し、該選択結果の画像データを後段に伝える画像判定部と、
    （３）上記量子化された量子化画像データを逆量子化し、動きの予測差分とを加算して、複数の、所定の空間解像度の画像データに変換する第２の複数フォーマット変換部と、上記逆量子化した画像信号または上記第２の複数フォーマット変換部出力の画像信号を選択して記憶し、該記憶された参照画像データを用いて動きの予測差分を得るために、複数の、所定の空間解像度の画像データに変換する第３の複数フォーマット変換部と、を設けて、上記参照画像データまたは上記上記第３の複数フォーマット変換部出力の画像信号を選択して元の画像データかまたはフォーマット変換後の出力に帰還減算する帰還符号化部と、を備え、
    上記画像判定部が出力する選択情報に従って上記複数フォーマット変換部により変換された画像データか、または元の画像データのいずれかを選択して画像送信し、かつ上記選択情報を送信する画像符号化装置と、
    上記画像符号化装置から送られる入力の符号化ビットストリームを復号化し、逆量子化及び逆変換し、該逆量子化及び逆変換された画像データによりディジタル画像データを再生するために、
    （４）上記逆変換された画像データを、入力の符号化ビットストリームの状態変化を判定して、上記ディジタル画像データを得るために、複数の、所定の輝度信号と色差信号による空間解像度のどれかでディジタル画像データに再生する複数フォーマット変換部と、
    （５）上記符号化ビットストリームに含まれる選択情報を抽出して、該抽出した選択情報に基づいて、複数フォーマット変換部の出力か、または該複数フォーマット変換部が変換する前の画像データのいずれかを選択して出力する判定部と、を備えた画像復号化装置と、
    で構成されることを特徴とする画像符号化・復号化システム。

Images