JP3627258B2

JP3627258B2 - ディジタル画像信号の高能率符号化および復号装置

Info

Publication number: JP3627258B2
Application number: JP19114994A
Authority: JP
Inventors: 秀雄中屋; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-07-27
Filing date: 1994-07-21
Publication date: 2005-03-09
Anticipated expiration: 2020-03-09
Also published as: JPH0795576A

Description

【０００１】
【産業上の利用分野】
この発明は、ディジタル画像信号を伝送する時に、伝送データ量を減少させるための高能率符号化装置および復号装置に関する。
【０００２】
【従来の技術】
ディジタル画像信号の高能率符号化の一つとして、画素をサブサンプリングによって間引くことによって、伝送データ量を減少させるものがある。その一例は、ＭＵＳＥ方式における多重サブナイキストサンプリングエンコーディング方式である。このシステムでは、受信側で間引かれ、非伝送の画素を補間する必要がある。
【０００３】
上述のように、注目画素の値を作成する時には、従来では、固定タップ、固定係数の補間フィルタを使用するのが普通であった。
【０００４】
補間フィルタにより非伝送画素を補間する処理は、ある種の画像に対して有効であっても、動きのある画像や静止画像等の多種多様な種類の画像に関して、全体的に補間処理が効果的に発揮されるとはと限らない。その結果として、伝送画素および補間画素で構成される復元画像中に、「ぼけ」、動きの不自然さである「ジャーキネス」等が発生する問題があった。
【０００５】
さらに、本願出願人の提案による特開昭６３−４８０８８号公報には、間引き画素を補間する時に、周辺の参照画素の平均値を計算し、平均値と各画素の値との大小関係に応じて、各画素を１ビットで表現し、（参照画素数×１ビット）のパターンに応じたクラス分けを行い、各クラスに関して予め学習によって決定された係数と周辺の複数画素の値との線形１次結合によって、補間値を作成することが開示されている。
【０００６】
【発明が解決しようとする課題】
上述の先に提案されている出願のものは、固定タップ、固定係数の補間フィルタを使用する時の問題点をかなり解決できる。しかしながら、サブサンプリングによって画素を間引くので、復元画像の解像度の劣化がある程度生じる。
【０００７】
従って、この発明の目的は、各画素のレベル方向に関してサブサンプリングを行うことによって、解像度劣化が防止された高能率符号化装置および復号装置を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、各画素データがＰビットのディジタル画像信号の伝送データ量を減少させるためのディジタル画像信号の高能率符号化装置において、
規則的なパターンに従って、ディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、
第１の画素データの各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および第１の符号化手段の出力データをＰビットに変換するための第１のローカル復号手段と、
第２の画素データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および第２の符号化手段の出力データをＰビットに変換するための第２のローカル復号手段と、
第１の画素データと少なくとも第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する第１の画素データと、注目画素に対応する出力データの近傍の画素および第１の係数の積和演算で求められる値との誤差を最小にするように連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第１の係数を求める第１の係数発生手段と、
第２の画素データと少なくとも第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する第２の画素データと、注目画素に対応する出力データの近傍の画素および第２の係数の積和演算で求められる値との誤差を最小にするように連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第２の係数を求める第２の係数発生手段と、
第１および第２の符号化手段の出力データと、第１および第２の符号化手段の出力データの復号誤差を減少させるための第１の係数および第２の係数とを伝送する伝送手段と
からなるディジタル画像信号の高能率符号化装置である。
【０００９】
請求項７に記載の発明は、規則的なパターンに従って、各画素がＰビットのディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、第１の画像データの各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および第１の符号化手段の出力データをＰビットに変換するために第１のローカル復号手段と、第２の画像データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および第２の符号化手段の出力データをＰビットに変換するために第２のローカル復号手段と、第１の画素データと少なくとも第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する第１の画素データと、注目画素に対応する出力データの近傍の画素および第１の係数の積和演算で求められる値との誤差を最小にするように連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第１の係数を求める第１の係数発生手段と、第２の画素データと少なくとも第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する第２の画素データと、注目画素に対応する出力データの近傍の画素および第２の係数の積和演算で求められる値との誤差を最小にするように連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第２の係数を求める第２の係数発生手段と、第１および第２の符号化手段の出力データと、第１および第２の符号化手段の出力データの復号誤差を減少させるための第１の係数および第２の係数とを伝送する伝送手段とからなる符号化装置と対応する復号装置であって、
第１および第２の符号化手段の出力データ、第１および第２の係数を受信するための受信手段と、
第１の符号化手段のＭビットの出力データをＰビットへ変換する第１の復号手段と、
第２の符号化手段のＮビットの出力データをＰビットへ変換する第２の復号手段と、
少なくとも第１の復号手段の出力データと第１の係数との積和演算を行い、第１の画像データの推定値を作成する第１の積和演算手段と、
少なくとも第２の復号手段の出力データと第２の係数との積和演算を行い、第２の画像データの推定値を作成する第２の積和演算手段と、
第１の画像データの推定値と第２の画像データの推定値とを合成し、復号データとして出力する画素合成手段と、
からなる高能率符号の復号装置である。
【００１０】
請求項１０記載の発明は、各画素データがＰビットのディジタル画像信号の伝送データ量を減少させるためのディジタル画像信号の高能率符号化装置において、
規則的なパターンに従って、ディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、
第１の画像データ各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および第１の符号化手段の出力データをＰビットに変換するための第１のローカル復号手段と、
第２の画像データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および第２の符号化手段の出力データをＰビットに変換するための第２のローカル復号手段と、
第１および第２の符号化手段の出力データまたは第１および第２のローカル復号手段の出力データを受け取って、複数の注目画素のそれぞれに対して、空間的および／または時間的に近傍の複数の参照画素の特徴に基づいて、クラスを決定するためのクラス分類手段と、
決定されたクラス毎に第１の画素データと少なくとも第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する第１の画素データと、注目画素に対応する出力データの近傍の画素および第１の係数の積和演算で求められる値との誤差を最小にするように連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第１の係数を求める第１の係数発生手段と、
決定されたクラス毎に第２の画素データと少なくとも第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する第２の画素データと、注目画素に対応する出力データの近傍の画素および第２の係数の積和演算で求められる値との誤差を最小にするように連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量のクラスに対応した第２の係数を求める第２の係数発生手段と、
第１および第２の符号化手段の出力データと、第１および第２の符号化手段の出力データの復号誤差を減少させるためのクラス毎の第１の係数および第２の係数とを伝送する伝送手段と
からなるディジタル画像信号の高能率符号化装置である。
【００１１】
請求項１５記載の発明は、規則的なパターンに従って、各画素がＰビットのディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、第１の画像データの各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および第１の符号化手段の出力データをＰビットに変換するために第１のローカル復号手段と、第２の画像データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および第２の符号化手段の出力データをＰビットに変換するために第２のローカル復号手段と、第１および第２の符号化手段の出力データまたは第１および第２のローカル復号手段の出力データを受け取って、注目画素に対して、空間的および／または時間的に近傍の複数の参照画素の特徴に基づいて、クラスを決定するための第１のクラス分類手段と、第１のクラス分類手段によって決定されたクラス毎に第１の画素データと少なくとも第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する第１の画素データと、注目画素に対応する出力データの近傍の画素および第１の係数の積和演算で求められる値との誤差を最小にするように連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第１の係数を求める第１の係数発生手段と、決定されたクラス毎に第２の画素データと少なくとも第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する第２の画素データと、注目画素に対応する出力データの近傍の画素および第２の係数の積和演算で求められる値との誤差を最小にするように連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第２の係数を求める第２の係数発生手段と、第１および第２の符号化手段の出力データと、第１および第２の符号化手段の出力データの復号誤差を減少させるためのクラス毎の第１の係数および第２の係数とを伝送する伝送手段とからなる符号化装置と対応する復号装置であって、
第１および第２の符号化手段の出力データ、第１および第２の係数を受信するための受信手段と、
第１の符号化手段のＭビットの出力データをＰビットへ変換する第１の復号手段と、
第２の符号化手段のＮビットの出力データをＰビットへ変換する第２の復号手段と、
第１および第２の符号化手段の出力データまたは第１および第２の復号手段の出力データを受け取って、注目画素に対して、空間的および／または時間的に近傍の複数の参照画素の特徴に基づいて、クラスを決定するための第２のクラス分類手段と、
少なくとも第１の復号手段の出力データと第２のクラス分類手段によって決定されたクラスに対応する第１の係数との積和演算を行い、第１の画像データの推定値を作成する第１の積和演算手段と、
少なくとも第２の復号手段の出力データと第２のクラス分類手段によって決定されたクラスに対応する第２の係数との積和演算を行い、第２の画像データの推定値を作成する第２の積和演算手段と、
第１の画像データの推定値と第２の画像データの推定値とを合成し、復号データとして出力する画素合成手段と、
からなる高能率符号の復号装置である。
【００１２】
【作用】
所定のパターンに従ってディジタル画像信号の画素を第１および第２の画素に分離する。第１および第２の画素が間引かれるのではなく、そのビット数が少なくされる。そして、第１および第２の画素に関して、元のビット数の値を求める時に、誤差の二乗が最小となるような係数が生成され、この係数が伝送される。受信側では、係数と伝送画素データとを用いた線形１次結合によって、第１および第２の画素の値を形成する。その結果、復号誤差を減少でき、良好な復元画像が作成できる。
【００１３】
【実施例】
この発明の理解を容易とするために、まず、係数の生成について、図１を参照して説明する。図１は、この発明による符号化と係数の生成のためのモデルの一例を示すものである。Ｔ１、Ｔ２、Ｔ３は、時間的に連続する３フレームを示す。各フレームでは、五の目格子パターンでもって、全画素が第１および第２の画素に分離される。フレーム間では、五の目格子パターンの位相が相補的とされている。一例として、入力ディジタル画像信号の各画素の量子化ビット数Ｐは、８である。
【００１４】
図１中、第１の画素が○および◎で表され、第２の画素が×および△で表され、クラス分けに使用する伝送画素が◎および△で表される。つまり、（２５×３−１＝７４）画素中の８画素がクラス分けにも使用される参照画素である。第１の画素がＭ（≦８）ビットに変換され、第２の画素がＮ（＜Ｍ）ビットに変換される。なお、この発明では、クラス分けは、必須のものではないが、以下の一実施例では、クラス分けを行なうものである。
【００１５】
フレームＴ２に含まれる注目画素（＋で示される）を例えばｎタップの線形１次結合モデルで表す。より具体的には、図１に示すように、フレームＴ１、Ｔ２、Ｔ３から空間的に同一位置の（５×５）の領域をそれぞれ切り出す。３個の領域によって一つの３次元ブロックが構成される。以下により詳細に説明するように、フレームＴ２の中央の注目画素がｎ個の周辺画素と係数の線形１次結合モデルで表され、線形１次結合で表現されるデータの実データに対する誤差の二乗が最小となるように、係数が最小二乗法で決定される。一例として、１フレームまたは１フィールドで各クラスの１組の係数が決定され、符号化画素データと係数が送信される。
【００１６】
図１に示す時空間モデルにおいて、３個の領域を含むブロック内には、合計で７５個の画素が含まれる。この画素中で注目画素以外であって、ｎ個のものの値をｘ_ｉ（ｉ＝１，２，・・・，ｎ）とする。ここでは、上述のように、第１および第２の画素がそれぞれＭビット、Ｎビットへ変換されているが、係数を決定する時には、Ｐビットへローカル復号されたデータを使用する。そして、伝送画素のそれぞれに乗じられる係数は、ｗ_１〜ｗ_ｎと規定される。従って、フレームＴ２の注目画素の値をｙとすると、この値を伝送画素と係数の線形１次結合ｘ_ｉｗ_ｉで表現する。すなわち、フレームＴ２の中央位置の値ｙは、このようにｎタップの周辺画素の線形１次結合ｗ_１ｘ_１＋ｗ_２ｘ_２＋・・・＋ｗ_ｎｘ_ｎによって表される。この線形１次結合モデルにおける係数ｗ_ｉについては、実際の値と線形１次結合で表される値との誤差の二乗が最小になるものが求められる。
【００１７】
この未定係数ｗ_ｉを決定するために、入力画像を空間方向（水平方向および垂直方向）に２画素ずつずらした時の図１に示すブロックの伝送画素の値ｘ_ｉ（ｉ＝１，・・・，ｎ）と補間対象である注目画素の実際の値ｙ_ｊ（ｊ＝１，・・・，ｍ）をそれぞれ代入した線形１次結合の式を作成する。例えば１フレームに対して１組の係数を求める時には、１フレームの画像に対して、ブロックの切り出しを２画素ずつシフトすることによって、非常に多くの式、すなわち、１フレームの画素数（＝ｍ）の連立方程式（観測方程式と称する）が作成される。ｎ個の係数を決定するためには、最低で（ｍ＝ｎ）の連立方程式が必要である。方程式の個数ｍは、補間精度の問題と処理時間との兼ね合いで適宜選定できる。観測方程式は、
ＸＷ＝Ｙ（１）
である。ここでＸ、Ｗ、Ｙは、それぞれ下記のような行列である。
【００１８】
【数１】

【００１９】
係数ｗとして、実際の値との誤差を最小にするものを最小二乗法により求める。このために、観測方程式の右辺に残差行列Ｅを加えた下記の残差方程式を作成する。すなわち、最小二乗法において、残差方程式における残差行列Ｅの要素の二乗、すなわち二乗誤差が最小になる係数行列Ｗを求める。
【００２０】
【数２】

【００２１】
次に、残差方程式（３）から係数行列Ｗの各要素ｗ_ｉの最確値を見いだすための条件は、ブロック内の画素に対応するｍ個の残差をそれぞれ二乗してその総和を最小にする条件を満足させればよい。この条件は、下記の式（４）により表される。
【００２２】
【数３】

【００２３】
ｎ個の条件を入れてこれを満足する係数行列Ｗの要素である未定係数ｗ_１，ｗ_２，・・・，ｗ_ｎを見出せばよい。従って、残差方程式（３）より、
【００２４】
【数４】

【００２５】
となる。式（４）の条件をｉ＝１，２，・・・，ｎ）について立てれば、それぞれ
【００２６】
【数５】

【００２７】
が得られる。式（３）と式（６）から、下記の正規方程式が得られる。
【００２８】
【数６】

【００２９】
正規方程式（７）は、丁度、未知数の数がｎ個だけある連立方程式である。これにより、最確値たる各未定係数ｗ_ｉを求めることができる。正確には、式（７）における、ｗ_ｉにかかるマトリクスが正則であれば、解くことができる。実際には、Ｇａｕｓｓ−Ｊｏｒｄａｎの消去法（別名、掃き出し法）を用いて未定係数ｗ_ｉを求めている。このようにして、非伝送画素の補間のための係数が１フレームでクラス毎に１組確定し、この係数が伝送される。
【００３０】
上述のように係数を決定する時に、補間の対象である注目画素を含む部分的画像の特徴を反映したクラス分けがなされる。このクラス分けとしては、参照される画素の値を使用することが考えられる。しかしながら、各画素の値が８ビットの時に、８個の参照画素の場合で、クラス数が２^６４となり、クラス数が非常に多くなる。この問題を解決するために、参照画素のビット数を圧縮符号化により減少させる。クラス分けの他の方法は、注目画素が含まれる小領域の相関が強い方向を検出し、その方向に応じたクラスを規定しても良い。
【００３１】
図２は、この発明の一実施例の全体的なブロック図である。入力端子１からのディジタル画像データが画素分離回路２に供給され、図１に示すようなパターンに従って、入力画素が第１および第２の画素へ分離される。第１の画素データがビット数をより少ないビット数へ変換するためのエンコーダ３ａに供給される。エンコーダ３ａにおいて、各画素のビット数が８ビットからＭ（＜８）ビットへ変換される。第２の画素データがエンコーダ３ｂに供給される。エンコーダ３ｂにおいて、各画素のビット数がＮ（＜Ｍ）ビットへ変換される。
【００３２】
エンコーダ３ａ、３ｂの一例は、本願出願人の提案にかかるダイナミックレンジに適応した符号化（ＡＤＲＣ）のエンコーダである。ＡＤＲＣは、ブロック毎に画素の最大値および最小値を検出し、その差であるダイナミックレンジを求め、ダイナミックレンジに適応した量子化ステップで、最小値または最大値を除去した後の画素データを量子化するものである（特開昭６１−１４４９８９号公報参照）。画像の局所的相関からブロック内の画素データを元の量子化ビット数（例えば８ビット）より少ないビット数Ｍ（例えば４ビット）で量子化しても、画像の劣化を抑えることができる。
【００３３】
エンコーダ３ａ、３ｂでなされる符号化のより簡単な例は、各８ビットの最下位ビットまたは最下位ビットからの数ビットを除去するものである。エンコーダ３ａ、３ｂの出力が出力端子５ａ、５ｂに伝送コードとして、それぞれ取り出され、また、ローカルデコーダ４ａ、４ｂに供給される。ローカルデコーダ４ａ、４ｂによって、８ビットに復号されたデータが形成される。
【００３４】
エンコーダ３ａ、３ｂからの符号化データがクラス分類回路６に供給される。クラス分類回路６は、上述のように、注目画素の周辺の参照画素を使用して、注目画素を含む小領域の特徴（レベル分布、相関の強い方向等）に対応するクラスを指示する例えば８ビットのインデックスを発生する。参照画素として、第１および第２の画素を使用しているので、エンコーダ３ａ、３ｂの出力がクラス分類回路６に供給される。
【００３５】
クラス分けのための参照画素は、エンコーダ３ａ、３ｂの出力としているが、これに限らず、ローカルデコーダ４ａ、４ｂの出力データを使用しても良い。クラス分類回路６からのインデックスと、注目画素の実データと、ローカルデコーダ４ａ、４ｂからの復号データが最小二乗法の演算回路７ａに供給される。同様に、最小二乗法の演算回路７ｂに対して、インデックスと、注目画素の実データと、ローカルデコーダ４ａ、４ｂからの復号データが供給される。
【００３６】
最小二乗法の演算回路７ａ、７ｂのそれぞれは、ｘ_ｉとして復号データを用い、また、注目画素データの実際の値を用い、上述の最小二乗法のアルゴリズムによって、例えば１フレームで１組の係数ｗ_ｉを決定する。演算回路７ａ、７ｂからの係数が出力端子８ａ、８ｂに取り出される。伝送画素の符号化出力（コード）と係数とが図示しないが、フレーム化回路、チャンネル変調回路等を介して伝送路へ送出される。伝送路は、通信回線、磁気記録／再生プロセス等である。
【００３７】
送信されるデータは、１フレーム内のビット数がＭビット、Ｎビットへ少なくされたコードと２組の係数である。この係数の情報量は、１フレームあたりのコードの情報量に比べて無視しうるものである。従って、各画素のビット数を少なくすることによって、伝送データ量を減少できる。
【００３８】
図３は、図２の符号化回路と対応する復号回路を示す。受信データは、図示しないが、チャンネル復調、フレーム分解等の処理を受け、２１ａ、２１ｂで示す入力端子にコードが供給され、２２ａ、２２ｂで示す入力端子に係数が供給される。Ｍビットのコードが圧縮符号化のデコーダ２３ａに供給され、８ビットのデータに復号される。Ｎビットのコードが圧縮符号化のデコーダ２３ｂに供給され、８ビットのデータに復号される。
【００３９】
入力端子２１ａ、２１ｂからのコードは、クラス分類回路２６にも供給される。クラス分類回路２６は、符号化回路中のクラス分類回路６と同一のクラス分けを行い、インデックスを発生する。若し、符号化の際に、復号データを使用してクラス分けがなされている時には、デコーダ２３ａ、２３ｂの出力データを使用してクラス分けがなされる。このインデックスが推定値生成回路２４ａ、２４ｂに供給される。推定値生成回路２４ａおよび２４ｂのそれぞれに対して、デコーダ２３ａおよび２３ｂの出力、入力端子２２ａおよび２２ｂからの係数も供給される。
【００４０】
推定値生成回路２４ａ、２４ｂは、復号データと係数との線形１次結合によって、第１および第２の画素に関して８ビットの値（推定値）を生成する。推定値生成回路２４ａ、２４ｂのそれぞれの出力が画素合成回路２５に供給される。画素合成回路２５は、第１および第２の画素を元の位置関係で合成し、出力端子２７に復号画像データが得られる。デコーダ２３ａ、２３ｂによって、８ビットの復号データが得られているが、係数と周辺の復号データの線形１次結合によって作成された推定値は、復号データに比してより誤差が少ないものである。
【００４１】
なお、図２および図３の構成では、入力画像データを使用してリアルタイムで係数を決定しているが、予め学習によって係数を決定することもできる。その場合には、異なる絵柄の画像を使用して、汎用性のある係数が決定され、これが固定係数としてメモリに格納される。注目画素の補間のための復号回路にこのメモリが設けられ、メモリ中の固定係数が使用される。さらに、学習で決定された固定係数をメモリに格納し、このメモリの係数を実際に伝送する入力画像データから決定された係数で更新する構成も可能である。
【００４２】
クラス分類回路６の一例を図４に示す。入力端子４１ａ、４１ｂから選択回路４２にエンコーダ３ａ、３ｂのそれぞれの出力が供給される。選択回路４２は、クラス分類に使用する第１および第２の画素の符号化データを選択し、選択された符号化データが１ビットＡＤＲＣ回路４３ａおよび４３ｂにそれぞれ供給される。
【００４３】
１ビットＡＤＲＣ回路４３ａ、４３ｂは、適当な大きさのブロックの最大値および最小値の差（ダイナミックレンジＤＲ）を検出し、各データをダイナミックレンジＤＲで割算し、その商を０．５と比較し、これが０．５より小のときには｀０’ 、これが０．５以上のときには、｀１’ の出力を発生する。すなわち、入力データが１ビットの出力に変換される。
【００４４】
１ビットＡＤＲＣ回路４３ａ、４３ｂのそれぞれの出力がシフトレジスタ４４ａ、４４ｂにおいて直列並列変換される。シフトレジスタ４４ａ、４４ｂからの合計８ビットがレジスタ４５に取り込まれ、レジスタ４５の出力に８ビットのインデックスが発生する。８ビットのインデックスにより２^８の数のクラスが指示される。
【００４５】
なお、クラス分けのために、空間的に注目画素の近傍の画素のみでなく、前フレームおよび後フレームの空間的に同一位置の画素をも参照するようにしても良い。また、クラス分けのための圧縮符号化としては、１ビットＡＤＲＣ以外に、ベクトル量子化、ＤＰＣＭ等を使用することができる。
【００４６】
次に、図５を参照して最小二乗法の演算回路７ａについて説明する。演算回路７ｂは、演算回路７ａと同一の構成である。図５に示すように、エンコーダ３ａの出力信号が供給され、時空間モデルを構成するデータ、すなわち、注目画素の実データｙと線形１次結合に使用するデータｘ_ｉを同時化するための時系列変換回路３１が設けられている。時系列変換回路３１からのデータが乗算器アレー３２に供給される。乗算器アレー３２に対して加算メモリ３３が接続される。インデックスがデコーダ３５に供給され、デコーダ３５からのクラス情報が加算メモリ３３に供給される。これらの乗算器アレー３２および加算メモリ３３は、正規方程式生成回路を構成する。
【００４７】
乗算器アレー３２は、各画素同士の乗算を行ない、加算メモリ３３は、乗算器アレー３２からの乗算結果が供給される加算器アレーとメモリアレーとで構成される。図６は、乗算器アレー３２の具体的構成である。図６において、その一つを拡大して示すように、四角のセルが乗算器を表す。乗算器アレー３２において各画素同士の乗算が行われ、その結果が加算メモリ３３に供給される。
【００４８】
乗算器アレー３２の乗算結果が供給される加算メモリ３３は、図７に示すように、加算器アレー３３ａとメモリ（またはレジスタ、以下同様）アレー３３ｂとからなる。クラスの個数と等しい個数のメモリアレー３３ｂの並列回路が加算器アレー３３ａに対して接続されている。インデックスデコーダ３５からの出力（クラス）に応答して一つのメモリアレー３３ｂが選択される。また、メモリアレー３３ｂの出力が加算器アレー３３ａに帰還される。これらの乗算器アレー３２、加算器アレー３３ａ、メモリアレー３３ｂによって積和演算がなされる。インデックスによって決定されるクラス毎にメモリアレーが選択されて、積和演算の結果によってメモリアレーの内容が更新される。
【００４９】
前述の正規方程式（７）のｗ_ｉにかかる積和演算の項を見ると、右上の項を反転すると、左下と同じものとなる。従って、（７）式を斜めに分割し、上側の三角形部分に含まれる項のみを演算すれば良い。この点から乗算器アレー３２、加算器アレー３３ａ、メモリアレー３３ｂは、図６および図７に示すように、上側の三角形部分に含まれる項を演算するのに必要とされる、乗算セルあるいはメモリセルを備えている。
【００５０】
以上のようにして、入力画像が到来するに従って積和演算が行われ、正規方程式が生成される。クラス毎の正規方程式の各項の結果は、クラスとそれぞれ対応するメモリアレー３３ｂに記憶されており、次に、この正規方程式の各項が掃き出し法のＣＰＵ演算回路３４に計算される。ＣＰＵを用いた演算によって正規方程式（連立方程式）が解かれ、最確値である係数が求まる。この係数が出力される。
【００５１】
復号のために設けられる、推定値生成回路２４ａは、第１の画素の推定値を作成するためのものであり、図８は、その一例の構成である。推定値生成回路２４ａと２４ｂとは、同一の構成である。４０で示す係数メモリは、例えば１フレーム毎に各クラスの係数組を記憶し、インデックスデコーダ３６からのクラス情報により選択された係数組を出力する。この係数組ｗ_１〜ｗ_ｎがレジスタをそれぞれ介して乗算器３７_１〜３７_ｎにその一方の入力として供給される。乗算器３７_１〜３７_ｎの他方の入力としては、時系列変換回路３８によりまとめられた復号画素データｘ_１〜ｘ_ｎが供給される。乗算器３７_１〜３７_ｎの出力が加算器３９で加算される。加算器３９からは、注目画素の推定値ｙ（＝ｘ_１ｗ_１＋ｘ_２ｗ_２＋・・・・＋ｘ_ｎｗ_ｎ）が得られる。
【００５２】
入力画像データを第１の画素と第２の画素に分離するためのパターンとしては、図１に示すものに限定されない。図９に示すように、水平方向に１画素毎に第１の画素および第２の画素に分離するパターン、あるいは垂直方向に１ライン毎に第１の画素および第２の画素に分離するパターン等を使用することができる。さらに、連続する２フレームの中の一方のフレームの画素を第１の画素として扱い、その他方のフレームの画素を第２の画素として扱うこともできる。
【００５３】
さらに、上述の例は、求める未定係数を１フレームに１組としたが、画像の局所的な特徴に応じて空間内で細分化し、１フレームに複数組の係数を求め、これを伝送しても良い。よりさらに、階層構造の補間を可能とする係数を伝送するようにしても良い。
【００５４】
次に、図１０および図１１を参照してこの発明の他の実施例について説明する。上述の一実施例は、伝送されるコードと係数とを用いて、８ビットの復号値を予測するものである。他の実施例は、誤差成分のみを予測するものである。
【００５５】
図１０は、他の実施例の符号化装置を示し、これは、一実施例の符号化装置（図２）と全体として類似している。最小二乗法の演算回路７ａに対して、クラス分類回路６からのインデックスと、減算回路９ａの出力と、ローカルデコーダ４ａ、４ｂからの復号データとが供給される。他方の最小二乗法の演算回路７ｂに対して、クラス分類回路６からのインデックスと、減算回路９ｂの出力と、ローカルデコーダ４ａ、４ｂからの復号データとが供給される。
【００５６】
減算回路９ａは、注目画素の実データとローカルデコーダ４ａの復号出力との誤差を計算し、減算回路９ｂは、注目画素の実データとローカルデコーダ４ｂの復号出力との誤差を計算する。図３の画素配列のモデルにおいて、＋の画素値を推定するための係数を決定する場合、周辺の画素の復号値を使用する。減算回路９ａは、実際の値をｙ_ｍとし、ローカルデコード値をｙ_ｍ´とすると、次の差分値δｙ_ｍを発生する。
δｙ_ｍ＝ｙ_ｍ−ｙ_ｍ´
【００５７】
最小二乗法の演算回路７ａは、この差分値を周辺の画素の復号値ｘ_ｍｉと係数の線形１次結合で表す。すなわち、
δｙ_ｍ＝Σｗ_ｉ×ｘ_ｍｉ
そして、上述の（２）式におけるベクトルＹの要素が〔δｙ_１δｙ_２・・・・δｙ_ｍ〕とされ、最小二乗法により係数ｗ_ｉが決定される。
【００５８】
図１１は、図１０の符号化装置に対応する復号装置を示す。受信されたコードがデコーダ２３ａ、２３ｂにより復号される。これらのデコーダ２３ａ、２３ｂの復号出力が推定値生成回路２４ａ、２４ｂに供給される。推定値生成回路２４ａには、クラス分類回路２６からのインデックスと、デコーダ２３ａ、２３ｂの復号出力と、入力端子２２ａからの係数とが供給される。推定値生成回路２４ｂには、クラス分類回路２６からのインデックスと、デコーダ２３ａ、２３ｂの復号出力と、入力端子２２ｂからの係数とが供給される。
【００５９】
推定値生成回路２４ａ、２４ｂは、復号出力と係数との線形１次結合によって、推定値（ここでは、差分値δｙ_ｍ）を発生する。推定値生成回路２４ａからの推定値とデコーダ２３ａの復号出力とが加算回路２８ａに供給され、加算回路２８ａの出力に第１の画素データの復号出力が得られる。同様に、推定値生成回路２４ｂからの推定値とデコーダ２３ｂの復号出力とが加算回路２８ｂに供給され、加算回路２８ｂの出力に第２の画素データの復号出力が得られる。これらの復号出力が画素合成回路２５において合成され、出力端子２７に復号画像データが得られる。
【００６０】
この発明の他の実施例は、復号出力から誤差分のみを推定するので、復号値を直接予測する一実施例と比較して、推定の精度をより高くすることが可能である。
【００６１】
なお、上述の一実施例と同様に、注目画素が図３中の×（または△）の画素の位置にある場合と、これが○（または◎）の画素の位置にある場合とのそれぞれに関して、別々に係数の計算がなされる。
【００６２】
【発明の効果】
以上の説明から明らかなように、この発明は、伝送画素と非伝送画素とに分離するのと異なり、少ないビット数に変換された画素も伝送するので、復号画像の解像度の劣化を防止することができる。また、この発明は、線形１次結合で補間するための最適な係数を送信側で求めているので、補間フィルタを用いるのと比較して、復元画像の品質を良好とできる。
【図面の簡単な説明】
【図１】この発明を適用できる画素の分離パターンの一例とクラス分類に使用する画素を説明するための略線図である。
【図２】この発明が適用された高能率符号化装置の一例のブロック図である。
【図３】図２に示される高能率符号化の復号装置のブロック図である。
【図４】クラス分類回路の一例のブロック図である。
【図５】最小二乗法の演算回路の一例のブロック図である。
【図６】最小二乗法の演算回路に含まれる乗算器アレーを説明するための略線図である。
【図７】最小二乗法の演算回路に含まれる加算器アレーおよびメモリアレーを説明するための略線図である。
【図８】復号装置に含まれる推定値生成回路の一例のブロック図である。
【図９】この発明を適用できる画素の分離パターンの他の例を説明するための略線図である。
【図１０】この発明が適用された高能率符号化装置の他の例のブロック図である。
【図１１】図１０に示される高能率符号化の復号装置のブロック図である。
【符号の説明】
２画素分離回路
３ａ、３ｂエンコーダ
４ａ、４ｂローカルデコーダ
６クラス分類回路
７ａ、７ｂ最小二乗法の演算回路
９ａ、９ｂ復号値の誤差を検出する減算回路
２３ａ、２３ｂデコーダ
２４ａ、２４ｂ推定値生成回路

Claims

各画素データがＰビットのディジタル画像信号の伝送データ量を減少させるためのディジタル画像信号の高能率符号化装置において、
規則的なパターンに従って、ディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、
上記第１の画素データの各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および上記第１の符号化手段の出力データをＰビットに変換するための第１のローカル復号手段と、
上記第２の画素データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および上記第２の符号化手段の出力データをＰビットに変換するための第２のローカル復号手段と、
上記第１の画素データと少なくとも上記第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する上記第１の画素データと、上記注目画素に対応する上記出力データの近傍の画素および上記第１の係数の積和演算で求められる値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の上記第１の係数を求める第１の係数発生手段と、
上記第２の画素データと少なくとも上記第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する上記第２の画素データと、上記注目画素に対応する上記出力データの近傍の画素および上記第２の係数の積和演算で求められる値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第２の係数を求める第２の係数発生手段と、
上記第１および第２の符号化手段の出力データと、上記第１および第２の符号化手段の出力データの復号誤差を減少させるための上記第１の係数および上記第２の係数とを伝送する伝送手段と
からなるディジタル画像信号の高能率符号化装置。
請求項１に記載の符号化装置において、
上記第１および第２の係数発生手段は、
１フレーム又は１フィールド毎に上記連立方程式を立てて、上記第１および第２の係数を求めることを特徴とする高能率符号化装置。
請求項１に記載の符号化装置において、
上記第１の係数発生手段における上記注目画素に対応する上記出力データの近傍の画素および上記第１の係数の積和演算で求められる値は、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素と複数の上記第１の係数との線形１次結合で求められ、
上記第２の係数発生手段における上記注目画素に対応する上記出力データの近傍の画素および上記第２の係数の積和演算で求められる値は、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素と複数の上記第２の係数との線形１次結合で求められることを特徴とする高能率符号化装置。
各画素データがＰビットのディジタル画像信号の伝送データ量を減少させるためのディジタル画像信号の高能率符号化装置において、
規則的なパターンに従って、ディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、
上記第１の画素データの各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および上記第１の符号化手段の出力データをＰビットに変換するための第１のローカル復号手段と、
上記分離手段からの第１の画像データと上記第１のローカル復号手段の出力データから第１の誤差データを生成する第１の誤差データ生成手段と、
上記第２の画素データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および上記第２の符号化手段の出力データをＰビットに変換するための第２のローカル復号手段と、
上記分離手段からの第２の画像データと上記第２のローカル復号手段の出力データから第２の誤差データを生成する第２の誤差データ生成手段と、
上記第１の誤差データ生成手段からの第１の誤差データと少なくとも上記第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する上記第１の誤差データと、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素および複数の上記第１の係数の線形１次結合で求められる誤差値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の上記第１の係数を求める第１の係数発生手段と、
上記第２の誤差データ生成手段からの第２の誤差データと少なくとも上記第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する上記第２の誤差データと、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素および複数の上記第２の係数の線形１次結合で求められる誤差値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第２の係数を求める第２の係数発生手段と、
上記第１および第２の符号化手段の出力データと、上記第１および第２の符号化手段の出力データの復号誤差を減少させるための上記第１の係数および上記第２の係数とを伝送する伝送手段と
からなるディジタル画像信号の高能率符号化装置。
請求項１に記載の符号化装置において、
上記第１の係数発生手段は、上記第１の係数を求める際に、さらに、上記第２のローカル復号手段の出力データを使用して上記連立方程式を立て、
上記第２の係数発生手段は、上記第２の係数を求める際に、さらに、上記第１のローカル復号手段の出力データを使用して上記連立方程式を立てることを特徴とする高能率符号化装置。
請求項１に記載の高能率符号化装置において、
上記第１および第２の係数発生手段は、リアルタイムで係数を求めることを特徴とする装置。
規則的なパターンに従って、各画素がＰビットのディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、上記第１の画像データの各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および上記第１の符号化手段の出力データをＰビットに変換するために第１のローカル復号手段と、上記第２の画像データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および上記第２の符号化手段の出力データをＰビットに変換するために第２のローカル復号手段と、上記第１の画素データと少なくとも上記第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する上記第１の画素データと、上記注目画素に対応する上記出力データの近傍の画素および上記第１の係数の積和演算で求められる値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の上記第１の係数を求める第１の係数発生手段と、上記第２の画素データと少なくとも上記第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する上記第２の画素データと、上記注目画素に対応する上記出力データの近傍の画素および上記第２の係数の積和演算で求められる値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第２の係数を求める第２の係数発生手段と、上記第１および第２の符号化手段の出力データと、上記第１および第２の符号化手段の出力データの復号誤差を減少させるための上記第１の係数および上記第２の係数とを伝送する伝送手段とからなる符号化装置と対応する復号装置であって、
上記第１および第２の符号化手段の出力データ、上記第１および第２の係数を受信するための受信手段と、
上記第１の符号化手段のＭビットの出力データをＰビットへ変換する第１の復号手段と、
上記第２の符号化手段のＮビットの出力データをＰビットへ変換する第２の復号手段と、
少なくとも上記第１の復号手段の出力データと第１の係数との積和演算を行い、上記第１の画像データの推定値を作成する第１の積和演算手段と、
少なくとも上記第２の復号手段の出力データと第２の係数との積和演算を行い、上記第２の画像データの推定値を作成する第２の積和演算手段と、
上記第１の画像データの推定値と上記第２の画像データの推定値とを合成し、復号データとして出力する画素合成手段と、
からなる高能率符号の復号装置。
請求項７に記載の復号装置において、
上記第１の係数発生手段における上記注目画素に対応する上記出力データの近傍の画素および上記第１の係数の積和演算で求められる値は、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素と複数の上記第１の係数との線形１次結合で求められ、
上記第２の係数発生手段における上記注目画素に対応する上記出力データの近傍の画素および上記第２の係数の積和演算で求められる値は、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素と複数の上記第２の係数との線形１次結合で求められ、
上記第１の積和演算手段は、
少なくとも上記第１の復号手段の出力データと第１の係数データを受け取って、線形１次結合によって、上記第１の画像データの推定値を作成し、
上記第２の積和演算手段は、
少なくとも上記第２の復号手段の出力データと第２の係数データを受け取って、線形１次結合によって、上記第２の画像データの推定値を作成することを特徴とする復号装置。
規則的なパターンに従って、ディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、上記第１の画素データの各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および上記第１の符号化手段の出力データをＰビットに変換するための第１のローカル復号手段と、上記分離手段からの第１の画像データと上記第１のローカル復号手段の出力データから第１の誤差データを生成する第１の誤差データ生成手段と、上記第２の画素データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および上記第２の符号化手段の出力データをＰビットに変換するための第２のローカル復号手段と、上記分離手段からの第２の画像データと上記第２のローカル復号手段の出力データから第２の誤差データを生成する第２の誤差データ生成手段と、上記第１の誤差データ生成手段からの第１の誤差データと少なくとも上記第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する上記第１の誤差データと、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素および複数の上記第１の係数の線形１次結合で求められる誤差値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の上記第１の係数を求める第１の係数発生手段と、上記第２の誤差データ生成手段からの第２の誤差データと少なくとも上記第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する上記第２の誤差データと、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素および複数の上記第２の係数の線形１次結合で求められる誤差値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第２の係数を求める第２の係数発生手段と、上記第１および第２の符号化手段の出力データと、上記第１および第２の符号化手段の出力データの復号誤差を減少させるための上記第１の係数および上記第２の係数とを伝送する伝送手段とからなるディジタル画像信号の符号化装置と対応する復号装置であって、
上記第１および第２の符号化手段の出力データ、上記第１および第２の係数を受信するための受信手段と、
上記第１の符号化手段のＭビットの出力データをＰビットへ変換する第１の復号手段と、
上記第２の符号化手段のＮビットの出力データをＰビットへ変換する第２の復号手段と、
少なくとも上記第１の復号手段の出力データと第１の係数との積和演算によって線形１次結合を行い、上記第１の画像データの誤差データを作成する第１の積和演算手段と、
少なくとも上記第２の復号手段の出力データと第２の係数との積和演算によって線形１次結合を行い、上記第２の画像データの誤差データを作成する第２の積和演算手段と、
上記第１の復号手段の出力データと上記第１の積和演算手段の誤差データを加算する第１の加算手段と、
上記第２の復号手段の出力データと上記第２の積和演算手段の誤差データを加算する第２の加算手段と、
上記第１の加算手段からの出力データと上記第２の加算手段からの出力データとを合成し、復号データとして出力する画素合成手段と、
からなる高能率符号の復号装置。
各画素データがＰビットのディジタル画像信号の伝送データ量を減少させるためのディジタル画像信号の高能率符号化装置において、
規則的なパターンに従って、ディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、
上記第１の画像データ各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および上記第１の符号化手段の出力データをＰビットに変換するための第１のローカル復号手段と、
上記第２の画像データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および上記第２の符号化手段の出力データをＰビットに変換するための第２のローカル復号手段と、
上記第１および第２の符号化手段の出力データまたは上記第１および第２のローカル復号手段の出力データを受け取って、複数の注目画素のそれぞれに対して、空間的および／または時間的に近傍の複数の参照画素の特徴に基づいて、クラスを決定するためのクラス分類手段と、
上記決定されたクラス毎に上記第１の画素データと少なくとも上記第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する上記第１の画素データと、上記注目画素に対応する上記出力データの近傍の画素および上記第１の係数の積和演算で求められる値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第１の係数を求める第１の係数発生手段と、
上記決定されたクラス毎に上記第２の画素データと少なくとも第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する上記第２の画素データと、上記注目画素に対応する上記出力データの近傍の画素および上記第２の係数の積和演算で求められる値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の上記クラスに対応した第２の係数を求める第２の係数発生手段と、
上記第１および第２の符号化手段の出力データと、上記第１および第２の符号化手段の出力データの復号誤差を減少させるためのクラス毎の上記第１の係数および第２の係数とを伝送する伝送手段と
からなるディジタル画像信号の高能率符号化装置。
請求項１０に記載の高能率符号化装置において、
上記第１および第２の係数発生手段は、リアルタイムで係数を求めることを特徴とする装置。
請求項１０に記載の符号化装置において、
上記第１の係数発生手段における上記注目画素に対応する上記出力データの近傍の画素および上記第１の係数の積和演算で求められる値は、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素と複数の上記第１の係数との線形１次結合で求められ、
上記第２の係数発生手段における上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素と複数の上記第２の係数との積和演算で求められる値は、上記注目画素に対応する上記出力データの近傍の複数の画素と複数の上記第２の係数との線形１次結合で求められることを特徴とする高能率符号化装置。
各画素データがＰビットのディジタル画像信号の伝送データ量を減少させるためのディジタル画像信号の高能率符号化装置において、
規則的なパターンに従って、ディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、
上記第１の画像データ各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および上記第１の符号化手段の出力データをＰビットに変換するための第１のローカル復号手段と、
上記分離手段からの第１の画像データと上記第１のローカル復号手段の出力データから第１の誤差データを生成する第１の誤差データ生成手段と、
上記第２の画像データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および上記第２の符号化手段の出力データをＰビットに変換するための第２のローカル復号手段と、
上記分離手段からの第２の画像データと上記第２のローカル復号手段の出力データから第２の誤差データを生成する第２の誤差データ生成手段と
上記第１および第２の符号化手段の出力データまたは上記第１および第２のローカル復号手段の出力データを受け取って、複数の注目画素のそれぞれに対して、空間的および／または時間的に近傍の複数の参照画素の特徴に基づいて、クラスを決定するためのクラス分類手段と、
上記決定されたクラス毎に上記第１の誤差データ生成手段からの第１の誤差データと少なくとも上記第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する上記第１の誤差データと、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素および複数の上記第１の係数の線形１次結合で作成される誤差値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第１の係数を求める第１の係数発生手段と、
上記決定されたクラス毎に上記第２の誤差データ生成手段からの第２の誤差データと少なくとも第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する上記第２の誤差データと、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素および複数の上記第２の係数の線形１次結合で作成される誤差値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の上記クラスに対応した第２の係数を求める第２の係数発生手段と、
上記第１および第２の符号化手段の出力データと、上記第１および第２の符号化手段の出力データの復号誤差を減少させるためのクラス毎の上記第１の係数および第２の係数とを伝送する伝送手段と
からなるディジタル画像信号の高能率符号化装置。
請求項１０に記載の符号化装置において、
上記第１の係数発生手段は、
上記第１の係数を求める際に、さらに、上記第２のローカル復号手段の出力データを使用して上記連立方程式を立て、
上記第２の係数発生手段は、
上記第２の係数を求める際に、さらに、上記第１のローカル復号手段の出力データを使用して上記連立方程式を立てることを特徴とする高能率符号化装置。
規則的なパターンに従って、各画素がＰビットのディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、上記第１の画像データの各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および上記第１の符号化手段の出力データをＰビットに変換するために第１のローカル復号手段と、上記第２の画像データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および上記第２の符号化手段の出力データをＰビットに変換するために第２のローカル復号手段と、上記第１および第２の符号化手段の出力データまたは上記第１および第２のローカル復号手段の出力データを受け取って、注目画素に対して、空間的および／または時間的に近傍の複数の参照画素の特徴に基づいて、クラスを決定するための第１のクラス分類手段と、上記第１のクラス分類手段によって決定されたクラス毎に上記第１の画素データと少なくとも上記第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する上記第１の画素データと、上記注目画素に対応する上記出力データの近傍の画素および上記第１の係数の積和演算で求められる値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第１の係数を求める第１の係数発生手段と、上記決定されたクラス毎に上記第２の画素データと少なくとも上記第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する上記第２の画素データと、上記注目画素に対応する上記出力データの近傍の画素および上記第２の係数の積和演算で求められる値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第２の係数を求める第２の係数発生手段と、上記第１および第２の符号化手段の出力データと、上記第１および第２の符号化手段の出力データの復号誤差を減少させるためのクラス毎の上記第１の係数および第２の係数とを伝送する伝送手段とからなる符号化装置と対応する復号装置であって、
上記第１および第２の符号化手段の出力データ、上記第１および第２の係数を受信するための受信手段と、
上記第１の符号化手段のＭビットの出力データをＰビットへ変換する第１の復号手段と、
上記第２の符号化手段のＮビットの出力データをＰビットへ変換する第２の復号手段と、
上記第１および第２の符号化手段の出力データまたは上記第１および第２の復号手段の出力データを受け取って、注目画素に対して、空間的および／または時間的に近傍の複数の参照画素の特徴に基づいて、クラスを決定するための第２のクラス分類手段と、
少なくとも上記第１の復号手段の出力データと上記第２のクラス分類手段によって決定されたクラスに対応する第１の係数との積和演算を行い、上記第１の画像データの推定値を作成する第１の積和演算手段と、
少なくとも上記第２の復号手段の出力データと上記第２のクラス分類手段によって決定されたクラスに対応する第２の係数との積和演算を行い、上記第２の画像データの推定値を作成する第２の積和演算手段と、
上記第１の画像データの推定値と上記第２の画像データの推定値とを合成し、復号データとして出力する画素合成手段と、
からなる高能率符号の復号装置。
請求項１５に記載の復号装置において、
上記第１の積和演算手段は、
少なくとも上記第１の復号手段の出力データと上記第２のクラス分類手段によって決定されたクラスに対応する第１の係数データを受け取って、線形１次結合によって、上記第１の画像データの推定値を作成し、
上記第２の積和演算手段は、
少なくとも上記第２の復号手段の出力データと上記第２のクラス分類手段によって決定されたクラスに対応する第２の係数データを受け取って、線形１次結合によって、上記第２の画像データの推定値を作成することを特徴とする復号装置。
規則的なパターンに従って、ディジタル画像信号の２次元画素配列を少なくとも第１および第２の画素データに分離するための分離手段と、上記第１の画像データ各画素におけるレベル方向のビット数をＭ（≦Ｐ）ビットに変換するための第１の符号化手段および上記第１の符号化手段の出力データをＰビットに変換するための第１のローカル復号手段と、上記分離手段からの第１の画像データと上記第１のローカル復号手段の出力データから第１の誤差データを生成する第１の誤差データ生成手段と、上記第２の画像データの各画素におけるレベル方向のビット数をＮ（＜Ｍ）ビットに変換するための第２の符号化手段および上記第２の符号化手段の出力データをＰビットに変換するための第２のローカル復号手段と、上記分離手段からの第２の画像データと上記第２のローカル復号手段の出力データから第２の誤差データを生成する第２の誤差データ生成手段と、上記第１および第２の符号化手段の出力データまたは上記第１および第２のローカル復号手段の出力データを受け取って、複数の注目画素のそれぞれに対して、空間的および／または時間的に近傍の複数の参照画素の特徴に基づいて、クラスを決定するための第１のクラス分類手段と、上記決定されたクラス毎に上記第１の誤差データ生成手段からの第１の誤差データと少なくとも上記第１のローカル復号手段の出力データと共に、未知数である第１の係数を用いて連立方程式を立て、ＭビットからＰビットへ変換すべき注目画素に対応する上記第１の誤差データと、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素および複数の上記第１の係数の線形１次結合で作成される誤差値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の第１の係数を求める第１の係数発生手段と、上記決定されたクラス毎に上記第２の誤差データ生成手段からの第２の誤差データと少なくとも第２のローカル復号手段の出力データと共に、未知数である第２の係数を用いて連立方程式を立て、ＮビットからＰビットへ変換すべき注目画素に対応する上記第２の誤差データと、上記注目画素に対応する上記出力データの空間的および／または時間的に近傍の複数の画素および複数の上記第２の係数の線形１次結合で作成される誤差値との誤差を最小にするように上記連立方程式を解くことによって、ビット数を変換したことによって削減された情報量よりも小さい情報量の上記クラスに対応した第２の係数を求める第２の係数発生手段と、上記第１および第２の符号化手段の出力データと、上記第１および第２の符号化手段の出力データの復号誤差を減少させるためのクラス毎の上記第１の係数および第２の係数とを伝送する伝送手段とからなるディジタル画像信号の符号化装置と対応する復号装置であって、
上記第１および第２の符号化手段の出力データ、上記第１および第２の係数を受信するための受信手段と、
上記第１の符号化手段のＭビットの出力データをＰビットへ変換する第１の復号手段と、
上記第２の符号化手段のＮビットの出力データをＰビットへ変換する第２の復号手段と、
上記第１および第２の符号化手段の出力データまたは上記第１および第２の復号手段の出力データを受け取って、注目画素に対して、空間的および／または時間的に近傍の複数の参照画素の特徴に基づいて、クラスを決定するための第２のクラス分類手段と、
少なくとも上記第１の復号手段の出力データと上記第２のクラス分類手段によって決定されたクラスに対応する第１の係数との積和演算によって線形１次結合を行い、上記第１の画像データの推定値を作成する第１の積和演算手段と、
上記第１の復号手段の出力データと上記第１の積和演算手段の出力データを加算する第１の加算手段と、
少なくとも上記第２の復号手段の出力データと上記第２のクラス分類手段によって決定されたクラスに対応する第２の係数との積和演算によって線形１次結合を行い、上記第２の画像データの推定値を作成する第２の積和演算手段と、
上記第２の復号手段の出力データと上記第２の積和演算手段の出力データを加算する第２の加算手段と、
上記第１の加算手段の出力と上記第２の加算手段の出力とを合成し、復号データとして出力する画素合成手段と、
からなる高能率符号の復号装置。