JP3543339B2

JP3543339B2 - Encoding device and its decoding device

Info

Publication number: JP3543339B2
Application number: JP18443493A
Authority: JP
Inventors: 哲二郎近藤; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-06-29
Filing date: 1993-06-29
Publication date: 2004-07-14
Anticipated expiration: 2019-07-14
Also published as: JPH0785287A

Description

【０００１】
【発明の属する技術分野】
この発明は、ディジタル画像信号の符号化装置およびその復号装置に関する。
【０００２】
【従来の技術】
ディジタル画像信号の高能率符号化の一つである予測符号化（ＤＰＣＭとも称される）が知られている。従来の予測符号化では、水平方向および／または垂直方向の相関性に基づいた予測式によって推定値を形成し、真値と推定値との差分値を量子化している。推定値を得るための予測方法は、種々のものが知られているが、予測式が固定であるのが普通であった。さらに、推定値を形成する時に動き補償予測を行うものも知られている。
【０００３】
【発明が解決しようとする課題】
予測式が固定の場合では、画像の内容によっては、推定誤差が非常に大きくなり、符号化効率の低下、符号化誤差の増大が生じた。また、動き補償を行うためには、動きベクトルを検出する必要があり、そのためのハードウエアの規模が大きくなる問題があった。
【０００４】
従って、この発明の目的は、推定精度を向上させることができ、符号化効率および画質を改善できる符号化装置およびその復号装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力ディジタル画像信号の過去のディジタル画像信号に基づいて符号化を行なう符号化装置において、
入力ディジタル画像信号の過去のディジタル画像信号のパターン分布に応じたクラスを形成し、クラスに対応した所定の方式で、到来する入力ディジタル画像信号の推定値を生成する推定手段と、
推定値と到来する入力ディジタル画像信号との間の差分値を形成する差分手段と、
差分値を少なくとも含む符号化データを生成するデータ符号化手段とを有し、
推定手段は、
予め用意されたディジタル画像信号に基づいてクラス毎の学習により算出された、各クラスに応じた係数を出力する係数出力手段と、
係数と入力ディジタル画像信号との演算により、推定値を生成する生成手段とを有することを特徴とする符号化装置である。
【０００６】
また、請求項６の発明は、上述の符号化装置の符号化出力を受信し、復号する復号装置である。すなわち、請求項６の発明は、入力ディジタル画像信号をその特徴に応じて複数のクラスの一つに分類し、入力ディジタル画像信号に基づきクラスに対応した所定の方式で未来のディジタル画像信号の推定値を生成し、推定値と未来の入力ディジタル画像信号の値との差分値を生成し、差分値と特定のディジタル画像信号を少なくとも用いることで生成された符号化データを復号する復号装置において、
特定された入力画像信号と復号化されたディジタル画像信号とに基づいて、特定された入力画像信号と復号化されたディジタル画像信号のパターンに応じたクラスを生成し、クラスに応じた、学習により定められた所定の方式により、推定値の位置に相当する画像信号の値を生成値として生成する生成手段と、
生成値と差分値に基づいて、復号画像を生成する復号手段とを有することを特徴とする復号装置である。
【０００７】
【作用】
過去の時空間の画素データと係数の線形１次結合によって未来の画素の推定値を形成する。この場合、過去のデータをクラス分類し、クラス毎に最適な係数が最小二乗法により予め学習により決定されるか、入力画像データを常に学習しながら決定される。推定値と真値との差分値が伝送される。復号側では、復号された過去の画像データのクラス分類を行ない、クラスの係数と復号画像データとから推定値を生成し、受信差分値と推定値とを加算する事によって、復号画像が生成される。クラス毎に係数が決められているので、推定値と実際の値との差を小とできる。
【０００８】
【実施例】
以下、この発明による予測符号化装置について説明する。この発明の理解を容易とするために、まず、時空間モデルで画像を記述することについて、図１を参照して説明する。
【０００９】
図１において、Ｔ１、Ｔ２は、時間的に連続する２フレームを示し、Ｔ１が過去のフレーム、Ｔ２が現在のフレームである。これらのフレーム中で、推定値の生成およびクラス分類のために使用する画素が図に示されている。×で示す現在フレーム内の未来の画素を図１に示す画素の値ｘ_iと係数ｗ_i（ｉ＝１，２，・・・，ｎ）のｎタップの線形１次結合モデルで表現する。この係数が予測係数である。そして、以下により詳細に説明するように、画素の値ｘ_iと係数ｗ_iの線形１次結合で表現される未来の画素の推定値ｙの真値に対する誤差の二乗が最小となるように、係数が最小二乗法で決定される。１フレーム毎およびクラス毎に１組の係数が確定される。
【００１０】
図１に示す時空間モデルの例では、ｎ＝１６である。現在フレームＴ２の未来の画素の予測値ｙは、１６タップの入力画素の線形１次結合ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ₁₆ｘ₁₆によって表される。この線形１次結合モデルにおける係数ｗ_iについては、実際の値と線形１次結合で表される推定値との残差が最小になるものが求められる。
【００１１】
この未定係数ｗ_iを決定するために、入力画像を空間方向（水平方向および垂直方向）に１画素ずつずらした時の図１に示す各画素の値ｘ_i（ｉ＝１，・・・，ｎ）と予測対象画素の実際の値ｙ_j（ｊ＝１，・・・，ｍ）をそれぞれ代入した線形１次結合の式を作成する。例えば１フレームに対して１組の係数を求める時には、入力画像を１画素ずつシフトすることによって、非常に多くの式、すなわち、１フレームの画素数（＝ｍ）の連立方程式（観測方程式と称する）が作成される。１６個の係数を決定するためには、最低で（ｍ＝１６）の連立方程式が必要である。方程式の個数ｍは、精度の問題と処理時間との兼ね合いで適宜選定できる。観測方程式は、
ＸＷ＝Ｙ（１）
である。ここでＸ、Ｗ、Ｙは、それぞれ下記のような行列である。
【００１２】
【数１】

【００１３】
係数ｗとして、実際の値との誤差を最小にするものを最小二乗法により求める。このために、観測方程式の右辺に残差行列Ｅを加えた下記の残差方程式を作成する。すなわち、最小二乗法において、残差方程式における残差行列Ｅの要素の二乗、すなわち二乗誤差が最小になる係数行列Ｗを求める。
【００１４】
【数２】

【００１５】
次に、残差方程式（３）から係数行列Ｗの各要素ｗ_iの最確値を見いだすための条件は、ブロック内の画素に対応するｍ個の残差をそれぞれ二乗してその総和を最小にする条件を満足させればよい。この条件は、下記の式（４）により表される。
【００１６】
【数３】

【００１７】
ｎ個の条件を入れてこれを満足する係数行列Ｗの要素である未定係数ｗ₁，ｗ₂，・・・，ｗ_nを見出せばよい。従って、残差方程式（３）より、
【００１８】
【数４】

【００１９】
となる。式（４）の条件をｉ＝１，２，・・・，ｎ）について立てれば、それぞれ
【００２０】
【数５】

【００２１】
が得られる。式（３）と式（６）から、下記の正規方程式が得られる。
【００２２】
【数６】

【００２３】
正規方程式（７）は、丁度、未知数の数がｎ個だけある連立方程式である。これにより、最確値たる各未定係数ｗ_iを求めることができる。正確には、式（７）における、ｗ_iにかかるマトリクスが正則であれば、解くことができる。実際には、Gauss-Jordanの消去法（別名、掃き出し法）を用いて未定係数ｗ_iを求めている。このようにして、未来の画素を表すための係数が１フレームで１組確定する。多数フレームの入力画像を使用して上述と同様の学習を行う時には、各フレームで確定した係数の平均値、あるいは最大出現頻度の係数が係数メモリ５に格納される。
【００２４】
この実施例は、学習によって決定された係数を予測係数として使用し、予測符号化を行う。この場合、推定精度を向上するために、入力画像のクラス分類（クラスタリング）を行う。図１において、○で示す画素が線形１次結合モデルに使用したものを示し、◎が示す画素がモデルおよびクラス分類に使用した画素を示す。つまり、１６画素中の４画素がクラス分類にも使用される。
【００２５】
４画素のそれぞれが８ビットであると、４画素の値の組合せが非常に多くなり、現実的なクラス分類とは言えない。そこで、後述するように、この４画素のそれぞれのビット数を符号化により圧縮している。より具体的には、ＡＤＲＣ（ダイナミックレンジに適応した符号化）によって、各画素を１ビットのコードに圧縮する。その結果、２⁴＝１６通りのクラスを取り扱えば良い。クラスを指示するコードをインデックスと称する。ＡＤＲＣに限らず、ベクトル量子化によって、画素のビット数を減少させることもできる。さらに、各画素の最上位ビットを集めてインデックスとしても良い。このように、予測画素の近傍の４画素をそれぞれ１ビットに正規化した４ビットのコードによってクラス分類することは、画像の時空間における変化の概略のパターン形状に応じてクラス分類を行ったことを意味する。
【００２６】
図２は、学習のための構成の一例を示す。図２において、１で示す入力端子に入力画像データが供給される。入力画像データとしては、異なる絵柄の多数の静止画像データが好ましい。入力画像データが時系列変換回路２および最小二乗法の演算回路３に供給される。時系列変換回路２は、ラスター走査の入力画像データ中の線形１次結合モデルおよびクラス分類に使用される複数の画素データを同時化する。
【００２７】
この時系列変換回路２の出力データが演算回路３およびクラス分類回路４に供給される。クラス分類回路４は、上述のように、画像の３次元の変化に対応するインデックスを発生する。このインデックスが演算回路３に供給される。演算回路３は、図１に示される時空間モデルに関して、上述した最小二乗法のアルゴリズムによって、インデックスで指示されるクラス毎に１組の係数ｗ_iを決定する。この係数が係数メモリ５に格納される。
【００２８】
図３は、この発明による予測符号化のエンコーダの一例の構成を示す。図３において、１５で示す係数メモリには、上述の学習により獲得された係数がクラス毎に格納されている。入力端子１１からの入力画像データが時系列変換回路１２に供給され、その出力データがクラス分類回路１４および推定値生成回路１６に供給される。時系列変換回路１２は、ラスター走査の順序に従って入力された画素データを図１に示すように、過去において順次伝送されてくる画素と未来に伝送されてくる画素をひとまとめにして同時に出力する。クラス分類回路１４には、クラス分類に使用する４画素のデータが供給される。クラス分類回路１４からのインデックスが係数メモリ１５に供給され、クラスに対応する１組の係数がメモリ１５から読出される。
【００２９】
この読出し係数が推定値生成回路１６に供給され、時系列変換回路１２からの画素データを使用して、推定値が生成される。この推定値が減算回路１８に供給される。減算回路１８の他の入力として、遅延回路１７を介された入力画像データが供給される。時系列変換回路１２、クラス分類回路１４、係数メモリ１５、推定値生成回路１６がローカルデコーダを構成する。減算回路１８によって、真値（実データ）と推定値との差分値が生成される。
【００３０】
この差分値が圧縮符号化のためのエンコーダ１９により符号化され、符号化出力（コード）が出力端子２０に取り出される。圧縮符号化としては、一例として、適応量子化によってビット数を削減した後、生起確立に基づいて予め求められたハフマン符号によってエントロピー符号化を行う。さらに、エンコーダ１９に対してリフレッシュ用に画素値そのものが供給され、所定の伝送データ毎に画素値が挿入される。圧縮符号化としては、他のものを採用できる。例えば差分値をブロック化した後、ＤＣＴ変換のような直交変換を行ない、そしてエントロピー符号化を行っても良い。圧縮符号化出力が伝送、あるいは記録される。
【００３１】
図３の例では、前もってなされる学習により獲得された汎用性のある係数を使用している。図４に示すエンコーダは、係数を入力画像と関連して更新することを可能とした構成である。すなわち、学習のためのものと同様の最小二乗法の演算回路１３を設け、演算回路１３からの係数で係数メモリ１５を更新することを可能としている。より具体的には、クラス分類回路１４からのインデックスが演算回路１３および係数メモリ１５に供給され、入力画像データが演算回路１３に供給され、演算回路１３からの確定係数が係数メモリ１５に対して供給されている。入力画像の１フレーム毎に限らず、かなり多くのフレームを学習した結果に基づいて係数を更新する構成としても良い。また、図４の係数メモリに予め学習で決定された係数を格納し、これを入力画像によって変更するようにしても良い。図４の例では、係数メモリ１５の内容が変化するので、出力端子２１に取り出された係数データをコードと共に伝送する必要がある。図４の構成において、最小二乗法の演算回路１３を選択的に動作させるようにしても良い。
【００３２】
次に、学習時およびエンコーダにおいて使用される各回路のより詳細な構成について説明する。図５は、クラス分類回路４、１４の一例である。入力画像データ（４画素のデータ）が１ビットＡＤＲＣ回路２７に順次供給される。ＡＤＲＣ回路２７では、４画素の値の最大値および最小値が検出され、最大値と最小値の差であるダイナミックレンジＤＲが検出される。このダイナミックレンジＤＲによって各画素の値が割算される。その商が０．５と比較され、商が０．５以上の時に`1' 、０．５より小の時に`0' のコードが形成される。
【００３３】
ＡＤＲＣ回路２７によって、各画素の値が１ビット（`0' または`1' ）に圧縮される。このＡＤＲＣ回路２７の出力がシフトレジスタ２８によって直列並列変換される。シフトレジスタ２８からの各１ビットのＬ１、Ｌ２、Ｌ３、Ｌ４がレジスタ２９に格納される。この４ビット（Ｌ１，Ｌ２，Ｌ３，Ｌ４）がインデックスである。
【００３４】
図６は、最小二乗法の演算回路３、１３のより詳細な構成を示す。入力ディジタル画像信号が供給され、時空間モデルを構成するデータ、すなわち、対象画素の実データｙと線形１次結合に使用するデータｘ_iを同時化するための時系列変換回路３１が設けられている。時系列変換回路３１からのデータが乗算器アレー３２に供給される。乗算器アレー３２に対して加算メモリ３３が接続される。インデックスがデコーダ３５に供給され、デコーダ３５からのクラス情報が加算メモリ３３に供給される。これらの乗算器アレー３２および加算メモリ３３は、正規方程式生成回路を構成する。
【００３５】
乗算器アレー３２は、各画素同士の乗算を行ない、加算メモリ３３は、乗算器アレー３２からの乗算結果が供給される加算器アレーとメモリアレーとで構成される。図７は、乗算器アレー３２の具体的構成である。図７において、その一つを拡大して示すように、四角のセルが乗算器を表す。乗算器アレー３２において各画素同士の乗算が行われ、その結果が加算メモリ３３に供給される。
【００３６】
加算メモリ３３は、図８に示すように、加算器アレー３３ａとメモリ（またはレジスタ、以下同様）アレー３３ｂとからなる。クラスの個数と等しい個数のメモリアレー３３ｂの並列回路が加算器アレー３３ａに対して接続されている。インデックスデコーダ３５からの出力（クラス）に応答して一つのメモリアレー３３ｂが選択される。また、メモリアレー３３ｂの出力が加算器アレー３３ａに帰還される。これらの乗算器アレー３２、加算器アレー３３ａ、メモリアレー３３ｂによって積和演算がなされる。インデックスによって決定されるクラス毎にメモリアレーが選択されて、積和演算の結果によってメモリアレーの内容が更新される。
【００３７】
なお、前述の正規方程式（７）のｗ_iにかかる積和演算の項を見ると、右上の項を反転すると、左下と同じものとなる。従って、（７）式を左上から右下に向かう線によって斜めに分割し、上側の三角形部分に含まれる項のみを演算すれば良い。この点から乗算器アレー３２、加算器アレー３３ａ、メモリアレー３３ｂは、図７および図８に示すように、上側の三角形部分に含まれる項を演算するのに必要とされる、乗算セルあるいはメモリセルを備えている。
【００３８】
以上のようにして、入力画像が到来するに従って積和演算が行われ、正規方程式が生成される。クラス毎の正規方程式の各項の結果は、クラスとそれぞれ対応するメモリアレー３３ｂに記憶されており、次に図６に示すように、この正規方程式の各項が掃き出し法のＣＰＵ演算回路３４に計算される。ＣＰＵを用いた演算によって正規方程式（連立方程式）が解かれ、最確値である係数が求まる。この係数が出力される。
【００３９】
図９は、係数メモリ１５および推定値生成回路１６の一例の構成である。係数メモリ１５は、各クラスの係数組を記憶し、インデックスデコーダ３６からのクラス識別信号により選択された係数組を出力する。この係数組ｗ₁〜ｗ_nがレジスタをそれぞれ介して乗算器３７₁〜３７_nにその一方の入力として供給される。乗算器３７₁〜３７_nの他方の入力としては、時系列変換回路３８によりまとめられた画素データｘ₁〜ｘ_nが供給される。乗算器３７₁〜３７_nの出力が加算器３９で加算される。加算器３９からは、推定値ｙ（＝ｘ₁ｗ₁＋ｘ₂ｗ₂＋・・・・＋ｘ_nｗ_n）が得られる。
【００４０】
上述のように符号化されたデータを受信あるいは再生し、受信データが図１０に示すデコーダに供給される。４１で示す入力端子からの受信コードが圧縮符号化のデコーダ４３に供給され、４２で示す入力端子からの受信係数が係数メモリ４４に供給される。係数メモリ４４は、クラス分類回路４５からのインデックスに応答してクラスと対応する係数を出力する。学習によって得られた係数を変更しない時には、係数メモリ４４の内容が変更されない。係数メモリ４４の内容は、送信側のものと同一とされることが必要である。係数が推定値生成回路４６に供給される。
【００４１】
デコーダ４３からは、復号差分データが得られ、これが加算器４７に供給される。また、リフレッシュ用に挿入されている画素値は、推定値生成回路４６に供給され、推定値の生成に用いられる。加算器４７は、復号差分値と推定値生成回路４６からの推定値とを加算し、復号値を発生する。この復号値が時系列変換回路４８および４９に供給される。時系列変換回路４８は、推定に必要な複数の復号画素データをまとめる。時系列変換回路４９は、復号データをテレビジョンのラスター走査の順序に復号データの順序を変換する。出力端子５０に復号データが発生する。
【００４２】
時系列変換回路４８からの復号画素データが推定値生成回路４６に供給され、また、クラス分類に必要な復号画素データがクラス分類回路４５に供給される。クラス分類回路４５は、上述したように、１ビットＡＤＲＣ回路の構成であり、そこからのインデックスが係数メモリ４４に供給される。かかる図１０に示すデコーダ中の各回路の構成は、エンコーダについて説明したものと同様であり、その説明は、省略する。
【００４３】
なお、この発明では、時空間モデルとしては、図１に示すものに限られない。線形１次結合のタップ数を増やすことで、空間的な広がりが増し、誤差を減少できる。もっとも、タップ数の増大は、計算時間の増加をもたらす問題がある。
【００４４】
【発明の効果】
以上の説明からも明らかなように、この発明においては、過去のデータのパターンに応じたクラスを形成し、このクラスに対応する係数を算出し、この係数と過去のデータとの線形１次結合によって推定値を作成する。従って、クラス毎に最適な推定値を形成できるので、推定精度が向上し、符号化効率ならびに画質を向上することができる。
【図面の簡単な説明】
【図１】この発明の一実施例における時空間モデルを説明するための略線図である。
【図２】この発明による予測符号化回路の係数を決定するためになされる学習のための構成の一例を示すブロック図である。
【図３】この発明による予測符号化回路の一例のブロック図である。
【図４】この発明による予測符号化回路の他の例のブロック図である。
【図５】クラス分類回路の一例のブロック図である。
【図６】最小二乗法の演算回路の構成を示すブロック図である。
【図７】最小二乗法の演算回路に含まれる乗算器アレーを説明するための略線図である。
【図８】最小二乗法の演算回路に含まれる加算器アレーおよびメモリアレーを説明するための略線図である。
【図９】推定値生成回路の一例のブロック図である。
【図１０】この発明による復号装置の一例のブロック図である。
【符号の説明】
３、１３最小二乗法の演算回路
４、１４、４５クラス分類回路
５、１５、４４係数メモリ[0001]
TECHNICAL FIELD OF THE INVENTION
This invention relates to marks Goka apparatus and decoding apparatus in a digital image signal.
[0002]
[Prior art]
2. Description of the Related Art Predictive coding (also referred to as DPCM), which is one of high-efficiency coding of digital image signals, is known. In the conventional prediction coding, an estimated value is formed by a prediction expression based on horizontal and / or vertical correlation, and a difference value between a true value and the estimated value is quantized. Various prediction methods are known for obtaining the estimated value, but the prediction formula is usually fixed. Further, there is also known an apparatus that performs motion compensation prediction when forming an estimated value.
[0003]
[Problems to be solved by the invention]
When the prediction formula is fixed, the estimation error becomes very large depending on the content of the image, and the coding efficiency is reduced and the coding error is increased. Further, in order to perform motion compensation, it is necessary to detect a motion vector, and there has been a problem that the scale of hardware for that purpose is increased.
[0004]
Accordingly, an object of the present invention, it is possible to improve the estimation accuracy is to provide a mark Goka apparatus and a decoding apparatus capable of improving the coding efficiency and image quality.
[0005]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided an encoding apparatus which performs encoding based on a past digital image signal of an input digital image signal,
Estimating means for forming a class according to the pattern distribution of the past digital image signal of the input digital image signal and generating an estimated value of the incoming input digital image signal in a predetermined manner corresponding to the class;
Difference means for forming a difference value between the estimated value and the incoming digital image signal;
Data encoding means for generating encoded data including at least the difference value,
The estimating means is:
Coefficient output means for outputting a coefficient corresponding to each class, calculated by learning for each class based on a digital image signal prepared in advance,
A coding apparatus comprising: generating means for generating an estimated value by calculating a coefficient and an input digital image signal.
[0006]
According to a sixth aspect of the present invention, there is provided a decoding device for receiving and decoding the encoded output of the encoding device. That is, the invention according to claim 6 classifies an input digital image signal into one of a plurality of classes according to its characteristics, and estimates a future digital image signal by a predetermined method corresponding to the class based on the input digital image signal. A decoding device that generates a value, generates a difference value between the estimated value and the value of the future input digital image signal, and decodes encoded data generated by using at least the difference value and the specific digital image signal.
Based on the specified input image signal and the decoded digital image signal, a class corresponding to the specified input image signal and the pattern of the decoded digital image signal is generated. Generating means for generating, as a generated value, a value of an image signal corresponding to the position of the estimated value by a predetermined method;
A decoding unit that generates a decoded image based on the generated value and the difference value.
[0007]
[Action]
An estimated value of a future pixel is formed by a linear linear combination of past spatiotemporal pixel data and coefficients. In this case, the past data is classified into classes, and the optimum coefficient for each class is determined in advance by learning using the least squares method, or is determined while always learning the input image data. A difference value between the estimated value and the true value is transmitted. The decoding side classifies the decoded past image data, generates an estimated value from the class coefficient and the decoded image data, and adds the received difference value and the estimated value to generate a decoded image. You. Since the coefficient is determined for each class, the difference between the estimated value and the actual value can be reduced.
[0008]
【Example】
Hereinafter, a predictive coding apparatus according to the present invention will be described. To facilitate understanding of the present invention, description of an image with a spatiotemporal model will be described first with reference to FIG.
[0009]
In FIG. 1, T1 and T2 indicate two temporally continuous frames, where T1 is a past frame and T2 is a current frame. In these frames, the pixels used for generation of estimates and classification are shown in the figure. A future pixel in the current frame indicated by x is represented by an n-tap linear linear combination model of the pixel value x _i and the coefficient w _i (i = 1, 2,..., N) shown in FIG. This coefficient is a prediction coefficient. Then, as will be described in more detail below, the square of the error with respect to the true value of the estimated value y of the future pixel represented by a linear linear combination of the pixel value x _i and the coefficient w _i is minimized. The coefficients are determined by the least squares method. One set of coefficients is determined for each frame and each class.
[0010]
In the example of the spatio-temporal model shown in FIG. 1, n = 16. Prediction value y of the future pixels of the current frame T2 is represented by linear combination _{_{_{w 1 x 1 + w 2 x}}} 2 + ··· + w 16 x 16 input pixels 16 taps. For the coefficient w _i in this linear linear combination model, a coefficient that minimizes the residual between the actual value and the estimated value represented by the linear linear combination is obtained.
[0011]
In order to determine the undetermined coefficient w _i , the value x _i (i = 1,...,..., Of each pixel shown in FIG. 1 when the input image is shifted by one pixel in the spatial direction (horizontal direction and vertical direction). n) and an actual value y _j (j = 1,..., m) of the pixel to be predicted are substituted to create an equation of linear linear combination. For example, when obtaining one set of coefficients for one frame, an input image is shifted one pixel at a time, so that a large number of equations, that is, simultaneous equations of the number of pixels (= m) in one frame (referred to as observation equations) ) Is created. In order to determine 16 coefficients, at least (m = 16) simultaneous equations are required. The number m of equations can be appropriately selected in consideration of accuracy and processing time. The observation equation is
XW = Y (1)
It is. Here, X, W, and Y are the following matrices, respectively.
[0012]
(Equation 1)

[0013]
The coefficient w that minimizes the error from the actual value is obtained by the least square method. For this purpose, the following residual equation is created by adding the residual matrix E to the right side of the observation equation. That is, in the least squares method, the square of the elements of the residual matrix E in the residual equation, that is, the coefficient matrix W that minimizes the square error is obtained.
[0014]
(Equation 2)

[0015]
Next, the condition for finding the most probable value of each element w _i of the coefficient matrix W from the residual equation (3) is that the m residuals corresponding to the pixels in the block are each squared to minimize the sum thereof. What is necessary is just to satisfy the conditions to perform. This condition is represented by the following equation (4).
[0016]
[Equation 3]

[0017]
undetermined coefficient w ₁ is an element of the coefficient matrix W to satisfy this put the n-number of conditions, w _2, ···, you may find a w _n. Therefore, from the residual equation (3),
[0018]
(Equation 4)

[0019]
It becomes. If the condition of equation (4) is established for i = 1, 2,..., N),
(Equation 5)

[0021]
Is obtained. From the equations (3) and (6), the following normal equation is obtained.
[0022]
(Equation 6)

[0023]
The normal equation (7) is a simultaneous equation having exactly n unknowns. As a result, the most probable values of the undetermined coefficients w _i can be obtained. To be precise, in the formula (7), according to the w _i if matrix is regular, can be solved. Actually, the undetermined coefficient w _i is obtained by using the Gauss-Jordan elimination method (also called a sweeping method). In this way, one set of coefficients for representing a future pixel is determined in one frame. When learning similar to the above is performed using input images of many frames, the average value of the coefficients determined in each frame or the coefficient of the maximum appearance frequency is stored in the coefficient memory 5.
[0024]
In this embodiment, predictive coding is performed by using a coefficient determined by learning as a prediction coefficient. In this case, a class classification (clustering) of the input image is performed to improve the estimation accuracy. In FIG. 1, pixels indicated by ○ indicate pixels used for the linear primary combination model, and pixels indicated by ◎ indicate pixels used for the model and class classification. That is, four of the sixteen pixels are also used for class classification.
[0025]
If each of the four pixels has 8 bits, the number of combinations of the values of the four pixels becomes very large, and it cannot be said that the classification is realistic. Therefore, as described later, the number of bits of each of the four pixels is compressed by encoding. More specifically, each pixel is compressed into a 1-bit code by ADRC (encoding adapted to a dynamic range). As a result, 2 ⁴ = 16 classes may be handled. The code indicating the class is called an index. Not limited to ADRC, the number of bits of a pixel can be reduced by vector quantization. Further, the most significant bits of each pixel may be collected and used as an index. As described above, classifying the four pixels in the vicinity of the predicted pixel by the 4-bit code normalized to 1 bit respectively requires performing the class classification according to the approximate pattern shape of the change in the spatio-temporal of the image. Means
[0026]
FIG. 2 shows an example of a configuration for learning. In FIG. 2, input image data is supplied to an input terminal indicated by 1. As the input image data, a large number of still image data of different patterns are preferable. The input image data is supplied to a time-series conversion circuit 2 and a least-squares method operation circuit 3. The time-series conversion circuit 2 synchronizes a plurality of pixel data used for the linear primary combination model and the class classification in the input image data of the raster scan.
[0027]
The output data of the time series conversion circuit 2 is supplied to the arithmetic circuit 3 and the class classification circuit 4. The classifying circuit 4 generates an index corresponding to a three-dimensional change of the image as described above. This index is supplied to the arithmetic circuit 3. The arithmetic circuit 3 determines one set of coefficients w _i for each class indicated by the index by the above-mentioned least squares algorithm for the spatiotemporal model shown in FIG. This coefficient is stored in the coefficient memory 5.
[0028]
FIG. 3 shows an exemplary configuration of an encoder for predictive coding according to the present invention. In FIG. 3, a coefficient memory indicated by 15 stores coefficients obtained by the above-described learning for each class. The input image data from the input terminal 11 is supplied to the time series conversion circuit 12, and the output data is supplied to the class classification circuit 14 and the estimated value generation circuit 16. As shown in FIG. 1, the time-series conversion circuit 12 collectively outputs pixels sequentially transmitted in the past and pixels transmitted in the future as a group, and simultaneously outputs the pixel data input in the raster scanning order. The class classification circuit 14 is supplied with data of four pixels used for class classification. The index from the class classification circuit 14 is supplied to the coefficient memory 15, and a set of coefficients corresponding to the class is read from the memory 15.
[0029]
The read coefficient is supplied to the estimated value generation circuit 16, and an estimated value is generated using the pixel data from the time series conversion circuit 12. This estimated value is supplied to the subtraction circuit 18. As another input of the subtraction circuit 18, input image data via the delay circuit 17 is supplied. The time series conversion circuit 12, the class classification circuit 14, the coefficient memory 15, and the estimated value generation circuit 16 constitute a local decoder. The subtraction circuit 18 generates a difference value between the true value (actual data) and the estimated value.
[0030]
This difference value is encoded by an encoder 19 for compression encoding, and an encoded output (code) is taken out to an output terminal 20. As an example of the compression encoding, after the number of bits is reduced by adaptive quantization, entropy encoding is performed using a Huffman code obtained in advance based on the probability of occurrence. Further, the pixel value itself is supplied to the encoder 19 for refreshing, and the pixel value is inserted for each predetermined transmission data. Other types of compression encoding can be employed. For example, after blocking the difference values, orthogonal transformation such as DCT transformation may be performed, and entropy coding may be performed. The compression encoded output is transmitted or recorded.
[0031]
In the example of FIG. 3, versatile coefficients obtained by learning performed in advance are used. The encoder shown in FIG. 4 has a configuration in which the coefficient can be updated in association with the input image. That is, the same least-squares arithmetic circuit 13 as that for learning is provided, and the coefficient memory 15 can be updated with the coefficient from the arithmetic circuit 13. More specifically, the index from the class classification circuit 14 is supplied to the arithmetic circuit 13 and the coefficient memory 15, the input image data is supplied to the arithmetic circuit 13, and the definite coefficient from the arithmetic circuit 13 is stored in the coefficient memory 15. Supplied. The configuration may be such that the coefficient is updated based on the result of learning not only for each frame of the input image but also for a considerably large number of frames. Alternatively, a coefficient previously determined by learning may be stored in the coefficient memory of FIG. 4 and may be changed according to the input image. In the example of FIG. 4, since the content of the coefficient memory 15 changes, it is necessary to transmit the coefficient data taken out to the output terminal 21 together with the code. In the configuration of FIG. 4, the arithmetic circuit 13 of the least squares method may be selectively operated.
[0032]
Next, a more detailed configuration of each circuit used in learning and in the encoder will be described. FIG. 5 is an example of the classifying circuits 4 and 14. Input image data (data of four pixels) is sequentially supplied to the 1-bit ADRC circuit 27. The ADRC circuit 27 detects the maximum value and the minimum value of the values of the four pixels, and detects the dynamic range DR that is the difference between the maximum value and the minimum value. The value of each pixel is divided by the dynamic range DR. The quotient is compared with 0.5, and a code of `1` is formed when the quotient is 0.5 or more, and a code of` 0` is formed when the quotient is less than 0.5.
[0033]
The ADRC circuit 27 compresses the value of each pixel into one bit (`0 'or` 1'). The output of the ADRC circuit 27 is serial-parallel converted by the shift register 28. One-bit L1, L2, L3, and L4 from the shift register 28 are stored in the register 29. These 4 bits (L1, L2, L3, L4) are an index.
[0034]
FIG. 6 shows a more detailed configuration of the

arithmetic circuits

3 and 13 of the least squares method. Input digital image signal is supplied, data constituting the space-time model, namely, in time series conversion circuit 31 for synchronizing the data x _i to be used for actual data y and linear combination of the target pixel is provided I have. Data from the time series conversion circuit 31 is supplied to the multiplier array 32. An addition memory 33 is connected to the multiplier array 32. The index is supplied to the decoder 35, and the class information from the decoder 35 is supplied to the addition memory 33. The multiplier array 32 and the addition memory 33 constitute a normal equation generation circuit.
[0035]
The multiplier array 32 multiplies each pixel, and the addition memory 33 includes an adder array to which the multiplication result from the multiplier array 32 is supplied and a memory array. FIG. 7 shows a specific configuration of the multiplier array 32. In FIG. 7, as one of them is shown in an enlarged manner, a square cell represents a multiplier. In the multiplier array 32, multiplication of each pixel is performed, and the result is supplied to the addition memory 33.
[0036]
As shown in FIG. 8, the addition memory 33 includes an adder array 33a and a memory (or register, hereinafter the same) array 33b. A parallel circuit of the memory arrays 33b having the same number as the number of classes is connected to the adder array 33a. One memory array 33b is selected in response to the output (class) from the index decoder 35. The output of the memory array 33b is fed back to the adder array 33a. A product-sum operation is performed by the multiplier array 32, the adder array 33a, and the memory array 33b. A memory array is selected for each class determined by the index, and the contents of the memory array are updated according to the result of the product-sum operation.
[0037]
In addition, looking at the term of the product-sum operation concerning w _i in the above-described normal equation (7), when the term in the upper right is inverted, the term becomes the same as that in the lower left. Therefore, equation (7) may be diagonally divided by a line from upper left to lower right, and only the terms included in the upper triangular portion may be calculated. From this point, the multiplier array 32, the adder array 33a, and the memory array 33b are, as shown in FIGS. 7 and 8, a multiplier cell or a memory required to calculate a term included in the upper triangular portion. It has a cell.
[0038]
As described above, the product-sum operation is performed as the input image arrives, and a normal equation is generated. The result of each term of the normal equation for each class is stored in the memory array 33b corresponding to each class. Next, as shown in FIG. 6, each term of this normal equation is sent to the CPU arithmetic circuit 34 of the sweeping method. Is calculated. The normal equation (simultaneous equation) is solved by the calculation using the CPU, and the coefficient that is the most probable value is obtained. This coefficient is output.
[0039]
FIG. 9 shows an example of the configuration of the coefficient memory 15 and the estimated value generation circuit 16. The coefficient memory 15 stores a coefficient set of each class, and outputs a coefficient set selected by the class identification signal from the index decoder 36. The coefficient sets w _{1 to} w _n are supplied as one input to multipliers 37 _{1 to} 37 _n via registers. As the other inputs of the multipliers 37 _{1 to} 37 _n , pixel data x _{1 to} x _n compiled by the time series conversion circuit 38 are supplied. The output of the multiplier 37 ₁ to 37 _n are added by an adder 39. From the adder 39, an estimated value y (= x ₁ w ₁ + x ₂ w ₂ +... + X _n w _n ) is obtained.
[0040]
The data encoded as described above is received or reproduced, and the received data is supplied to the decoder shown in FIG. A reception code from an input terminal indicated by 41 is supplied to a decoder 43 for compression encoding, and a reception coefficient from an input terminal indicated by 42 is supplied to a coefficient memory 44. The coefficient memory 44 outputs a coefficient corresponding to the class in response to the index from the class classification circuit 45. When the coefficient obtained by learning is not changed, the contents of the coefficient memory 44 are not changed. The contents of the coefficient memory 44 need to be the same as those on the transmitting side. The coefficients are supplied to the estimated value generation circuit 46.
[0041]
Decoded difference data is obtained from the decoder 43 and supplied to the adder 47. The pixel value inserted for refreshing is supplied to the estimated value generation circuit 46 and used for generating an estimated value. The adder 47 adds the decoded difference value and the estimated value from the estimated value generation circuit 46 to generate a decoded value. The decoded value is supplied to time

series conversion circuits

48 and 49. The time series conversion circuit 48 collects a plurality of pieces of decoded pixel data necessary for the estimation. The time-series conversion circuit 49 converts the order of the decoded data into the order of raster scanning of the television. Decoded data is generated at the output terminal 50.
[0042]
The decoded pixel data from the time series conversion circuit 48 is supplied to the estimated value generation circuit 46, and the decoded pixel data necessary for class classification is supplied to the class classification circuit 45. As described above, the class classification circuit 45 has a configuration of a 1-bit ADRC circuit, and an index from the ADRC circuit is supplied to the coefficient memory 44. The configuration of each circuit in the decoder shown in FIG. 10 is the same as that described for the encoder, and a description thereof will be omitted.
[0043]
In the present invention, the spatiotemporal model is not limited to the one shown in FIG. By increasing the number of taps of the linear linear combination, the spatial spread increases, and the error can be reduced. However, there is a problem that the increase in the number of taps increases the calculation time.
[0044]
【The invention's effect】
As is clear from the above description, in the present invention, a class is formed according to the pattern of past data, a coefficient corresponding to this class is calculated, and a linear linear combination of this coefficient and past data is formed. Creates an estimate. Therefore, since an optimum estimated value can be formed for each class, the estimation accuracy is improved, and the coding efficiency and the image quality can be improved.
[Brief description of the drawings]
FIG. 1 is a schematic diagram illustrating a spatiotemporal model according to an embodiment of the present invention.
FIG. 2 is a block diagram showing an example of a configuration for learning performed to determine coefficients of a predictive coding circuit according to the present invention.
FIG. 3 is a block diagram of an example of a predictive coding circuit according to the present invention.
FIG. 4 is a block diagram of another example of the predictive coding circuit according to the present invention.
FIG. 5 is a block diagram illustrating an example of a class classification circuit.
FIG. 6 is a block diagram showing a configuration of an arithmetic circuit of the least squares method.
FIG. 7 is a schematic diagram for explaining a multiplier array included in a least-squares method operation circuit;
FIG. 8 is a schematic diagram for explaining an adder array and a memory array included in a least-squares method operation circuit;
FIG. 9 is a block diagram illustrating an example of an estimated value generation circuit.
FIG. 10 is a block diagram of an example of a decoding device according to the present invention.
[Explanation of symbols]
3, 13 Least-squares

arithmetic circuit

4, 14, 45

Class classification circuit

5, 15, 44 Coefficient memory

Claims

入力ディジタル画像信号の過去のディジタル画像信号に基づいて符号化を行なう符号化装置において、
上記入力ディジタル画像信号の過去のディジタル画像信号のパターン分布に応じたクラスを形成し、上記クラスに対応した所定の方式で、到来する上記入力ディジタル画像信号の推定値を生成する推定手段と、
上記推定値と上記到来する入力ディジタル画像信号との間の差分値を形成する差分手段と、
上記差分値を少なくとも含む符号化データを生成するデータ符号化手段とを有し、
上記推定手段は、
予め用意されたディジタル画像信号に基づいて上記クラス毎の学習により算出された、上記各クラスに応じた係数を出力する係数出力手段と、
上記係数と上記入力ディジタル画像信号との演算により、上記推定値を生成する生成手段とを有することを特徴とする符号化装置。In an encoding device that performs encoding based on a past digital image signal of an input digital image signal,
Estimating means for forming a class according to the pattern distribution of past digital image signals of the input digital image signal, and generating an estimated value of the incoming input digital image signal in a predetermined manner corresponding to the class;
Difference means for forming a difference value between the estimated value and the incoming input digital image signal,
Data encoding means for generating encoded data including at least the difference value,
The estimating means includes:
Coefficient output means for outputting a coefficient corresponding to each class, calculated by learning for each class based on a digital image signal prepared in advance,
A coding device, comprising: generating means for generating the estimated value by calculating the coefficient and the input digital image signal.

上記学習は、最小二乗法によって上記各クラス応じた係数を算出することを特徴とする請求項１に記載の符号化装置。The encoding device according to claim 1, wherein the learning calculates a coefficient corresponding to each of the classes by a least square method.

上記データ符号化手段は、
上記係数と上記差分値とを少なくとも含む符号化データを生成することを特徴とする請求項１に記載の符号化装置。The data encoding means includes:
The encoding device according to claim 1, wherein encoded data including at least the coefficient and the difference value is generated.

入力ディジタル画像信号の過去のディジタル画像信号に基づいて符号化を行なう符号化装置において、
上記入力ディジタル画像信号の過去のディジタル画像信号のパターン分布に応じたクラスを形成し、上記クラスに対応した所定の方式で、到来する上記入力ディジタル画像信号の推定値を生成する推定手段と、
上記推定値と上記到来する入力ディジタル画像信号との間の差分値を形成する差分手段と、
上記差分値を少なくとも含む符号化データを生成するデータ符号化手段とを有し、
上記推定手段は、
上記入力ディジタル画像信号に基づいて上記クラス毎の学習により算出された、上記各クラスに応じた係数を出力する係数出力手段と、
上記係数と上記入力画像信号との演算により、上記推定値を生成する生成手段とを有することを特徴とする符号化装置。In an encoding device that performs encoding based on a past digital image signal of an input digital image signal,
Estimating means for forming a class according to the pattern distribution of past digital image signals of the input digital image signal, and generating an estimated value of the incoming input digital image signal in a predetermined manner corresponding to the class;
Difference means for forming a difference value between the estimated value and the incoming input digital image signal,
Data encoding means for generating encoded data including at least the difference value,
The estimating means includes:
Coefficient output means for outputting a coefficient corresponding to each class, calculated by learning for each class based on the input digital image signal,
An encoding device comprising: a generation unit configured to generate the estimated value by calculating the coefficient and the input image signal.

上記データ符号化手段は、
上記係数と上記差分値とを少なくとも含む符号化データを生成することを特徴とする請求項４に記載の符号化装置。The data encoding means includes:
The encoding device according to claim 4, wherein encoded data including at least the coefficient and the difference value is generated.

入力ディジタル画像信号をその特徴に応じて複数のクラスの一つに分類し、上記入力ディジタル画像信号に基づき上記クラスに対応した所定の方式で未来のディジタル画像信号の推定値を生成し、上記推定値と未来の上記入力ディジタル画像信号の値との差分値を生成し、上記差分値と特定の上記ディジタル画像信号を少なくとも用いることで生成された符号化データを復号する復号装置において、
上記特定された入力画像信号と復号化された上記ディジタル画像信号とに基づいて、上記特定された入力画像信号と復号化された上記ディジタル画像信号のパターンに応じたクラスを生成し、上記クラスに応じた、学習により定められた所定の方式により、上記推定値の位置に相当する画像信号の値を生成値として生成する生成手段と、
上記生成値と上記差分値に基づいて、復号画像を生成する復号手段とを有することを特徴とする復号装置。Classifying the input digital image signal into one of a plurality of classes according to its characteristics, generating an estimated value of a future digital image signal by a predetermined method corresponding to the class based on the input digital image signal, and A decoding device that generates a difference value between the value and the value of the input digital image signal in the future, and decodes the encoded data generated by using at least the difference value and the specific digital image signal.
Based on the specified input image signal and the decoded digital image signal, a class corresponding to the specified input image signal and the pattern of the decoded digital image signal is generated. Generating means for generating a value of the image signal corresponding to the position of the estimated value as a generated value, according to a predetermined method determined by learning,
A decoding device, comprising: decoding means for generating a decoded image based on the generated value and the difference value.