JPH0888856A - ディジタル画像信号の階層符号化および復号装置 - Google Patents
ディジタル画像信号の階層符号化および復号装置Info
- Publication number
- JPH0888856A JPH0888856A JP18474195A JP18474195A JPH0888856A JP H0888856 A JPH0888856 A JP H0888856A JP 18474195 A JP18474195 A JP 18474195A JP 18474195 A JP18474195 A JP 18474195A JP H0888856 A JPH0888856 A JP H0888856A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- image signal
- value
- prediction
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
より予測値を生成する時に、クラス予測係数を格納する
ためのメモリの容量の低減を図る。 【構成】 第1階層の画像信号から、間引きフィルタ
2、3、4によって、画素数が1/4、1/16、1/
64とそれぞれ減少された第2、第3および第4階層の
画像信号が形成される。第4階層の画像信号と、減算器
5、6、7からの差分信号とが伝送される。予測信号
は、予測器41、42、43で形成される。これらの予
測器は、予め学習によっで獲得されたテーブルを含む。
このテーブルは、クラス毎に予測係数、予測値、または
正規化予測値が規定されたものである。クラス決定時に
は、クラス予測係数と参照画素の値との線形1次結合に
より注目画素に関して予測値を形成する。全クラスにつ
いて計算された予測値と所定の画素の真値との誤差の中
の最小値を検出する。この最小値と対応するクラスが注
目画素のクラスとして決定される。
Description
像信号を異なる解像度を表現する複数の信号へ分割し、
各信号を符号化して伝送するようにしたディジタル画像
信号の階層符号化装置および階層復号化装置に関する。
はレベル)として、これより解像度が低い第2の階層の
画像信号、第2の階層の画像信号より解像度が低い第3
の階層の画像信号、・・・・を形成する符号化(階層符
号化と称される)が提案されている。この符号化によれ
ば、複数の階層の画像信号を一つの伝送路(通信路、記
録/再生プロセス)を介して伝送し、受信側では、複数
の階層とそれぞれ対応するテレビジョンモニタにより伝
送画像データを再生することができる。
ハイビジョン信号等の高解像度ビデオ信号、コンピュー
タディスプレーの画像データ、画像データベースを高速
検索するための低解像度ビデオ信号等が異なる解像度の
ビデオ信号として存在している。また、解像度の高低以
外に、画像の縮小に対しても、かかる階層符号化を応用
することが可能である。
ピラミッド符号化と称される符号化装置の一例を図14
に示す(例えば特開昭63−306789号公報参
照)。この例は、4階層の符号化であり、第1階層の画
像信号に対して、画素数が1/4の第2階層の画像信
号、画素数が1/16の第3階層、画素数が1/64の
第4階層(最上位階層)の画像信号を伝送するものであ
る。図14に示すように、入力端子1に対して、ディジ
タル画像信号が供給される。この入力画像信号が第1階
層の信号である。
算器5に供給される。間引きフィルタ2に対して、間引
きフィルタ3、減算器6および補間フィルタ8が接続さ
れる。補間フィルタ8の出力信号が減算器5に供給さ
れ、減算器5からは、入力信号と補間出力信号との同一
位置の画素毎の差分信号が発生する。この差分信号が符
号化器11を介して第1階層用の出力端子15に取り出
される。
タ4、減算器7および補間フィルタ9が接続される。減
算器6では、間引きフィルタ2の出力信号(第2階層の
画像信号)から補間フィルタ9の出力信号が減算され
る。減算器6からの差分信号が符号化器12を介して第
2階層用の出力端子16に取り出される。減算器7で
は、間引きフィルタ3の出力信号(第3階層の画像信
号)から補間フィルタ10の出力信号が減算され、差分
信号が符号化器13を介して第3階層用の出力端子17
に取り出される。間引きフィルタ4の出力信号(第4階
層の画像信号)が符号化器14を介して第4階層用の出
力端子18に取り出される。
は、水平方向および垂直方向において画素数を1/2に
間引き、全体として画素数を1/4に減少させるもので
ある。従って、入力画像信号である第1階層の画像信号
の画素数を基準として、1/4の画素数の第2階層の画
像信号、1/16の画素数の第3階層の画像信号、1/
64の画素数の第4階層の画像信号が各間引きフィルタ
2、3および4によって形成される。一方、補間フィル
タ8、9、10は、水平方向および垂直方向において、
画素の内挿を行ない、全体として入力信号の4倍の画素
数の補間出力信号を形成する。符号化器11、12、1
3は、差分信号のデータ量を圧縮する符号化を行い、符
号化器14は、第4階層の画像信号のデータ量を圧縮す
る符号化を行う。具体的には、DPCM、ADRC等が
使用される。
装置を図15に示す。入力端子21、22、23および
24に、第1、第2、第3および第4階層の入力信号が
それぞれ供給される。これらの入力信号は、復号器2
5、26、27および28にそれぞれ供給される。復号
器25〜28は、符号化器11〜14と対応するもので
ある。復号器25、26および27に対して、加算器2
9、30、31がそれぞれ接続される。
位階層(第4階層)へ向かう順になされるのに対して、
復号は、最上位階層(第4階層)から最下位階層(第1
階層)へ向かう順になされる。まず、第4階層の画像信
号が復号器28から得られ、これが出力端子38に取り
出される。第4階層の画像信号が補間フィルタ34に供
給され、補間出力信号が形成される。加算器31では、
復号器27からの第3階層の差分信号と補間フィルタ3
4の出力信号とが加算される。従って、加算器31から
は、第3階層の画像信号が得られ、これが出力端子37
に取り出される。
と復号器26からの差分信号とが加算器30で加算さ
れ、第2階層の画像信号が復号され、また、補間フィル
タ32の補間出力信号と復号器25からの差分信号とが
加算器29で加算され、第1階層の画像信号が復号され
る。これらの画像信号が出力端子35および36にそれ
ぞれ取り出される。このように、階層符号化装置は、間
引きによって上位階層を形成し、最上位階層を除く各階
層では、上位階層のデータから形成した補間データとの
差分信号を生成し、最上位階層のデータとそれ以外の階
層の差分データとをそれぞれ符号化している。
化においては、補間フィルタ8、9および10によっ
て、より上位の階層の信号から下位の階層の信号を補間
し、原画像信号と補間信号との差分信号を形成するが、
補間フィルタの補間精度が充分ではない。その結果、こ
の差分信号の値が比較的大きく、差分信号を符号化した
後でも、伝送データ量が充分に少なくならない。従っ
て、階層表現を得る代わりに、符号化効率の劣化という
問題が発生していた。
低下が防止されたディジタル画像信号の階層符号化およ
び復号装置を提供することにある。
は、第1階層の画像信号よりも画素数が減少された第2
階層の画像信号を形成するための回路と、第2階層の画
像信号から第1階層の画像信号を予測するための予測回
路と、第1階層の画像信号と予測回路からの予測値との
差分値を生成するための回路と、第2階層の画像信号お
よび差分値を伝送するための回路とからなり、予測回路
は、クラス毎に複数のクラス予測係数が予め格納された
テーブルを有し、第2階層の画像信号中に含まれ、注目
画素に対して空間的および/または時間的に近傍の複数
の参照画素とテーブルからのクラス予測係数の1次結合
により、第2階層の画像信号の注目画素データの予測値
を形成し、注目画素の真値と最も近い予測値を生じさせ
るクラス予測係数に対応するクラスを選択して、注目画
素のクラスとするクラス分類回路と、決定されたクラス
毎に注目画素に関する予測値を作成するためのデータ予
測係数を発生するための予測係数発生回路と、第2階層
の画像信号と予測係数発生回路からのデータ予測係数に
基づいて、注目画素に関する予測値を生成するための演
算回路とを有することを特徴とするディジタル画像信号
の階層符号化装置である。
に、予め学習により獲得されたデータ予測係数、予測値
あるいは正規化予測値を使用するので、補間フィルタと
比べて予測の精度を高くすることができる。従って、原
画像信号と予測画像信号との差分信号の値が小さくな
り、差分信号のデータ量を減少することができ、符号化
効率を上昇できる。クラス分けの精度を高くすることが
できる。
照して説明する。図1には、符号化装置の構成例を示
す。この実施例は、4階層の符号化であり、第1階層
(最下位層)の画像信号に対して、画素数が1/4の第
2階層の画像信号、画素数が1/16の第3階層、画素
数が1/64の第4階層(最上位階層)の画像信号を伝
送するものである。入力端子1に対して、ディジタル画
像信号が供給される。この入力画像信号が第1階層の信
号である。具体的には、放送などによる伝送、VTR等
からの再生信号が入力端子1に供給される。
算器5に供給される。間引きフィルタ2に対して、間引
きフィルタ3、減算器6および予測器41が接続され
る。この予測器41は、後述するように、間引きフィル
タ2からの第2階層の画像信号の局所的特徴(クラス)
に応じて第1階層の画像信号を出力するマッピングテー
ブルを含むクラス分類適応予測器である。予測器41の
出力信号が減算器5に供給され、減算器5からは、入力
信号と予測信号との同一位置の画素毎の差分信号が発生
する。この差分信号が符号化器11を介して第1階層用
の出力端子15に取り出される。
タ4、減算器7および予測器42が接続される。予測器
42は、予測器41と同様のもので、第3階層の画像信
号から第2階層の画像信号を予測する。減算器6では、
間引きフィルタ2の出力信号(第2階層の画像信号)か
ら予測器42の出力信号が減算される。減算器6からの
差分信号が符号化器12を介して第2階層用の出力端子
16に取り出される。減算器7では、間引きフィルタ3
の出力信号(第3階層の画像信号)から予測器43の出
力信号が減算され、差分信号が符号化器13を介して第
3階層用の出力端子17に取り出される。間引きフィル
タ4の出力信号(第4階層の画像信号)が符号化器14
を介して第4階層用の出力端子18に取り出される。
は、水平方向および垂直方向において画素数を1/2に
間引き、全体として画素数を1/4に減少させるもので
ある。従って、入力画像信号(第1階層)の画素数を基
準として、1/4の画素数の第2階層の画像信号、1/
16の画素数の第3階層の画像信号、1/64の画素数
の第4階層の画像信号が各間引きフィルタ2、3および
4によって形成される。図3は、画素配列を示すもの
で、ここでは、簡単のために、第1階層から第3階層ま
でを示している。第2階層の画素は、水平および垂直方
向で第1階層の2個の画素に対して1個の割合で存在す
る。第3階層の画素は、水平および垂直方向で第1階層
の4個の画素に対して1個の割合で存在する。図示しな
いが、第4階層の画素は、水平および垂直方向で第1階
層の8個の画素に対して1個の割合で存在する。
2、3および4の構成例を示している。図4Aの例は、
帯域制限用のプリフィルタ47およびサブサンプリング
回路48が入力端子および出力端子間に直列接続されて
いる。図4Bは、水平方向の間引きフィルタ49および
垂直方向の間引きフィルタ50が直列接続された他の例
を示す。
分信号のデータ量を圧縮する符号化を行う。符号化器1
4は、第4階層の画像信号のデータ量を圧縮する符号化
を行う。具体的には、線形量子化、非線形量子化、また
はADRC(ダイナミックレンジ適応符号化)に代表さ
れる適応量子化、DPCMを採用することができる。
装置を図2に示す。入力端子21、22、23および2
4に、第1、第2、第3および第4階層の入力信号がそ
れぞれ供給される。これらの入力信号は、復号器25、
26、27および28にそれぞれ供給される。復号器2
5〜28は、符号化器11〜14と対応するものであ
る。復号器25、26および27に対して、加算器2
9、30、31がそれぞれ接続される。
画像信号が出力される。復号器28に対して予測器46
が接続され、予測器46によって、第3階層の画像信号
が予測される。この予測信号と復号器27の出力信号と
が加算器31へ供給される。加算器31から第3階層の
画像信号が出力端子37に取り出される。この第3階層
の画像信号が予測器45に供給され、第2階層の画像信
号が予測される。
形成された第2階層の出力信号とが加算器30に供給さ
れ、加算器30から第2階層の画像信号が得られる。第
2階層の画像信号が出力端子36へ取り出され、また、
予測器44に供給される。予測器44によって形成され
た第1階層の画像信号が加算器29において、復号器2
5の出力信号と加算され、加算器29から第1階層の画
像信号が得られる。これが出力端子35に取り出され
る。このように、符号化が最下位階層(第1階層)から
最上位階層(第4階層)へ向かう順になされるのに対し
て、復号は、最上位階層(第4階層)から最下位階層
(第1階層)へ向かう順になされる。
発明による符号化装置とを比較すると、補間フィルタ
8、9、10の代わりにクラス分類適応予測器41、4
2および43が設けられていることが相違する。復号装
置に関しても同様に、補間フィルタ32、33および3
4に代えて、クラス分類適応予測器44、45および4
6が設けられていることが相違する。この発明で使用さ
れる予測器は、以下に説明するように、補間フィルタと
比較すると、その出力信号が原信号とより近いものとで
きる。従って、原信号と予測信号との差分信号の値をよ
り小さくすることができ、伝送データ量を少なくできる
利点がある。
1を例に説明する。入力端子91から供給される第2階
層のディジタル画像信号d0は、クラス予測器92、ク
ラス決定回路93及び予測演算回路95に供給される。
クラス予測器92は、各クラスに対応するクラス予測係
数と、データ予測係数とが格納されているテーブル94
から供給されるクラス予測係数d2と、第2階層のディ
ジタル画像信号d0とを演算し、第2階層の予測値d1
を生成する。この第2階層の予測値d1がクラス決定回
路93に供給される。
d1と第2階層のディジタル画像信号の真値d0との比
較からクラスを決定する。一例として、真値d0との誤
差の絶対値が最小の第2階層の予測値d1を生じさせる
クラス予測係数と対応するクラスを選択する。例えば、
テーブル94には、0〜n−1のクラス予測係数が格納
されている。クラス予測器92は、最初にクラス0のク
ラス予測係数を用いて予測値dを生成し、クラス決定回
路93はこの予測値と真値d0との誤差の絶対値を求め
る。以下、それ以外のクラスについても、同様に予測値
と真値との誤差の絶対値を求め、この絶対値が最小とな
るクラスを選択する。テーブル94は、クラス決定回路
93により選択されたクラスに対応するデータ予測係数
d3を予測演算回路95に出力する。予測演算回路95
は、供給されたデータ予測係数d3と第2階層のデジタ
ル画像信号d0との演算により、第一階層信号の予測値
を生成して、出力端子96に供給する。
ータ予測の一例について説明する。クラス予測器92は
第2階層の予測値d1を、クラス予測器92に供給され
る第2階層のデジタル画像信号d0のうち、予測の対象
である第2階層画素x8の周囲の第2階層予測タップ領
域に含まれる第2階層画素X0〜X7,X9〜X16の
16個の画素値、x0〜x7,x9〜x16と、図7に
示されるテーブル94に格納されている各クラスのクラ
ス予測係数との線形1次結合をとることにより求められ
る。例えば、クラス0に対応する予測値d1は下記の演
算によって生成される。 d1=k0×x0+k1・・・+k7×x7+k9×x9+・・・+k16×x16 (1)
元の画素の配列であるが、実際には図3に示されるよう
な2次元の画素配列を用いて予測が行なわれる。このよ
うなクラス分けは、参照画素数が多くても、クラス予測
係数のデータ量が極端に増加しない利点がある。このよ
うに、求められた各クラスに対応する第2階層の予測値
d1は、クラス決定回路93によって画素x8の真値で
ある画素値x8との値との誤差が求められ、この誤差が
最も小さいクラスが選択される。テーブル94は、図7
に示されるような各クラス0〜n−1に対応するn組の
データ予測係数のうち、選択されたクラスに対応するデ
ータ予測係数d3を予測演算回路95に出力する。
層画素のデータ予測は、供給される第2階層のデジタル
画像信号d0のうち予測する第1階層の注目画素の位置
の近傍の例えば3個の第2階層画素を使用してなされ
る。図6の例では、データ予測係数d3をw1 ,w2 ,
w3 とすると、下記の演算によって、第1階層画素の値
y´が生成される。この演算は一例であって、図3に示
されるような2次元配列中のより多くの第2階層の画素
データを使用しても良い。 y´=w1 ×x7 +w2 ×x8 +w3 ×x9 (2) 予測器42,43についても同様である。
わりに、各クラス毎のデータ予測値を格納しておくよう
にしてもよい。この場合には、クラス決定回路93によ
って決定されたクラスに対応したデータ予測値と、同じ
階層のデータd0とを予測演算回路95で合成し、合成
データを出力端子96に供給する。
予測値を格納しておいてもよい。この場合、テーブル9
4から供給された正規化データ予測値を用いて予測演算
回路95は予測値を生成し、同じ階層のデータd0と合
成して合成データを出力端子96に供給する。正規化
は、画素の値からブロック内の基準レベル(最小値、平
均値等)を減算し、減算出力をブロックのダイナミック
レンジで割る処理である。正規化は、学習時に、画素の
値を処理するのと比較して、データ用メモリの容量を低
減することができる。
測値、あるいは正規化データ予測値を予め求める学習時
の構成を示すものである。入力端子61にディジタル画
像信号(第1階層信号)が供給され、間引きフィルタ6
2、63、64によって、第2、第3、第4階層信号が
形成されるのは、図1の構成と同様である。学習部65
に第1および第2階層信号が供給され、学習部66に第
2および第3階層信号が供給され、学習部67に第3お
よび第4階層信号が供給される。
信号を予測するためのデータ予測係数、データ予測値、
あるいは正規化データ予測値を決定する。学習部66
は、第3階層信号から第2階層信号を予測するためのデ
ータ予測係数等を決定し、学習部67は、第4階層信号
から第3階層信号を予測するためのデータ予測係数等を
決定する。これらの学習部65、66、67は、予測器
のクラス予測器92とクラス決定回路93とテーブル9
4を用いたクラス分けと同一のクラス分けを行なうクラ
ス分類回路を含み、クラス毎に決定されたデータ予測係
数等がメモリ68、69、70に格納される。このメモ
リ68、69、70に格納されたデータ予測係数等がテ
ーブル94にそれぞれ格納される。
係数が格納されている場合、予測演算回路95では、例
えば第1階層の予測値を第2階層のデータから生成する
ために、注目画素の周辺の3個の画素値x7 ,x8 , x
9 が使用される。すなわち、予測係数をw1 〜w3 で表
すと、 y´=w1 ×x7 +w2 ×x8 +w3 ×x9 (3) の線形1次結合によって、予測演算回路95が予測値y
´を生成する。
ブルを学習によって獲得するための処理について以下に
説明する。図9は、学習をソフトウェア処理で行う時の
その動作を示すフローチャートである。
れ、ステップ72の学習データ形成では、既知の画像に
対応した学習データが形成される。ここで、クラス分類
およびデータ予測係数決定のために使用される複数画素
の値の最大値および最小値の差である、ダイナミックレ
ンジDRがしきい値より小さいものは、学習データとし
て扱わない制御がなされる。これは、ダイナミックレン
ジDRが小さいデータは、ノイズによる影響が大きいの
で、学習対象からそのようなブロックのデータを除外す
るための処理である。ステップ73のデータ終了では、
入力された全データ例えば1フレームのデータの処理が
終了していれば、ステップ76のデータ予測係数決定
へ、終了していなければ、ステップ74のクラス決定へ
制御が移る。
うに、8個の参照画素値を圧縮したコードに基づいて、
レベル分布のパターンを調べる処理である。ステップ7
5の正規方程式加算では、後述する正規方程式が作成さ
れる。
処理が終了後、制御がステップ76に移り、ステップ7
6のデータ予測係数決定では、後述するように、正規方
程式を行列解法を用いて解いて、データ予測係数を決め
る。ステップ77のデータ予測係数ストアで、データ予
測係数をメモリにストアし、ステップ78で学習処理の
制御が終了する。
およびステップ76(予測係数決定)の処理をより詳細
に説明する。予め線形1次結合式に基づくデータ予測係
数を用意するために最小二乗法を用いる。一般的に説明
すると、xを入力データ、wを予測係数、yを推定値と
すると、次の式が成立する。 観測方程式:xw=y (4) ここで、
データに最小二乗法を適用する。式(3)において、n
=3、m=学習データ数となる。m>nの場合、w1 〜
wnは一意に決まらないので、誤差ベクトルEを定義し
て、式(6)の残差方程式を作成する。
は、次の式を最小にする条件が成り立つ場合が考えられ
る。
件を満たすw1 、w2 、・・・、wn を算出すれば良
い。そこで、残差方程式(6)から式(8)が得られ
る。
る。
程式として次の式(10)が得られる。
同じ方程式を立てることが可能であるので、各wi の最
適値を求めることができる。そして掃き出し法(Gauss-J
ordan の消去法)を用いて連立方程式を解けば、予測係
数wi が求まる。この予測係数wi をクラスコードcで
指示されるメモリのアドレスに格納しておく。
ードウエアのみで、あるいは部分的にハードウエアを使
用して行うことも可能である。
係数で構成されるものに限らず、予め学習により決定さ
れたクラス毎の、最適なデータ予測値(代表値と称す
る)が格納されたものを使用しても良い。
できる。図10は、この処理を説明するフローチャート
である。図10のステップ81は、このフローチャート
の開始を表し、ステップ82は、この学習を行うための
準備として、クラスの度数カウンタN(*)およびクラ
スのデータテーブルE(*)の初期化を行うために全て
の度数カウンタN(*)および全てのデータテーブルE
(*)へ `0' データが書き込まれる。ここで、 `*'
は、全てのクラスを示し、クラスc0に対応する度数カ
ウンタは、N(c0)となり、データテーブルは、E
(c0)となる。ステップ82(初期化)の制御が終了
するとステップ83へ制御が移る。
習対象画素近傍データから、その注目画素のクラスが決
定される。そして、ステップ84では、学習対象となる
例えば第1階層の画素値eが検出される。また、このス
テップ84では、その画素値eが含まれるブロックのダ
イナミックレンジDRが所定のしきい値よりも小さいも
のは、学習データとして扱わない処理もなされる。
びステップ84(データ検出)から制御がステップ85
へ移り、ステップ85のデータ加算では、クラスcのデ
ータテーブルE(c)の内容に画素値eが加算される。
次に、ステップ86の度数加算において、そのクラスc
の度数カウンタN(c)が `+1' インクリメントされ
る。
(クラス決定)からステップ86(度数加算)の制御が
終了したか否かを判定するステップ87では、全データ
の学習が終了していれば、 `YES' 、すなわちステッ
プ88へ制御が移り、全データの学習が終了していなけ
れば、 `NO' 、すなわちステップ83(クラス決定)
へ制御が移り、全データの学習が終了になるまで、繰り
返し実行され、全てのクラスの度数カウンタN(*)と
対応する全てのクラスのデータテーブルE(*)が生成
される。
持されている各クラスのデータテーブルE(*)が対応
する画素値eの出現度数が保持されている各クラスの度
数カウンタN(*)で除算され、各クラスの平均値が算
出される。この平均値が各クラスの推定値となる。ステ
ップ89では、ステップ88において、算出された推定
値(平均値)が各クラス毎に登録される。全クラスの推
定値の登録が終了すると、制御がステップ90へ移り、
この学習フローチャートの終了となる。上述の手法は、
学習対象画素値の分布の平均から推定値が生成されるこ
とから、重心法と呼ばれる。
正規化予測値を使用することができる。この場合、デー
タ検出のステップ84において、画素値の代わりに正規
化予測値が使用される。すなわち、ブロック内の基準値
baseの除去とダイナミックレンジDRによる正規化の処
理がなされる。入力画素値をyとすると、(y−base)
/DRの演算により入力データが正規化される。正規化
予測値の平均化処理がなされ、メモリには、正規化予測
値g(c)が格納される。
INである。基準値としては、注目画素に近い位置のサ
ンプリング点の画素レベル、ブロック内の画素レベルの
平均値等を採用できる。この基準値をbaseと称する。基
準値baseは、ブロック内の画素のレベル分布にとって
は、共通成分、すなわち、冗長成分であり、基準値base
を除去することにより、レベル方向の冗長度を除去でき
る。図7中の変換回路58では、下記の演算によって、
補間値y´が生成される。 y´=DR×g(c)+base (11)
るので、レベルそのものを代表値とするのと比して、メ
モリの容量の削減、ハードウエアの小規模化を達成する
ことができる。
は、予め学習により決定される。図11は、クラス予測
係数の学習時の処理を示すフローチャートである。クラ
ス予測係数の学習は、上述したデータ予測係数の学習と
同様になされる。ステップ111から学習処理の制御が
開始され、ステップ112の学習データ形成では、既知
の画像に対応した学習データが形成される。具体的に
は、上述したように、図6に示すように配列された17
個の画素の配列が一組の学習データとされる。
れた全データ例えば1フレームのデータの処理が終了し
ていれば、ステップ115のクラス予測係数決定へ、終
了していなければ、ステップ114の正規方程式生成へ
制御が移る。ステップ114の正規方程式生成では、上
述の式(10)の正規方程式が作成される。
のデータ終了から制御がステップ115に移り、ステッ
プ115の予測係数決定では、式(10)を行列解法を
用いて解いて、クラス予測係数k0 〜k16を決定する。
次のステップ116において、決定されたクラス予測係
数k0 〜k16と第2階層画素の値x0 〜x16との線形1
次結合によって、予測値x´(d1)が計算され、この
予測x´と真値x8 との間の誤差の絶対値が計算され
る。誤差の演算は、係数を決定するのに使用した第2階
層画素と、それ以外の全ての第2階層画素について行わ
れる。係数を決定するのに使用した第2階層画素につい
て、誤差はきわめて少ない。
の絶対値としきい値Thとが比較される。誤差の絶対値
がしきい値Th未満であるならば、クラス予測係数がク
ラスiの係数としてメモリに格納される(ステップ11
8)。そして、i=nかどうかがステップ119で決定
され、若しそうであるならば、学習処理が終了し、若し
そうでない時には、iがインクリメントされる(ステッ
プ120)。そして、ステップ112に戻り、上述の処
理が繰り返される。
きい値Th以上となる第2階層画素のデータが判別さ
れ、データ選択のステップ121において、学習データ
として使用されるものがしきい値Th以上の誤差を生じ
させたものに限定される。このように、クラス0からn
−1のそれぞれのクラス予測係数が決定される。
成)およびステップ115(予測係数決定)の処理は、
上述のデータ予測係数w1 〜wn の決定の処理と同様で
あるので、その説明は、重複を避けるために省略する。
ータ予測値)を予め学習により決定する方式の場合に
は、図12に示すテーブルが作成される。すなわち、ク
ラス0〜n−1のそれぞれには、上述したクラス予測係
数と図10のフローチャートの処理で決定された代表値
(データ予測値)L0〜Ln-1 とが格納されている。
る。入力ディジタル画像信号が供給される入力端子19
1に対して、クラス分類回路192およびアクティビィ
ティークラス分類回路193が接続される。クラス分類
回路192は、上述のクラス予測器92、クラス決定回
路93、テーブル94から成り予測式表現を用いたクラ
ス分類を行う。アクティビィティークラス分類回路19
3は、ブロック毎のアクティビィティーに基づくクラス
分類を行なう。アクティビィティーの具体的なものは、
ブロックのダイナミックレンジ、ブロックデータの標準
偏差の絶対値、ブロックデータの平均値に対する各画素
の値の差分の絶対値等である。アクティビィティーによ
り画像の性質が異なる場合があるので、このようなアク
ティビィティーをクラス分類のパラメータとして使用す
ることによって、クラス分類をより高精度とすることが
でき、また、クラス分類の自由度を増すことできる。
クラスコードc1およびc2がメモリ194に対してア
ドレスとして供給される。このメモリ194には、予測
器の場合では、学習で得られたデータ予測係数、データ
予測値、あるいは正規化データ予測値が格納されてい
る。
像信号と予測信号との差分信号を形成する時に、マッピ
ングテーブルを使用して予測信号を形成する際、複数の
参照画素およびクラス予測係数の線形1次結合によって
予測値を生成し、この予測値と真値との誤差が最小のも
のを検出することによって、クラス分類を行なってい
る。従って、参照画素数と等しい予測係数を記憶するの
で、参照画素数を多くしても、クラス分類用テーブルを
格納するメモリの容量がそれ程増大しない利点がある。
である。
ある。
タ予測のための画素の位置を表す略線図である。
ロック図である。
配列を示す略線図である。
れるテーブルの構成を示す略線図である。
フトウェア処理で行う時のフローチャートである。
理で行う時のフローチャートである。
トウェア処理で行う時のフローチャートである。
ーブルの構成を示す略線図である。
る。
ク図である。
ブロック図である。
Claims (7)
- 【請求項1】 第1階層の画像信号よりも画素数が減少
された第2階層の画像信号を形成するための手段と、 上記第2階層の画像信号から上記第1階層の画像信号を
予測するための予測手段と、 上記第1階層の画像信号と上記予測手段からの予測値と
の差分値を生成するための手段と、 上記第2階層の画像信号および上記差分値を伝送するた
めの手段とからなり、 上記予測手段は、 クラス毎に複数のクラス予測係数が予め格納されたテー
ブルを有し、上記第2階層の画像信号中に含まれ、注目
画素に対して空間的および/または時間的に近傍の複数
の参照画素と上記テーブルからのクラス予測係数の1次
結合により、上記第2階層の画像信号の注目画素データ
の予測値を形成し、上記注目画素の真値と最も近い上記
予測値を生じさせる上記クラス予測係数に対応するクラ
スを選択して、上記注目画素のクラスとするクラス分類
手段と、 上記決定されたクラス毎に注目画素に関する上記予測値
を作成するためのデータ予測係数を発生するための予測
係数発生手段と、 上記第2階層の画像信号と上記予測係数発生手段からの
データ予測係数に基づいて、上記注目画素に関する上記
予測値を生成するための演算手段とを有することを特徴
とするディジタル画像信号の階層符号化装置。 - 【請求項2】 第1階層の画像信号よりも画素数が減少
された第2階層の画像信号を形成し、上記第2階層の画
像信号から上記第1階層の画像信号を予測し、上記第1
階層の画像信号と予測値との差分値を生成し、上記差分
値および上記第2階層の画像信号を送信するディジタル
画像信号の階層符号化の復号装置において、 上記第2階層の画像信号と上記差分値を受信する手段
と、 上記第2階層の画像信号から上記第1階層の画像信号の
予測値を形成するための予測手段と、 上記予測値と受信された上記差分値を加算することによ
って、上記第1階層の画像信号を形成するための手段と
からなり、 上記予測手段は、 クラス毎に複数のクラス予測係数が予め格納されたテー
ブルを有し、上記第2階層の画像信号中に含まれ、注目
画素に対して空間的および/または時間的に近傍の複数
の参照画素と上記テーブルからのクラス予測係数の1次
結合により、上記第2階層の画像信号の注目画素データ
の予測値を形成し、上記注目画素の真値と最も近い上記
予測値を生じさせる上記クラス予測係数に対応するクラ
スを選択して、上記注目画素のクラスとするクラス分類
手段と、 上記決定されたクラス毎に上記注目画素に関する予測値
を作成するためのデータ予測係数を発生するための予測
係数発生手段と、 上記第2階層の画像信号と上記予測係数発生手段からの
データ予測係数に基づいて、上記注目画素に関する上記
予測値を生成するための演算手段とを有することを特徴
とするディジタル画像信号の階層符号化の復号装置。 - 【請求項3】 請求項1、または請求項2に記載の装置
において、 上記予測係数発生手段は、クラス毎のデータ予測係数を
格納するメモリ手段を有し、 上記データ予測係数は、予め学習によって得られた、注
目画素の空間的および/または時間的に近傍の複数の画
素の値と上記データ予測係数の線形1次結合によって、
上記注目画素の値を作成した時に、作成された値と上記
注目画素の真値との誤差を最小とするような値であるこ
とを特徴とする装置。 - 【請求項4】 第1階層の画像信号よりも画素数が減少
された第2階層の画像信号を形成するための手段と、 上記第2階層の画像信号から上記第1階層の画像信号を
予測するための予測手段と、 上記第1階層の画像信号と上記予測手段からの予測値と
の差分値を生成するための手段と、 上記第2階層の画像信号および上記差分値を伝送するた
めの手段とからなり、 上記予測手段は、 クラス毎に複数のクラス予測係数が予め格納されたテー
ブルを有し、上記第2階層の画像信号中に含まれ、注目
画素に対して空間的および/または時間的に近傍の複数
の参照画素と上記テーブルからのクラス予測係数の1次
結合により、上記第2階層の画像信号の注目画素データ
の予測値を形成し、上記注目画素の真値と最も近い上記
予測値を生じさせる上記クラス予測係数に対応するクラ
スを選択して、上記注目画素のクラスとするクラス分類
手段と、 上記決定されたクラス毎に上記注目画素に関する上記予
測値を発生するための予測値発生手段とを有することを
特徴とするディジタル画像信号の階層符号化装置。 - 【請求項5】 第1階層の画像信号よりも画素数が減少
された第2階層の画像信号を形成し、上記第2階層の画
像信号から上記第1階層の画像信号を予測し、上記第1
階層の画像信号と予測値との差分値を生成し、上記差分
値および上記第2階層の画像信号を送信するディジタル
画像信号の階層符号化の復号装置において、 上記第2階層の画像信号と上記差分値を受信する手段
と、 上記第2階層の画像信号から上記第1階層の画像信号の
予測値を形成するための予測手段と、 上記予測値と受信された上記差分値を加算することによ
って、上記第1階層の画像信号を形成するための手段と
からなり、 上記予測手段は、 クラス毎に複数のクラス予測係数が予め格納されたテー
ブルを有し、上記第2階層の画像信号中に含まれ、注目
画素に対して空間的および/または時間的に近傍の複数
の参照画素と上記テーブルからのクラス予測係数の1次
結合により、上記第2階層の画像信号の注目画素データ
の予測値を形成し、上記注目画素の真値と最も近い上記
予測値を生じさせる上記クラス予測係数に対応するクラ
スを選択して、上記注目画素のクラスを決定するための
クラス分類手段と、 上記決定されたクラス毎に上記注目画素に関する上記予
測値を発生するための予測値発生手段とを有することを
特徴とするディジタル画像信号の階層符号化の復号装
置。 - 【請求項6】 請求項4、または請求項5に記載の装置
において、 上記予測値発生手段は、クラス毎に予測値を格納するメ
モリ手段を有し、 学習時にクラス毎に得られる値の累積値を累積度数で除
した値がクラス毎の予測値として上記メモリ手段に格納
されていることを特徴とする装置。 - 【請求項7】 請求項4、または請求項5に記載の装置
において、 上記予測値発生手段は、クラス毎の予測値を格納するメ
モリ手段を有し、 学習時に、注目画素を含む複数の画素からなるブロック
を形成し、 上記ブロック内のダイナミックレンジによって、上記注
目画素の値から上記ブロックの基準値を合成した値を正
規化し、 上記正規化された値の累積値を累積度数で除した値がク
ラス毎の予測値として、上記メモリ手段に格納され、 上記基準値および上記ダイナミックレンジを使用して、
上記メモリ手段の出力が予測値に変換されるようにした
ことを特徴とする装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18474195A JP3758211B2 (ja) | 1994-07-19 | 1995-06-28 | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18889694 | 1994-07-19 | ||
JP6-188896 | 1994-07-19 | ||
JP18474195A JP3758211B2 (ja) | 1994-07-19 | 1995-06-28 | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0888856A true JPH0888856A (ja) | 1996-04-02 |
JP3758211B2 JP3758211B2 (ja) | 2006-03-22 |
Family
ID=26502675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18474195A Expired - Lifetime JP3758211B2 (ja) | 1994-07-19 | 1995-06-28 | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3758211B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997050253A1 (en) * | 1996-06-27 | 1997-12-31 | Sharp Kabushiki Kaisha | Picture encoder and picture decoder |
JP2000099714A (ja) * | 1998-09-28 | 2000-04-07 | Sony Corp | 画像データ変換装置及び画像データ変換方法 |
JP2001222702A (ja) * | 2000-02-07 | 2001-08-17 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
US6381369B1 (en) | 1996-07-17 | 2002-04-30 | Sony Corporation | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium |
JP2005210343A (ja) * | 2004-01-22 | 2005-08-04 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
WO2008062687A1 (en) * | 2006-11-24 | 2008-05-29 | Nec Corporation | Coding and decoding device, coding and decoding method and program |
JP2008536417A (ja) * | 2005-04-12 | 2008-09-04 | シーメンス アクチエンゲゼルシヤフト | ビデオ画像符号化における適応型補間を用いたデータ送信処理方法、データ受信処理方法、送信機および受信機 |
JP2015536108A (ja) * | 2012-10-07 | 2015-12-17 | ヌメリ リミテッド | 映像圧縮方法 |
-
1995
- 1995-06-28 JP JP18474195A patent/JP3758211B2/ja not_active Expired - Lifetime
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6546142B2 (en) | 1996-06-19 | 2003-04-08 | Sharp Kabushiki Kaisha | Motion image coding apparatus for performing hierarchical coding |
US6295381B1 (en) | 1996-06-27 | 2001-09-25 | Sharp Kabushiki Kaisha | Coding apparatus and decoding apparatus of image data and corresponding shape data at different resolutions |
US6671412B2 (en) | 1996-06-27 | 2003-12-30 | Sharp Kabushiki Kaisha | Motion image coding apparatus for performing hierarchical coding |
WO1997050253A1 (en) * | 1996-06-27 | 1997-12-31 | Sharp Kabushiki Kaisha | Picture encoder and picture decoder |
US6381369B1 (en) | 1996-07-17 | 2002-04-30 | Sony Corporation | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium |
JP2000099714A (ja) * | 1998-09-28 | 2000-04-07 | Sony Corp | 画像データ変換装置及び画像データ変換方法 |
JP2001222702A (ja) * | 2000-02-07 | 2001-08-17 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
JP2005210343A (ja) * | 2004-01-22 | 2005-08-04 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
JP2012010388A (ja) * | 2005-04-12 | 2012-01-12 | Siemens Ag | ビデオ画像符号化における適応型補間を用いた、データ送信処理方法およびデータ受信処理方法 |
JP2008536417A (ja) * | 2005-04-12 | 2008-09-04 | シーメンス アクチエンゲゼルシヤフト | ビデオ画像符号化における適応型補間を用いたデータ送信処理方法、データ受信処理方法、送信機および受信機 |
US8270489B2 (en) | 2005-04-12 | 2012-09-18 | Siemens Aktiengesellschaft | Adaptive interpolation in image or video encoding |
WO2008062687A1 (en) * | 2006-11-24 | 2008-05-29 | Nec Corporation | Coding and decoding device, coding and decoding method and program |
JP2012029298A (ja) * | 2006-11-24 | 2012-02-09 | Nec Corp | 符号化および復号装置、符号化および復号方法ならびにプログラム |
US8229234B2 (en) | 2006-11-24 | 2012-07-24 | Nec Corporation | Coding and decoding device, coding and decoding method and program |
JP4831372B2 (ja) * | 2006-11-24 | 2011-12-07 | 日本電気株式会社 | 符号化および復号装置、符号化および復号方法ならびにプログラム |
JP2015536108A (ja) * | 2012-10-07 | 2015-12-17 | ヌメリ リミテッド | 映像圧縮方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3758211B2 (ja) | 2006-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3590996B2 (ja) | ディジタル画像信号の階層符号化および復号装置 | |
US5940132A (en) | Image signal converting apparatus | |
JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
US5532747A (en) | Method for effectuating half-pixel motion compensation in decoding an image signal | |
JP3781203B2 (ja) | 画像信号補間装置及び画像信号補間方法 | |
EP0639925B1 (en) | Motion vector detection | |
JPH11341496A (ja) | 画像処理方法,画像処理装置,及びデータ記憶媒体 | |
JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
KR100281197B1 (ko) | 신호변환장치 | |
JP3758211B2 (ja) | ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法 | |
JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
KR100591867B1 (ko) | 기억장치및기억방법 | |
JPH1011583A (ja) | クラス分類適応処理装置、クラス分類適応処理用の学習装置および学習方法 | |
JP3830549B2 (ja) | ディジタル画像信号の階層符号化装置および方法 | |
JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
JP3326879B2 (ja) | 画像信号変換装置 | |
JPH10191353A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体 | |
JPH0888849A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
JP3906770B2 (ja) | ディジタル画像信号処理装置および方法 | |
JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
JP4123452B2 (ja) | 画像処理装置および画像処理方法 | |
JP2004072800A (ja) | 画像信号生成装置および生成方法 | |
JP3746305B2 (ja) | 画像信号生成装置および方法、並びにディジタル画像信号処理装置および方法 | |
JPH1093981A (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051226 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |