JP2533631B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】 【産業上の利用分野】

本発明は、画像信号に直交変換を施した後、符号化す
る画像符号化装置に関するものである。

【従来の技術】

従来より、直交変換を利用して画像信号の冗長性を低
減することにより画像を高能率に符号化する方式として
離散コサイン変換符号化方式、外挿予測−離散サイン変
換符号化方式等が知られている。これらの符号化方式で
は入力画像信号を所定の大きさのブロックに分割し、各
ブロックごとに入力画像信号列を与える。 外挿予測−離散サイン変換符号化方式は、第７図に示
すように、符号化後すでに再生された再生画像信号列
｛_ｉ｝に基づいて予測手段17により次の入力画像信号
列を予測して予測画像信号列｛_ｉ｝を求める。入力画
像信号列｛x_i｝は、予測画像信号列｛_ｉ｝との差をと
り、この差である予測誤差信号列｛y_i｝に対して離散サ
イン変換手段11bにより離散サイン変換を施し、得られ
た変換係数列｛Y_i｝に対して量子化手段12により量子化
インデクスＱを付与し、この量子化インデクスＱを符号
化手段13により符号化するのである。予測手段17に入力
される再生画像信号列｛_ｉ｝は、量子化インデクスＱ
を逆量子化手段14により逆量子化して再生した変換係数
列｛_ｉ｝に、逆離散サイン変換手段15によって逆離散
サイン変換を施して予測誤差信号列｛_ｉ｝を再生し、
予測手段17によって予測されている予測画像信号列｛
_ｉ｝と加算することにより得られるのである。再生画像
信号列｛_ｉ｝は、以後の予測に備えて遅延メモリ16に
記憶され、遅延メモリ16に記憶されている再生画像信号
列｛_ｉ｝が予測手段17での予測に利用される。ここに
おいて、上記ブロックはＮ×Ｎ画素を含む正方形のブロ
ックとするのが普通であり、行列表現するのが一般的で
あるが（図では添字をijとしている）、説明の簡略化の
ために列ベクトルで表現してある。 符号化された信号から画像を再生するには、第８図に
示すように、復号化手段21によって量子化インデクスＱ
を再生し、この量子化インデクスＱから逆量子化手段24
によって変換係数列｛_ｉ｝を再生し、変換係数列｛
_ｉ｝に対して逆離散サイン変換手段25bにより逆離散サ
イン変換を施して予測誤差信号列｛_ｉ｝を再生し、さ
らに、予測手段27によって予測されている予測画像信号
列｛_ｉ｝と加算して再生画像信号列｛_ｉ｝を得る。
再生画像信号列｛_ｉ｝は、以後の予測に備えて遅延メ
モリ26に記憶され、遅延メモリ26に記憶されている再生
画像信号列｛_ｉ｝が予測手段27での予測に利用される
のである。ここに、画像の再生は、復号化手段21を除け
ば、符号化の際に予測画像信号列｛_ｉ｝を得た構成と
同じである。

【発明が解決しようとする課題】

以上のように、入力画像信号列の持つ冗長性を低減す
るために、予測誤差信号列を求めるとともに、その予測
誤差信号列に対して次式で表される直交変換（離散サイ
ン変換）を施している。 ［X_i］＝［a_ij］［x_i］ ここに、X_iは変換係数列の成分、x_iは予測誤差信号列
の成分、a_ijは直交変換行列の成分である。このような
直交変換を施すと、変換前の行列に比較して変換後の行
列では、成分の最大値と最小値との差が大きくなる。す
なわち、直交変換によりダイナミックレンジが大きくな
るから、入力ビット長よりも出力ビット長の方が大きく
なる。また、上述の説明では入力画像信号列を１次元と
して説明したが、画像は２次元の相関を有しているか
ら、実際には入力画像信号列は第９図のような２次元の
ブロックになっており、入力画像信号列に対する直交変
換は２次元直交変換となる。２次元直交変換における演
算では、列方向（行列の横方向）の１次元直交変換を列
数の回数行い、次に行方向（行列の縦方向）の１次元直
交変換を行数の回数行う。このように２回の直交変換を
行うから、最終的な出力ビット長は、入力ビット長に比
較して相当に大きくなる。そこで、処理するデータのビ
ット長を小さくしてハードウエアを簡略にするには、デ
ータのビット長を制限する必要がある。ビット長を制限
するには、第10図に示すように、下位ビット丸めたり、
上位ビットをカットすることが考えられる。すなわち、
第10図では、入力画像信号列のダイナミックレンジが10
ビット長であって、直交変換を施すことによりダイナミ
ックレンジが15ビット長になるところを10ビット長に制
限する例を示している。第10図（ａ）では、下位５ビッ
トを丸めて出力を10ビット長に制限しているのであり、
第10図（ｂ）では、下位４ビットを丸めるとともに、上
位１ビットをカットすることにより出力を10ビット長に
制限しているのである。このように、下位ビットを丸め
たり上位ビットをカットする処理を行うと、トランケー
ションエラーが生じる。すなわち、第10図（ａ）のよう
に処理すると、下位ビットを丸めているから、丸めの誤
差が大きいという問題がある。一方、第10図（ｂ）のよ
うに処理すると、下位ビットについては第10図（ａ）の
場合よりも丸めの誤差は小さくなり、また、上位ビット
も１ビットのみカットしているから、入力画像信号列の
信号電力が比較的小さいときには誤差の発生が小さいも
のである。しかしながら、入力画像信号列の信号電力が
比較的大きいと、上位ビットの切り取りによる誤差が多
く発生し再生画像の画質が大きく劣化するという問題が
生じる。 入力画像信号列は、一般に多種多様であるから、第10
図（ａ）と第10図（ｂ）とのいずれか一方の処理によっ
て出力ビット長を制限すると、入力画像信号列の持つ多
様性に対応できないという問題が生じる。とくに、外挿
予測−離散サイン変換においては、原画像の濃淡変化の
少ない領域で予測誤差信号列の成分が小さい値になり、
上述のように下位ビットを丸めてしまうと、予測画像信
号列と再生画像信号列とが一致する状態が連続的に発生
し、予測誤差が次第に蓄積して画質が劣化するという問
題が生じる。 本発明は上記問題点の解決を目的とするものであり、
直交変換後の出力を所定のビット長に制限しながらも、
トランケーションエラーによる画質の劣化を防止できる
ようにし、とくに外挿予測−離散サイン変換を適用しな
がらも再生画像信号列のS/N比を改善して濃淡変化の少
ない領域があっても画質の劣化を抑制できるようにした
画像符号化装置を提供しようとするものである。

【課題を解決するための手段】 本発明では、上記目的を達成するために、入力画像信
号列の符号化後すでに再生された再生画像信号列に基づ
いて入力画像信号列の予測値として予測画像信号列を求
める予測手段と、予測手段により求めた予測画像信号列
と入力画像信号列との差である予測誤差信号列に対して
離散サイン変換を施す離散サイン変換手段と、離散サイ
ン変換手段により得られた変換係数列を符号化する符号
化手段とを備えた画像符号化装置において、変換係数列
のビット長を制限するにあたり、カットする上位ビット
のビット数と丸める下位ビットのビット数とを入力画像
信号列の信号電力等の統計的特性量に応じて切り換える
切換手段を設けているのである。 また、原画像を複数の領域に分割する手段を設け、切
換手段では各領域単位でカットする上位ビットのビット
数と丸める下位ビットのビット数とを信号電力等の統計
的特性量に応じて切り換えるようにしてもよい。

【作用】

上記構成によれば、入力画像信号列の信号電力のよう
な統計的特性量に基づいて離散サイン変換後の出力ビッ
ト長を制限する方法（以後、トランケーションの方法と
称する）を変えるから、直交変換の後に出力ビット長を
制限する際に入力の信号列に対応して最適なトランケー
ションの方法が選択できるのであり、トランケーション
エラーがほとんど生じないようにすることができ、トラ
ンケーションエラーによる画質の劣化を抑制することが
できるのである。とくに、外挿予測−離散サイン変換を
適用している場合に、一般に原画像の濃淡変化の少ない
領域では予測誤差の蓄積による画質の劣化が生じるもの
であるが、上述のようにトランケーションを制御するこ
とにより、予測誤差信号列の成分が小さい値であっても
有意の符号を与えることができ、結果的に誤差の蓄積を
抑制して画質の劣化を抑制することができるのである。
このことは、本発明のように外挿予測−離散サイン変換
を適用する場合にとくに重要である。しかも、カットす
る上位ビットのビット数と丸める下位ビットのビット数
とを入力画像信号列の信号電力等の統計的特性量に応じ
て切り換えるから、信号電力の大小にかかわらず出力ビ
ット長を制限しながらもトランケーションエラーを抑制
することができる。 また、原画像を複数の領域に分割して、各領域単位で
トランケーションの方法を切り換えるようにすれば、画
像の局所的な特性量の変化に対応した符号化が行えるこ
とになり、さらに画質の劣化を抑制できるのである。す
なわち、各領域単位でトランケーションの方法を切り換
えることにより、コントラストの比較的強い領域につい
てはコントラストを優先し、コントラストの比較的弱い
領域については細部の潰れを防止することができる。

【実施例１】 本実施例のブロック図を第１図に示す。外挿予測−離
散サイン変換符号化方式では、原画像信号を複数のブロ
ックに分割して得た入力画像信号列が入力される。離散
サイン変換部７への入力は、量子化された後すでに再生
された再生画像信号列に基づいて予測手段17により予測
した予測画像信号列と入力画像信号列との差である予測
誤差信号列であるので、信号レベル検出手段１では、予
測誤差信号列の信号電力を反映する特性量（たとえば相
関係数等）に基づいて、実施例１と同様に制御情報を生
成する。離散サイン変換手段11bでは信号レベル検出手
段１で生成された制御情報に応じて出力される変換係数
列のトランケーションの方法を変化させて入力画像信号
列に対して離散サイン変換を行い、変換係数列を出力す
る。つまり、信号レベル検出手段１と離散サイン変換手
段11bとが切換手段として機能する。量子化手段12では
変換係数列に対し上記制御情報に基づいてステップ幅の
スケールを設定して量子化を行い、量子化インデクスを
出力する。符号化手段13では量子化インデクスを可変長
符号に符号化するとともに信号レベル検出手段１で生成
された制御情報を付加情報として符号化し、符号語を出
力する。ところで、量子化インデクスは逆量子化手段14
により上記制御情報に基づいてスケールを設定したステ
ップ幅を用いて逆量子化されて変換係数列が再生され、
この変換係数列に対して逆離散サイン変換手段15により
上記制御情報に基づいてトランケーションを行うビット
長が設定されて逆離散サイン変換が施され、予測誤差信
号列が再生される。予測誤差信号列は、予測手段17から
の予測信号列と加算されて再生画像信号列が得られ、再
生画像信号列は、遅延メモリ16に記憶され以降の予測に
使用される。 符号語から画像信号を再生するには、第２図に示すよ
うに、復号化手段21により量子化インデクスおよび付加
情報としての制御情報を復号化し、逆量子化手段24によ
り上記制御情報に基づいてスケールを設定したステップ
幅を用いて逆量子化を行って変換係数列を再生する。さ
らに、変換係数列に対して逆離散サイン変換手段25bに
より上記制御情報に応じてトランケーションを行うビッ
ト長を設定して逆離散サイン変換を行って予測誤差信号
列を再生した後、予測手段27からの予測信号列と加算し
て再生画像信号を得るのである。また、再生画像信号列
は、遅延メモリ26に記憶され以降の予測に使用される。 本実施例のトランケーションのビット数をどのように
切り換えるべきかの評価のための符号量とSN比との関係
を第３図に示す。ここに、トランケーションの方法は第
10図（ａ）（ｂ）に示した処理を切り換えて行っている
（図中○印を通る線が第10図（ａ）に対応し、□印を通
る線が第10図（ｂ）に対応している）。また、入力画像
は、一般的な自然画像（女性の人物像）であり、原画像
信号の相関が強いので予測誤差信号の信号電力は比較的
小さく、トランケーションの方法が第10図（ａ）と第10
図（ｂ）のいずれの方法でも上位ビットのカットは発生
しない。したがって丸めの誤差が小さい第10図（ｂ）の
方法の方がSN比が高くなっている。 また、印刷文字を含むコントラストの強い画像に対し
ては下表のように、部分的に予測誤差信号の信号電力が
大きくなることがあり、第10図（ｂ）の方法のほうが上
位ビットの切り取りが多数発生しており、上記ビットの
切り取りによる誤差の影響により第10図（ａ）の方法に
比べSN比が低くなっている。

【実施例２】 本実施例では、入力画像信号列は、原画像信号を分割
した所定の大きさのブロックであって、第４図に示すよ
うに、予測誤差信号列は、離散サイン変換手段11bによ
り離散サイン変換が施される。離散サイン変換手段11b
におけるトランケーションの方法を切り換えるための制
御情報は、すでに符号化したブロックについて再生した
予測誤差信号に基づいて得られる。 すなわち、第６図に示すように、これから符号化する
ブロックＸに対してブロックＸの周辺ですでに符号化さ
れているブロックＡ〜Ｄについて再生した予測誤差信号
の信号電力を参照することにより、多数決や算術平均等
の一定の規則にしたがってブロックＸのトランケーショ
ンの方法を決定する。このように符号化する対象となっ
ているブロックＸの周辺ですでに符号化されたブロック
Ａ〜Ｄの予測誤差信号に基づいた制御情報を参照して、
対象ブロックＸの制御情報を生成しているから、ブロッ
ク単位の処理によって、トランケーションの方法の切り
換えをブロック単位で行うことができ、画像の局所的な
特性に適応した切り換えを行うことができるのはもちろ
んのこと、符号化ずみの情報を参照しているので新たに
制御情報を符号化する必要がなく符号語に付加情報が生
じないのである。 信号レベル検出手段１では、符号化が完了したブロッ
クの再生された予測誤差信号の信号電力を測定し、信号
電力の大小を示す制御情報を生成し記憶手段18に記憶す
る。記憶手段18には、符号化ずみのブロックの信号電力
の情報が蓄積される。離散サイン変換手段11bでは、記
憶手段18に蓄積された情報のうち符号化の対象となるブ
ロックの周辺のブロックの情報を参照してトランケーシ
ョンの方法を決定して制御情報を生成し、これに基づい
て離散サイン変換を行うのである。 符号語から画像信号を再生するには、第５図に示すよ
うに、すでに再生したブロックにおける予測誤差信号の
信号電力を信号レベル検出手段1bにより測定し、この信
号電力に基づく制御情報を記憶手段29に蓄積しておく。
対象となるブロックの周辺のブロックの情報を参照して
トランケーションを行うビット数を決定して制御情報を
生成し、この制御情報に基づいて離散サイン変換を行う
のである。他の構成は実施例１と同様であるから説明を
省略する。

【発明の効果】

本発明は上述のように、入力画像信号列の符号化後す
でに再生された再生画像信号列に基づいて入力画像信号
列の予測値として予測画像信号列を求める予測手段と、
予測手段により求めた予測画像信号列と入力画像信号列
との差である予測誤差信号列に対して離散サイン変換を
施す離散サイン変換手段と、離散サイン変換手段により
得られた変換係数列を符号化する符号化手段とを備えた
画像符号化装置において、変換係数列のビット長を制限
するにあたり、カットする上位ビットのビット数と丸め
る下位ビットのビット数とを入力画像信号列の信号電力
等の統計的特性量に応じて切り換える切換手段を設けた
ものであり、外挿予測−離散サイン変換を適用した場合
には、一般に原画像の濃淡変化の少ない領域では予測誤
差の蓄積による画質の劣化が生じるものであるが、本発
明では、上述のようにトランケーションを制御している
ので、予測誤差信号列の成分が小さい値であっても有意
の符号を与えることができ、結果的に誤差の蓄積を抑制
して画質の劣化を抑制することができるという利点があ
る。しかも、カットする上位ビットのビット数と丸める
下位ビットのビット数とを入力画像信号列の信号電力等
の統計的特性量に応じて切り換えるから、信号電力の大
小にかかわらず出力ビット長を制限しながらもトランケ
ーションエラーを抑制することができるという利点があ
る。

【図面の簡単な説明】

第１図は本発明の実施例１の符号化処理を行う部分の概
略構成図、第２図は同上の復号化処理を行う部分の概略
構成図、第３図は本発明の動作説明図、第４図は本発明
の実施例２を示す符号化処理を行う部分の概略構成図、
第５図は同上の復号化処理を行う部分の概略構成図、第
６図は同上における制御情報を得る処理の概念を示す説
明図、第７図は従来例を示す概略構成図、第８図は同上
における復号化処理を行う部分の概略構成図、第９図は
同上における直交変換の計算過程の概念を示す動作説明
図、第10図は同上におけるトランケーションの方法の一
例を示す説明図である。 1,1b…信号レベル検出手段、２…信号レベル調節手段、
11b…離散サイン変換手段、12…量子化手段、13…符号
化手段、14…逆量子化手段、15…逆離散サイン変換手
段、16…遅延メモリ、17…予測手段、18…記憶手段、21
…復号化手段、24…逆量子化手段、25b…逆離散サイン
変換手段、26…遅延メモリ、27…予測手段、29…記憶手
段。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭64−4186（ＪＰ，Ａ) 特開 昭52−93262（ＪＰ，Ａ) 特公 昭61−26274（ＪＰ，Ｂ１) ＰＲＯＣＥＥＤＩＮＧＳ ＯＦ ＴＨ Ｅ ＩＥＥＥ 73〔４〕（1985）Ｐ. 541

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】入力画像信号列の符号化後すでに再生され
   た再生画像信号列に基づいて入力画像信号列の予測値と
   して予測画像信号列を求める予測手段と、予測手段によ
   り求めた予測画像信号列と入力画像信号列との差である
   予測誤差信号列に対して離散サイン変換を施す離散サイ
   ン変換手段と、離散サイン変換手段により得られた変換
   係数列を符号化する符号化手段とを備えた画像符号化装
   置において、変換係数列のビット長を制限するにあた
   り、カットする上位ビットのビット数と丸める下位ビッ
   トのビット数とを入力画像信号列の信号電力等の統計的
   特性量に応じて切り換える切換手段を設けたことを特徴
   とする画像符号化装置。
2. 【請求項２】原画像を複数の領域に分割する手段を備
   え、切換手段は各領域単位でカットする上位ビットのビ
   ット数と丸める下位ビットのビット数とを信号電力等の
   統計的特性量に応じて切り換えることを特徴とする請求
   項１記載の画像符号化装置。