JP3337699B2

JP3337699B2 - 画像処理装置およびその方法

Info

Publication number: JP3337699B2
Application number: JP23151291A
Authority: JP
Inventors: 信孝三宅
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1991-09-11
Filing date: 1991-09-11
Publication date: 2002-10-21
Anticipated expiration: 2017-10-21
Also published as: JPH0575866A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理装置およびその
方法に関し、例えば、直交変換機能を有する画像処理装
置およびその方法に関する。

【０００２】

【従来技術】写真などの中間調画像（以下「イメージ」
と呼ぶ）をメモリに記憶するのに必要なメモリの記憶容
量は画素数×階調ビット数であり、高品位なカラー画像
をメモリに記憶させるためには膨大な記憶容量を必要と
する。このため、各種の情報量圧縮方式が提案され、イ
メージの情報量を圧縮した後、メモリに記憶させること
によって、記憶容量の削減が図られている。

【０００３】図８はカラー静止画符号化の国際標準化方
式として、ＪＰＥＧ（Joint Photographic Experts Gro
up）にて提案されているベースラインシステム（基本方
式）の符号化方式（安田：「カラー静止画符号化国際標
準化」、画像電子学会会誌、第１８巻、第６号pp.398-4
09,1989 ）の構成を示すブロック図である。

【０００４】同図において、入力端子1より入力された
イメージの画素データは、ブロック化回路2において8×
8画素のブロック状に切り出され、離散コサイン変換
（以下「DCT」と呼ぶ）回路17において離散コサイン変
換され、その変換係数が量子化器(Q)40に供給される。
量子化器40は、量子化(Q)テーブル41より入力される量
子化ステップ情報に従い、入力される量子化係数を線形
量子化する。量子化された変換係数の内DC係数は、予測
符号化回路（以下「DPCM」と呼ぶ）42により、前ブロッ
クのDC成分との差分（予測誤差）がとられ、一次元ハフ
マン符号化回路43へ供給される。図9はDPCM42の詳細な
構成を示すブロック図である。Q40より入力されるDC係
数は遅延回路53および減算器54に供給される。遅延回路
53は、DCT17が1ブロック、つまり8×8画素の演算に必要
な時間分だけDC係数を遅延させる。つまり、遅延回路53
から減算器54へ、1ブロック前のDC係数が供給されるこ
とになる。従って、減算器54からは、現ブロックと前ブ
ロックとのDC係数の差分（予測誤差）が出力されること
になる。この予測符号化方式では、予測に前ブロックの
DC係数を用いるため、DPCM42は前述のごとく遅延回路53
によって構成される。

【０００５】一次元ハフマン符号化回路43は、DPCM42か
ら供給される予測誤差信号をDCハフマンコードテーブル
44に従い可変長符号化して、得られたDCハフマンコード
を多重化回路51へ供給する。

【０００６】一方、Q40において量子化されたAC係数（D
C係数以外）は、スキャン変換回路45において図10に示
すように低次の係数から順にジグザグスキャンされ、有
意係数検出回路46に供給される。有意係数検出回路46
は、入力されるAC係数が“0”かどうかを判定して、
“0”の場合はラン長カウンタ47にカウントアップ信号
を供給してカウント値を1増加させる。一方、“0”以外
の場合は、リセット信号をラン長カウンタ47に供給して
カウント値をリセットさせるとともに、そのAC係数をグ
ループ化回路48へ供給して、図11に示されるようなグル
ープ番号SSSSと付加ビットとに分割させる。グループ番
号SSSSは二次元ハフマン符号化回路49へ、付加ビットは
多重化回路51にそれぞれ供給される。ラン長カウンタ47
は、“0”のラン長をカウントする回路で、“0”以外の
有意係数の間の“0”の数NNNNを二次元ハフマン符号化
回路49に供給する。ハフマン符号化回路49は、供給され
るラン長NNNNおよびグループ番号SSSSをACハフマンコー
ドテーブル50に従い可変長符号化したACハフマンコード
を多重化回路51へ供給する。

【０００７】多重化回路51は、1ブロック（8×8画素）
分のDCハフマンコード、ACハフマンコードおよび付加ビ
ットを多重化して、出力端子52へ圧縮された画像データ
として出力する。従って、出力端子52から出力される圧
縮データをメモリに記憶させ、メモリから読み出された
圧縮データを逆操作によって伸長することにより、メモ
リの記憶容量を削減することが可能になる。

【０００８】

【発明が解決しようとする課題】しかしながら、上記の
従来例はDCTおよびスカラ量子化の組み合わせを応用し
た情報量圧縮方式であるが、DCTおよびスカラ量子化の
組み合わせには以下に示す問題点がある。

【０００９】すなわち、上記従来例をファクシミリ、プ
リンタ、記憶装置などに応用した場合、ある程度、低ビ
ットレートにて圧縮する必要がある。上記従来例を低ビ
ットレートに圧縮しようとした場合、Ｑテーブルを切り
換えて、粗い量子化をするか、又、Ｑテーブルのスケー
リングファクターを増加、すなわち、量子化ステップに
乗ずる係数を増やして粗い量子化をすることになる。

【００１０】図12に基準となるQテーブルを、図13には
ある画像の一部（8×8を1ブロックとして3×4ブロック
分）の入力情報を、図14は入力情報にDCTを施した後の
変換係数を、図15には、図12に示すQテーブルにスケー
リングファクタ4.0を乗じたステップサイズで変換係数
をスカラ量子化した情報をそれぞれ示す。ただしDC成分
は、DPCMを用いずに、スケーリングファクタに関わらず
8ビット固定長とする。また、図16には、図15に示す情
報を伸長（IDCTとする）した画像情報を示す。

【００１１】図13と図16とを比較するとわかるように、
ブロックごとのDCTおよび量子化により、伸長後の画像
情報にはブロック間の境界に歪みが生じている。これが
所謂ブロック歪みである。すなわち、低ビットレートに
よる圧縮は、量子化誤差を増大させ、ブロック歪みを生
じさせて画質を著しく低下させる。

【００１２】本発明は、上述の問題を解決するためのも
ので、量子化誤差を相殺するように直交変換係数の量子
化を制御することでブロックの境界における歪みを軽減
して、復元される画像の視覚的な劣化を軽減することを
目的とする。

【００１３】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。本発明に
かかる画像処理装置は、所定画素数のブロックに分割さ
れた画像情報を入力する入力手段、前記ブロック単位に
画像情報を直交変換する変換手段、および、前記直交変
換によって得られる交流成分の直交変換係数を量子化す
る量子化手段を有する画像処理装置であって、前記量子
化手段は少なくとも、前記ブロック内において、第一の
周波数成分の直交変換係数を量子化する際に発生する量
子化誤差を検知する検知手段と、検知された前記第一の
周波数成分の直交変換係数の量子化誤差とは逆極性の量
子化誤差が発生するように、前記第一の周波数成分の直
交変換係数よりも高周波域に存在する第二の周波数成分
の直交変換係数の量子化を制御する制御手段とを有し、
前記第一および第二の周波数成分の直交変換係数は、前
記ブロックにおける水平および垂直方向の少なくとも一
方で奇関数成分であることを特徴とする。本発明にかか
る画像処理方法は、所定画素数のブロックに分割された
画像情報を入力し、前記ブロック単位に画像情報を直交
変換し、前記直交変換によって得られる交流成分の直交
変換係数を量子化する画像処理方法であって、前記量子
化は少なくとも、前記ブロック内において、第一の周波
数成分の直交変換係数を量子化する際に発生する量子化
誤差の極性を検知し、検知された前記第一の周波数成分
の直交変換係数の量子化誤差とは逆極性の量子化誤差が
発生するように、前記第一の周波数成分の直交変換係数
よりも高周波域に存在する第二の周波数成分の直交変換
係数の量子化を制御し、前記第一および第二の周波数成
分の直交変換係数は、前記ブロックにおける水平および
垂直方向の少なくとも一方で奇関数成分であることを特
徴とする。

【００１４】

【実施例】以下に添付図面を参照して、本発明に係る好
適な一実施例を詳細に説明する。＜第１の実施例＞図１は本発明の第１の実施例を示す要
部ブロック図である。図１に基づいて説明する。同図
中、１００は入力端子を示し、ブロック化された入力画
像情報がラスタースキャンにより順次入力してくる。１
０１はＤＣＴ回路を示し、１ブロック分のバッファ（不
図示）に格納した情報にＤＣＴ変換を施す。１０２はジ
グザグスキャン回路を示し、ＤＣＴ変換された変換係数
を低域成分から高域成分へジグザク状にスキャンする回
路である。ジグザグスキャン回路１０２からは、ＤＣＴ
変換係数（Ｆ（ｉ）とする）と、ジグザグスキャンのデ
ータに対応するアドレス（ｉとする）が出力され、アド
レス信号は、Ｑテーブル１０３に入力される。１０３は
Ｑテーブルを示し、例えばＬＵＴ（ルックアップテーブ
ル）で構成され、入力したアドレスに対応する量子化ス
テツプの情報を量子化回路１０４に出力する。

【００１５】一方、ジグザグスキャン回路１０２から出
力されたＤＣＴ変換係数は加算器１０５を通って、量子
化回路１０４に入力される。１０４は量子化回路を示し
ている。量子化回路１０４での量子化は、従来例で説明
したＪＰＥＧ方式と同様に、Ｃ（ｉ）＝（Ｆ（ｉ）＋Ｑ（ｉ）／２）／Ｑ（ｉ）（Ｆ（ｉ）≧０）Ｃ（ｉ）＝（Ｆ（ｉ）−Ｑ（ｉ）／２）／Ｑ（ｉ）（Ｆ（ｉ）＜０）ｉ：アドレス、Ｆ（ｉ）：ＤＣＴ変換係数Ｑ（ｉ）：量子化ステップ、Ｃ（ｉ）：量子化係数 …（１）となる。加算器１０５については、後述する。量子化回
路１０４からは量子化係数Ｃ（ｉ）と、量子化ステップ
に量子化係数を乗じた値（Ｑ（ｉ）×Ｃ（ｉ））を出力
する。１０９は出力端子を示し、Ｃ（ｉ）は量子化以降
のブロック（不図示）に送信される。１０６は減算器を
示し、量子化をしていないＤＣＴ変換係数と、量子化後
の閾値より上の代表値（量子化ステップ×量子化係数）
の差分を算出する回路である。１０７は加算値作成部を
示し、減算器１０６において算出した差分値を入力し、
また、ジグザグスキャンのアドレス信号を入力してＬＵ
Ｔ（ルックアップテーブル）により対応した加算値を出
力するＲＯＭである。１０８は遅延回路を示し、ある定
められた遅延の後にあるアドレス時にＤＣＴ変換係数に
加算される構成である。本実施例では、以上示した回路
構成において、以下に述べる様にブロック歪みを軽減す
る。

【００１６】図２は第１の実施例によるジグザグスキャ
ンを説明する図であり、図３は第１の実施例による量子
化を説明する図である。

【００１７】図２の（ａ）はブロック内でのジグザグス
キャン順番を示すアドレス信号を示している。今、アド
レス１の成分に着目する。図２の（ｂ）はアドレス１の
横方向（以下、主走査方向とする）の変換係数に対する
基底画像を示している。例えば、量子化によってアドレ
ス１の信号が異なる値をとりえた時、すなわちアドレス
１のＡＣ電力が増加、及び減少した時、図２の（ｂ）は
（ｃ）及び（ｄ）の様に振幅に変化が出てくる。これは
図３に示した様に、ＤＣＴ変換係数が設定されている閾
値よりも大きいか否かにより、上の代表値が選択される
か、下の代表値が選択されるかで異なってくる。ブロッ
ク歪みが視覚的に劣悪な状態になるのは、画像濃度が単
一増加、及び単一減少の部分に多い。すなわち、アドレ
ス１の様に奇関数の成分が量子化されることによって、
図２の（ｂ）が、同図２の（ｃ）または（ｄ）の様に振
幅変換され、伸長後の画像ではブロック境界においてト
ーンジャンプを発生する為に起こる。図２の（ａ）のア
ドレス２においても、縦方向（以下副走査方向という）
で同様のことが言える。ブロック内ＡＣ６３成分中、主
走査方向、もしくは副走査方向のいづれかが奇関数であ
る場合、量子化によるブロック歪みの発生に起因する
が、最も画像劣化に支配的であるアドレス１、アドレス
２の成分に着目する。もともとＤＣＴは原関数を鏡像を
用いて偶関数化して、コサイン成分のみを重ね合わせと
して表している為、奇関数であるアドレスと、偶関数で
あるアドレスは、そのＤＣＴ変換係数の量子化において
も性質は異なる。

【００１８】さて、今仮に、アドレス１の成分が量子化
されて、上の代表値が選択されたとする。すなわち、図
１中の減算器１０６の出力は正の値となる。これは量子
化係数×量子化ステップがＤＣＴ変換係数よりも大きい
ためである。

【００１９】次に、同じ主走査方向の奇関数であるアド
レス６に着目する。

【００２０】図４は第１の実施例によるアドレス６の主
走査方向の変換係数に対する基底画像を示す図である。
この場合も、例えば図４の（ａ）の振幅のものが、上の
代表値が選択されると図４の（ｂ）に、下の代表値が選
択されると、図４の（ｃ）に振幅が変化する。

【００２１】今、アドレス1で上の代表値が選択されて
図2(c)の状態になり、加えて、アドレス6においても上
の代表値が選択された場合、つまり図4(b)の状態になる
と、ブロックの境界における誤差が相加されて、画像の
劣化が著しくなる。すなわち、アドレス1において発生
したブロック境界での量子化誤差を、他の奇関数成分で
あるアドレス6の量子化誤差で相殺する方向にもってい
きたい。つまり、アドレス1で上の代表値が選択された
のであれば、アドレス6では下の代表値が選択されるよ
うに工夫してやればよい。これが図1に示す加算器105の
役割である。アドレス1に対する減算器106の出力が正で
あれば、加算値作成部107のLUTにより、入力値に対応す
る負の値が出力され、遅延回路108で数アドレス分遅延
された後、アドレス6のDCT係数に負の値が加算されるの
で、下の代表値が選択され易くなる。そうすれば、アド
レス1および6の双方の量子化誤差により、ブロック境界
における誤差が相殺される方向になる。また、減算器10
6が負の値を出力する場合も同様で、加算値作成部107
は、入力値に対応する正の値を出力するので、この正の
値をアドレス6のDCT係数に加算することで、上の代表値
が選択され易くなる。

【００２２】図５は第１の実施例による実画像の例を示
す図であり、図６は第１の実施例による量子化及びＩＤ
ＣＴを説明する図である。図５の（ａ）はブロック化さ
れた実画像の情報、図５の（ｂ）はＤＣＴ変換した変換
係数、図５の（ｃ）はあるＱテーブルにより量子化した
後の（量子化係数×量子化ステップ）の情報、図５の
（ｄ）は伸長した後の情報をそれぞれ示している。この
例では、図２の（ａ）のアドレス１及びアドレス６共に
上の代表値が選択されているため、ブロック境界の量子
化誤差が相加されてしまい、近接ブロックとのトーンジ
ャンプが予想される。図６の（ａ）では、アドレス１が
上の代表値が選択されたのを検知して、すなわち、図１
の減算器１０６が“＋８”という量子化誤差を算出し
て、加算値作成部１０７に入力することにより、アドレ
ス６では下の代表値が選択されている。図６の（ｂ）
は、同図の（ａ）を伸長した情報であり、ブロック境界
部での量子化誤差の相殺が行なわれている。このよう
に、ＤＣＴ変換係数を加減算してしまう為、量子化誤差
は同等以上に大きくなり、Ｓ／Ｎ比としては悪くなる傾
向にあるが、歪みをブロック中心に持ってくる為ブロッ
ク歪みは減少する。

【００２３】第１の実施例は、図２の（ａ）のアドレス
１の量子化誤差によるアドレス６の制御を述べたが、ア
ドレス２の量子化誤差によるアドレス９の制御等、他の
奇関数でも同様である。

【００２４】また、図１のハード構成は本発明を実施す
る一例であり、他のハード構成でも良いことは勿論であ
る。

【００２５】また、第１の実施例では、アドレス６のＤ
ＣＴ変換係数を加減算するＱ／２の値を変化しても量子
化閾値を変更することになり等価である。

【００２６】また、ジグザグスキャンを用いずにラスタ
ースキャンにて量子化を行なっても奇関数発生に規則性
があり、容易に実現できる。

【００２７】＜第２の実施例＞図７は第２の実施例によ
る量子化誤差相殺方法を説明する図である。

【００２８】本実施例は、図１に示す第１の実施例より
も処理内容に限定を設けたものである。図７の（ａ），
（ｂ），（ｃ）そして（ｄ）の各実線は、アドレスｉの
成分における基底画像を示す。今、奇関数のアドレスｉ
のＤＣＴ変換係数が、量子化され、ＡＣ電力が変化し、
その結果、振幅が点線の様に変化したと仮定する。この
場合、第１の実施例では、他の奇関数成分の量子化誤差
でブロック境界の誤差を相殺するが、本実施例では、他
の奇関数であるアドレスｊの処理では振幅が減少する方
向にのみ行なうものとする。そこで前述した図２の
（ａ）に示すジグザグスキャンアドレスでｉ＝１，ｊ＝
６の場合で説明する。

【００２９】アドレス１での量子化誤差の発生は図７の
（ａ）〜（ｄ）のいづれかひとつのパターンになる。図
７の（ａ）及び（ｂ）の場合、すなわち、代表値が選択
された場合、アドレス１では量子化ステップＱ（１）と
量子化係数Ｃ（１）の積からＤＣＴ変換係数Ｆ（１）の
差分は正となり、すなわち、量子化誤差は正となる。ア
ドレス６でのブロック境界の量子化誤差の相殺は、図７
の（ｅ）及び（ｆ）の処理により達成できるが、量子化
誤差は、振幅が増えれば増える程、コントラストが増加
し、画像が劣化していく。逆に振幅が減少する程、ＭＴ
Ｆがなまった画像になるが、画像劣化の度合いは前者よ
りも良い場合が多い。つまり、たとえＳ／Ｎ比が同じで
も、量子化誤差のとり方により、画質は変わっていく。
そこで、図７の（ａ）及び（ｂ）の場合は、図７の
（ｆ）の処理を施す様にする。すなわち、Ｆ（６）の極
性がＦ（６）≧０の場合のみＦ（６）の減算を施し、Ｆ
（６）＜０の場合はそのまま量子化回路に通す。同様
に、アドレス１が図７の（ｃ）及び（ｄ）の量子化誤差
の発生の場合は、アドレス６ではコントラストを減少す
る図７の（ｇ）の処理をする。

【００３０】このように、本実施例において、他の奇関
数の量子化誤差が増大する場合においても、振幅が減少
する方向に処理をするため、ブロック境界での誤差相殺
のみならず、ブロック内部の画質劣化も目立ちづらくな
る。また、量子化係数の絶対値を減少する方向のため、
例えば、ＪＰＥＧ方式の様に可変長符号の圧縮方法を取
り入れた場合では、符号量軽減に役立つことになる。

【００３１】なお、本発明は、複数の機器から構成され
るシステムに適用しても、一つの機器からなる装置に適
用してもよい。また、本発明は、システムあるいは装置
にプログラムを供給することによって達成される場合に
も適用することができる。以上説明したように、本実施
例によれば、極めて簡単な構成で、視覚的に劣化が目立
つブロック歪みを軽減する。また、振幅を減少する方向
に量子化することによって、可変長符号化を応用した場
合、符号量を減らすことができる。

【００３２】

【発明の効果】以上説明したように、本発明によれば、
量子化誤差を相殺するように直交変換係数の量子化を制
御することでブロックの境界における歪みを軽減して、
復元される画像の視覚的な劣化を軽減することができ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す要部ブロック図で
ある。

【図２】第１の実施例によるジグザグスキャンを説明す
る図である。

【図３】第１の実施例による量子化を説明する図であ
る。

【図４】第１の実施例によるアドレス６の主走査方向の
変換係数に対する基底画像を示す図である。

【図５】第１の実施例による実画像の例を示す図であ
る。

【図６】第１の実施例による量子化及びＩＤＣＴを説明
する図である。

【図７】第２の実施例による量子化誤差相殺方法を説明
する図である。

【図８】従来例による画像圧縮装置の構成を示すブロツ
ク図である。

【図９】図８のＤＰＣＭの構成を示すブロツク図であ
る。

【図１０】従来例によるＤＣＴ係数のスキヤン順序を説
明する図である。

【図１１】従来例によるＡＣ係数とグループ番号ＳＳＳ
Ｓとの関係を説明する図である。

【図１２】標準的なＱテーブルの一例を示す図である。

【図１３】実画像の入力を表した３×４ブロツクの一例
を示す図である。

【図１４】実画像のＤＣＴを表した３×４ブロツクの一
例を示す図である。

【図１５】実画像の量子化を表した３×４ブロツクの一
例を示す図である。

【図１６】実画像のＩＤＣＴを表した３×４ブロツクの
一例を示す図である。

【符号の説明】

１，１００入力端子２ブロツク化回路１７，１０１ＤＣＴ回路４０Ｑ４１，１０３Ｑテーブル４２ＤＰＣＭ４３１次元ハフマン符号化回路４４ＤＣハフマンコードテーブル４５スキヤン変換回路４６有意係数検出回路４７ラン長カウンタ４８グループ化回路４９次元ハフマン符号化回路５０ＡＣハフマンテーブル５１多重化回路５２，１０９出力端子５３遅延回路５４，１０５加算器１０２ジグザグスキャン回路１０４量子化回路１０６減算器１０７加算値作成部１０８遅延回路１０９出力端子

Claims

(57)【特許請求の範囲】

【請求項１】所定画素数のブロックに分割された画像
情報を入力する入力手段、前記ブロック単位に画像情報
を直交変換する変換手段、および、前記直交変換によっ
て得られる交流成分の直交変換係数を量子化する量子化
手段を有する画像処理装置であって、前記量子化手段は
少なくとも、前記ブロック内において、第一の周波数成分の直交変換係数を量子化する際に発生
する量子化誤差を検知する検知手段と、検知された前記第一の周波数成分の直交変換係数の量子
化誤差とは逆極性の量子化誤差が発生するように、前記
第一の周波数成分の直交変換係数よりも高周波域に存在
する第二の周波数成分の直交変換係数の量子化を制御す
る制御手段とを有し、前記第一および第二の周波数成分の直交変換係数は、前
記ブロックにおける水平および垂直方向の少なくとも一
方で奇関数成分であることを特徴とする画像処理装置。
【請求項２】前記第一の周波数成分の直交変換係数
は、前記ブロックにおける水平または垂直成分の一方が
基本波成分、他方が直流成分であり、前記第二の周波数
成分の直交変換係数は、前記水平または垂直成分の前記
一方が基本波成分以外の奇関数成分、前記他方が直流成
分であることを特徴とする請求項1に記載された画像処
理装置。
【請求項３】前記制御手段は、前記第一の周波数成分
の直交変換係数の量子化誤差に基づく値を前記第二の周
波数成分の直交変換係数に加算することを特徴とする請
求項1または請求項2に記載された画像処理装置。
【請求項４】所定画素数のブロックに分割された画像
情報を入力し、前記ブロック単位に画像情報を直交変換
し、前記直交変換によって得られる交流成分の直交変換
係数を量子化する画像処理方法であって、前記量子化は
少なくとも、前記ブロック内において、第一の周波数成分の直交変換係数を量子化する際に発生
する量子化誤差の極性を検知し、検知された前記第一の周波数成分の直交変換係数の量子
化誤差とは逆極性の量子化誤差が発生するように、前記
第一の周波数成分の直交変換係数よりも高周波域に存在
する第二の周波数成分の直交変換係数の量子化を制御
し、前記第一および第二の周波数成分の直交変換係数は、前
記ブロックにおける水平および垂直方向の少なくとも一
方で奇関数成分であることを特徴とする画像処理方法。