JPH01173974A

JPH01173974A - 画像符号化方式

Info

Publication number: JPH01173974A
Application number: JP62328410A
Authority: JP
Inventors: Koyo Nakagawa; 幸洋中川; Toshiyuki Goto; 敏行後藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1987-12-26
Filing date: 1987-12-26
Publication date: 1989-07-10

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔概　　　要〕濃淡画像のデータ圧縮に係り、特に鋭いエツジが存在す
る画像の高能率符号化方式に関し、近傍画素間の相関が
高い部分を含む画像に対しても高圧縮で符号化し、復元
画像も高品質にすることが可能な画像符号化方式を捉供
することを目的とし、？農淡画像をディジタル値に変換し伝送または記憶する
画像符号化システムにおいて、原画像をブロックに分割
してブロックデータを形成するブロック続出し手段と、
前記各ブロックの画素データに関して変換符号化して第
１の変換符号化データを形成する第１変換符号化手段と
、前記第１変換符号化手段で変換符号化された前記第１
の変換符号化データを逆変換して復号化データを形成す
る復号化手段と、原画像からの前記ブロックデータと前
記復号化データとの誤差が所定閾値以上であるかどうか
を判定する誤差評価手段と、前記ブロックデータをブロ
ック符号化してブロック符号化データを形成するブロッ
ク符号化手段と、前記ブロック符号化データを逆変換し
てブロック復号化データを形成するブロック復号化手段
と、前記ブロックデータと前記ブロック復号化データと
の差分により差分データを形成する差分手段と、前記差
分データを変換符号化して第２の変換符号化データを形
成する第２変換符号化手段と、前記誤差評価手段による
判定の結果により前記第１または第２の変換符号化デー
タあるいは前記ブロック符号化データを選択して出力す
る選択手段とを有し、前記誤差が大きい場合には前記ブ
ロック符号化データと前記第２の変換符号化データを出
力するように構成する。

〔産業上の利用分野〕

本発明は、濃淡画像のデータ圧縮に係り、特に鋭いエツ
ジが存在する画像の高能率符号化方式に関する。

画像を符号化する場合、画像のもつ統計的性質及び人間
の視覚特性が利用される。統計的性質には、画像の各画
素の濃度値がいくつかの濃度値に集中していること、あ
るいは近傍画素の濃度値の相関が高いことが挙げられる
。人間の視覚特性には、人間の目の解像度には限界があ
ることや高周波成分に対する解像度が低いことなどが挙
げられる。これらの性質を利用して冗長性を除去するこ
とによりデータ量の圧縮が行える。すなわち、第６図に
示されるように、原画像６０の総ビット数を圧縮した後
伝送または記憶し原画像に近い復元画像６１を得る。

画像の符号化方式には、濃淡値とその予測値の差を符号
化する予測符号化、画素ブロックを１つの濃淡値で表わ
すブロック符号化、周波数域などに写像する変換符号化
、あるいはベクトル化するベクトル量子化などがある。

この中で特に変換符号化は画像の性質や人間の視覚特性
を効率よく利用して°いるもので高圧縮率で、高品質な
復元画像を得ることができる。変換符号化の中でもＫＬ
（Ｋａｈｕｎｅｎ−Ｌｏｅｖｅ）変換符号化は、ある統
計的性質に従う画像のセントに対してひずみが小さく圧
縮率が大きな最適符号化方式である。しかしこの方法は
理論的なもので、実際にはＮＸＮ　（Ｎ”は画素数）の
行列で表わされる画像に対してＮ２ＸＮｔ行列の逆行列
を求めなければならず、非常に多くの計算量を必要とし
、実用的でない。そこで、実際にはＫＬ変換に近似して
いるもので、しかも高速演算法を利用できる直交変換、
例えばフーリエ変換、アダマール変換、コサイン変換な
どが用いられる。

各画素と近傍画素との相関が非常に高いと仮定すると離
散コサイン変換はＫＬ変換に良く近似していることが知
られ、自然画像に対しては高能率な符号化となる。

〔従来の技術〕

第２図は離散コサイン変換（ＤＣＴ）符号化のブロック
ダイヤｊ゛ラムである。同図において、２０は各画素を
スキャンしＡＤ変換する画像入力部、２１は画像を１６
Ｘ１６の画素領域からなるブロックに分散しブロックご
とに読出すブロック続出し部、２２はブロックごとの画
像データを離散コサイン変換（ＤＣＴ）を用いて圧縮す
るＤＣＴ圧縮部、２３は圧縮データを記憶する記憶装置
、２４は圧縮データをブロック単位で離散コサイン逆変
換を用いて復号するＤＣＴ復号部、２５は復元画像を表
示する表示部である。なお、実線は画像データの流れを
示し、点線は圧縮復号に必要な補助情報を示す。

なお、ここで、ブロック内のデータ数をＭとしたとき、
データ列ｘ　（ｍ）　、ｍ＝ｏ、１．　　・・・。

（Ｍ−１）に対するＤＣＴのに番目の各係数は、ｋ＝１
．２．　　・・・、　　（Ｍ−１）・　・　・　・　・
（１）で与えられ、実数演算が可能となる。

このＤＣＴは、Ｍ個の濃淡データが（ｋ＋１）個の係数
データに圧縮されるもので、画素間の相関が高い場合に
は極めて有効な圧縮法となる。しかし、ＤＣＴは画素間
の相関が低い部分、例えば画像内で鋭いエツジが存在す
る部分に適用すると画像が劣化す。というのはエツジ部
は高周波数成分が多く含まれ、圧縮のためにｋを小さく
選択すると、高周波数成分を表現できなくなるからであ
る。そこで、先の「画像符号化方式」　（特願昭６２−
００６２０号）において、ＤＣＴとブロック符号化を組
み合わせたハイブリッド符号化方式が提案された。第３
図はこのハイブリッド符号化方式のブロックダイヤグラ
ムである。

同図において、２０は画像入力部、２１は１６×１６の
ブロックを読出すブロック読出し部、３０は各ブロック
内のＡＣ成分の２乗の総和が閾値Ｔ　ｈＡＣを越えるか
どうかでエツジを判別するエツジ評価部、３１は二平均
値法によるブロック符号化するＢ　Ｔ　Ｃ（Ｂｌｏｋ　
Ｔｒｕｎｃａｔｉｏｎ　Ｃｏｄｉｎｇ）　、３２はＢＴ
Ｃ復号部、３３はＤＣＴ圧縮部、３４は差分器である。

この方式では、例えば１０２４　Ｘ　１０２４の原画像
をブロック読出し部２１で１６　Ｘ　１６の大きさごと
に分離し、エツジ評価部３０で、各ブロック内のＡＣＣ
郡部評価する。ブロック内のＡＣ成分の２乗の総和が’
ｒｈａｃ以下の場合は、ＤＣＴ圧縮可能であるからその
ブロックは直接ＤＣＴ圧縮部３３に入力される。またそ
の総和がＴ　ｋＡｃ以上の時には、そのブロックを更に
４×４の大きさのサブブロックに分離し、ＢＴＣで各サ
ブブロックをブロック符号化により１つのブロック値に
圧縮する。ブロック符号化された圧縮データ３１０はＢ
ＴＣ復号部で再び４×４の画素の濃淡値に復号され、差
分器３４に入力され元の濃淡値との差分が計算される。

ＢＴＣ復号部で復元された画像は不可逆性であるから元
の画像とはならないがかなり元の画像に近い画像となる
。そのため、差分器３４からの差分データは、相関係数
が比較的高いときにはＤＣＴ圧縮でも画像品質が低下し
ない場合も多い。

そこで、その差分データはＤＣＴ圧縮部３３に入力され
圧縮される。すなわち、このハイブリッド方式は、鋭い
エツジが無い場合は、ＤＣＴ圧縮を行い、鋭いエツジが
有る場合は、ＢＴＣの復元画像と原画像の差分について
ＤＣＴ圧縮を行う方式で、ＢＴＣはエツジを良く保存す
るという性質を利用している。

〔発明が解決しようとする問題点〕゛しかし、上記ハイブリッド方式は、サブブロック内の原
画像とそのＢＴＣによる復元画像との差分、すなわち誤
差画像をＤＣＴ圧縮しているもので、誤差画像は原画像
はど近傍画素間の相関が高くなく、そのため、鋭いエツ
ジが存在する画像では高品質な画像が復元できないとい
う問題が生じていた。

本発明は、近傍画素間の相関が高い部分を含む画像に対
しても高圧縮で符号化し、復元画像も高品質にすること
が可能な画像符号化方式を提供することを目的とする。

〔問題点を解決するための手段〕

第１図（ａｌは本発明の構成図である。

同図において、２１は原画像をブロックに分割しブロッ
クデータ２１０を形成するブロック読出し手段、１０は
各ブロックの画素データに関して２ｕ敗コサイン変換等
を用いて変換符号化して第１の変換データ１００を形成
する第１変換符号化手段、１１は第１変換符号化手段１
０で変換符号化された前記第１の変換符号化データ１０
０を逆変換して復号化データ１１０を形成する復号化手
段、１２は原画像からのブロックデータ２１０と復号化
データ１１０との誤差が所定閾値以上であるかどうかを
判定する誤差評価手段、１３はブロックデータ２１０を
ブロック符号化してブロック符号化データ１３０を形成
するブロック符号化手段、１４はブロック符号化データ
１３０を逆変換してブロック復号化データ１４０を形成
するブロック復号化手段、１５はブロックデータ２１０
とブロック復号化データ１４０との差分より差分データ
１５０を形成する差分手段、１６は差分データ１５０を
離散サイン変換等を用いて高圧縮して第２の変換符号化
データ１６０を形成する第２変換符号化手段、１７はそ
の誤差が小さい場合には第１の変換符号化データ１００
を選択し大きい場合にはブロック符号化データと第２の
変換符号化データ１６０を選択する選択手段で、本発明
では、画像の誤差が大きい場合には差分データ１５０を
高圧縮する変換符号化方式を用いる。

（作　　　用〕本発明では、画像内に鋭いエツジ等があるブロックに対
してはそのブロックの原画像とそのブロックに対してブ
ロック符号し更に復号化した復元画像との差を取りその
差分データを離散サイン変換で符号化している。

〔実　　施　　例〕

次に本発明を図面を参照して説明する。

第１図（ｂ）は本発明の実施例図である。図中、第１図
（ａｌと同じものは同じ記号で示されている。同図にお
いて、２０は１０２４　ｘ　１０２４の画像データを生
成する画像入力部、２１は原画像を１６Ｘ１６のブロッ
クに分割しブロックデータ２１０を形成するブロック続
出し部、１０は各ブロックの画素データに関して離散コ
サイン（ＤＣＴ）変換で圧縮し、第１の変換符号化デー
タを形成するＤＣＴ圧縮部、１１はＤＣＴ変換で符号化
された変換符号化データ１００を逆変換して復号化デー
タ１１０を形成するＤＣＴ復号部、１２は原画像からの
ブロックデータ２１０と復号化データ１１０との誤差が
所定閾値Ｔ。Ｃ以上であるかどうかを判定する誤差評価
部、１３はブロックデータ２１０をブロック符号化して
ブロック符号化データ１３０を形成するブロック符号化
（ＢＴＣ）圧縮部、１４はブロック符号化データ１３０
を逆変換してブロック復号化データ１４０を形成するＢ
ＴＣ復号部、１５はブロックデータ２１０とブロック復
号化データ１４０との差分より差分データ１５０を形成
する差分器、１６は差分データ１５０を離散サイン変換
（ＤＳＴ）を用いて圧縮し第２の変換符号化データを形
成するＤＳＴ圧縮部、１７は第１の符号化変換データを
一時保持するバッファ部である。

本発明では、第１図（ｂｌに本発明の一実施例を示す、
まず読出したブロック画像をＤＣＴ圧縮部１０でＤＣＴ
圧縮し、その結果をバッファ部１７に保持すると同時に
ＤＯＴ復号部１１で復号し原画像との誤差を誤差評価部
１２で評価する。予め定めた閾値Ｔ　ｈ　ａ　ｃ値より
も誤差が小さければ、バッファ部１７内の符号化データ
を圧縮データとして出力する。また、その誤差が大きけ
れば、ブロック画像をＢＴＣ圧縮部１３でブロック符号
化し出力するとともに、更にＢＴＣ復号部１４で復号し
、原画像のブロックデータ２１０とその復号化データ１
４０との差分、すなわち、誤差画像に関してはＤＳＴ圧
縮を行ってこれを出力する。

このように、本発明では、ハイブリッド方式による誤差
画像を効率的に圧縮する符号化を用いているもので、そ
の１つとしてＤＳＴ変換が実施例で示されている。

画像に変換符号化を用いる場合、２次元の直交変換を必
要とするが、２次元の直交変換は１次元の直交変換の拡
張として実現できる。そこで、ここでは、簡単化のため
１次元で考える。

＋１＋式で示される離散コサイン（ＤＣＴ）変換の逆変
換（ＩＣＤＴ）はｍ＝ｏ、１．　　・・・、　　（Ｍ−１）・・・・・（
２）で与えられる。これを展開すると、・・・・・（３）となり、逆行列演算なして復号可能となる。このとき、
ＤＣＴの固有ベクトルはＭ＝８のとき、となる。この固
有ベクトルをプロットすると、ｋ＝１．２．　　・・・
、７に対して第４図（ａ）の（１１，＋２＋。

・・・（７）の点線で示される。

一方、最適なＫＬ変換は確率過程に従って導出される変
換法で情報源として一般の画像によく適合することが知
られている単純マルコフ過程を仮定する。数列（Ｘ７）
に対して零平均で単位分散をもつ広義定常単純マルコフ
過程（Ｘ、）はＥ　（Ｘ、、）＝Ｏ，Ｅ　（Ｘ、Ｘ、、
）＝ρ１１−″１０くρく１　　　　　　　　　　・・
・・・（４）で表わされる。ただし、Ｅ゛は期待値を示
し、ρは相関係数を示す。すなわち、Ｅ　（Ｘ、Ｘ、）
はブロック内のデータ数をＭとすれば次式のＴｏｅｐｌ
ｉｔｚ・　・　・　・　・　（５）ＫＬ展間はこの行列ｆの逆行列！−１より復号する最適
法であり、行列ｆの固有ベクトルはρｚ１の場合には第
４図（ａｌの実線で示され、ＤＣＴの固有ベクトル（点
線）がそれに良く近似している。すなわち、原画像はρ
が１に近いときにはＤＣＴによって、効率的な圧縮がで
きると考えられる。

なお、固有ベクトルは逆変換してできる解ベクトルの基
本ベクトルであり、解ベクトルは基本ベクトルの線形和
によって表現される。そのため、異なる変換法の固有ベ
クトルが近ければ、その解も近いと考えてよい。従って
、ρが１に近い画像、すなわち近傍画素間の相関が高い
場合にはＤＣＴ変換の圧縮法で高圧縮化が可能となる。

しかし、鋭いエツジを含むブロックでは、相関が低く、
そのブロックに対してＤＣＴ変換すると画質の品質が低
下する。更にそのブロックをＢＣＴで変換し更に逆変換
してできるブロック復号化データで差分化してもその差
分データ１５０の相関はそれほど高くない。すなわち、
誤差画像をいろいろな画像に対して相関係数を調べると
、ρ＝０．６　ぐらいで、まだ高いとは必ずしも言えず
一般にはかなり低い値となる。

そこで、本発明ではこの誤差画像に対してＤＣＴと異な
るＤＳＴを用いる。その理由は、ρ＝０．６の画像に対
してＭ−１６のときのＤＳＴの固有ベクトルは第５図に
示され、これはＴｏｅｐｒ　ｉ　ｔｚｅ行列ｆの固有ベ
クトルに良く近似しているからである。

〔発明の効果〕

本発明によれば、誤差画像に対しては離散サイン変換等
を用いることにより、画像内に鋭いエツジ等を含む場合
であっても画質の劣化を押え、高品質でかつ高圧縮な符
号化データを生成することが可能となる。

【図面の簡単な説明】

第１図＋ａｌは、本発明の構成図、第１図（ｂｌは、本発明の実施例図、第２図は、離散コサイン変換符号化図、第３図は、ハイ
ブリッド符号化方式図、第４図＋ａｌは、Ｔｏｅｐｌｉ
ｔｚ行列の固有ベクトルとＤＣＴによる固有ベクトル（
Ｍ＝８）図、第４図（ｂ）は、ＤＣＴの固有ベクトル（
Ｍ＝６）図、第５図は、ＤＳＴの固有ベクトル（Ｍ＝１６）図、第６
図は、画像の圧縮復元図である。１０・・・第１変換符号化手段、１１・・・復号化手段、１２・・・誤差評価手段、１３・・・ブロック符号化手段、１４・・・ブロック復号化手段、１５・・・差分手段、１６・・・第２変換符号化手段、１７・・・選択手段、２１・・・ブロック読出し手段。

Claims

【特許請求の範囲】１）濃淡画像をディジタル値に変換し伝送または記憶す
る画像符号化システムにおいて、原画像をブロックに分
割してブロックデータを形成するブロック読出し手段（
２１）と、前記各ブロックの画素データに関して変換符
号化して第１の変換符号化データを形成する第１変換符
号化手段（１０）と、前記第１変換符号化手段（１０）
で変換符号化された前記第１の変換符号化データを逆変
換して復号化データを形成する復号化手段（１１）と、
原画像からの前記ブロックデータと前記復号化データと
の誤差が所定閾値以上であるかどうかを判定する誤差評
価手段（１２）と、前記ブロックデータをブロック符号
化してブロック符号化データを形成するブロック符号化
手段（１３）と、前記ブロック符号化データを逆変換し
てブロック復号化データを形成するブロック復号化手段
（１４）と、前記ブロックデータと前記ブロック復号化
データとの差分により差分データを形成する差分手段（
１５）と、前記差分データを変換符号化して第２の変換
符号化データを形成する第２変換符号化手段（１６）と
、前記誤差評価手段（１２）による判定の結果により前
記第１または第２の変換符号化データあるいは前記ブロ
ック符号化データを選択して出力する選択手段（１７）
とを有し、前記誤差が大きい場合には前記ブロック符号
化データと前記第２の変換符号化データを出力すること
を特徴とする画像符号化方式。２）前記第１の変換符号化手段（１０）として離散コサ
イン変換を用いることを特徴とする特許請求の範囲第１
項記載の画像符号化方式。３）前記第２変換符号化手段（１６）として離散サイン
変換を用いることを特徴とする特許請求の範囲第１項記
載の画像符号化方式。