JP4649237B2 - 画像圧縮装置、画像圧縮方法及び画像圧縮プログラム - Google Patents

Description

本発明は、画像データを量子化及び符号化してそのデータ量を削減する画像圧縮方法及び画像圧縮装置に関し、特にコンピュータの画面等に表示される、写真、図形、文字等が混在した画像の圧縮に用いて好適な画像圧縮装置、画像圧縮方法及び画像圧縮プログラムに関する。

画像データの保存、通信の際、そのデータ量を削減するため、画像圧縮技術が一般的に利用されている。画像圧縮が行われることにより、限られた記憶容量を有する端末、例えば携帯電話端末等に画像データを格納したり、伝送レートの低い伝送経路を介して画像データを送信したりすることも可能になる。画像圧縮方式としては様々な方式が提案されており、それぞれに長所・短所があり、画像の性質によって方式を使い分ける必要がある。例えば、ＪＰＥＧベースラインでは、離散コサイン変換（ＤＣＴ）等を用いて高周波成分を削減した非可逆的圧縮方式が用いられている。この方式は色数が多く濃度変化が緩やかな写真画像等には好適であるが、高周波成分が削減されるため、図形や文字等のエッジが明確な画像に適用するとエッジがなまってボケた画像となり不適切である。

エッジを含む画像の特徴を失わせない画像圧縮の方法として、減色処理も利用されているが（例えば、特許文献１参照）、原画像の色の特徴が毀損される場合も多い。このように、各種の画像圧縮方式にはそれぞれ長所、短所があるため、テキスト、写真、図形等が混在する画像データに単一の画像圧縮方式を適用すると、例えば画像中のある部分は適切にかつ高い圧縮率で圧縮されるが、他の部分は画像の特徴が毀損されたり適当な圧縮率が得られない、といったことが生じやすい。
特開平１０−３４１３４７号公報

本発明は、テキスト、写真、図形等が混在する画像データを、高い圧縮率で且つ原画像の特徴を毀損することなく圧縮することができ、処理能力の低い受信端末における負荷も少ない画像圧縮装置及び画像圧縮方法を提供することを目的とする。

本発明の一の態様に係る画像圧縮装置は、画像データを色に基づいて分割して複数の矩形ブロックとして抽出する矩形ブロック抽出部と、前記矩形ブロックのそれぞれに含まれる色の数を示す色数、及びエッジ画素の割合を示すエッジ率を判定し、前記色数が単数である前記矩形ブロックを第１種矩形ブロック、前記色数が所定値未満である前記矩形ブロックを第２種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値未満である前記矩形ブロックを第３種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値以上である前記矩形ブロックを第４種矩形ブロックとしてそれぞれ分類する判定部と、前記第２種矩形ブロックの画像データにパレット圧縮を施すパレット圧縮部と、前記第３種矩形ブロックの画像データに非可逆的なデータ圧縮を施す非可逆圧縮符号化部と、前記第４種矩形ブロックの色数に基づいて重要色数を予測し前記第４種矩形ブロックに含まれる色を予測された重要色数まで削減する減色処理を施す減色処理部とを備え、前記判定部は、ある矩形ブロックの前記エッジ率が前記所定値に近似する値である場合、前記非可逆圧縮符号化部による圧縮率と前記減色処理部による圧縮率とを比較し、前者が後者より大きい場合、その矩形ブロックを第３種矩形ブロックに分類する一方、後者が前者より大きい場合、その矩形ブロックを第４種矩形ブロックに分類することを特徴とする。

本発明の一の態様に係る画像圧縮方法は、画像データを色に基づいて分割して複数の矩形ブロックを抽出するステップと、前記矩形ブロックのそれぞれに含まれる色の数を示す色数、及びエッジ画素の割合を示すエッジ率を判定するステップと、前記色数が単数である前記矩形ブロックを第１種矩形ブロック、前記色数が所定値未満である前記矩形ブロックを第２種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値未満である前記矩形ブロックを第３種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値以上である前記矩形ブロックを第４種矩形ブロックとしてそれぞれ分類するステップと、前記第２種矩形ブロックの画像データにパレット圧縮を施すステップと、前記第３種矩形ブロックの画像データに非可逆的なデータ圧縮を施すステップと、前記第４種矩形ブロックの色数に基づいて重要色数を予測し前記第４種矩形ブロックに含まれる色を予測された重要色数まで削減する減色処理を施すステップとを備え、前記分類するステップは、ある矩形ブロックの前記エッジ率が前記所定値に近似する値である場合、前記非可逆的なデータ圧縮による圧縮率と前記減色処理による圧縮率とを比較し、前者が後者より大きい場合、その矩形ブロックを第３種矩形ブロックに分類する一方、後者が前者より大きい場合、その矩形ブロックを第４種矩形ブロックに分類するものであることを特徴とする。

また、本発明の一の態様に係る画像圧縮プログラムは、上記画像圧縮方法をコンピュータで実行可能に構成されたことを特徴とする。

この発明によれば、テキスト、写真、図形等が混在する画像データを、高い圧縮率で且つ原画像の特徴を毀損することなく圧縮することができ、処理能力の低い受信端末における負荷も少ない画像圧縮装置及び画像圧縮方法を提供することができる。

次に、本発明の実施の形態に係る画像圧縮装置を、図面を参照して詳細に説明する。

［第一の実施の形態］ 本発明の第一の実施の形態に係る画像圧縮装置の全体構成を、図１のブロック図を参照して説明する。この画像圧縮装置は、図１のブロック図に示すように、カラー画像入力装置１１、矩形ブロック抽出部１２、圧縮モード判定部１３、非可逆符号化部１４、重要色数予測部１５、減色処理部１６、パレット圧縮部１７、ブロックグループ化部１８、可逆符号化部１９及びデータシャッフル部２０とから構成され、これら構成要素はコンピュータとコンピュータプログラムによっても実現可能である。カラー画像中の各部分に関して最適な圧縮形式が、複数の圧縮形式の中から判定され、異なる圧縮方式が各部分に適用される構成とされている。以下、各要素について説明する。

カラー画像入力装置１１は、圧縮前の原画像であるカラー画像、例えばＲＧＢ３色を各８ビットで表現した１６７７万色のフルカラー画像等を入力するための装置であり、例えば、スキャナ等である。ＲＧＢ系でなく、ＬＵＶ系、ＨＳＶ系で表現された画像でも構わない。

矩形ブロック抽出部１２は、入力されたカラー画像の中の部分画像を、その性質に応じた矩形ブロックに分割して抽出する機能を有するものである。コンピュータ画面は、例えば図２に示すように、文字、アイコン等の図形、写真等の部分画像が混在的に表示され、これらの隙間に単色の領域も存在する。この実施の形態での矩形ブロック抽出部１２は、これらの部分画像を、単色矩形ブロックと、そうでない矩形ブロック（標記矩形ブロック）とに分割して抽出するものであるが、これに限定されるものではなく、分割の手法は発明の趣旨を逸脱しない範囲で様々に変更が可能である。

圧縮モード判定部１３は、抽出された複数の矩形ブロックに適した圧縮方式を、含まれる色の色数Ｎｃ、及びエッジ画像の割合を示すエッジ率Ｅｈに基づいて判定するものである。この実施の形態では、単色矩形ブロックをタイプＡ矩形ブロックと判定する。タイプＡブロックは、単色のカラー値、矩形ブロックのサイズと位置だけで表現することができ、圧縮操作は不要である。

一方、標記矩形ブロックは、色数Ｎｃが閾値ｔｈ１（ここではｔｈ１＝８とする）より大きいか否か、エッジ率Ｅｈが閾値ｔｈ２より大きいか否かで、タイプＢ、Ｃ、Ｄと判定される。すなわち、標記矩形ブロックのうち、色数Ｎｃが閾値ｔｈ１（ここでは、ｔｈ１＝８と推奨する）より小さい矩形ブロックは、タイプＢ矩形ブロックと判定される。標記矩形ブロックのうち、色数Ｎｃが閾値ｔｈ１以上で、エッジ率Ｅｈが閾値ｔｈ２未満である矩形ブロックは、タイプＣ矩形ブロックと判定される。タイプＣ矩形ブロックは、典型的には写真画像であるが、これに限るものではない。標記矩形ブロックのうち、色数Ｎｃがｔｈ１以上で、エッジ率Ｅｈが閾値ｔｈ２以上であるブロックは、タイプＤ矩形ブロックとして分類される。タイプＤブロックは、典型的には多数色でエッジを明確に描かれたアイコン等の画像であるが、これに限るものではない。

非可逆符号化部１４は、タイプＡ〜Ｄのうち、タイプＣ矩形ブロックの圧縮を行うためのものであり、画質の部分的損失を伴う圧縮方式により、高い圧縮率を担保するものである。ここでの圧縮方式の一例は、画像データを種々の周波数成分の和に変換・符号化して高周波成分を削減し、相関性の高い低周波成分のみを符号化する離散コサイン変換（ＤＣＴ）であるが、これに限定されるものではない。

重要色数予測部１５は、タイプＡ〜Ｄのうち、タイプＤ矩形ブロックの圧縮を行うためのものであり、減色処理部１６による減色処理の前処理を行うものである。すなわち、重要色数予測部１５は、タイプＤ矩形ブロック中の実際に含まれる色の色数Ｎｃのうち重要と思われる色の色数（予測重要色数）Ｎｉｃを予測するものである。減色処理部１６は、重要色数予測部１５で予測された予測重要色数Ｎｉｃに基づいてタイプＤ矩形ブロックの減色処理を実行する機能を有する。具体的には、タイプＤ矩形ブロック中に含まれる色の中から、所定の基準に基づいて予測重要色数Ｎｉｃの数だけ重要色を選択すると共に、重要色でない画素に対しては、選ばれたＮｉｃ個の重要色のうち最も近い色の画素に置き換える処理を行う。

パレット圧縮部１７は、タイプＡ〜Ｄのうち、タイプＢ矩形ブロックの圧縮に対しパレット圧縮を施す機能を有する。すなわち、パレット圧縮部１７は、タイプＢ矩形ブロックに含まれる色の数に対応するパレットを用意し、各パレットを特定するための番号と、各色を示すカラー値とが対応付けて記憶するものである。色数Ｎｃが例えば８未満と少ない場合には、情報の削減をすることなく大きな圧縮率が得られる。また、この実施の形態では、パレットデータの作成の際、各パレットを画素数の多い順に整列させる。この整列を行うことにより、複数の矩形ブロックの関連性を高めることができ、後に行われるブロックグループ化の工程において、圧縮率を更に向上させることが可能となる。

ブロックグループ化部１８は、減色処理部１６による減色処理後のタイプＤ矩形ブロックと、パレット圧縮部１７によるパレット圧縮後のタイプＢ矩形ブロックとを、同様の色数を有するブロックごとにグループ化する機能を有するものである。また、可逆符号化部１９は、このグループ化された矩形ブロックに対し、可逆的符号化方式を適用して圧縮率を更に高める機能を有するものである。ここでいう可逆的符号化方式は、画像の冗長度を抑圧して情報量を削減するものであり、例えばランレングス符号化、ハフマン符号化、ＬＺＷ、ＪＢＩＧ、ＭＭＲ等が考えられるが、これに限るものではない。

データシャッフル部２０は、タイプＡ矩形ブロック、及び圧縮処理されたタイプＢ〜Ｄ矩形ブロックを示すデータを、通信回路での通信及び記憶媒体でのデータ格納に適したデータ構造に変換する機能を有する。タイプＡ矩形ブロックは、前述のように、圧縮操作を施されることなく、データシャッフル部２０に直接入力されている。

このように、本実施の形態では、タイプＡ〜Ｄ矩形ブロックのうち、タイプＤ矩形ブロックについては、予測重要色数に基づく減色処理が行われる。離散コサイン変換などの画像圧縮方法においては、画像圧縮を行う送信端末と、画像を復号化する受信端末とにおいて同様の計算処理が必要とされる。このため、圧縮符号化を行う送信側端末において圧縮率を高めるため圧縮符号化処理を複雑にすると、その分伸長復号化を行う受信端末においても、復号化のための複雑なデータ処理が必要となる。携帯電話端末などの処理能力が小さい端末に画像データを送信する場合においては、処理能力に限界があるため、複雑な圧縮処理を施した画像データを復号化することは困難である。

本実施の形態においては、タイプＤ矩形ブロックについて実行される減色処理が非対称処理であって、データ伸長を行う受信端末側での処理（逆量子化等）が不要である。この分、データ伸長側の受信端末における負荷が軽減されている。

［矩形ブロック抽出］ 次に、図１に示す各部の作用を説明する。まず、矩形ブロック抽出部１２の作用を、図３のフローチャートを参照して説明する。矩形ブロック抽出部１２による矩形ブロックの抽出は、最初に単色矩形ブロック（後にタイプＡ矩形ブロックと特定されるブロックである）を最大限抽出し（Ｓ１１〜Ｓ１４）、残った部分を、単色でない、何らかの図形、文字、模様、写真等が標記されている「標記矩形ブロック」（後にタイプＢ、Ｃ又はＤ矩形ブロックと特定される）として抽出されることにより行われる。

単色矩形ブロック抽出の手順を説明する。原画像のコンピュータ画面に対して左上から右下へジグザグスキャンを開始し（Ｓ１１）、１６×１６ドットの最小単色矩形ブロックを探す（Ｓ１２）。１６×１６ドットの最小単色矩形ブロックを見つけたら（Ｓ１２のＹＥＳ）、上下左右の四つの方向に1行／列ずつ最大限まで拡張する（Ｓ１３）。ここで「最大限」としているのは、単色でない領域の境界の近傍まで単色矩形ブロックを拡張し、データ圧縮率を高める趣旨である。拡張の手順としては、３つの方法が考えられる。一つ目の方法は、図４Ａに示すような単色領域があった場合に、図４Ｂに示すように、最小単色矩形ブロックをまず左右方向に最大限まで拡張してから、続いて上下に最大限まで拡張する方法である。二つ目の方法は、図４Ｃに示すように、上下方向に最大限まで拡張してから、続いて左右方向に最大限まで拡張する方法である。三つ目の方法は、図４Ｄに示すように、左右方向と上下方向を交互に最大限まで拡張する方法である。

引き出された単色矩形ブロックの部分は矩形ブロック抽出の処理済み領域とする（Ｓ１４）。単色矩形ブロックをすべて切り出し、新たな１６×１６ドットの最小単色矩形ブロックが見つからなくなったら（Ｓ１２のＮＯ）、単色矩形ブロックの抽出ステップは終了し、単色矩形ブロックで分断された残りの領域は、分断された領域毎に標記矩形ブロックとして抽出されることとなる（Ｓ１５）。

なお、上記の例では最小単色矩形ブロックのサイズを１６×１６ドットと説明したが、これに限られるものではない。ただし、この最小単色矩形ブロックのサイズが原画像に含まれる文字の行間距離、文字間距離より小さくなると、画面の分割が多すぎることになり、逆に総圧縮率が低くなる可能性がある。従って、最小単色矩形ブロックの大きさは、テキスト文字のサイズを目安にして設定するのが好ましい。また、単色矩形ブロックの拡張は１行１列ずつ行うようにしてもよいが、処理のスピードを高めるために、複数行／列ずつ拡張するようにしてもよい。

続いて、単色矩形ブロック以外の残りの部分である標記矩形ブロックをジグザグスキャンして標記矩形ブロックの画素を探し(Ｓ１６)、画素が見つかったら、画像の最後に達しない限り（Ｓ１７のＮＯ）この画素を含む領域を、単色矩形ブロックの拡張の場合と同様に、上下左右の４方向に１行／１列ずつ（又は複数行／列ずつ）最大限まで拡張していく（Ｓ１８）。拡張が終了したら、この拡張した領域を標記矩形ブロックとして処理済みとする（Ｓ１９）。画像の最後に達した場合には（Ｓ１７のＹＥＳ）、すべての領域が単色矩形ブロック又は標記矩形ブロックとして処理されたとして抽出処理を終了する（Ｓ２０）。

［圧縮モード判定］ 次に、圧縮モード判定部１３の作用を、図５のフローチャートを参照して説明する。矩形ブロックの抽出が矩形ブロック抽出部１２によって完了すると（Ｓ２１）、圧縮モード判定部１３は、各矩形ブロックの色数Ｎｃをカウントする（Ｓ２２）。色数Ｎｃが１である場合、すなわち矩形ブロックが単色矩形ブロックである場合、その矩形ブロックはタイプＡ矩形ブロックと判定される（Ｓ２３、Ｓ２４）。色数Ｎｃが１より大きく、閾値ｔｈ１よりも小さい場合には（Ｓ２５のＹＥＳ）、その矩形ブロックはタイプＢブロックと判定される（Ｓ２６）。色数Ｎｃが閾値ｔｈ１以上である場合には（Ｓ２５のＮＯ）、その矩形ブロックの水平・垂直方向のエッジ率Ｅｈが計算される（Ｓ２７）。水平方向、垂直方向いずれかのエッジ率Ｅｈが閾値ｔｈ２よりも小さい場合（Ｓ２８のＹＥＳ）、その矩形ブロックはタイプＣブロックと判定される（Ｓ２９）。エッジ率Ｅｈが閾値ｔｈ２以上である場合（Ｓ２８のＮＯ）、その矩形ブロックはタイプＤブロックと判定される（Ｓ３０）。

Ｓ２７のエッジ率の計算の一例を、図６を参照して説明する。矩形ブロック内の画像を３×３の画素群に分けて、３×３画素群内の９個の画素の各々が、エッジに属する画素か、そうでない画素かを判定する。判定は、各画素のカラー値と隣接する画素のカラー値の差分に基づいて行うことができる。そして、エッジに属する画素の数が設定数より大きい（例えば３）は、その３×３画素群全体をエッジ領域と判定し、所定数未満である場合には３×３画素群全体を非エッジ領域と判定する。このようにして、矩形ブロック内のすべての３×３画素群について上記の判定を行い、エッジ領域と判定された３×３画素群の割合をエッジ率Ｅｈとして算出する。

［圧縮符号化処理］ このようにしてタイプＡ〜Ｄ矩形ブロックへの分類がなされると、そのタイプに適した圧縮符号化処理が各ブロックに対して施される。非可逆符号化部１４は、例えばＪＰＥＧベースライン方式で用いられる離散コサイン変換（ＤＣＴ）を実行し、ＤＣＴ係数を量子化し、これをエントロピー符号化することにより非可逆符号化を実行して、タイプＣ矩形ブロックの画像を圧縮符号化する。タイプＣ矩形ブロックは、色数Ｎｃが閾値ｔｈ１以上であるがエッジ率Ｅｈは閾値ｔｈ２未満であるので、ＤＣＴ等によって高周波成分が削減されても、画質の低下は見た目上は小さいものとなる。

パレット圧縮部１７は、公知のパレット圧縮を用いて、タイプＢ矩形ブロックの画像データを圧縮符号化する。タイプＢ矩形ブロックは、例えば色数Ｎｃが８未満のブロックであるので、高い圧縮率を得ることができる。

［重要色数予測］ タイプＤ矩形ブロックに対して、減色処理部１６による減色処理の前段階として重要色数予測部１５により実行される予測重要色数の予測手順の一例について、図７を参照して説明する。この例の重要色数予測部１５は、実際に矩形ブロック中に含まれる色の色数Ｎｃと、予測重要色数Ｎｉｃとの対応関係（図７）を示すルックアップテーブル（図示せず）を備え、これを参照して予測重要色数Ｎｉｃを決定する。重要色数予測の基本的な考え方は、矩形ブロックに実際に含まれる色数Ｎｃが多い場合には少ない場合に比べて減色の割合（減色処理後の色数の、減色処理前に実際に含まれていた色の色数に対する比率）を高くすることができる、ということである。このため、本例では、図７に示すように、色数Ｎｃが閾値ｔｈ１以上Ｎ２未満である場合には、グラフの傾きｋ１を大きくして、減色の割合を小さくする。一方、色数ＮｃがＮ２以上Ｎ３未満の場合には、傾きｋ２をｋ１よりも小さくして、減色の割合を若干高くする。色数Ｎｃが多い分、減色の割合を高くしても、原画像の特徴が失われにくいと考えられるからである。そして、色数ＮｃがＮ３以上である場合には、傾きをゼロとし、予測重要色数Ｎｉｃに上限を設定する。色数Ｎｃが閾値ｔｈ１未満である場合には、タイプＡ又はタイプＢ矩形ブロックと判定されるので、重要色数予測の対象とはならない。なお、図７では、グラフが折れ線となっているものを示したが、これに限定されるものではなく、階段状のグラフや、傾きが自然曲線状に変化するグラフであってもよい。

［減色処理］ 次に、減色処理部１６による減色処理の手順を、図８のフローチャートを参照して説明する。予測重要色数Ｎｉｃが決定されると（Ｓ３１）、まず、減色処理部１６は、実際にタイプＤ矩形ブロック内に含まれる各色の画素数を縦軸に示すヒストグラム（図９）を作成した後、このヒストグラムを、出力された予測重要色数Ｎｉｃの数に等しい数の色区間セルに区分する（Ｓ３２）。ここでは、出力された予測重要色数Ｎｉｃが３であるとして、Ａ、Ｃ、及びＤの３つの色区間セルに区分するものとする。最初に、ヒストグラムの形状の特徴に基づき、ＡセルとＢセルに区分し、さらにＢセルをＣセルとＤセルとの２つに区分することにより、予測重要色数Ｎｉｃに等しい数（３つ）の色区間セルＡ、Ｃ、及びＤを得る。

次に、色区間セルＡ、Ｃ、及びＤを、画素数の大きい順に整列させて、セル番号を付与する（Ｓ３３）。ここでは、Ａ、Ｃ、及びＤの順に画素数が多いため、｛Ａ、Ｃ、Ｄ｝＝（０、１、２）とセル番号を付与する（図１０）。この整列を行うことにより、複数の矩形ブロックの関連性を高めることができ、後に行われるブロックグループ化の工程において、圧縮率を更に向上させることが可能となる。

続いて、各色区間セルＡ、Ｃ、及びＤ内のカラーの平均値を計算する（Ｓ３４）。セル番号と、計算された各色区間セルＡ、Ｃ、及びＤのカラーの平均値を関連付けたパレットデータを作成し、このパレットデータを元に、各画素のカラー値を変換する（Ｓ３５）ことで、減色処理が行われる。減色処理されたタイプＤ矩形ブロックのデータと、パレット圧縮されたタイプＢ矩形ブロックのデータとは、フォーマットが同一であるため、次段のブロックグループ化部１８によりグループ化される。なお、図９のヒストグラムは、カラー区間を一次元で説明したが、ＲＧＢ区間など多次元の色区間で表現する場合にも同様のアルゴリズムを適応できる。

［ブロックグループ化］ 次に、ブロックグループ化部１８により実行されるブロックグループ化について、図１１及び１２を参照して説明する。ここにいうブロックグループ化は、減色処理部１６による減色処理又はパレット圧縮部１７によるパレット圧縮を受けたタイプＢ又はＤ矩形ブロックのうち、含まれる色の色数等の特徴が略同じである矩形ブロックのデータ同士を束ねて、データ圧縮を行うものである。例えば、図１１に示すように、２色矩形ブロック１〜３を１つのグループに束ねると共に、４色矩形ブロック１，２を１つのグループに束ねることができる。

図１２はブロックグループ化で矩形ブロックを四つのグループ（Ｇ１〜Ｇ４）に区分する場合の例を示す。２色矩形ブロックは１ビット/ピクセルで表示できるため、一つのグループＧ１に分ける。色数３〜Ｎ１の矩形ブロックはグループＧ２に、色数Ｎ１＋１〜Ｎ２の矩形ブロックはグループＧ３に、色数Ｎ２＋１以上の矩形ブロックはグループＧ４に分ける。たとえば、Ｎ１＝４、Ｎ２＝１６にすれば、グループＧ２はデータを２ビット/ピクセルで、グループＧ３はデータを４ビット/ピクセルでそれぞれ表示させることができる。

前述したように、タイプＢ矩形ブロックのパレット圧縮で得られたパレットデータはカラーの対応する画素数の大きい順に整列させ、タイプＤ矩形ブロックも同様である。このため、タイプＢ矩形ブロック、タイプＤ矩形ブロックは、同じフォーマットのデータをとるので、カラー値が共通するのであれば、同一のグループに分類することが可能である。この整列を行うことにより、画素数の多い色を同じパレットに束ねることができ、圧縮率を高めることができる。タイプＡ矩形ブロック、及びタイプＣ矩形ブロックは、ブロックグループ化部２０によるグループ化の対象ではないが、それぞれグループＧ０、Ｇ５に分類される（図１２参照）。なお、図１２でブロックグループ化において矩形ブロックを四つのグループに分けると説明したが、たとえば、グループを少なめに分ける、または、グループをさらに多く分けるなどの形態も可能である。

［データシャッフル］ 次に、データシャッフル部２０によるデータシャッフルの工程を、図１３を参照して説明する。ここでは、ブロックグループ化部２０等によりグループ化されたグループＧ０〜Ｇ５のデータを順に整列させたデータ構造を採用している。グループＧ０〜Ｇ５には、区分用マック、矩形ブロック数（Ｎｕｍ）の他、各矩形ブロックのサイズ、画像中の位置、パレット列、圧縮データなどが含まれている。

グループＧ０（図13の（ｂ））は単色矩形ブロックであるタイプＡ矩形ブロックのグループである。「カラー列」は、各タイプＡ矩形ブロックの色情報を示すデータ列である。カラー列のデータ数は矩形ブロック数Nｕｍに等しい。グループＧ１（図１３の（ｃ））はタイプＢ、又はＤ矩形ブロックを減色処理又はパレット圧縮した結果としての２色矩形ブロックのグループであり、図13の（ｃ）の圧縮サイズと圧縮データはグループＧ１内すべての矩形ブロックのパレット化データを束ねて圧縮したものである。グループＧ２〜Ｇ４は、タイプＢ、又はＤ矩形ブロックを減色処理又はパレット圧縮した結果としての３〜Ｎ１色矩形ブロック、Ｎ１＋１〜Ｎ２色矩形ブロック、Ｎ２＋１色以上の色矩形ブロックのグループである。データ構造は、いずれも図１３の（ｄ）に示す通りである。Ｇ２〜Ｇ４は、矩形ブロックごとの色数の特定のため、色数データを矩形ブロックごとに有している。

Ｇ５は、タイプＣ矩形ブロックに対し非可逆符号化が行われた結果としての矩形ブロックのグループである。色数がブロックごとにまちまちであるため、矩形ブロックのデータをグループ化して圧縮するのではなく、個々の矩形ブロックのデータ毎に圧縮を行う。

なお、図１３ではグループＧ０からＧ５の順序でデータを整列させる例を説明したが、これに限られず、様々な順序でデータを整列させることが可能である。また、各グループＧ０〜Ｇ５内のデータアイテムの整列の順序も、様々に変更することが可能である。

［第二の実施の形態］ 次に、本発明の第二の実施の形態に係る画像圧縮装置を、図１４を参照して説明する。第一の実施の形態と同様の構成要素については同一の番号を付し、その詳細な説明は省略する。この実施の形態は、タイプＣ又はＤ矩形ブロックの判別をより的確に行うため、圧縮モード判定部１３の作用が異なっていると共に、圧縮モード追加判定部１３Ａが設けられている点において、第一の実施の形態と異なっている。

第一の実施の形態では、タイプＣ矩形ブロックとタイプＤ矩形ブロックとの分類を、エッジ率Ｅｈが閾値ｔｈ２より大きいか否かを判定することにより行っていた。しかし、閾値ｔｈ２をどの程度の大きさに設定するかは難しい問題であり、閾値ｔｈ２付近のエッジ率の場合、減色処理によるのが適当か、非可逆符号化処理によるのが適当かの判断は難しい場合もある。

そこで、この第二の実施の形態では、圧縮モード判定部１３において、閾値がｔｈ２付近のｔｈ２±αである矩形ブロックについては、非可逆符号化部１４による処理と、重要色数予測部１５及び減色処理１６による処理との両方を施す。この２種類の処理のうち、どちらがより高い圧縮率を提供するかを、圧縮モード追加判定部１３Ａにより判定し、その矩形ブロックをタイプＣ又はＤのいずれと判定するのが適当かを決定する。すなわち、非可逆符号化部１４による処理結果（１）と減色処理部１６による処理後、可逆符号化部１９Ｂにより符号化した処理結果（２）の圧縮率を比較し、前者の方が高い圧縮率である場合には、処理結果（１）をそのまま出力する。後者の方が高い圧縮率である場合には、減色処理部１６による処理結果を、ブロックグループ化部１８によりブロックグループ化し、可逆符号化部１９Ｂにより可逆符号化した結果である処理結果（３）を出力する。

［第三の実施の形態］ 次に、本発明の第三の実施の形態に係る画像圧縮装置を、図１５を参照して説明する。第一の実施の形態と同様の構成要素については同一の番号を付し、その詳細な説明は省略する。この実施の形態では、減色処理部１６により減色処理された矩形ブロックの中から、更に細かな単色矩形ブロック及び少数色の矩形ブロックを矩形ブロック抽出部１２Ａにより抽出し、抽出された矩形ブロックの種別（単色、２色以上）を圧縮モード判定部１３Ｂにより判定して分類するようにしている点で、第一の実施の形態と異なっている。タイプＤ矩形ブロックが減色処理された時、矩形ブロックの色数の減少に従い、矩形ブロック内の単色領域と少ない色数の領域が増えると予想されるので、このような処理が行われることにより、更なる圧縮率の向上が期待できる。矩形ブロック抽出部１２Ａの動作は、矩形ブロック抽出部１２と略同様であるので、詳細な説明は省略する。

圧縮モード判定部１３Ｂは、抽出された矩形ブロック内の色数Ｎｃをカウントし（Ｓ１３１）、Ｎｃ＝１である場合（Ｓ１３２のＹＥＳ）、その矩形ブロックをタイプＡ矩形ブロックと判定し、そのままデータシャッフル部２０に出力する。Ｎｃ＞１である場合（Ｓ１３２のＮＯ）、その矩形ブロックをタイプＢ矩形ブロックと判定し、圧縮モード判定部１３でタイプＢ矩形ブロックと判定された矩形ブロックと共に、パレット圧縮部１７によるパレット圧縮の対象とする。

以上、発明の実施の形態を説明したが、本発明はこれらに限定されるものではなく、発明の趣旨を逸脱しない範囲内において、種々の変更、追加等が可能である。例えば、第３の実施の形態（図１５）において、矩形ブロック抽出部１２Ａ圧縮モード判定部１３Ｂを別途設ける代わりに、減色処理部１６の出力を矩形ブロック抽出部１２にフィードバックさせ、矩形ブロック抽出部１２、１３に１２Ａ、１３Ｂの役割を兼用させるようにしてもよい。

本発明の第一の実施の形態に係る画像圧縮装置の構成を示すブロック図である。 図１の画像圧縮装置の処理対象であるコンピュータ画面の一例を示す。 矩形ブロック抽出部１２の作用を説明するフローチャートである。 単色矩形ブロックの拡張の方法を説明する。 単色矩形ブロックの拡張の方法を説明する。 単色矩形ブロックの拡張の方法を説明する。 単色矩形ブロックの拡張の方法を説明する。 圧縮モード判定部１３の作用を説明するフローチャートである。 図５のフローチャートにおけるエッジ率の判定方法の一例を説明する。 予測重要色数の判定方法を説明する。 図１の減色処理部１６による減色処理の手順を示すフローチャートである。 図８のフローチャートのＳ３２の具体例を説明する。 図８のフローチャートのＳ３３の具体例を説明する。 ブロックグループ化部１８の動作を示す概念図である。 ブロックグループ化部１８におけるグループ化の方法の一例を説明する。 データシャッフル部２０におけるデータシャッフルの工程の一例を説明する。 本発明の第二の実施の形態に係る画像圧縮装置の構成を示すブロック図である。 本発明の第三の実施の形態に係る画像圧縮装置の構成を示すブロック図である。 図１５の圧縮モード判定部１３Ｂの動作を説明する。

符号の説明

１・・・カラー画像入力装置、 １２・・・矩形ブロック抽出部、 １３・・・圧縮モード判定部、 １４・・・非可逆符号化部、 １５・・・重要色数予測部、 １６・・・減色処理部、 １７・・・パレット圧縮部、 １８・・・ブロックグループ化部、 １９・・・可逆符号化部、 ２０・・・データシャッフル部。

Claims (13)

1. 画像データを色に基づいて分割して複数の矩形ブロックを抽出する矩形ブロック抽出部と、
   前記矩形ブロックのそれぞれに含まれる色の数を示す色数、及びエッジ画素の割合を示すエッジ率を判定し、前記色数が単数である前記矩形ブロックを第１種矩形ブロック、前記色数が所定値未満である前記矩形ブロックを第２種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値未満である前記矩形ブロックを第３種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値以上である前記矩形ブロックを第４種矩形ブロックとしてそれぞれ分類する判定部と、
   前記第２種矩形ブロックの画像データにパレット圧縮を施すパレット圧縮部と、
   前記第３種矩形ブロックの画像データに非可逆的なデータ圧縮を施す非可逆圧縮符号化部と、
   前記第４種矩形ブロックの色数に基づいて重要色数を予測し前記第４種矩形ブロックに含まれる色を予測された重要色数まで削減する減色処理を施す減色処理部と
   を備え、
   前記判定部は、ある矩形ブロックの前記エッジ率が前記所定値に近似する値である場合、前記非可逆圧縮符号化部による圧縮率と前記減色処理部による圧縮率とを比較し、前者が後者より大きい場合、その矩形ブロックを第３種矩形ブロックに分類する一方、後者が前者より大きい場合、その矩形ブロックを第４種矩形ブロックに分類する
   ことを特徴とする画像圧縮装置。
2. 前記矩形ブロック抽出部は、所定の大きさを有する単色矩形ブロックを画像データ中で検索し、検索された単色矩形ブロックの隣接行又は隣接列の色が同一である場合に該単色矩形ブロックを拡張することにより前記第１種矩形ブロックを最大化するものである請求項１記載の画像圧縮装置。
3. 前記パレット圧縮部又は前記減色処理部により圧縮された圧縮画像同士を、含まれる色の色数に応じてグループ化するグループ化部を更に備えた請求項１記載の画像圧縮装置。
4. 前記非可逆圧縮符号化部は、直交変換を用いて画像データを空間周波数領域に変換する変換符号化によるデータ圧縮を施すものである請求項１記載の画像圧縮装置。
5. 前記矩形ブロック抽出部は、前記減色処理部による減色処理後の矩形ブロックを更に微少の矩形ブロックに分類し、前記圧縮モード判定部は、この微少の矩形ブロックを、前記第１種乃至第４種矩形ブロックに分類するものである請求項１記載の画像圧縮装置。
6. 画像データを色に基づいて分割して複数の矩形ブロックを抽出するステップと、
   前記矩形ブロックのそれぞれに含まれる色の数を示す色数、及びエッジ画素の割合を示すエッジ率を判定するステップと、
   前記色数が単数である前記矩形ブロックを第１種矩形ブロック、前記色数が所定値未満である前記矩形ブロックを第２種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値未満である前記矩形ブロックを第３種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値以上である前記矩形ブロックを第４種矩形ブロックとしてそれぞれ分類するステップと、
   前記第２種矩形ブロックの画像データにパレット圧縮を施すステップと、
   前記第３種矩形ブロックの画像データに非可逆的なデータ圧縮を施すステップと、
   前記第４種矩形ブロックの色数に基づいて重要色数を予測し前記第４種矩形ブロックに含まれる色を予測された重要色数まで削減する減色処理を施すステップと
   を備え、
   前記分類するステップは、ある矩形ブロックの前記エッジ率が前記所定値に近似する値である場合、前記非可逆的なデータ圧縮による圧縮率と前記減色処理による圧縮率とを比較し、前者が後者より大きい場合、その矩形ブロックを第３種矩形ブロックに分類する一方、後者が前者より大きい場合、その矩形ブロックを第４種矩形ブロックに分類するものである
   ことを特徴とする画像圧縮方法。
7. 画像データを分割して複数の矩形ブロックとして抽出するステップは、所定の大きさを有する単色矩形ブロックを画像データ中で検索し、検索された単色矩形ブロックの隣接行又は隣接列の色が同一である場合に該単色矩形ブロックを拡張することにより前記第１種矩形ブロックを最大化するものである請求項６記載の画像圧縮方法。
8. 前記パレット圧縮又は前記減色処理により圧縮された圧縮画像同士を、含まれる色の色数に応じてグループ化するステップを更に備えた請求項６記載の画像圧縮方法。
9. 前記減色処理による減色処理後の矩形ブロックを更に微少の矩形ブロックに分類し、この微少の矩形ブロックを、前記第１種乃至第４種矩形ブロックに分類するステップを更に備えた請求項６記載の画像圧縮方法。
10. 画像データを色に基づいて分割して複数の矩形ブロックを抽出するステップと、
    前記矩形ブロックのそれぞれに含まれる色の数を示す色数、及びエッジ画素の割合を示すエッジ率を判定するステップと、
    前記色数が単数である前記矩形ブロックを第１種矩形ブロック、前記色数が所定値未満である前記矩形ブロックを第２種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値未満である前記矩形ブロックを第３種矩形ブロック、前記色数が所定値以上であって前記エッジ率が所定値以上である前記矩形ブロックを第４種矩形ブロックとしてそれぞれ分類するステップと、
    前記第２種矩形ブロックの画像データにパレット圧縮を施すステップと、
    前記第３種矩形ブロックの画像データに非可逆的なデータ圧縮を施すステップと、
    前記第４種矩形ブロックの色数に基づいて重要色数を予測し前記第４種矩形ブロックに含まれる色を予測された重要色数まで削減する減色処理を施すステップと
    をコンピュータに実行させるように構成され、
    前記分類するステップは、ある矩形ブロックの前記エッジ率が前記所定値に近似する値である場合、前記非可逆的なデータ圧縮による圧縮率と前記減色処理による圧縮率とを比較し、前者が後者より大きい場合、その矩形ブロックを第３種矩形ブロックに分類する一方、後者が前者より大きい場合、その矩形ブロックを第４種矩形ブロックに分類するものである
    ことを特徴とする画像圧縮プログラム。
11. 画像データを分割して複数の矩形ブロックとして抽出するステップは、所定の大きさを有する単色矩形ブロックを画像データ中で検索し、検索された単色矩形ブロックの隣接行又は隣接列の色が同一である場合に該単色矩形ブロックを拡張することにより前記第１種矩形ブロックを最大化するものである請求項１０記載の画像圧縮プログラム。
12. 前記パレット圧縮又は前記減色処理により圧縮された圧縮画像同士を、含まれる色の色数に応じてグループ化するステップを更に備えた請求項１０記載の画像圧縮プログラム。
13. 前記減色処理による減色処理後の矩形ブロックを更に微少の矩形ブロックに分類し、この微少の矩形ブロックを、前記第１種乃至第４種矩形ブロックに分類するステップを更に備えた請求項１０記載の画像圧縮プログラム。

Images