JP4264051B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に、入力画像を適切に表示するために当該入力画像における文字等の画像の像域を正確に分離し、また、分離した文字を高精細に表示するために文字画像の画像データの最適化を行う画像処理装置に関する。

コピー機やファクシミリ装置のような画像処理装置は、原稿を読み取った入力画像を綺麗に表示するための処理を行うことにより表示のための画像（表示画像）を生成して、この表示画像を表示する。当該処理としては、種々の処理が知られている。例えば、入力画像が文字を含む場合、各々の画素値を所定の閾値を用いてスライスすることにより、入力画像から二値化画像を生成してこれを表示する。又は、誤差拡散・ディザ処理等により、入力画像から擬似中間調画像を生成してこれを表示する。このような処理により、入力画像における背景を除去し、黒くはっきりとした文字を表示する。

なお、入力画像を縮小して解像度を下げた後に、網点の抽出結果に基づいて像域分離処理を行う技術が、提案されている（特許文献１参照）。また、ＲＧＢのサブピクセルからなるカラー表示器において文字を高精細に表示する技術が、提案されている（特許文献２参照）。
特開平１１−２３４５１２号公報 特開２００４−２９５９８号公報

前述の種々の処理により得た画像を表示装置等でそのまま見ると、以下のような問題を生じることがある。例えば、前述の入力画像のスライスによる二値化画像を用いると、絵がうまく表現できない場合があり、また、文字のかすれ等が発生することがある。また、擬似中間調画像を用いると、表示装置への表示によるモアレの発生などにより、見にくくなることがある。また、入力画像が古書を読み取ったカラー画像である場合、背景が色焼けしているために背景が着色されてしまうことがある。また、入力画像が文字を含むカラー画像の場合、文字が鮮明でなく、画像が見にくくなることが極めて多い。

更に、前述の種々の処理は、コピー機やファクシミリ装置のような画像処理装置における処理である。即ち、入力画像の解像度が、高解像度（６００ｄｐｉ程度）であり、かつ、固定されている。厳密には、より高い解像度とされることはあっても、低い解像度とされることは無い。これに対して、スキャナのような画像処理装置においては、その解像度は、高解像度から低解像度（１５０ｄｐｉ程度）までの種々の値を採る。このため、特に低解像度の場合には、前述の種々の処理をそのまま採用することはできない。

即ち、前述の種々の処理においては、高解像度で読取した画像に対して像域分離を行い、それぞれの像域に対して適切な処理を行っている。しかし、コンピュータに大量の画像を取り込む場合、スキャナからコンピュータへのデータ転送速度や、コンピュータの記憶領域などにより、低解像度でかつ非可逆圧縮で読み取られる。このため、前述の種々の処理において、網点等がある場合、精度良く像域が分離できないために、また、非可逆圧縮による文字部のモスキートノイズやブロックノイズのために、画質が低下する。また、読取対象の原稿が年月を経過したもの（いわゆる古書）である場合、ゴミや色あせがひどく、スキャナで読み取った入力画像の画質が劣化する。これにより、当該画像を表示装置等で見た場合、人間にとって読み難いものになる。また、二値化画像等により、背景を白く文字を黒くすることは可能であるが、この場合、逆にコントラストが強すぎるため、長時間にわたって画像を読むことが困難になる。

本発明は、入力画像を適切に表示するために当該入力画像における文字等の画像の像域を正確に分離する画像処理装置を提供することを目的とする。

また、本発明は、分離した文字を高精細に表示するために画像データの最適化を行う画像処理装置を提供することを目的とする。

本発明の画像処理装置は、入力画像の像域分離処理を行う画像処理装置であって、文字の像域の特徴に基づく第１の処理により当該第１の縮小画像の解像度が前記入力画像における網点の間隔よりも小さい間隔となるような縮小率を用いて前記入力画像を縮小することにより、前記文字の像域の特徴を残す第１の縮小画像を作成する第１縮小画像作成部と、絵柄の像域の特徴に基づき前記第１の処理とは異なる第２の処理により当該第２の縮小画像の解像度が前記入力画像における網点の間隔よりも小さい間隔となるような縮小率を用いて前記入力画像を縮小することにより、前記絵柄の像域の特徴を残す第２の縮小画像を作成する第２縮小画像作成部と、前記第１の縮小画像に残る前記文字の像域の特徴に基づいて前記文字の像域とそれ以外の像域とを判別し、前記第２の縮小画像に残る前記絵柄の像域の特徴に基づいて前記絵柄の像域とそれ以外の像域とを判別することにより、前記入力画像について文字、絵柄、背景のいずれの像域であるかを判定する像域判定部とを備える。

本発明の画像処理装置によれば、前述の縮小率を用いて、第１の縮小画像及び第２の縮小画像を作成し、文字の像域の特徴を残す第１の縮小画像及び絵柄の像域の特徴を残す第２の縮小画像を用いて文字、絵柄、背景のいずれの像域であるかを判定する。これにより、スキャナのような画像処理装置において、その解像度が高解像度から低解像度までの種々の値を採る場合でも、特に低解像度の場合でも、精度良く像域が分離できる。従って、正確に判別した像域毎に、色焼けを修正し、ノイズを除去し、平滑化し、色の復元等をすることができる。この結果、絵柄や文字を表示装置上に綺麗に表示することができる。また、入力画像が古書を読み取ったカラー画像である場合でも、色焼けしている背景を修正して見易くし、カラー画像における文字を鮮明に表示し、画像を見易くすることができる。

図１は、画像処理装置構成図であり、本発明の画像処理装置の構成の一例を示す。画像処理装置１００は、入力された画像データ（入力画像）を入力画像ファイル３００に格納し、当該入力画像を表示装置５００に綺麗に表示するために、これについて本発明に従って所定の画像処理を行うことにより、表示装置５００に表示するための画像データ（表示画像）を生成して表示画像ファイル４００に格納し、これを表示装置５００に表示する。入力画像は、例えばスキャナ２００等の画像読取装置２００によって読み取られ、当該画像処理装置１００に入力された画像データである。

画像処理装置１００は、入力画像の像域分離処理を行う画像処理装置であって、本発明に従う画像処理を行うために、像域処理部１、色焼け処理部２、ノイズ除去部３、平滑化部４、色処理部５、文字色処理部６を備える。像域処理部１は、第１縮小画像作成部１１、第２縮小画像作成部１２、像域判定部１３を備える。色焼け処理部２は、色焼け判定部２１、色焼け除去部２２を備える。色処理部５は、モノクロ／カラー判定部５１、色除去部５２、色復元部５３を備える。文字色処理部６は、明度最適化部６１、高精細文字処理部６２を備える。

像域処理部１は、入力画像ファイル３００から読み出した入力画像について、その像域判定部１３において、入力画像の像域分離処理を行う。具体的には、入力画像の網点の検出を行い、これに基づいて、入力画像の像域を絵柄、文字、背景のいずれかに分離する。ここで、網点は、ディザを含むものであり、印刷時における原稿上の色材定着領域を言う（以下同じ）。このために、像域処理部１は、第１縮小画像作成部１１及び第２縮小画像作成部１２を備え、各々において、像域分離を行うための２つの異なる縮小画像を作成する。２つの異なる縮小画像を用いる理由及び像域判定の原理は、以下の通りである。

一般に、多くの原稿において、通常の絵柄は「網点」と呼ばれるドットにより印刷されている。通常の絵柄とは、例えば図２における「風景写真」の領域（像域）Ａである（又は、図８において黒く塗り潰される領域である）。網点の間隔は、通常、約１００〜２００線／インチであると考えて良い。そこで、本発明においては、縮小画像を作成する際に、当該縮小画像の解像度が入力画像における網点の間隔よりも小さい間隔となるように、入力画像の解像度（即ち、網点の間隔）に応じて縮小率を変える。網点の間隔よりも十分に小さい間隔（解像度）とは、網点が潰れる解像度、例えば２５〜７５ｄｐｉである。この例では、５０ｄｐｉを用いる（以下同じ）。これにより、網点を検出することができる。

最初に、第１縮小画像作成部１１による第１の縮小画像の作成について説明する。第１縮小画像作成部１１は、文字の像域の特徴に基づく第１の処理により、所定の縮小率を有する入力画像についての第１の縮小画像を作成する。第１の処理は、注目画素を当該注目画素の各々の画素値の平均値を有する画素で置きかえることにより、縮小画像を得る処理である。所定の縮小率は、前述のように、当該縮小画像の解像度が入力画像における網点の間隔よりも小さい間隔となるような縮小率である。

第１縮小画像作成部１１は、第１の縮小画像の作成のために、最初に、図３に示すように、注目画素（処理対象画素）の各々の画素の値（階調値）の平均値を算出する。例えば、入力画像（スキャナ２００で読み取った画像）の解像度が６００ｄｐｉの高解像度の場合、図３（Ａ）に示すように、前述のように、縮小画像の解像度を５０ｄｐｉとするためには、１２個×１２個の画素の階調値の平均値を求めれば良い。そして、当該平均値を持つ画素で、入力画像における当該１２個×１２個の画素を置きかえる（代表させる）。同様に、図３（Ｂ）に示すように、３００ｄｐｉの中間解像度の場合、６個×６個の画素の階調値の平均値を求める。図３（Ｃ）に示すように、２００ｄｐｉの低解像度の場合、４個×４個の画素の階調値の平均値を求める。図３（Ｄ）に示すように、１５０ｄｐｉの低解像度の場合、３個×３個の画素の階調値の平均値を求める。他の解像度の場合、ここに述べた解像度に近い演算を採用すれば良い。これにより、５０ｄｐｉの縮小画像が求まる。

次に、求めた縮小画像において、注目画素とその周辺画素の各々との差分を求め、その最大値を選択し、当該選択した最大値（差分）が所定の値（閾値）よりも大きい場合、文字のエッジ成分を抽出したものと判断する。閾値は、画素値を例えば２５６階調で表す場合、２０とされる。

前述のように縮小画像を作成すると（縮小後の解像度を選択すると）、網点は潰れるが、文字のエッジ成分は残る。そこで、周辺画素との差分が所定の値（２０階調）以上あれば、文字のエッジ成分と考えることができる。一方、絵柄は元々エッジ成分が少ないので、前述のように縮小後の解像度を選択すると、当該エッジ成分は消えてしまう。なお、背景はエッジ成分を持たない。従って、縮小画像におけるエッジ成分の有無の相違を利用することにより、文字の像域とそれ以外の像域（絵柄の像域及び背景の像域）とを判別することができる。これにより、図２に示すように、種々の像域の混じった入力画像から、エッジ成分を強く含む網点又は像域（即ち、文字の像域）と、これ以外の網点又は像域（即ち、絵柄の像域と背景の像域）とを判別することができる。従って、第１の縮小画像を用いた文字の像域は、第１の縮小画像において、注目画素とその周辺画素の各々との差分の中の最大値を求め、当該最大値が所定の値よりも大きい場合に当該文字の像域を抽出したと判断することで抽出される。

次に、第２縮小画像作成部１２による第２の縮小画像の作成について説明する。第２縮小画像作成部１２は、絵柄の像域の特徴に基づき前記第１の処理とは異なる第２の処理により、所定の縮小率を有する前記入力画像についての第２の縮小画像を作成する。所定の縮小率は、前述のように、当該縮小画像の解像度が入力画像における網点の間隔よりも小さい間隔となるような縮小率である。第２の処理は、注目画素を所定の処理により算出した当該注目画素の各々の画素値の最小値を有する画素で置きかえることにより、縮小画像を得る処理である。第２の処理においては、入力画像の解像度に応じた異なる処理により、当該注目画素の各々の画素値の最小値を算出する。

第２縮小画像作成部１２は、第２の縮小画像の作成のために、最初に、注目画素（処理対象画素）の各々の画素の値（階調値）の最小値ＭＩＮ（「黒」色に相当する）を算出する。即ち、縮小画像の作成方法として、縮小する際に、注目画素の各々の画素の階調値の中の最小値ＭＩＮを採ることにより、画像を最適に縮小する。この時、入力画像の解像度に応じて、前記最小値ＭＩＮの算出方法を変更する。

一般に、入力画像が高解像度である場合、当該画像における網点の例を図４（Ａ）に示す。高解像度とは、網点が解像できる解像度を言い、例えば６００ｄｐｉである。この場合、図４（Ａ）に示すように、（図２の領域Ａにおける）網点が綺麗に解像できる（読み取れる）ので、黒成分（網点成分）を抽出することができる。入力画像が低解像度である場合、当該画像における網点の例を図４（Ｂ）に示す。低解像度とは、網点が解像できない解像度を言い、例えば１５０ｄｐｉである。この場合、図４（Ｂ）に示すように、（図２の領域Ａにおける）網点が解像できない（読み取れない）ので、網点線分の抽出にばらつきが発生する。

以上から、入力画像が高解像度である場合、図５（Ａ）に示すように、注目画素群からその最小値ＭＩＮを採ればよい。即ち、例えば４×４＝１６個の注目画素（の値）ｄ１１〜ｄ４４の中で最も値の小さい画素を選択し、その値を最小値ＭＩＮとし、当該画素ｓ１１で１６個の注目画素ｄ１１〜ｄ４４を置き換える。即ち、注目画素ｄ１１〜ｄ４４を画素ｓ１１で代表させることにより、画像を縮小する。これにより、高解像度の網点成分（黒成分）を抽出している。

一方、入力画像が低解像度である場合、図５（Ｂ）に示すように、４×４＝１６個の注目画素群について、所定の演算を行うことにより、例えば２×２の領域に対して黒成分の抽出を行う。即ち、１６個の中の４個の注目画素ｄ１１、ｄ１２、ｄ２１、ｄ２２を用いて、図５（Ｂ）に示す演算により、仮の黒成分ｔ１１＝２５５−（（２５５−ｄ１１）＋（２５５−ｄ１２）＋（２５５−ｄ２１）＋（２５５−ｄ２２））を算出する。同様に、他の黒成分ｔ１２、ｔ２１、ｔ２２を算出する。これらの抽出された４個の仮の黒成分の中で最も値の小さい画素を選択し、その値を最小値ＭＩＮとし、当該画素ｓ１１で１６個の注目画素ｄ１１〜ｄ４４を置き換え、画像を縮小する。これにより、網点によるばらつきを押さえつつ、低解像度の網点成分（黒成分）を抽出している。

例えば、入力画像の解像度が６００ｄｐｉの高解像度の場合、図６（Ａ）に示すように、 縮小画像の解像度を５０ｄｐｉとするために、１２個×１２個の画素の中から当該階調値の最も小さい値、即ち最小値ＭＩＮを図５（Ａ）に示す方法により求める。最小値ＭＩＮは、例えば２５６階調で２０〜３０程度である。そして、当該最小値ＭＩＮを持つ画素で、入力画像における当該１２個×１２個の画素を置きかえる。同様に、図６（Ｂ）に示すように、３００ｄｐｉの中間解像度の場合、６個×６個の画素の中から最小値ＭＩＮを図５（Ｂ）に示す方法により求める。図６（Ｃ）に示す２００ｄｐｉの低解像度の場合及び図６（Ｄ）に示す１５０ｄｐｉの低解像度の場合、各々、４個×４個の画素及び３個×３個の画素の中から最小値ＭＩＮを図５（Ｂ）に示す方法により求める。他の解像度の場合、ここに述べた解像度に近い演算を採用すれば良い。これにより、５０ｄｐｉの縮小画像が求まる。

次に、求めた縮小画像に対して、図７に示すように、ヒストグラムを作成する。このヒストグラムを利用して分散等による閾値Ｔを決定し、この閾値Ｔを用いて縮小画像の２値化を行う。閾値Ｔは、例えば図７に示す演算により算出する。これにより、入力画像において、網点又は絵柄の像域に関しては、ある面積の黒領域が発生する。

この場合、更に、以下のようにして、網点と文字とを区別する。例えば、１２ポイントの文字の大きさは４×４ｍｍ程度であり、一方、文字には隙間が発生し黒と白の成分ができる。これらのことを考慮すると、１０×１０ドット（５ｍｍ×５ｍｍ）の大きさ領域で黒成分が占める割合が高い場合、当該領域は、文字ではなく、網点又は絵柄であると判断することができる。

一般に、絵柄の黒成分は文字の黒成分よりも多く、前述のように縮小後の解像度を選択すると、文字の黒成分は消えてしまう。一方、絵柄については、低解像度においても隣接画素から黒成分を取得するので、黒成分が残る。なお、背景はエッジ成分を持たない。従って、縮小画像における黒成分（黒画素）の割合の相違を利用することにより、黒成分の多く存在する絵柄の像域と、これ以外の像域（即ち、文字の像域と背景の像域）とを判別することができる。そこで、当該縮小画像において、１０×１０＝１００個の画素の中に例えば９８個以上の黒成分（黒画素）が存在する場合、絵柄の黒成分を抽出したものと判断する。これにより、図８に示すように、種々の像域の混じった入力画像から、黒成分の多く存在する像域（即ち、絵柄の像域）と、これ以外の像域（即ち、文字の像域と背景の像域）とを判別することができる。従って、第２の縮小画像を用いた絵柄の像域は、第２の縮小画像に基づいて作成したヒストグラムから定まる値により当該第２の縮小画像を２値化し、当該２値化画像における黒画素の割合が所定の値よりも大きい場合に当該絵柄の像域を抽出したと判断することで抽出される。

以上のように、図８及び図２に示す２個の縮小画像を比較することによって、絵柄、文字、背景の像域を判別することができる。従って、像域判定部１３は、入力画像の解像度に応じた縮小率によって縮小画像を得て、第１の縮小画像を用いて文字の像域を抽出し、第２の縮小画像を用いて絵柄の像域を抽出し、第１の縮小画像と第２の縮小画像とを用いて背景の像域を抽出することにより、入力画像について文字、絵柄、背景のいずれの像域であるかを判定する。また、２つの縮小画像を作ることで、入力画像が低解像度である場合においても、高精度な像域分離を可能とし、その後に行う精度向上を図ることができる。更に、絵柄中の文字の像域を抽出し、その像域に応じて最適な処理を行うことで、画像の文字を読みやすくすることができる。なお、縮小画像を得る方法としては、例えば周知の縮小であるバイリニア／バイキュービック等の方法によっても良い。

色焼け判定部２１は、色焼けの有無を判定する。即ち、像域処理部１において、背景像域であると判定された領域について、色焼け画像であるか否かを判定する。一般に、色焼けした原稿においては、図９（Ａ）に示すように、背景の赤成分Ｒ￣が強く、青成分Ｂ￣が弱いという特徴がある。図９（Ａ）は背景の像域のヒストグラムである。また、Ｒ￣＜Ｇ￣＜Ｂ￣の傾向が強ければ、色むらの傾向が強いという特徴がある。そこで、前述の像域判定により背景と判別された像域において、相互に対応する位置の画素値がＲ＞（Ｇ＋１０）＞（Ｂ＋２０）を満たす画素が、背景の像域における全画素数に対して割合が高い場合、色焼け原稿であると判定する。なお、例えばＲは当該画素の赤成分の値（階調値）であり、また、Ｒ￣は当該像域（背景の像域）における各々の画素の赤成分の平均値（階調値）である（他も同じ）。更に、後述する色復元部５３において用いられる色褪せ値ＫはＫ＝Ｒ−Ｂにより求まる。

色焼け除去部２２は、例えば色焼け判定部２１において色焼け画像であると判定された（入力画像における）背景像域である領域から、色焼けを除去する。色焼け除去部２２は、色焼け原稿であると判定された場合、図 9（Ｂ）に示すように、各々の画素におけるＲＧＢの値を合わせる（ＲＧＢのヒストグラムが重なるようにする）。即ち、色焼け除去部２２は、前記判別された背景の像域の画素に対して、図９（Ａ）に示すように、ＲＧＢ成分毎にヒストグラムを作成する。このヒストグラムの平均値または分散値から算出される値を、白（画素の階調値で（２５６階調における）２５５）とする。即ち、Ｒを基準として、Ｇ及びＢのトーンカーブを変更する。これにより、図９（Ｂ）に示すように、色焼けを除去する。

従って、本発明によれば、正確に判別された背景の像域が色焼け（色褪せ）をしているかどうか判断し、色焼けしている場合、背景から不要な色を除去することができる。これにより、例えば入力原稿が古書である場合、分離した背景の像域に注目して、古書特有の色焼けを判定することで、後述するように、背景のノイズを除去し、また、その他の部分のコントラストを高め、画像を見えやすくすることができる。

ノイズ除去部３は、入力画像からノイズを除去する。一般に、色焼けした原稿においては、年月の経過による劣化やゴミの付着等により、入力装置より得られた画像に劣化が見られる。そのため、ゴミの除去を行う必要がある。ノイズ除去部３は、図１０に示すように、像域処理部１で作成した縮小画像を、更に２値化する。この時、図１０の左側のように読み取られたゴミは、縮小画像を２値化すると、通常、周囲に連続する領域を持たないので、当該画像内において孤立点となる。そこで、この孤立点を除去することにより、大きなノイズ成分を除去する。ノイズ除去部３で除去可能であるゴミは、５０ｄｐｉの解像度における１ドット、つまり約０．５ｍｍより小さいゴミである。前述したとおり、１２ポイントの文字の大きさが約４ｍｍであるので、文字等を消去してしまうことは無い。

平滑化部４は、像域毎に画像（入力画像）を平滑化する。即ち、入力画像において文字、絵柄、背景の像域であると判定された領域の各々について、相互に異なるフィルタにより平滑化を行う。このために、平滑化部４は、例えば像域毎に用意される。即ち、前述のように分離された像域毎に、その平滑化に最適なフィルタを用意する（最適な平滑化部４を用意する）。これにより、像域毎に最適なノイズ成分の除去処理を行う。

一般に、背景の像域においては、非可逆圧縮によるブロックノイズ、小さいゴミ／傷等がある可能性がある。絵柄の像域においては、網点と入力装置の特性とにより、モアレや解像のバラツキがある可能性がある。また、文字の像域においては、エッジ成分が強いため、非可逆圧縮によるモスキートノイズが発生している可能性がある。

背景の像域においては、基本的には、図１１（Ａ）に示すように、平滑化フィルタを弱めにし、ノイズ成分の除去を行う。即ち、殆どぼかしの無いフィルタを用いる。一方、背景の像域のブロックノイズについて見ると、非可逆圧縮により８×８の領域（周知のＪＰＥＧのＤＣＴのブロック）の境でノイズが発生する。そこで、図１１（Ｂ）に示すように、当該８×８の領域の境においては、平滑化フィルタを強くして、ノイズ成分を除去する。即ち、やや強くぼかしたフィルタを用いる。

絵柄の像域においては、網点のモアレや解像のバラツキを除去するために、図１１（Ｃ）に示すように、平滑化フィルタを最も強くして、ノイズ成分（網点）を除去する。即ち、強くぼかしたフィルタを用いる。

文字の像域においては、非可逆圧縮によるモスキートノイズについて見ると、図１２（Ａ）に示すように、８×８の領域でエッジ成分が強いほど大きい。そこで、注目画素と周辺画素の差分を取り、その差分がある閾値に対して小さい場合の画素との平滑化を行う。具体的には、図１２（Ｂ）に示すように、特殊なフィルタを用いて、ノイズ成分を除去する。即ち、８×８の領域でエッジ成分が大きいほど、閾値を大きくする。これにより、文字成分は文字成分で平滑化を行い、その他の部分はその他の部分で、各々、平滑化を行うことでノイズ成分を除去することができる。

ここで、像域毎の平滑化フィルタの強さのばらつきによっては、像域の境にエッジ成分（階調値の段差）ができてしまう場合がある。そこで、像域の境においては、図１２（Ｃ）に示すように、像域と像域の中間の平滑化フィルタを使用する。図１２（Ｃ）のフィルタは、例えば絵柄の像域と背景の像域との境において用いられる中間平滑化フィルタを示す。これにより、エッジ成分が目立つことを防止するようにしても良い。

以上により、入力画像からノイズ成分を除去し、像域に応じた平滑処理を行うことができる。特に、前述のように正確に判別された像域毎に平滑フィルタを変更することにより、画像を滑らかにすると共に、背景のノイズ、絵柄領域の網点、文字領域の非可逆圧縮によるモスキートノイズ等を除去し、また、原稿についたゴミ／埃等を読み取ったデータを平滑化し、画像を綺麗にすることができる。また、画像読取装置２００に特有のノイズ、非可逆圧縮に特有のブロックノイズ／モスキートノイズ、古書に特有のゴミなどを消去することができる。

モノクロ／カラー判定部５１は、入力画像についてモノクロ画像であるかカラー画像であるかを判定する。一般に、原稿によっては、白地に黒文字であるとは限ない。即ち、原稿の地色がカラーである可能性があるので、判別が必要である。そこで、モノクロ／カラー判定部５１は、背景の像域以外の像域について、色味成分を抽出する。この例では、各々の画素について、ＲＧＢの中の最大値Ｍａｘと最小値Ｍｉｎの差を、色味成分として抽出する。この時、ＲＧＢ空間ではなく、色空間として周知のＨＳＶの彩度やＬａｂのａｂ値に変換し、その値を色味成分としてもよい。モノクロ／カラー判定部５１は、得られた色味成分の値が所定の値よりも大きい場合、カラー画像であると判断する。

色除去部５２は、例えば入力画像がモノクロ画像であると判定された場合、当該入力画像から色（色成分）を除去する。即ち、色除去部５２は、入力原稿がモノクロ画像であると判定された場合、色味成分は無駄であるので、その除去を行う。除去の方法としては、画素の値を、Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂにより値Ｙとして求めることにより、ＲＧＢからグレー（Gray即ち中間調）に変換すればよい。このとき、色空間で知られるＨＳＶやＬａｂ等に変換し、色味成分を除去した後、ＲＧＢに戻してグレー化してもよい。

色復元部５３は、例えば入力画像がカラー画像であると判定された場合、入力画像の色（色成分）を復元する。即ち、色復元部５３は、入力原稿がカラー画像であると判定された場合、色を復元する処理を行う。一般に、色焼け原稿においては、色も褪せていると考えられる。そこで、色焼け判定部２１において算出された色あせ具合（色褪せ値Ｋ、図９（Ａ）参照）に応じて、彩度の向上を図る。具体的には、ＲＧＢからＨＳＶに変換して、色あせ値Ｋが大きいほど、Ｋに対してＨＳＶのＳ成分を大きくする。このようにして算出されたＨＳＶをＲＧＢに戻すことにより、色を復元する。

以上により、カラー画像と判断された場合は色の復元を行い（色あせた原稿の色を修復し）、モノクロと判断された場合は色成分の除去を行い、明度による最適なコントラストを実現することができる。これにより、例えば古書等を読み取った入力画像を、表示装置５００上に綺麗に表示し、見易くすることができる。

明度最適化部６１は、入力画像の明度を最適化する。即ち、文字は黒く、背景は白くする処理を行う。一般に、文字等を表示装置５００で見る場合、コントラストが高いほうがはっきりとして見える。そのため、文字は黒く、背景は白くするために、白レベルと黒レベルを決定する。明度最適化部６１は、例えば色除去を行った画像に対して、ヒストグラムを作成し、そのヒストグラムの分散値等により所定の値（スライス）を求める。また、当該ヒストグラムの最大値Ｍａｘ、最小値Ｍｉｎを求める。これらのスライスと最小値Ｍｉｎとの中間点（階調）を黒とし、スライスと最大値Ｍａｘの中間点を白とする。従って、背景は白く、文字は黒くすることができる。これにより、文字の像域については、文字のかすれやジャギーを軽減することができ、絵柄の像域については、これが諧調性をもっているため、表示装置５００等で見易い。

高精細文字処理部６２は、文字を含む入力画像について少なくとも文字の像域についての高精細処理を行う。即ち、高精細文字処理部６２は、更に、表示装置５００で見易くするために、入力画像に含まれる文字の高精細化処理を行う。即ち、高精細文字処理部６２は、図１３に示すように、各々の画素のＲＧＢが連続しているとみなして、図１８を参照して後述するように、高精細文字処理を施す。即ち、少なくとも文字像域であると判定された領域について、入力画像に含まれる文字をモノクロ画像の高精細文字に変換した後、モノクロ画像の高精細文字をカラー画像の高精細文字に変換する。これにより、文字は細くなり、かつ、文字周辺部には若干色がつく。これにより、ＬＣＤ（液晶表示装置）などではサブピクセル点灯の効果を有し、ジャギー低減が図られる。また、文字の周辺部に若干色がつくことにより、文字のコントラストがはっきりとする。

更に、白背景（画素値（階調値）は２５５）で黒文字（画素値は０）は、短時間で見るにはコントラスト（白背景と黒文字の差）が高く見易い。しかしながら、長時間表示装置５００を見ているときには、コントラストが大き過ぎるため、目が疲れてしまう。そこで、黒文字に対して若干画素値を上乗せすることで、コントラストを小さくし読み易くする。即ち、黒文字の画素の階調値を本来の値よりも大きい値とすることにより、当該画像のコントラストを小さくする。具体的には、高精細文字処理部６２は、黒文字の画素の階調値を０よりも大きい値、例えば２０（２５６階調）とする。このとき、ＲＧＢをＬａｂに変換して、色差ΔＥ（ここでは明るさ）を例えば階調値８０（２５６階調）とし、ＬａｂからＲＧＢに戻してもよい。

この後、高精細文字処理部６２は、以上の処理により得た画像を出力画像として表示画像ファイル４００に格納する。当該出力画像は、画像処理装置１００により表示装置５００上に表示される。この時、本発明により、原稿や入力画像を直接表示した場合よりも綺麗で読み易い画像が、表示装置５００上に表示される。

以上のように、文字の高精細化処理等により、ジャギーを低減しコントラストを向上することができる。また、表示装置５００等で読み易い画像にするため、明度による最適化および文字を対象にしたフィルタ処理を行うことで、長時間でも読みやすい画像を表示することができる。また、高精細文字処理部６２において、強調とぼかしを併用することで、高いコントラストでかつ表示装置５００上で目の疲れない読み易い画像を表示することができる。

以上、説明したように、本発明によれば低解像度においても、高精度な像域分離が可能で、その分離された像域毎に応じたフィルタ処理を行い、また、表示装置５００等で見やすくするための処理を行うことにより、画像を読みやすくすることを可能とする。

図１４は、画像処理フローであり、本発明の画像処理装置１００における画像処理の一例を示す。像域処理部１は像域判定処理を行う（ステップＳ１１）。像域判定処理については、図１５〜図１７を参照して後述する。

この後、色焼け処理部２は、色焼け判定部２１により色焼け判定処理を行い（ステップＳ１２）、この判定結果に基づいて、色焼けの有無を調べる（ステップＳ１３）。色焼けが有る場合、色焼け除去部２２は色焼け除去処理を行い（ステップＳ１４）、色焼けが無い場合、ステップＳ１４を省略する。この後、ノイズ除去部３はノイズ除去処理を行い（ステップＳ１５）、平滑化部４はステップＳ１１において判定された像域毎に、当該像域に最適な平滑処理を行う（ステップＳ１６）。なお、ステップＳ１５とＳ１６とは、並列に実行しても良い。この後、色処理部５は、モノクロ／カラー判定部５１により当該画像についてのモノクロ／カラー判定処理を行い（ステップＳ１７）、この判定結果に基づいて、モノクロ画像かカラー画像かを調べる（ステップＳ１８）。当該画像がモノクロ画像である場合、色除去部５２は色味除去処理を行い（ステップＳ１９）、当該画像がカラー画像である場合、色復元部５３は色復元処理を行う（ステップＳ１１０）。

この後、文字色処理部６は、明度最適化部６１により明度最適化処理を行い（ステップＳ１１１）、高精細文字処理部６２により高精細文字処理を行う（ステップＳ１１２）。高精細文字処理については、図１８〜図２１を参照して後述する。

図１５は、縮小画像作成処理フローであり、本発明の画像処理装置１００における像域判定処理における縮小画像作成処理の一例を示す。この処理は図１４のステップＳ１１において第１縮小画像作成部１１により実行される。

第１縮小画像作成部１１は、前述のようにして第１の縮小画像を作成し（ステップＳ２１）、当該第１の縮小画像から１個の注目画素を取り出し、この注目画素とその周囲の複数の画素（複数の周辺画素）の各々との差分を求め、その中で最大の差分を抽出し（ステップＳ２２）、当該最大差分が所定のレベル（例えば、階調差２０）以上の値か否かを調べる（ステップＳ２３）。第１縮小画像作成部１１は、最大差分が所定のレベル以上である場合、当該注目画素はエッジ（エッジ領域）であると判定する（ステップＳ２４）。これは、前述のように、文字の像域を判定していることになる。最大差分が所定のレベル以上でない場合、当該注目画素はその他の領域であると判定する（ステップＳ２５）。これは、前述のように、文字以外の像域（絵柄及び背景の像域）を判定していることになる。この後、第１縮小画像作成部１１は、全ての画素についての処理が終了したか否かを調べ（ステップＳ２６）、終了していない場合、ステップＳ２２以下を繰り返し、終了した場合、エッジの隣接画素もエッジであると判定する（ステップＳ２７）。これにより、図２の右側の結果が得られる。

図１６は、縮小画像作成処理フローであり、本発明の画像処理装置１００における像域判定処理における縮小画像作成処理の一例を示す。この処理は図１４のステップＳ１１において、図１５における処理と並行に又はその後に、第２縮小画像作成部１２により実行される。

第２縮小画像作成部１２は、前述のようにして第２の縮小画像を作成し（ステップＳ３１）、当該第２の縮小画像（の画素値）についてのヒストグラムを作成し（ステップＳ３２）、当該ヒストグラムに基づいて第２の縮小画像を２値化処理して、２値画像を得る（ステップＳ３３）。この後、第２縮小画像作成部１２は、当該２値画像における黒画素の数をカウントして（ステップＳ３４）、所定のレベル（数）以上の黒画素が検出された（１００個の画素中９８個以上検出された）か否かを調べる（ステップＳ３５）。通常、絵柄の像域は真っ黒になる。第２縮小画像作成部１２は、所定のレベル（数）以上の黒画素が検出された場合、網点画素（絵柄）であると判定する（ステップＳ３６）。これは、絵柄の像域を判定していることになる。所定のレベル以上の黒画素が検出されない場合、その他の画素であると判定する（ステップＳ３７）。これは、絵柄以外の像域（文字及び背景の像域）を判定していることになる。この後、第２縮小画像作成部１２は、全ての画素についての処理が終了したか否かを調べ（ステップＳ３８）、終了していない場合、ステップＳ３４以下を繰り返し、終了した場合、処理を終了する。これにより、図８の右側に示す結果が得られる。

図１７は、像域判定処理フローであり、本発明の画像処理装置１００における像域判定処理の一例を示す。この処理は、図１４のステップＳ１１において、図１５及び図１６における処理の後に、像域判定部１３により実行される。

像域判定部１３は、第２の縮小画像を用いた処理（図１６の処理）の結果が当該画素領域が絵柄領域であることを示しているか否かについて調べ（ステップＳ４１）、当該処理結果が絵柄領域であることを示している場合、当該領域を絵柄領域（像域、以下同じ）であると判定する（ステップＳ４２）。当該処理結果が絵柄領域であることを示していない場合、像域判定部１３は、第１の縮小画像を用いた処理（図１５の処理）の結果が当該画素領域が文字領域であることを示している否かについて調べ（ステップＳ４３）、当該処理結果が文字領域であることを示している場合、当該領域を文字領域であると判定する（ステップＳ４４）。当該処理結果が文字領域であることを示していない場合、像域判定部１３は、当該領域を背景領域であると判定する（ステップＳ４５）。この後、像域判定部１３は、全ての画素についての処理が終了したか否かを調べ（ステップＳ４６）、終了していない場合、ステップＳ４１以下を繰り返し、終了した場合、処理を終了する。

図１８は、高精細文字処理フローであり、本発明の画像処理装置１００における高精細文字処理の一例を示す。この処理は図１４のステップＳ１１２において高精細文字処理部６２により実行される。

高精細文字処理部６２は、入力画像に含まれる文字をモノクロ画像の高精細文字に変換する処理を行い（ステップＳ５１）、全ての画素についての当該処理が終了したか否かを調べ（ステップＳ５２）、終了していない場合、ステップＳ５１以下を繰り返す。終了した場合、高精細文字処理部６２は、この後、モノクロ画像の高精細文字をカラー画像の高精細文字に変換する処理を行い、これにより、黒い文字の周囲に当該周囲の色に基づいて定まる色を付け（ステップＳ５３〜Ｓ５５）、全ての画素についての当該処理が終了したか否かを調べ（ステップＳ５６）、終了していない場合、ステップＳ５３以下を繰り返し、終了した場合、処理を終了する。カラー画像の高精細文字処理は、周囲の色に基づいて定まる色の中のＲ成分についての処理（ステップＳ５３）、Ｇ成分についての処理（ステップＳ５４）、Ｂ成分についての処理（ステップＳ５５）の順に実行される。

なお、ステップＳ５２及びＳ５６において、処理対象とされる画素（文字）は、少なくとも、前述の像域判定により文字の像域とされた範囲の全ての画素である。従って、入力画像の全ての像域について、図１８の処理を行っても良い。

図１９は、高精細文字処理フローであり、本発明の画像処理装置１００における高精細文字処理におけるＲ成分についての処理の一例を示す。この処理は図１８のステップＳ５３において高精細文字処理部６２により実行される。

高精細文字処理部６２は、パラメータAlfaを求め（ステップＳ６１）、これに基づいてパラメータBetaを求め（ステップＳ６２）、これらのパラメータを用いて第１中間値Tmp1を求める（ステップＳ６３）。第１中間値Tmp1は、当該文字のエッジの画素について、その左隣（又は右隣）の画素に基づいて算出した重みである。なお、各々の画素の値は、０〜２５５の２５６階調で表されているものとする。高精細文字処理部６２は、同様にして、パラメータAlfaを求め（ステップＳ６４）、パラメータBetaを求め（ステップＳ６５）、第２中間値Tmp2を求める（ステップＳ６６）。第２中間値Tmp2は、当該文字のエッジの画素について、その右隣（又は左隣）の画素に基づいて算出した重みである。この後、高精細文字処理部６２は、第１中間値Tmp1及び第２中間値Tmp2を平均することにより、Ｒ成分の値r[i]を算出する（ステップＳ６７）。

図２０及び図２１は、高精細文字処理フローであり、本発明の画像処理装置１００における高精細文字処理におけるＧ成分及びＢ成分についての処理の一例を示す。これらの処理は、各々、図１８のステップＳ５４及びＳ５５において高精細文字処理部６２により実行され、共に図１９の処理と類似であるので、その説明を省略する。

以上説明したように、本発明によれば、画像処理装置において、入力画像の解像度が高解像度から低解像度までの種々の値を採る場合でも、精度良く像域が分離できるので、正確に判別した像域毎に、色焼けを修正する等の種々の処理を行うことができる。この結果、絵柄や文字を表示装置上に綺麗に表示することができる。また、入力画像が古書を読み取ったカラー画像である場合でも、色焼けしている背景を修正して見易くし、カラー画像における文字を鮮明に表示し、画像を見易くすることができる。

本発明によれば、画像処理装置において、種々の理由による文字の像域の画質の低下を補うことができ、文字を表示装置上に綺麗に表示することができ、特に、カラー画像中の文字を表示装置上に綺麗に表示することができる。

画像処理装置構成図である。 像域判定処理説明図である。 像域判定処理説明図である。 像域判定処理説明図である。 像域判定処理説明図である。 像域判定処理説明図である。 像域判定処理説明図である。 像域判定処理説明図である。 色処理説明図である。 ノイズ除去説明図である。 平滑化説明図である。 平滑化説明図である。 高精細化説明図である。 画像処理フローである。 縮小画像作成処理フローである。 縮小画像作成処理フローである。 像域判定処理フローである。 高精細文字処理フローである。 高精細文字処理フローである。 高精細文字処理フローである。 高精細文字処理フローである。

符号の説明

１ 像域処理部
２ 色焼け処理部
３ ノイズ除去部
４ 平滑化部
５ 色処理部
６ 文字色処理部
１１ 第１縮小画像作成部
１２ 第２縮小画像作成部
１３ 像域判定部
２１ 色焼け判定部
２２ 色焼け除去部
５１ モノクロ／カラー判定部
５２ 色除去部
５３ 色復元部
６１ 明度最適化部
６２ 高精細文字処理部

Claims (12)

1. 入力画像の像域分離処理を行う画像処理装置であって、
   文字の像域の特徴に基づく第１の処理により当該第１の縮小画像の解像度が前記入力画像における網点の間隔よりも小さい間隔となるような縮小率を用いて前記入力画像を縮小することにより、前記文字の像域の特徴を残す第１の縮小画像を作成する第１縮小画像作成部と、
   絵柄の像域の特徴に基づき前記第１の処理とは異なる第２の処理により当該第２の縮小画像の解像度が前記入力画像における網点の間隔よりも小さい間隔となるような縮小率を用いて前記入力画像を縮小することにより、前記絵柄の像域の特徴を残す第２の縮小画像を作成する第２縮小画像作成部と、
   前記第１の縮小画像に残る前記文字の像域の特徴に基づいて前記文字の像域とそれ以外の像域とを判別し、前記第２の縮小画像に残る前記絵柄の像域の特徴に基づいて前記絵柄の像域とそれ以外の像域とを判別することにより、前記入力画像について文字、絵柄、背景のいずれの像域であるかを判定する像域判定部とを備える
   ことを特徴とする画像処理装置。
2. 前記第１の処理は、注目画素を当該注目画素の各々の画素値の平均値を有する画素で置きかえることにより、縮小画像を得る処理であり、
   前記第２の処理は、注目画素を所定の処理により算出した当該注目画素の各々の画素値の最小値を有する画素で置きかえることにより、縮小画像を得る処理である
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記第２の処理において、前記入力画像の解像度に応じた異なる処理により、当該注目画素の各々の画素値の最小値を算出する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記第１の縮小画像を用いた文字の像域は、前記第１の縮小画像において、注目画素とその周辺画素の各々との差分の中の最大値を求め、当該最大値が所定の値よりも大きい場合に当該文字の像域を抽出したと判断することで抽出される
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記第２の縮小画像を用いた絵柄の像域は、前記第２の縮小画像に基づいて作成したヒストグラムから定まる値により当該第２の縮小画像を２値化し、当該２値化画像における黒画素の割合が所定の値よりも大きい場合に当該絵柄の像域を抽出したと判断することで抽出される
   ことを特徴とする請求項１記載の画像処理装置。
6. 当該画像処理装置が、更に、
   前記背景像域であると判定された領域について、前記背景像域において、赤成分が緑成分と第１の所定の値との和よりも大きくかつ前記緑成分と第１の所定の値との和が青成分と第２の所定の値との和より大きい画素の数の割合が当該像域における全画素数に対して高い場合に色焼け画像であると判定することにより、色焼け画像であるか否かを判定する色焼け判定部と、
   色焼け画像であると判定された背景像域である領域から、色焼けを除去する色焼け除去部とを備える
   ことを特徴とする請求項１記載の画像処理装置。
7. 当該画像処理装置が、更に、
   前記入力画像において文字、絵柄、背景の像域であると判定された領域の各々について、相互に異なるフィルタにより平滑化を行う複数の平滑化部を備える
   ことを特徴とする請求項１記載の画像処理装置。
8. 当該画像処理装置が、更に、
   前記入力画像についてモノクロ画像であるかカラー画像であるかを判定するモノクロ／カラー判定部と、
   前記入力画像がモノクロ画像であると判定された場合、前記入力画像から色成分を除去する色除去部と、
   前記入力画像がカラー画像であると判定された場合、当該カラー画像の各々の画素について、赤成分の値から青成分の値を差し引いた値である色褪せ値に応じて、当該画素の彩度を向上させることにより、前記入力画像の色成分を復元する色復元部とを備える
   ことを特徴とする請求項１記載の画像処理装置。
9. 当該画像処理装置が、更に、
   少なくとも前記文字像域であると判定された領域について、前記入力画像に含まれる文字をモノクロ画像の高精細文字に変換した後、前記モノクロ画像の高精細文字をカラー画像の高精細文字に変換する高精細文字処理部を備える
   ことを特徴とする請求項１記載の画像処理装置。
10. 当該画像処理装置が、更に、
    前記背景像域であると判定された領域について、色焼け画像であるか否かを判定する色焼け判定部と、
    色焼け画像であると判定された背景像域である領域から、色焼けを除去する色焼け除去部と、
    前記入力画像において文字、絵柄、背景の像域であると判定された領域の各々について、相互に異なるフィルタにより平滑化を行う複数の平滑化部と、
    前記入力画像についてモノクロ画像であるかカラー画像であるかを判定するモノクロ／カラー判定部と、
    前記入力画像がモノクロ画像であると判定された場合、前記入力画像から色成分を除去する色除去部と、
    前記入力画像がカラー画像であると判定された場合、前記入力画像の色成分を復元する色復元部と、
    少なくとも前記文字像域であると判定された領域について、前記入力画像に含まれる文字をモノクロ画像の高精細文字に変換した後、前記モノクロ画像の高精細文字をカラー画像の高精細文字に変換する高精細文字処理部とを備える
    ことを特徴とする請求項１記載の画像処理装置。
11. 当該画像処理装置が、更に、
    前記文字は黒く、背景は白くする明度最適化部を備える
    ことを特徴とする請求項１０記載の画像処理装置。
12. 前記高精細文字処理部が、黒文字の画素の階調値を本来の値よりも大きい値とすることにより、当該画像のコントラストを小さくする
    ことを特徴とする請求項１０記載の画像処理装置。

Images