JP3826983B2 - Image processing device - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、入力された画像データをその画像中の属性に応じて複数の画像データに分離する画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、複写機のディジタル化の進展とともにファクシミリ機能やプリンタ機能との複合化が進んでいる。また、これらの機器やコンピュータ、プリンタなど、各種の機器がＬＡＮや回線などのネットワークを介して接続されたネットワークシステムが出現している。最近はこれらの機器のカラー化も進み、カラーＦＡＸやカラープリンタも主流になりつつある。このようなネットワークシステムでは、例えば、解像度がそれぞれ異なる異機種装置間での相互接続や、カラー複写機と白黒複写機といったような色空間がそれぞれ異なる異機種装置間での相互接続が可能である。
【０００３】
このような異機種装置間で画像データをやりとりする場合、通常は入力した原稿画像を１枚のプレーン画像として扱う。つまり１枚のプレーン画像に対して、入力側機器で原稿タイプを判別して原稿に適した画像処理をプレーン画像全体に施して出力側機器へ送信する。このように原稿画像を１枚のプレーン画像として扱った場合、原稿画像が文字のみ、あるいは写真のみといった１種類の属性の画像データだけで構成されるのであれば特に問題はない。しかし、文字と写真が混在しているような複数の属性の画像データから構成されている場合には不都合が生じる。例えば文字と写真が混在している画像データを圧縮しようとした場合、１枚のプレーン画像に対して同じ圧縮処理を施すので、適用する圧縮手法によっては文字部あるいは写真部のいずれかの圧縮率が低下して通信時間が長くなったり、あるいはいずれかの画質が劣化してしまうという問題があった。
【０００４】
これに対し、入力原稿の画像の特徴を判別し、判別結果から画像を属性毎に分離して複数のプレーン画像に分けて扱う手法がある。図１５は、入力画像データを複数のプレーン画像に分離する手法を用いる場合における各プレーン画像の具体例の説明図である。この例では、入力画像データから文字情報プレーンと絵柄情報プレーン、それに分離情報プレーンを生成する。例えば図１５（Ａ）に示したように赤い文字「ＡＢＣＤＥ」と、青い文字列と、写真などの絵柄部分（矩形で囲んだ部分）が同じ画像中に存在している。なお、図示の都合上、青い文字列については線分によって示している。この場合、図１５（Ｂ）に示すように赤い文字［ＡＢＣＤＥ」および青い文字列の色成分のみからなる文字情報プレーンと、図１５（Ｄ）に示すように文字部分を除いた絵柄部分や背景部分からなる絵柄画像プレーンに分離する。さらに、図１５（Ｂ）に示す文字情報プレーンあるいは図１５（Ｄ）に示す絵柄情報プレーンのいずれかを選択するために、図１５（Ｃ）に示す分離情報プレーンが生成される。この分離情報プレーンには、文字の形状に関する情報が含まれる。
【０００５】
このようにして、この例では入力された画像は３つのプレーンに分離される。分離された文字情報プレーンは色情報と大まかな領域情報を有していればよい。また、分離情報プレーンは、細かな文字形状の情報を有しているものの、文字情報プレーンあるいは絵柄情報プレーンのいずれかを選択できればよいので、２値のデータで構成することができる。また、絵柄情報プレーンは、写真データなどが含まれるが、文字のような細かなエッジはそれほど重要視されない。
【０００６】
このように各プレーンの画像はそれぞれの特徴を有した画像に分離されているので、例えば文字画像プレーンには文字データに適した圧縮手法を、絵柄画像プレーンには写真データに適した圧縮手法を、さらに分離情報プレーンには２値データに適した圧縮手法を適用できる。そのため、圧縮率も向上し、また画質劣化もそれほど目立たなくなる。さらに、これら各プレーンに対して最適な解像度変換処理手法を用いて解像度を変換することによって、それぞれ影響の少ない範囲でデータ量を削減することが可能となる。
【０００７】
このような方法の類似技術として特開平８−１８６７１１号公報に記載されている符号化装置がある。この装置では、カラー画像から文字情報を抽出し、抽出した文字情報は可逆圧縮し、文字情報を除いた絵柄情報は解像度変換して非可逆圧縮を施すというものである。
【０００８】
一般的に、このような複数のプレーン画像に分けて扱う画像処理手法においては、像域分離処理を行って原画像から分離情報プレーンを作成し、分離情報プレーンをもとに原画像から文字情報プレーンと絵柄情報プレーンを生成している。
【０００９】
しかしながら、単純に分離情報プレーンから文字情報プレーンや絵柄情報プレーンを生成した場合には、特に絵柄情報プレーンにおいて著しい画質劣化が見られる。図１６は、複数プレーンへの分離時の絵柄情報プレーンの画質劣化の説明図、図１７は、入力画像信号から分離情報を生成する際の信号処理の説明図である。例えば図１５（Ｃ）に示すように、分離情報プレーンが文字線画の形状情報を含むとき、単純に分離情報プレーンを使って入力された画像データから文字線画部分を除外して絵柄情報プレーンを生成すると、絵柄情報プレーンに文字線画の輪郭が薄く残ってしまう。例えば図１６（Ａ）に示すような文字部分を除去して絵柄情報プレーンを生成すると、絵柄情報プレーンに図１６（Ｂ）に示すような文字の輪郭が残ってしまう。
【００１０】
このような現象は、特にスキャン入力した画像の場合に高い頻度で発生する。これはスキャン入力時に文字線画のエッジ部分において鮮鋭度が低下してしまうことによる。スキャン入力された画像信号は、例えば図１７に示すようにエッジ部分の鮮鋭度が低下している。例えば所定の閾値で文字線画情報を抽出して分離情報プレーンを生成すると、分離情報プレーンの文字線画は図１７中のｂの領域となり、原稿画像の文字線画（幅ａ）に対して若干線幅が細くなってしまう。この線幅が細くなった文字線画（＝分離情報プレーン）を使って、スキャン入力された画像から文字線画部分を除外すると、絵柄情報プレーンには除外しきれなかった文字線画の輪郭部分（図１７中のｃの領域）が低濃度で残ってしまう。このように、絵柄情報プレーンに文字線画の輪郭が残った状態で絵柄情報プレーンに圧縮処理を施した場合には、高周波成分が存在してしまうので全体の圧縮率が低下してしまう。また、解像度変換処理を施した場合には、合成後の画像において文字線画のエッジ部の画質が大きく劣化してしまうという問題があった。
【００１１】
このような問題に対し、文字線画を抽出する際の閾値を下げるなどして、エッジの低濃度部分まで文字線画として抽出するようにすれば、ある程度、この現象は解消される。しかしその場合には文字線画でない領域が文字線画として抽出されてしまい、画像の分離処理の精度が低下し、分離処理自体に支障をきたしてしまう。また、圧縮率の低下や画質劣化が発生してしまうという問題がある。
【００１２】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、画像の分離処理、特に文字線画の分離を良好に行い、解像度変換処理や圧縮処理を施しても画質劣化がほとんどなく、より高画質かつ高圧縮率で画像を送信あるいは蓄積可能な画像処理装置を提供するとことを目的とするものである。
【００１３】
【課題を解決するための手段】
本発明は、入力画像データから第１画像データ、第２画像データ、および第１画像データまたは第２画像データのいずれかを選択する選択データのうち少なくとも選択データを含む２以上の画像データを生成する画像処理装置および画像処理方法において、入力画像データから選択データを生成し、選択データに膨張処理を施して膨張選択データを生成し、膨張選択データを用いて入力画像データを第１画像データまたは第２画像データに分離し、入力画像データから生成した選択データと、分離した第１画像データ及び第２画像データの少なくとも一方を出力する。また、入力画像データから文字線画領域を分離して選択データを生成し、生成された選択データに膨張処理を施して膨張選択データを生成し、生成された膨張選択データに基づいて文字線画を含む第１の画像データとそれ以外の画像を含む第２の画像データに前記入力画像データを分離し、入力画像データから生成された選択データと、分離した第１の画像データ及び第２の画像データを出力する。
【００１４】
このように膨張処理した選択データを用いることによって、例えば文字線画においてはそのエッジ部が別の画像データとして分離されることがなくなり、良好に分離処理を行うことができる。そのため、解像度変換処理や圧縮処理を施しても画質劣化がほとんどなく、より高画質かつ高圧縮率で画像を送信可能となる。
【００１５】
また、このような膨張選択データを用いて分離処理を行うと、例えば文字線画の輪郭に接した部分が文字線画として分離される。文字線画と絵柄が隣接している場合、絵柄部分が文字線画として分離される。しかし合成時に膨張処理前の選択データを用いると、合成時に白画素が文字線画の輪郭に沿って発生する場合がある。これを防止するため、膨張選択データを用いて分離した画像データについて分離されなかった領域の一部の画素を補正する。これによって、合成時に文字線画などの輪郭部に白画素の発生を防止することができる。
【００１６】
【発明の実施の形態】
図１は、本発明の第１の実施の形態を示すブロック構成図である。図中、１は色空間変換部、２は選択データ生成部、３は輝度信号抽出部、４は像域分離部、５は膨張処理部、６は多層分離部、７，９，１１は解像度変換部、８，１０，１２は圧縮部、１３は画像フォーマットラッピング部である。
【００１７】
色空間変換部１は、入力画像データを入力デバイスの色空間（例えばＲＧＢ色空間など）から所定の色空間（例えばＣＩＥ−Ｌ^* ａ^* ｂ^* などデバイスに依存しない色空間）に変換する。なお、所定の色空間で表現されている入力画像データが入力される場合には、この色空間変換部１を設けずに構成してもよい。
【００１８】
選択データ生成部２は、第１画像データまたは第２画像データのいずれかを選択する選択データを生成する。以下、選択データが含まれる画像プレーンを分離情報プレーンと呼ぶ。選択データ生成部２は、輝度信号抽出部３および像域分離部４を有している。輝度信号抽出部３は、色空間変換部１で色空間変換された入力画像データから輝度成分（例えばＣＩＥ−Ｌ^* ａ^* ｂ^* 色空間であればＬ^* 成分）だけを抽出する。像域分離部４は、輝度信号抽出部３で抽出した輝度信号に基づいて、画像を属性に応じて分離し、分離情報プレーンを生成して出力する。
【００１９】
膨張処理部５は、選択データ生成部２で生成された分離情報プレーンに対し、膨張処理を施して、膨張選択データからなる膨張分離情報プレーンを生成する。
【００２０】
多層分離部６は、膨張処理部５で生成された膨張分離情報プレーンによって、色空間変換部１で色空間変換された入力画像データを属性ごとに複数の画像データ、例えば第１画像データと第２画像データに分離する。ここでは、文字や線画などの画像データと、写真やグラフィックなどの画像データの２つの画像データに分離する例を示している。以下の説明では、文字や線画などの画像データを文字情報プレーン、写真やグラフィックなどの画像データを絵柄情報プレーンと呼ぶ。もちろん、多層分離部６で分離する画像データは２つに限られるものではないし、また、例えば写真とグラフィックスを別の画像データとして分離するなど、分離する属性も文字と絵柄に限られるものではない。また、プレーン画像が一様な画像であれば、固定値を出力してプレーン画像を生成しないように構成することもできる。
【００２１】
解像度変換部７は、文字情報プレーンに対して、文字画像に最適な手法で解像度変換処理を施す。もちろん、解像度変換処理が必要なければ設ける必要はない。圧縮部８は、文字情報プレーンに対して、文字画像に最適な手法で圧縮処理を施す。
【００２２】
解像度変換部９は、絵柄情報プレーンに対して、写真やグラフィック画像に最適な手法で解像度変換処理を施す。もちろん、解像度変換処理が必要なければ設ける必要はない。圧縮部１０は、絵柄情報プレーンに対して、写真やグラフィック画像に最適な手法で圧縮処理を施す。
【００２３】
解像度変換部１１は、選択データ生成部２で生成された分離情報プレーンに対して、分離情報プレーンに最適な手法で解像度変換処理を施す。もちろん、解像度変換処理が必要なければ設ける必要はない。圧縮部１２は、分離情報プレーンに対して、分離情報プレーンに最適な手法で圧縮処理を施す。
【００２４】
画像フォーマットラッピング部１３は、解像度変換処理や圧縮処理が施された文字情報プレーン、絵柄情報プレーン、分離情報プレーンを所定の画像フォーマットに組み込んで出力する。出力されたデータは、例えば送信手段により送信したり、あるいは記憶装置などに格納することができる。
【００２５】
なお、この例では多層分離部６において各情報プレーンに分離した後の処理として、解像度変換部７，９，１１による解像度変換処理と、圧縮部８，１０，１２による圧縮処理を示しているが、これらの処理に限らず、種々の処理を行うことができる。特に、属性に応じて分離されたデータが処理対象であるので、属性に応じて異なる処理を施すことが望まれる処理を行うとよい。もちろん、選択データ生成部２および多層分離部６から出力される各情報プレーンをそのまま本発明の画像処理装置の出力としてもよい。また、色空間変換部１における色空間変換処理以外にも、入力画像データに対して一律に行う種々の画像処理を行ってもよい。
【００２６】
図２は、本発明の第１の実施の形態における動作の一例を示すフローチャートである。まずＳ４１において、入力画像データが色空間変換部１に入力される。入力画像データは、例えば原稿を入力する手段として図示しないスキャナを用い、原稿をスキャン入力することができる。あるいは、例えば予めＣＤ−ＲＯＭやその他の大容量記憶メディアに記憶された画像データを入力したり、予めハードディスクなどの蓄積装置に蓄積された画像データを入力してもよい。さらにはデジタルカメラで撮影した画像データを入力してもよく、特に入力方法は限定されない。
【００２７】
画像データが入力されると、Ｓ４２において、色空間変換部１にて所定の色空間に変換する。入力機器に依存した色空間（例えばＤｅｖｉｃｅＲＧＢなど）をデバイスに依存しない色空間（例えばＣＩＥ−Ｌ^* ａ^* ｂ^* など）に変換することによって、多様な出力機器に対して高品質な画像を提供できるようにすることができる。もちろん、入力画像データとしてデバイスに依存しない色空間の画像データが入力される場合には、この処理は必要ない。
【００２８】
色空間変換が完了したら、Ｓ４３において、選択データ生成部２の輝度信号抽出部３にて、画像データ中に含まれる輝度信号を抽出する。これは後段の像域分離部４が基本的に輝度信号をもとに像域分離処理するために行っている。例えば色空間変換部１でＣＩＥ−Ｌ^* ａ^* ｂ^* 色空間に変換したのであれば、Ｌ^* 成分を輝度信号として抽出すればよい。また、像域分離部４が輝度信号以外の、例えば色差信号ａ^* 、ｂ^* なども使って像域分離処理するのであれば、像域分離部４には色差信号を入力しなければならない。
【００２９】
輝度信号を抽出したら、Ｓ４４において、像域分離部４は像域分離処理を開始する。ここでは一例として、像域分離処理に輝度信号のみを参照し、分離情報プレーンには文字線画情報を抽出するものとする。像域分離方法については特に限定しない。一例としては、所定のブロック単位（８×８画素単位など）で属性を判定して、例えば
階調のちらばり大→文字線画領域
階調のちらばり小→文字線画以外の領域（写真領域／背景領域）
などのように像域分離することができる。もちろん、他の像域分離方式を用いてもよい。分離結果（＝分離情報プレーン）は、ここでは２つのプレーンに分離したので２値データで構成することができる。例えば文字線画と判定された画素には“１（黒）”を、それ以外の画素には“０（白）”を割り当てることができる。もちろん、逆の値であってもよい。このようにして、白黒２値の分離情報プレーンが生成される。Ｓ４５において、像域分離処理が完了したか否かを判定し、入力原稿１ページ分の全ブロックについて像域分離処理が完了するまでＳ４４の像域分離処理を行う。
【００３０】
像域分離処理が完了したら、Ｓ４６において、膨張処理部５で分離情報プレーンに対して膨張処理を施し、膨張分離情報プレーンを生成する。膨張処理とは基本的に文字線画を太らせる処理である。図３は、膨張処理の一例の説明図、図４は、膨張処理で用いる判定領域の一例の説明図である。例えば分離情報プレーンに、図３（Ａ）に示したように“Ｆ”という文字が抽出されているとする。このとき、抽出された文字“Ｆ”に対して、文字線画の周囲１画素を膨張させる処理を施すことにより、膨張分離情報プレーンは図３（Ｂ）に示すようになる。
【００３１】
具体的な膨張処理アルゴリズムとしては、例えば図４に示すような３×３画素ブロック単位で判定を行う。注目画素に対し、

のように変換処理を行う。これを分離情報プレーンのすべての画素が注目画素となるよう一通りスキャンして１ページの膨張処理を行う。実際には注目画素を１画素ずらしていくごとに参照画素が一部重複するので、例えば前ブロックで変換処理した画素であっても次ブロックの判定の際に注目画素になる画素については変換前の画素値を考慮する必要がある。なお、ここではブロックサイズを３×３としたが、膨張させる画素数に応じてサイズを変えることができる。また、膨張処理アルゴリズムについては、上述の方式に限定されるものではなく、種々の公知の技術を用いることができる。Ｓ４７において膨張処理の完了を判定し、膨張処理が終了するまでＳ４６における膨張処理を繰り返す。
【００３２】
膨張処理が完了したら、Ｓ４８において、膨張分離情報プレーンを用いて多層分離部６にて各プレーンを生成する。ここでは図１５に示すように、文字線画部の色情報を文字情報プレーンに格納し、文字線画部以外の絵柄情報と背景画像を絵柄情報プレーンに格納する。もちろん、分離する情報はこの例に限られるものではない。例えば文字情報プレーンに文字の形状情報も含めて分離してもよい。また、グラフィックデータをさらに別に分離するなど、多層分離部６で生成するプレーン数は２に限らない。なお、この例では選択データ生成部２で生成された分離情報プレーンをそのまま用いるので、分離情報プレーンを含めると３プレーンが生成される。
【００３３】
この例で生成する図１５（Ｂ）に示すような文字情報プレーンは、文字線画の色情報を含んでいればよいので、例えば文字を覆う領域に文字色を配した情報であればよい。図５は、文字情報プレーン生成処理の一例の説明図である。例えば図５に示すように、８×８画素単位で膨張分離情報プレーンを参照し、文字情報プレーンに分離すべきデータが含まれていれば、その文字色を８×８画素の色情報として文字情報プレーンに格納すればよい。例えば図５（Ａ）に示すように膨張分離情報プレーンの８×８画素内に文字‘Ｆ’の形状が存在した場合、その８×８画素の文字情報プレーンには文字色を格納する。このような矩形領域ごとの色情報とすることによって、解像度変換処理における劣化をほとんどなくし、また高圧縮率で圧縮が可能となる。もちろん、処理単位は８×８画素に限らないし、他の方法によって文字情報プレーンを生成してもよい。
【００３４】
Ｓ４９において各プレーンへの分離処理が終了したか否かを判定し、すべての色変換後の画像データについて分離処理が終了するまでＳ４８における分離処理を行う。
【００３５】
各プレーンへの分離処理が完了したら、Ｓ５０において、解像度変換部７、解像度変換部９、解像度変換部１１で各プレーンにそれぞれ解像度変換処理を施す。解像度変換アルゴリズムおよびパラメータについては任意である。文字情報プレーンには文字情報に適した解像度変換アルゴリズム、この例では色パレット情報に適した解像度変換アルゴリズムを適用すればよい。また、絵柄情報プレーンには写真、グラフィック画像などの絵柄情報に適した解像度変換アルゴリズムを適用すればよい。さらに、分離情報プレーンには選択データ、ここでは２値の文字線画の形状情報に適した解像度変換アルゴリズムを適用すればよい。また、解像度変換処理を施さないプレーンについては解像度変換を行わなくてよく、さらに解像度変換部を設けなくてもよい。
【００３６】
各プレーンの解像度変換処理が完了したら、Ｓ５１において解像度変換後の各プレーンに圧縮部８、圧縮部１０、圧縮部１２にて圧縮処理を施す。圧縮アルゴリズムおよびパラメータについては任意である。文字情報プレーンには文字情報、この例では色パレット情報に適した圧縮アルゴリズム、絵柄情報プレーンには写真・グラフィック画像などの絵柄情報に適した圧縮アルゴリズム、分離情報プレーンには選択データ（この例では文字線画の形状を示す２値データ）に適した圧縮アルゴリズムを適用すればよい。また圧縮処理を施さないプレーンについては圧縮処理を行わなくてよく、さらに圧縮処理部を設けなくてもよい。
【００３７】
各プレーンの圧縮処理が完了したら、Ｓ５２において、画像フォーマットラッピング部１３にて各プレーンの画像データをまとめて１つの画像ファイルフォーマットに組み込む。画像ファイルフォーマットとしては、例えばＴＩＦＦ（Ｔａｇ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）やＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）など、現在広く普及しているものを使ってもよいし、あるいは別の画像ファイルフォーマットを使ってもよく、特に限定されない。
【００３８】
所定の画像ファイルフォーマットに組み込まれた画像データは、Ｓ５３において、ネットワークもしくは公衆回線などを介して他の受信機器に送信される。送信時に受信機器を指定する方法としては、サリュテーションマネージャー（ＳＬＭ）プロトコルを用いて複数の受信機器の中から特定の機器を指定したり、あるいは公衆回線を用いてＦＡＸとして使用するのであれば相手の電話番号を入力してもよい。また、電子メールとして相手のメールアドレスを指定したり、あるいはそれ以外の方法によって受信機器を指定してもよく、方法は特に限定されない。また、この実施の形態における像域分離処理や膨張処理、各プレーン生成処理はページ単位で行っているが、これに限らず、例えば所定ライン、例えば８ブロックラインごとに、分離、膨張、各プレーン生成処理を行って、最終的に１ページを処理してもよい。
【００３９】
以上述べたように、この実施の形態によれば、膨張処理を施した膨張分離情報プレーンを使って原稿画像から文字線画情報を除外して絵柄情報プレーンを生成するので、絵柄情報プレーンに文字の輪郭が残ってしまうなどの問題の発生を防止することができる。例えば図１６（Ｂ）において絵柄情報プレーンに残っていた文字線画部の輪郭は、膨張分離情報プレーンによって絵柄情報プレーンから除去される。このため各プレーンに解像度変換処理や圧縮処理を施しても画質劣化がほとんどなく、より高画質かつ高圧縮率な画像送信を実現することができる。また、送信を行わない場合にも、データ量を削減することができるので、記憶容量などの削減を図ることができる。
【００４０】
図６は、本発明の第２の実施の形態を示すブロック構成図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。２１は像域分離部である。この第２の実施の形態は、基本的な装置の構成および処理手順とも、上述の第１の実施の形態とほとんど同様であるが、分離情報プレーンに抽出する対象が文字線画情報ではなく特定の色を有する情報であるという点が上述の第１の実施の形態と異なる。すなわち、選択データ生成部２は、像域分離部２１を有しており、像域分離部２１は、特定の色を有する情報を分離情報プレーンとして分離する。
【００４１】
図７は、本発明の第２の実施の形態における動作の一例を示すフローチャートである。まずＳ６１において、入力画像データが色空間変換部１に入力される。入力画像データは、例えば原稿を入力する手段として図示しないスキャナを用い、原稿をスキャン入力することができる。あるいは、例えば予めＣＤ−ＲＯＭやその他の大容量記憶メディアに記憶された画像データを入力したり、予めハードディスクなどの蓄積装置に蓄積された画像データを入力してもよい。さらにはデジタルカメラで撮影した画像データを入力してもよく、特に入力方法は限定されない。
【００４２】
画像データが入力されると、Ｓ６２において、色空間変換部１にて所定の色空間に変換する。入力機器に依存した色空間（例えばＤｅｖｉｃｅＲＧＢなど）をデバイスに依存しない色空間（例えばＣＩＥ−Ｌ^* ａ^* ｂ^* など）に変換することによって、多様な出力機器に対して高品質な画像を提供できるようにすることができる。もちろん、入力画像データとしてデバイスに依存しない色空間の画像データが入力される場合には、この処理は必要ない。色空間変換が完了したら、色空間変換後の画像データを選択データ生成部２の像域分離部２１へ送る。例えば色空間変換でＣＩＥ−Ｌ^* ａ^* ｂ^* に変換したのであれば、輝度信号Ｌ^* 、色差信号ａ^* 、ｂ^* をすべて像域分離部２１へ送る。
【００４３】
Ｓ６３において、像域分離部２１では輝度信号Ｌ^* 、色差信号ａ^* 、ｂ^* を参照して像域分離処理を開始する。この実施の形態においては、像域分離処理に輝度信号と色差信号の両方を参照し、分離情報プレーンには特定の色情報を抽出する。ここでは特定の色情報として黒を抽出するとする。理由は、一般的なビジネス文書において使用される文字線画がたいてい黒色で構成されているからである。
【００４４】
像域分離アルゴリズムとしては任意の手法を用いることができる。一例としては、１画素単位で属性を判定して、例えばある特定のしきい値でＬ^* を２値化し、なおかつａ^* ，ｂ^* が０に近い領域（＝無彩色に近い領域）を黒領域と判定し、それ以外をグラフィック領域（背景領域）と判別する。しきい値についてはここでは特に限定しない。これを式で表すと以下のようになる。
Ｌ^* ≧Ｋ かつ （ａ^* ）² ＋（ｂ^* ）² ≦Ｍ → 黒領域
Ｌ^* ＜Ｋ あるいは（ａ^* ）² ＋（ｂ^* ）² ＞Ｍ → グラフィック領域（背景領域）
Ｌ^* ：輝度信号。０−１００の範囲をとりＬ^* ＝１００で黒。
ａ^* ，ｂ^* ：色差信号。−１２８≦ａ^* ，ｂ^* ≦１２７の範囲をとる。
Ｋ：ある特定のしきい値（０≦Ｋ≦１００）。
Ｍ：ある特定のしきい値（０≦Ｍ≦（‐１２８）² ＝１６３８４）
分離結果（＝分離情報プレーン）は２値データで構成され、例えば黒領域と判定された画素には“１（黒）”を、それ以外の画素には“０（白）”を割り当てることができる。このようにして、白黒２値の分離情報プレーンが生成される。入力原稿１ページ分について像域分離処理が完了したか否かをＳ６４で判定し、像分離処理が完了するまでＳ６３における像分離処理を繰り返す。
【００４５】
分離処理が完了したら、Ｓ６５において、分離結果である分離情報プレーンに対して膨張処理部５で膨張処理を施す。膨張処理は上述の第１の実施の形態と同様である。例えば図５（Ａ）に示す文字‘Ｆ’状の黒領域は、膨張処理によって図５（Ｂ）に示すような膨張分離情報プレーンとなる。Ｓ６６で膨張処理が終了したか否かを判定し、膨張処理が終了するまでＳ６５における膨張処理を行う。
【００４６】
膨張処理が完了したら、Ｓ６７において、膨張処理を施した分離情報プレーンを用いて多層分離部６にて各プレーンを生成する。ここでは分離情報プレーンに特定の色情報、例えば黒領域の色情報を抽出しているので、文字情報プレーンには黒領域の色情報が格納され、それ以外の色領域が絵柄情報プレーンに格納される。この例においては、文字情報プレーンには全黒データしか格納されないので、分離情報プレーンがあれば黒領域の画像データは合成時に復元できる。したがって文字情報プレーンを省略し、分離情報プレーンと絵柄情報プレーンの２プレーンで構成してもよい。文字情報プレーンを作成する場合の作成方法については、上述の第１の実施の形態と同様である。Ｓ６８において、各プレーンへの分離処理が終了したか否かを判定し、各プレーンの生成が終了するまでＳ６７における分離処理を行う。
【００４７】
各プレーンの生成が完了したら、Ｓ６９において、解像度変換部７、解像度変換部９、解像度変換部１１で各プレーンにそれぞれ解像度変換処理を施す。解像度変換アルゴリズムおよびパラメータについては任意である。文字情報プレーンには文字情報に適した解像度変換アルゴリズム、この例では特定の色情報に適した解像度変換アルゴリズムを適用すればよい。また、絵柄情報プレーンには写真、グラフィック画像などの絵柄情報に適した解像度変換アルゴリズムを適用すればよい。さらに、分離情報プレーンには選択データ、ここでは２値の文字線画の形状情報に適した解像度変換アルゴリズムを適用すればよい。また、解像度変換処理を施さないプレーンについては解像度変換を行わなくてよく、さらに解像度変換部を設けなくてもよい。また、文字情報プレーンを用いない場合には、もちろん、文字情報プレーンに対する解像度変換処理は行わない。
【００４８】
各プレーンの解像度変換処理が完了したら、Ｓ７０において解像度変換後の各プレーンに圧縮部８、圧縮部１０、圧縮部１２にて圧縮処理を施す。圧縮アルゴリズムおよびパラメータについては任意である。文字情報プレーンには文字情報、この例では特定の色情報に適した圧縮アルゴリズム、絵柄情報プレーンには写真・グラフィック画像などの絵柄情報に適した圧縮アルゴリズム、分離情報プレーンには選択データ（この例では２値データ）に適した圧縮アルゴリズムを適用すればよい。また圧縮処理を施さないプレーンについては圧縮処理を行わなくてよく、さらに圧縮処理部を設けなくてもよい。また、文字情報プレーンを用いない場合には、文字情報プレーンの圧縮は行われない。
【００４９】
各プレーンの圧縮処理が完了したら、Ｓ７１において、画像フォーマットラッピング部１３にて各プレーンの画像データをまとめて１つの画像ファイルフォーマットに組み込む。画像ファイルフォーマットとしては、例えばＴＩＦＦ（Ｔａｇ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）やＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）など、現在広く普及しているものを使ってもよいし、あるいは別の画像ファイルフォーマットを使ってもよく、特に限定されない。なお、文字情報プレーンを用いない場合に、文字情報プレーンの代わりに特定の色を示す情報を付加することもできる。
【００５０】
所定の画像ファイルフォーマットに組み込まれた画像データは、Ｓ７２において、ネットワークもしくは公衆回線などを介して他の受信機器に送信される。送信時に受信機器を指定する方法としては、サリュテーションマネージャー（ＳＬＭ）プロトコルを用いて複数の受信機器の中から特定の機器を指定したり、あるいは公衆回線を用いてＦＡＸとして使用するのであれば相手の電話番号を入力してもよい。また、電子メールとして相手のメールアドレスを指定したり、あるいはそれ以外の方法によって受信機器を指定してもよく、方法は特に限定されない。また、この実施の形態における像域分離処理や膨張処理、各プレーン生成処理はページ単位で行っているが、これに限らず、例えば所定ライン、例えば８ブロックラインごとに、分離、膨張、各プレーン生成処理を行って、最終的に１ページを処理してもよい。
【００５１】
以上述べたように、この第２の実施の形態によれば、膨張処理を施した膨張分離情報プレーンを使って原稿画像から特定の色情報（上述の例では黒情報）を除外して絵柄情報プレーンを生成するので、絵柄情報プレーンに特定の色情報（例えば黒情報）の輪郭が残ってしまうなどの問題がなくなる。このため、各プレーンに解像度変換処理や圧縮処理を施しても画質劣化がほとんどなく、より高画質かつ高圧縮率な画像送信を実現することができる。また、送信を行わない場合にも、データ量を削減することができるので、記憶容量などの削減を図ることができる。
【００５２】
図８は、本発明の第３の実施の形態を示すブロック構成図である。図中、図１と同様の部分には同じ符号を付して説明を省略する。２２は画像補正部である。この第３の実施の形態は、基本的な装置の構成および処理手順とも、上述の第１、第２の実施の形態とほとんど同様であるが、絵柄情報プレーンを生成した後に補正処理を施す点が上述の第１、第２の実施の形態と異なる。
【００５３】
画像補正部２２は、多層分離部６で生成された絵柄情報プレーンに対し、補正処理を施す。ここでいう補正処理とは、膨張処理した分離情報プレーンを使ったことにより消失してしまった絵柄情報プレーン上の有効画像領域を復元する処理である。
【００５４】
この補正処理についてさらに説明する。図９は、絵柄情報プレーンの生成過程の一例の説明図である。図９（Ａ）に示すように、赤色グラフィック部分（図中、ハッチングを施して示した部分）が黒の細線で囲まれた原稿画像が入力画像データとして入力された場合を考える。例えば上述の第１の実施の形態で説明したような処理手順によって、選択データ生成部２では図９（Ｂ）に示したように黒の細線部分が分離情報プレーンに分離される。そして膨張処理部５によって、分離情報プレーンに膨張処理が施され、図９（Ｃ）に示すような膨張分離情報プレーンが得られる。この図９（Ｃ）に示すような膨張分離情報プレーンに従って、多層分離部６は色空間変換部１で色変換された入力画像データを文字情報プレーンと絵柄情報プレーンに分離する。すなわち、図９（Ｃ）に示す膨張分離情報プレーンにおいて、黒く図示した画素については文字情報プレーンに分離され、白く図示した画素についてのみ絵柄情報プレーンに分離される。この結果、図９（Ｄ）に示すような絵柄情報プレーンが生成される。
【００５５】
図９からわかるように、黒の細線を分離情報プレーンに抽出し、膨張処理を施した膨張分離情報プレーンをもとに生成した絵柄情報プレーンには、赤色のグラフィック部が原稿画像より一回り小さくなってしまっている。この例では、周囲１画素小さくなっている。
【００５６】
図１０は、補正処理を行わない場合の合成後の画像の一例の説明図である。図９に示すようにして生成された分離情報プレーン、絵柄情報プレーン、および図示しない文字情報プレーンを用い、もとの原稿画像を復元すべく合成処理を行うと、図９（Ｂ）に示す分離情報プレーンの黒く図示した画素では黒の細線が復元され、その他の画素では図９（Ｄ）に示す絵柄情報プレーンが選択される。そのため、図１０に示すような画像が合成される。このようにして合成された画像は、図９（Ａ）と図１０とを比較してわかるように、黒い細線と赤色のグラフィック部の間に白い細線が挿入されてしまっている。
【００５７】
例えば図１５に示した例のように、白色の原稿上に文字線画と写真などの絵柄が分かれているような原稿では、このような白い細線が発生しても問題はない。しかし、白以外の背景色あるいは絵柄上に文字が存在するような原稿画像では、この白の細線が顕著に現れることがある。
【００５８】
図１１は、補正処理部による補正処理後の絵柄情報プレーンの一例の説明図である。補正処理部２２では、図１０に示すように白の細線が現れる位置に相当する画素について補正処理を施し、上述のような文字線画の輪郭周辺における白の細線の発生を防止している。例えば図９に示したように、赤色のグラフィック部と黒の細線だけの原稿の場合、実際の補正方法は、
“膨張分離情報プレーン上の有効領域（黒画素領域）”
なおかつ
“原稿画像中の赤色グラフィック部”
という条件で白の細線が挿入されてしまう領域を検出する。検出された領域については、例えば絵柄情報プレーン生成後に隣接する赤色グラフィックの画素をコピーする。この処理により、有効画像の消失がない図１１に示すような絵柄情報プレーンを生成することができる。
【００５９】
なお、この補正処理については、上述の方式に限定されるものではない。例えば白の細線が挿入されてしまう領域の検出方法としては、分離情報プレーンと膨張分離情報プレーンを比較することによって行ったり、膨張分離情報プレーンの輪郭画素として検出してもよい。また、絵柄情報プレーンに対する膨張処理を実施してもよい。さらに、補正する画素について、隣接する画素をコピーするほか、もとの色変換後の画像データをコピーしてもよい。ただしこの場合、図１６で説明したような文字線画の輪郭がなるべく絵柄情報プレーンに入らないように、例えば白い細線が顕著になるか否かを判定して、顕著となる場合に限ってもとの画像データをコピーするなどの処理を設けておくとよい。あるいは、文字情報プレーンに分離した色成分を除去するなどの処理を行ってもよい。
【００６０】
図１２は、補正処理を行った場合の合成後の画像の一例の説明図である。図９（Ｂ）に示す分離情報プレーンと、図１１に示す補正処理後の絵柄情報プレーン、および図示しない文字情報プレーンを用い、もとの原稿画像を復元すべく合成処理を行う。すると、図９（Ｂ）に示す分離情報プレーンの黒く図示した画素では黒の細線が復元され、その他の画素では図１１に示す絵柄情報プレーンが選択される。これによって、図１２に示すように黒い細線と赤色のグラフィック部の間に白い細線が存在しない合成画像を得ることができる。
【００６１】
図１３は、本発明の第３の実施の形態における動作の一例を示すフローチャートである。まずＳ８１において、入力画像データが色空間変換部１に入力される。入力画像データは、上述の第１の実施の形態と同様、例えばスキャナにより原稿をスキャン入力したり、あるいは、例えば予めＣＤ−ＲＯＭやその他の大容量記憶メディアに記憶された画像データを入力したり、予めハードディスクなどの蓄積装置に蓄積された画像データを入力してもよい。さらにはデジタルカメラで撮影した画像データを入力してもよく、特に入力方法は限定されない。
【００６２】
画像データが入力されると、Ｓ８２において、色空間変換部１にて所定の色空間に変換する。入力機器に依存した色空間（例えばＤｅｖｉｃｅＲＧＢなど）をデバイスに依存しない色空間（例えばＣＩＥ−Ｌ^* ａ^* ｂ^* など）に変換する。もちろん、入力画像データとしてデバイスに依存しない色空間の画像データが入力される場合には、この処理は必要ない。
【００６３】
色空間変換が完了したら、Ｓ８３において、選択データ生成部２の輝度信号抽出部３にて、画像データ中に含まれる輝度信号を抽出する。例えば色空間変換部１でＣＩＥ−Ｌ^* ａ^* ｂ^* 色空間に変換したのであれば、Ｌ^* 成分を輝度信号として抽出すればよい。また、像域分離部４が輝度信号以外の、例えば色差信号ａ^* 、ｂ^* なども使って像域分離処理するのであれば、像域分離部４には色差信号を入力しなければならない。
【００６４】
輝度信号を抽出したら、Ｓ８４において、像域分離部４は像域分離処理を開始する。ここでは一例として、像域分離処理に輝度信号のみを参照し、分離情報プレーンには文字線画情報を抽出するものとする。像域分離方法については特に限定しない。一例としては、所定のブロック単位で属性を判定して、例えば
階調のちらばり大→文字線画領域
階調のちらばり小→文字線画以外の領域（写真領域／背景領域）
などのように像域分離することができる。もちろん、他の像域分離方式を用いてもよい。分離結果（＝分離情報プレーン）は、ここでは２つのプレーンに分離したので２値データで構成することができる。例えば文字線画と判定された画素には“１（黒）”を、それ以外の画素には“０（白）”を割り当てることができる。もちろん、逆の値であってもよい。このようにして、白黒２値の分離情報プレーンが生成される。Ｓ８５において、像域分離処理が完了したか否かを判定し、入力原稿１ページ分の全ブロックについて像域分離処理が完了するまでＳ８４の像域分離処理を行う。
【００６５】
像域分離処理が完了したら、Ｓ８６において、膨張処理部５で分離情報プレーンに対して膨張処理を施し、膨張分離情報プレーンを生成する。膨張処理とは基本的に文字線画を太らせる処理である。膨張処理の方式は任意であり、例えば上述の第１の実施の形態で示した具体例を利用してもよい。Ｓ８７において膨張処理の完了を判定し、膨張処理が終了するまでＳ８６における膨張処理を繰り返す。
【００６６】
膨張処理が完了したら、Ｓ８８において、膨張分離情報プレーンを用いて多層分離部６にて各プレーンを生成する。ここでは図１５に示すように、文字線画部の色情報を文字情報プレーンに格納し、文字線画部以外の絵柄情報と背景画像を絵柄情報プレーンに格納する。もちろん、分離する情報はこの例に限られるものではない。Ｓ８９において各プレーンへの分離処理が終了したか否かを判定し、すべての色変換後の画像データについて分離処理が終了するまでＳ８８における分離処理を行う。
【００６７】
各プレーンの生成が完了したら、Ｓ９０において、絵柄情報プレーンに対し補正処理部２２で補正処理を施す。この補正処理は上述したとおりである。例えば図９（Ｄ）に示すように生成された絵柄情報プレーンに対し、合成時に白の細線が挿入されてしまう領域を検出し、検出された領域の画素に対して補正処理を施す。これによって例えば図１１に示すような絵柄情報プレーンを生成する。
【００６８】
絵柄情報プレーンの補正処理が完了したら、Ｓ９１において、解像度変換部７、解像度変換部９、解像度変換部１１で各プレーンにそれぞれ解像度変換処理を施す。解像度変換アルゴリズムおよびパラメータについては任意である。文字情報プレーンには文字情報に適した解像度変換アルゴリズム、この例では色パレット情報に適した解像度変換アルゴリズムを適用すればよい。また、絵柄情報プレーンには写真、グラフィック画像などの絵柄情報に適した解像度変換アルゴリズムを適用すればよい。さらに、分離情報プレーンには選択データ、ここでは２値の文字線画の形状情報に適した解像度変換アルゴリズムを適用すればよい。また、解像度変換処理を施さないプレーンについては解像度変換を行わなくてよく、さらに解像度変換部を設けなくてもよい。
【００６９】
各プレーンの解像度変換処理が完了したら、Ｓ９２において解像度変換後の各プレーンに圧縮部８、圧縮部１０、圧縮部１２にて圧縮処理を施す。圧縮アルゴリズムおよびパラメータについては任意である。文字情報プレーンには文字情報、この例では色パレット情報に適した圧縮アルゴリズム、絵柄情報プレーンには写真・グラフィック画像などの絵柄情報に適した圧縮アルゴリズム、分離情報プレーンには選択データ（この例では文字線画の形状を示す２値データ）に適した圧縮アルゴリズムを適用すればよい。また圧縮処理を施さないプレーンについては圧縮処理を行わなくてよく、さらに圧縮処理部を設けなくてもよい。
【００７０】
各プレーンの圧縮処理が完了したら、Ｓ９３において、画像フォーマットラッピング部１３にて各プレーンの画像データをまとめて１つの画像ファイルフォーマットに組み込む。画像ファイルフォーマットとしては、例えばＴＩＦＦ（Ｔａｇ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）やＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）など、現在広く普及しているものを使ってもよいし、あるいは別の画像ファイルフォーマットを使ってもよく、特に限定されない。
【００７１】
所定の画像ファイルフォーマットに組み込まれた画像データは、Ｓ９４において、ネットワークもしくは公衆回線などを介して他の受信機器に送信される。送信時に受信機器を指定する方法としては、サリュテーションマネージャー（ＳＬＭ）プロトコルを用いて複数の受信機器の中から特定の機器を指定したり、あるいは公衆回線を用いてＦＡＸとして使用するのであれば相手の電話番号を入力してもよい。また、電子メールとして相手のメールアドレスを指定したり、あるいはそれ以外の方法によって受信機器を指定してもよく、方法は特に限定されない。また、この実施の形態における像域分離処理や膨張処理、各プレーン生成処理はページ単位で行っているが、これに限らず、例えば所定ライン、例えば８ブロックラインごとに、分離、膨張、各プレーン生成処理を行って、最終的に１ページを処理してもよい。
【００７２】
以上述べたように、この第３の実施の形態によれば、膨張処理を施した膨張分離情報プレーンを使って原稿画像から文字線画情報を除外して絵柄情報プレーンを生成する際に、消失した絵柄情報プレーンの有効画像領域を補正する。したがって絵柄情報プレーンに文字線画の輪郭が残らず、なおかつ有効画像の消失もない。このため各プレーンに解像度変換処理や圧縮処理を施しても画質劣化がほとんどなく、より高画質かつ高圧縮率な画像送信を実現することができる。また、送信を行わない場合にも、データ量を削減することができるので、記憶容量などの削減を図ることができる。さらにこの第３の実施の形態では、各プレーンに分離した画像を合成しても、文字線画の輪郭部に白抜けが発生せず、画質の劣化を防止することができる。
【００７３】
図１４は、本発明の画像処理装置および画像処理方法の応用例を示すシステム構成図である。図中、３１，３２は送信機器、３３〜３５は受信機器、３６はネットワークである。この例では、上述の第１ないし第３の実施の形態で説明した本発明の画像処理装置および画像処理方法を送信機器に組み込んで、ネットワークを介した画像通信に用いる例を示している。
【００７４】
送信機器３１，３２は、スキャナやデジタルカメラなどの入力装置で入力された画像や、グラフィック機能によって作成された画像、ネットワークを介して図示しないホストコンピュータ等から受信した電子文書等を、ネットワーク３６を介して画像データを送信するものである。この送信機器３１，３２は、上述の第１ないし第３の実施の形態で説明したような本発明の画像処理装置または画像処理方法を含んでいる。受信機器３３〜３５は、ネットワーク３６を介して送信機器３１もしくは送信機器３２から送信されてきた所定の画像フォーマットの画像データを受信し、蓄積装置に蓄積したり、ディスプレイ装置への表示や紙などの被記録媒体に記録して出力する。ネットワーク３６は、公衆回線やＬＡＮなどのネットワーク回線で構成されており、送信機器３１，３２および受信機器３３〜３５を相互に接続している。なお図９では、わかりやすくするために送信機器と受信機器の機能をそれぞれ独立させているが、それぞれが送信機能と受信機能を備えた複合機であってもよい。
【００７５】
例えば送信機器３１から画像を送信する場合、本発明の第１ないし第３の実施の形態で説明したようにして、送信すべき画像に適した分離処理によって１以上のデータを生成し、それぞれ所定の画像処理を施した後、圧縮し、画像フォーマットラッピング処理によって１つにまとめて送信する。分離された各データは、属性によって最適に分離されているため、各属性に最適な画像処理および圧縮処理がなされる。特に本発明では、膨張処理した膨張分離情報プレーンを用いて分離処理を行っているので、絵柄情報プレーンに文字線画の輪郭部が残ることはない。そのため、各プレーンに解像度変換処理や圧縮処理を施しても画質劣化がほとんどなく、より高画質かつ高圧縮率な画像送信を実現することができる。また、データ量も少なくすることができるので、高速な送信を行うことができる。
【００７６】
受信機器３３〜３５では、送信機器３１からネットワーク３６を介して送られてきた情報を受信し、文字情報プレーン、絵柄情報プレーン、分離情報プレーンなどに分解する。もちろん、上述の第２の実施の形態でも一例として示したように文字情報プレーンがない場合など、いずれかのプレーンが送信されない場合もある。その場合には、受信情報から送られてこなかったプレーンを作成すればよい。そして、各プレーンの解像度を合わせた後、画素ごとに、分離情報プレーンに従って文字情報プレーンまたは絵柄情報プレーンのいずれかの画素を選択する。これによって元の画像を復元することができる。復元した画像は、例えば蓄積装置に蓄積したり、ディスプレイ装置で表示したり、あるいは記録装置によって紙などの被記録媒体に記録して出力することができる。
【００７７】
もちろん、本発明の応用としては図１４に示したシステム構成に限られるものではなく、画像通信を伴う各種の画像通信機器や、画像の蓄積を伴う各種の機器に適用可能である。もちろん、通信や蓄積のための手段を具備しない画像処理装置単体として構成してもよい。
【００７８】
【発明の効果】
以上の説明から明らかなように、本発明によれば、選択データを含む分離情報プレーンに膨張処理を施し、膨張処理後の膨張分離情報プレーンを使って分離処理を行うので、例えば文字線画の輪郭が文字線画とは別のプレーンに残ってしまうなどの問題の発生を防止することができるという効果がある。このため各プレーンに解像度変換処理や圧縮処理を施しても画質劣化がほとんどなく、より高画質で、かつデータ量も少なく、また高圧縮率を実現することが可能となる。これによって、例えば高速な画像送信を実現し、また、記憶容量などの削減を図ることができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を示すブロック構成図である。
【図２】 本発明の第１の実施の形態における動作の一例を示すフローチャートである。
【図３】 膨張処理の一例の説明図である。
【図４】 膨張処理で用いる判定領域の一例の説明図である。
【図５】 文字情報プレーン生成処理の一例の説明図である。
【図６】 本発明の第２の実施の形態を示すブロック構成図である。
【図７】 本発明の第２の実施の形態における動作の一例を示すフローチャートである。
【図８】 本発明の第３の実施の形態を示すブロック構成図である。
【図９】 絵柄情報プレーンの生成過程の一例の説明図である。
【図１０】 補正処理を行わない場合の合成後の画像の一例の説明図である。
【図１１】 補正処理部による補正処理後の絵柄情報プレーンの一例の説明図である。
【図１２】 補正処理を行った場合の合成後の画像の一例の説明図である。
【図１３】 本発明の第３の実施の形態における動作の一例を示すフローチャートである。
【図１４】 本発明の画像処理装置および画像処理方法の応用例を示すシステム構成図である。
【図１５】 入力画像データを複数のプレーン画像に分離する手法を用いる場合における各プレーン画像の具体例の説明図である。
【図１６】 複数プレーンへの分離時の絵柄情報プレーンの画質劣化の説明図である。
【図１７】 入力画像信号から分離情報を生成する際の信号処理の説明図である。
【符号の説明】
１…色空間変換部、２…選択データ生成部、３…輝度信号抽出部、４…像域分離部、５…膨張処理部、６…多層分離部、７，９，１１…解像度変換部、８，１０，１２…圧縮部、１３…画像フォーマットラッピング部、２１…像域分離部、２２…画像補正部、３１，３２…送信機器、３３〜３５…受信機器、３６…ネットワーク。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that separates input image data into a plurality of image data according to attributes in the image.
[0002]
[Prior art]
In recent years, with the progress of digitization of copying machines, compounding with facsimile functions and printer functions has progressed. In addition, network systems in which various devices such as these devices, computers, and printers are connected via a network such as a LAN or a line have appeared. Recently, colorization of these devices is also progressing, and color FAX and color printers are becoming mainstream. In such a network system, for example, interconnection between different types of devices having different resolutions, or interconnection between different types of devices having different color spaces such as a color copying machine and a monochrome copying machine is possible. .
[0003]
When exchanging image data between such heterogeneous apparatuses, the input document image is normally handled as one plain image. That is, with respect to one plain image, the input-side device determines the document type, performs image processing suitable for the document on the entire plain image, and transmits it to the output-side device. In this way, when the document image is handled as a single plain image, there is no particular problem as long as the document image is composed of only image data of one kind of attribute such as only characters or only photos. However, inconvenience arises when it is composed of image data having a plurality of attributes in which characters and photographs are mixed. For example, when trying to compress image data in which characters and photos are mixed, the same compression processing is applied to one plain image, so the compression ratio of either the character portion or the photo portion depends on the compression method applied. There is a problem that the communication time becomes longer due to the decrease in the image quality, or one of the image quality deteriorates.
[0004]
On the other hand, there is a technique for determining the characteristics of the image of the input document, separating the image for each attribute from the determination result, and dividing the image into a plurality of plane images. FIG. 15 is an explanatory diagram of a specific example of each plane image when a method of separating input image data into a plurality of plane images is used. In this example, a character information plane, a pattern information plane, and a separation information plane are generated from input image data. For example, as shown in FIG. 15A, a red character “ABCDE”, a blue character string, and a pattern portion (portion surrounded by a rectangle) such as a photograph are present in the same image. For convenience of illustration, blue character strings are indicated by line segments. In this case, as shown in FIG. 15 (B), a character information plane consisting only of color components of red characters [ABCDE] and a blue character string, and a pattern portion and background excluding the character portion as shown in FIG. 15 (D). The pattern image plane is divided into parts. Furthermore, in order to select either the character information plane shown in FIG. 15B or the pattern information plane shown in FIG. 15D, a separation information plane shown in FIG. 15C is generated. This separation information plane includes information on the shape of the character.
[0005]
In this way, the input image is separated into three planes in this example. The separated character information plane may have color information and rough area information. In addition, although the separation information plane has fine character shape information, it is sufficient that either the character information plane or the picture information plane can be selected, so that the separation information plane can be constituted by binary data. The picture information plane includes photo data and the like, but fine edges such as characters are not so important.
[0006]
In this way, the images of each plane are separated into images having respective characteristics. For example, a compression method suitable for character data is used for a character image plane, and a compression method suitable for photo data is used for a picture image plane. Furthermore, a compression method suitable for binary data can be applied to the separation information plane. For this reason, the compression rate is improved, and image quality deterioration is not so noticeable. Furthermore, by converting the resolution using an optimum resolution conversion processing method for each of these planes, it is possible to reduce the amount of data within a range where there is little influence.
[0007]
As a technique similar to such a method, there is an encoding apparatus described in Japanese Patent Laid-Open No. 8-186711. In this apparatus, character information is extracted from a color image, the extracted character information is reversibly compressed, and the pattern information excluding character information is subjected to resolution conversion and subjected to lossy compression.
[0008]
In general, in such an image processing method that handles a plurality of plane images separately, image separation processing is performed to create a separation information plane from the original image, and character information from the original image based on the separation information plane. A plane and a pattern information plane are generated.
[0009]
However, when a character information plane or a pattern information plane is simply generated from the separation information plane, significant image quality degradation is seen particularly in the pattern information plane. FIG. 16 is an explanatory diagram of image quality degradation of the pattern information plane during separation into a plurality of planes, and FIG. 17 is an explanatory diagram of signal processing when generating separation information from an input image signal. For example, as shown in FIG. 15C, when the separation information plane includes the shape information of the character / line drawing, the pattern information plane is generated by simply excluding the character / line drawing portion from the input image data using the separation information plane. As a result, the outline of the character / line drawing remains thin on the pattern information plane. For example, if a character information portion as shown in FIG. 16A is removed to generate a picture information plane, a character outline as shown in FIG. 16B remains in the picture information plane.
[0010]
Such a phenomenon occurs at a high frequency particularly in the case of an image input by scanning. This is because the sharpness is lowered at the edge portion of the character line image at the time of scanning input. For example, as shown in FIG. 17, the sharpness of the edge portion of the scanned image signal is lowered. For example, when character / line drawing information is extracted at a predetermined threshold value to generate a separation information plane, the character / line drawing of the separation information plane becomes an area b in FIG. 17, which is slightly wider than the character / line drawing (width a) of the original image. Will become thinner. When a character line drawing portion (= separation information plane) having a narrow line width is used to exclude a character line drawing portion from the scanned image, the outline portion of the character line drawing that cannot be completely excluded from the pattern information plane (FIG. 17). The area c in the figure remains at a low concentration. As described above, when compression processing is performed on the pattern information plane in a state where the outline of the character / line drawing remains on the pattern information plane, since the high-frequency component exists, the overall compression rate decreases. In addition, when the resolution conversion process is performed, there is a problem that the image quality of the edge portion of the character / line image is greatly deteriorated in the combined image.
[0011]
In order to solve such a problem, this phenomenon can be solved to some extent by extracting a character line drawing up to a low-density portion of the edge by lowering the threshold when extracting the character line drawing. However, in that case, an area that is not a character line drawing is extracted as a character line drawing, the accuracy of the image separation processing is lowered, and the separation processing itself is hindered. In addition, there is a problem that the compression rate is lowered and the image quality is deteriorated.
[0012]
[Problems to be solved by the invention]
The present invention has been made in view of the above-described circumstances, and performs image separation processing, particularly character / line image separation, and there is almost no deterioration in image quality even when resolution conversion processing or compression processing is performed. An object of the present invention is to provide an image processing apparatus capable of transmitting or storing images at a high compression rate.
[0013]
[Means for Solving the Problems]
The present invention generates, from input image data, first image data, second image data, and two or more image data including at least selection data among selection data for selecting either the first image data or the second image data. In the image processing apparatus and the image processing method, the selection data is generated from the input image data, the selection data is subjected to expansion processing to generate expansion selection data, and the input image data is converted into the first image data or Separated into second image data, selection data generated from input image data and at least one of the separated first image data and second image data are output. In addition, character / line drawing regions are separated from input image data to generate selection data, expansion processing is performed on the generated selection data to generate expansion selection data, and character / line drawings are included based on the generated expansion selection data. The input image data is separated into first image data and second image data including other images, selection data generated from the input image data, and separated first image data and second image data Is output.
[0014]
By using the selection data expanded in this way, for example, in a character / line image, the edge portion is not separated as separate image data, and the separation process can be performed satisfactorily. Therefore, even if resolution conversion processing or compression processing is performed, image quality is hardly deteriorated, and an image can be transmitted with higher image quality and higher compression rate.
[0015]
Further, when separation processing is performed using such expansion selection data, for example, a portion in contact with the outline of a character line drawing is separated as a character line drawing. When the character line drawing and the pattern are adjacent, the pattern portion is separated as a character line drawing. However, if selection data before expansion processing is used at the time of composition, white pixels may occur along the outline of the character / line image at the time of composition. In order to prevent this, some pixels in the unseparated area are corrected for the image data separated using the expansion selection data. As a result, white pixels can be prevented from being generated in the outline portion of a character line drawing or the like during synthesis.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a first embodiment of the present invention. In the figure, 1 is a color space conversion unit, 2 is a selection data generation unit, 3 is a luminance signal extraction unit, 4 is an image area separation unit, 5 is an expansion processing unit, 6 is a multi-layer separation unit, and 7, 9 and 11 are resolutions. A conversion unit, 8, 10, and 12 are compression units, and 13 is an image format wrapping unit.
[0017]
The color space conversion unit 1 converts input image data from a color space (for example, RGB color space) of the input device to a predetermined color space (for example, CIE-L). ^* a ^* b ^* To a device-independent color space). When input image data expressed in a predetermined color space is input, the color space conversion unit 1 may be omitted.
[0018]
The selection data generation unit 2 generates selection data for selecting either the first image data or the second image data. Hereinafter, an image plane including selection data is referred to as a separation information plane. The selection data generation unit 2 includes a luminance signal extraction unit 3 and an image area separation unit 4. The luminance signal extraction unit 3 generates luminance components (for example, CIE-L) from the input image data color space converted by the color space conversion unit 1. ^* a ^* b ^* L if color space ^* Only the component) is extracted. Based on the luminance signal extracted by the luminance signal extraction unit 3, the image area separation unit 4 separates the image according to the attribute, generates a separation information plane, and outputs it.
[0019]
The expansion processing unit 5 performs expansion processing on the separation information plane generated by the selection data generation unit 2 to generate an expansion separation information plane composed of expansion selection data.
[0020]
The multilayer separation unit 6 uses the expansion separation information plane generated by the expansion processing unit 5 to convert the input image data color space converted by the color space conversion unit 1 into a plurality of image data, for example, first image data and first image data for each attribute. Separate into two image data. Here, an example is shown in which image data such as characters and line drawings and image data such as photographs and graphics are separated. In the following description, image data such as characters and line drawings is referred to as a character information plane, and image data such as photographs and graphics is referred to as a pattern information plane. Of course, the image data to be separated by the multi-layer separation unit 6 is not limited to two, and the separation attribute is not limited to characters and pictures, for example, separating photographs and graphics as separate image data. Absent. In addition, if the plain image is a uniform image, it may be configured not to generate a plain image by outputting a fixed value.
[0021]
The resolution conversion unit 7 performs resolution conversion processing on the character information plane by a method optimal for a character image. Of course, it is not necessary to provide a resolution conversion process if it is not necessary. The compression unit 8 performs a compression process on the character information plane by a technique optimal for a character image.
[0022]
The resolution conversion unit 9 performs resolution conversion processing on the pattern information plane by a technique optimal for photographs and graphic images. Of course, it is not necessary to provide a resolution conversion process if it is not necessary. The compression unit 10 performs compression processing on the pattern information plane by a technique optimal for photographs and graphic images.
[0023]
The resolution conversion unit 11 performs resolution conversion processing on the separation information plane generated by the selection data generation unit 2 by a method optimal for the separation information plane. Of course, it is not necessary to provide a resolution conversion process if it is not necessary. The compressing unit 12 performs compression processing on the separation information plane by a method optimal for the separation information plane.
[0024]
The image format wrapping unit 13 incorporates a character information plane, a pattern information plane, and a separation information plane that have been subjected to resolution conversion processing and compression processing into a predetermined image format and outputs the result. The output data can be transmitted, for example, by transmission means or stored in a storage device or the like.
[0025]
In this example, as the processing after separation into each information plane in the multilayer separation unit 6, resolution conversion processing by the resolution conversion units 7, 9, and 11 and compression processing by the compression units 8, 10, and 12 are shown. Not limited to these processes, various processes can be performed. In particular, since the data separated according to the attribute is a processing target, it is preferable to perform processing that is desired to be subjected to different processing according to the attribute. Of course, each information plane output from the selection data generation unit 2 and the multi-layer separation unit 6 may be used as an output of the image processing apparatus of the present invention as it is. In addition to the color space conversion process in the color space conversion unit 1, various image processes that are uniformly performed on the input image data may be performed.
[0026]
FIG. 2 is a flowchart showing an example of the operation according to the first embodiment of the present invention. First, in S <b> 41, input image data is input to the color space conversion unit 1. For the input image data, for example, a scanner (not shown) is used as means for inputting a document, and the document can be scanned and input. Alternatively, for example, image data stored in advance on a CD-ROM or other large-capacity storage medium may be input, or image data stored in advance in a storage device such as a hard disk may be input. Furthermore, image data taken with a digital camera may be input, and the input method is not particularly limited.
[0027]
When the image data is input, the color space conversion unit 1 converts the image data into a predetermined color space in S42. A color space (for example, CIE-L) that does not depend on a device is changed from a color space (for example, DeviceRGB) that depends on an input device. ^* a ^* b ^* Etc.) can provide high-quality images to various output devices. Of course, this process is not necessary when image data in a color space independent of a device is input as input image data.
[0028]
When the color space conversion is completed, in S43, the luminance signal extraction unit 3 of the selection data generation unit 2 extracts the luminance signal included in the image data. This is done because the image area separation unit 4 in the subsequent stage basically performs image area separation processing based on the luminance signal. For example, the color space conversion unit 1 uses CIE-L ^* a ^* b ^* L if converted to color space ^* What is necessary is just to extract a component as a luminance signal. In addition, the image area separation unit 4 other than the luminance signal, for example, the color difference signal a ^* , B ^* If the image area separation processing is also performed using the above, it is necessary to input a color difference signal to the image area separation unit 4.
[0029]
If the luminance signal is extracted, in S44, the image area separation unit 4 starts image area separation processing. Here, as an example, it is assumed that only the luminance signal is referred to in the image area separation process, and the character / line image information is extracted in the separation information plane. An image area separation method is not particularly limited. As an example, the attribute is determined in a predetermined block unit (8 × 8 pixel unit or the like), for example,
Large gradation gradation → Text line drawing area
Small gradation gradation → Area other than character line drawing (photo area / background area)
The image area can be separated as shown in FIG. Of course, other image area separation methods may be used. Since the separation result (= separation information plane) is separated into two planes here, it can be composed of binary data. For example, “1 (black)” can be assigned to pixels determined to be a character / line image, and “0 (white)” can be assigned to other pixels. Of course, the opposite value may be used. In this way, a black and white binary separation information plane is generated. In S45, it is determined whether or not the image area separation process has been completed, and the image area separation process in S44 is performed until the image area separation process is completed for all the blocks of one page of the input document.
[0030]
When the image area separation processing is completed, in step S46, the expansion processing unit 5 performs expansion processing on the separation information plane to generate an expansion separation information plane. The expansion process is basically a process for thickening a character line drawing. FIG. 3 is an explanatory diagram of an example of the expansion process, and FIG. 4 is an explanatory diagram of an example of a determination area used in the expansion process. For example, it is assumed that the letter “F” is extracted from the separation information plane as shown in FIG. At this time, the expanded separation information plane is as shown in FIG. 3B by performing a process of expanding one pixel around the character line image on the extracted character “F”.
[0031]
As a specific expansion processing algorithm, for example, the determination is performed in units of 3 × 3 pixel blocks as shown in FIG. For the pixel of interest

The conversion process is performed as follows. This is scanned one by one so that all the pixels of the separation information plane become the target pixel, and one page expansion processing is performed. In practice, every time the target pixel is shifted by one pixel, the reference pixel partially overlaps. For example, even if the pixel is converted in the previous block, the pixel that becomes the target pixel in the determination of the next block is not converted. It is necessary to consider the pixel value. Although the block size is 3 × 3 here, the size can be changed according to the number of pixels to be expanded. Further, the expansion processing algorithm is not limited to the above-described method, and various known techniques can be used. The completion of the expansion process is determined in S47, and the expansion process in S46 is repeated until the expansion process is completed.
[0032]
When the expansion processing is completed, each plane is generated in the multilayer separation unit 6 using the expansion separation information plane in S48. Here, as shown in FIG. 15, the color information of the character / line drawing part is stored in the character information plane, and the pattern information and the background image other than the character / line drawing part are stored in the pattern information plane. Of course, the information to be separated is not limited to this example. For example, the character information plane may be separated including character shape information. In addition, the number of planes generated by the multilayer separation unit 6 is not limited to two, for example, the graphic data is further separated. In this example, since the separation information plane generated by the selection data generation unit 2 is used as it is, three planes are generated when the separation information plane is included.
[0033]
The character information plane as shown in FIG. 15B generated in this example only needs to include the color information of the character / line drawing, and may be information in which the character color is arranged in the area covering the character, for example. FIG. 5 is an explanatory diagram of an example of the character information plane generation process. For example, as shown in FIG. 5, if the data to be separated is included in the character information plane by referring to the expansion separation information plane in units of 8 × 8 pixels, the character color is set as color information of 8 × 8 pixels. What is necessary is just to store in an information plane. For example, as shown in FIG. 5A, when the shape of the character “F” exists in 8 × 8 pixels of the dilation / separation information plane, the character color is stored in the character information plane of 8 × 8 pixels. By using such color information for each rectangular area, there is almost no deterioration in resolution conversion processing, and compression can be performed at a high compression rate. Of course, the processing unit is not limited to 8 × 8 pixels, and the character information plane may be generated by other methods.
[0034]
In S49, it is determined whether or not the separation processing for each plane has been completed, and the separation processing in S48 is performed until the separation processing is completed for all color-converted image data.
[0035]
When the separation process for each plane is completed, in S50, the resolution conversion unit 7, the resolution conversion unit 9, and the resolution conversion unit 11 perform the resolution conversion process on each plane. The resolution conversion algorithm and parameters are arbitrary. A resolution conversion algorithm suitable for character information, in this example, a resolution conversion algorithm suitable for color palette information may be applied to the character information plane. Further, a resolution conversion algorithm suitable for pattern information such as a photograph or graphic image may be applied to the pattern information plane. Furthermore, a resolution conversion algorithm suitable for selection data, here, shape information of a binary character / line image may be applied to the separation information plane. Further, it is not necessary to perform resolution conversion for planes that are not subjected to resolution conversion processing, and it is not necessary to provide a resolution conversion unit.
[0036]
When the resolution conversion processing for each plane is completed, compression processing is performed by the compression unit 8, the compression unit 10, and the compression unit 12 on each plane after resolution conversion in S51. The compression algorithm and parameters are arbitrary. The character information plane is character information, in this example, a compression algorithm suitable for color palette information, the pattern information plane is a compression algorithm suitable for picture information such as photographs and graphic images, and the separation information plane is selected data (in this example, A compression algorithm suitable for (binary data indicating the shape of a character / line image) may be applied. Further, it is not necessary to perform compression processing for a plane that is not subjected to compression processing, and it is not necessary to provide a compression processing unit.
[0037]
When the compression processing for each plane is completed, in S52, the image format wrapping unit 13 combines the image data of each plane into one image file format. As the image file format, for example, a currently widely used one such as TIFF (Tag Image File Format) or PDF (Portable Document Format) may be used, or another image file format may be used. It is not limited.
[0038]
The image data incorporated in the predetermined image file format is transmitted to another receiving device via a network or a public line in S53. As a method of designating a receiving device at the time of transmission, if a specific device is designated from among a plurality of receiving devices using a salutation manager (SLM) protocol, or if it is used as a FAX using a public line, the other party You may enter your phone number. Further, the recipient's mail address may be designated as an electronic mail, or the receiving device may be designated by other methods, and the method is not particularly limited. In addition, the image area separation process, the expansion process, and each plane generation process in this embodiment are performed in units of pages. However, the present invention is not limited to this. A generation process may be performed to finally process one page.
[0039]
As described above, according to this embodiment, the graphic information plane is generated by excluding the character / line drawing information from the original image using the expansion separation information plane subjected to the expansion processing. Occurrence of problems such as remaining contours can be prevented. For example, the outline of the character / line drawing portion remaining in the pattern information plane in FIG. 16B is removed from the pattern information plane by the expansion separation information plane. For this reason, even if resolution conversion processing or compression processing is performed on each plane, image quality is hardly deteriorated, and image transmission with higher image quality and higher compression rate can be realized. Even when transmission is not performed, the amount of data can be reduced, so that the storage capacity and the like can be reduced.
[0040]
FIG. 6 is a block diagram showing the second embodiment of the present invention. In the figure, the same parts as those in FIG. Reference numeral 21 denotes an image area separation unit. This second embodiment is almost the same as the first embodiment described above in terms of the basic apparatus configuration and processing procedure, but the target to be extracted in the separation information plane is not a character line drawing information but a specific one. The difference from the first embodiment described above is that the information has a color. In other words, the selection data generation unit 2 includes an image area separation unit 21, and the image area separation unit 21 separates information having a specific color as a separation information plane.
[0041]
FIG. 7 is a flowchart showing an example of operation in the second exemplary embodiment of the present invention. First, in S 61, input image data is input to the color space conversion unit 1. For the input image data, for example, a scanner (not shown) is used as means for inputting a document, and the document can be scanned and input. Alternatively, for example, image data stored in advance on a CD-ROM or other large-capacity storage medium may be input, or image data stored in advance in a storage device such as a hard disk may be input. Furthermore, image data taken with a digital camera may be input, and the input method is not particularly limited.
[0042]
When the image data is input, the color space conversion unit 1 converts the image data into a predetermined color space in S62. A color space (for example, CIE-L) that does not depend on a device is changed from a color space (for example, DeviceRGB) that depends on an input device. ^* a ^* b ^* Etc.) can provide high-quality images to various output devices. Of course, this process is not necessary when image data in a color space independent of a device is input as input image data. When the color space conversion is completed, the image data after the color space conversion is sent to the image area separation unit 21 of the selection data generation unit 2. For example, CIE-L by color space conversion ^* a ^* b ^* The luminance signal L ^* , Color difference signal a ^* , B ^* Are sent to the image area separation unit 21.
[0043]
In S63, the image area separation unit 21 outputs the luminance signal L. ^* , Color difference signal a ^* , B ^* The image area separation process is started with reference to FIG. In this embodiment, both the luminance signal and the color difference signal are referred to in the image area separation process, and specific color information is extracted in the separation information plane. Here, black is extracted as specific color information. The reason is that character line drawings used in general business documents are usually composed of black.
[0044]
Any method can be used as the image area separation algorithm. As an example, the attribute is determined on a pixel-by-pixel basis. ^* And binarize a ^* , B ^* Is determined to be a black area, and the other area is determined to be a graphic area (background area). The threshold value is not particularly limited here. This is expressed as follows.
L ^* ≧ K and (a ^* ) ² + (B ^* ) ² ≦ M → Black area
L ^* <K or (a ^* ) ² + (B ^* ) ² > M → Graphic area (background area)
L ^* : Luminance signal. L is in the range 0-100 ^* = 100 and black.
a ^* , B ^* : Color difference signal. −128 ≦ a ^* , B ^* The range of ≦ 127 is taken.
K: A specific threshold value (0 ≦ K ≦ 100).
M: a specific threshold value (0 ≦ M ≦ (−128) ² = 16384)
The separation result (= separation information plane) is composed of binary data. For example, “1 (black)” is assigned to a pixel determined to be a black region, and “0 (white)” is assigned to other pixels. it can. In this way, a black and white binary separation information plane is generated. In S64, it is determined whether or not the image area separation process has been completed for one page of the input document, and the image separation process in S63 is repeated until the image separation process is completed.
[0045]
When the separation process is completed, expansion processing is performed by the expansion processing unit 5 on the separation information plane as a separation result in S65. The expansion process is the same as that in the first embodiment. For example, the black region of the letter “F” shape shown in FIG. 5A becomes an expansion separation information plane as shown in FIG. In S66, it is determined whether or not the expansion process is completed, and the expansion process in S65 is performed until the expansion process is completed.
[0046]
When the expansion process is completed, each plane is generated in the multi-layer separation unit 6 using the separation information plane subjected to the expansion process in S67. Here, specific color information, for example, black area color information, is extracted from the separation information plane, so that the black information is stored in the character information plane, and the other color areas are stored in the design information plane. The In this example, only all black data is stored in the character information plane, so if there is a separation information plane, the image data in the black area can be restored at the time of synthesis. Therefore, the character information plane may be omitted, and it may be composed of two planes, a separation information plane and a pattern information plane. The creation method for creating the character information plane is the same as in the first embodiment described above. In S68, it is determined whether or not the separation process for each plane is completed, and the separation process in S67 is performed until the generation of each plane is completed.
[0047]
When the generation of each plane is completed, the resolution conversion unit 7, the resolution conversion unit 9, and the resolution conversion unit 11 perform resolution conversion processing on each plane in S69. The resolution conversion algorithm and parameters are arbitrary. For the character information plane, a resolution conversion algorithm suitable for character information, in this example, a resolution conversion algorithm suitable for specific color information may be applied. Further, a resolution conversion algorithm suitable for pattern information such as a photograph or graphic image may be applied to the pattern information plane. Furthermore, a resolution conversion algorithm suitable for selection data, here, shape information of a binary character / line image may be applied to the separation information plane. Further, it is not necessary to perform resolution conversion for planes that are not subjected to resolution conversion processing, and it is not necessary to provide a resolution conversion unit. When the character information plane is not used, of course, the resolution conversion process for the character information plane is not performed.
[0048]
When the resolution conversion processing for each plane is completed, compression processing is performed by the compression unit 8, the compression unit 10, and the compression unit 12 on each plane after resolution conversion in S70. The compression algorithm and parameters are arbitrary. Character information plane, character information, in this example, compression algorithm suitable for specific color information, picture information plane, compression algorithm suitable for picture information such as photographs and graphic images, separation information plane, selection data (this example Then, a compression algorithm suitable for binary data) may be applied. Further, it is not necessary to perform compression processing for a plane that is not subjected to compression processing, and it is not necessary to provide a compression processing unit. When the character information plane is not used, the character information plane is not compressed.
[0049]
When the compression processing for each plane is completed, the image format wrapping unit 13 combines the image data of each plane into one image file format in S71. As the image file format, for example, a currently widely used one such as TIFF (Tag Image File Format) or PDF (Portable Document Format) may be used, or another image file format may be used. It is not limited. Note that when a character information plane is not used, information indicating a specific color can be added instead of the character information plane.
[0050]
In S72, the image data incorporated in the predetermined image file format is transmitted to another receiving device via a network or a public line. As a method of designating a receiving device at the time of transmission, if a specific device is designated from among a plurality of receiving devices using a salutation manager (SLM) protocol, or if it is used as a FAX using a public line, the other party You may enter your phone number. Further, the recipient's mail address may be designated as an electronic mail, or the receiving device may be designated by other methods, and the method is not particularly limited. In addition, the image area separation process, the expansion process, and each plane generation process in this embodiment are performed in units of pages. However, the present invention is not limited to this. A generation process may be performed to finally process one page.
[0051]
As described above, according to the second embodiment, the pattern information is obtained by excluding specific color information (black information in the above example) from the original image using the expansion separation information plane subjected to expansion processing. Since the plane is generated, there is no problem that the contour of specific color information (for example, black information) remains in the pattern information plane. For this reason, even if resolution conversion processing or compression processing is performed on each plane, image quality is hardly deteriorated, and image transmission with higher image quality and higher compression rate can be realized. Even when transmission is not performed, the amount of data can be reduced, so that the storage capacity and the like can be reduced.
[0052]
FIG. 8 is a block diagram showing the third embodiment of the present invention. In the figure, the same parts as those in FIG. Reference numeral 22 denotes an image correction unit. The third embodiment is almost the same as the first and second embodiments described above in terms of the basic apparatus configuration and processing procedure. However, correction processing is performed after the design information plane is generated. Is different from the first and second embodiments described above.
[0053]
The image correction unit 22 performs correction processing on the pattern information plane generated by the multilayer separation unit 6. The correction processing here is processing for restoring an effective image area on the pattern information plane that has disappeared due to the use of the dilated separation information plane.
[0054]
This correction process will be further described. FIG. 9 is an explanatory diagram of an example of a process of generating a picture information plane. As shown in FIG. 9A, a case is considered in which a document image in which a red graphic portion (the hatched portion in the drawing) is surrounded by a black thin line is input as input image data. For example, according to the processing procedure described in the first embodiment, the selection data generation unit 2 separates the black thin line portion into separation information planes as shown in FIG. 9B. Then, the expansion processing unit 5 performs expansion processing on the separation information plane, and an expansion separation information plane as shown in FIG. 9C is obtained. In accordance with the expansion separation information plane as shown in FIG. 9C, the multilayer separation unit 6 separates the input image data color-converted by the color space conversion unit 1 into a character information plane and a picture information plane. That is, in the expansion separation information plane shown in FIG. 9C, the pixels illustrated in black are separated into character information planes, and only the pixels illustrated in white are separated into picture information planes. As a result, a pattern information plane as shown in FIG. 9D is generated.
[0055]
As can be seen from FIG. 9, the red graphic portion is slightly smaller than the original image in the pattern information plane generated based on the expansion separation information plane obtained by extracting the black thin line into the separation information plane and performing the expansion processing. It has become. In this example, the surrounding pixel is smaller.
[0056]
FIG. 10 is an explanatory diagram of an example of an image after composition when correction processing is not performed. When the separation process is performed to restore the original document image using the separation information plane, the pattern information plane, and the character information plane (not shown) generated as shown in FIG. 9, the separation shown in FIG. 9B is performed. The black thin line is restored in the pixels shown in black in the information plane, and the pattern information plane shown in FIG. 9D is selected in the other pixels. Therefore, an image as shown in FIG. 10 is synthesized. In the image synthesized in this way, a white thin line is inserted between the black thin line and the red graphic part, as can be seen by comparing FIG. 9A and FIG.
[0057]
For example, as in the example shown in FIG. 15, there is no problem even if such a white thin line occurs in a document in which a character line image and a picture such as a photograph are separated on a white document. However, in a manuscript image in which characters exist on a background color other than white or on a design, this white thin line may appear prominently.
[0058]
FIG. 11 is an explanatory diagram of an example of the pattern information plane after the correction processing by the correction processing unit. As shown in FIG. 10, the correction processing unit 22 performs correction processing on the pixel corresponding to the position where the white fine line appears to prevent the occurrence of the white fine line around the outline of the character line image as described above. For example, as shown in FIG. 9, in the case of a document having only a red graphic portion and a black thin line, an actual correction method is as follows.
“Effective area on the expansion separation information plane (black pixel area)”
Still
"Red graphic part in the original image"
The area where the white thin line is inserted under the condition is detected. For the detected area, for example, adjacent red graphic pixels are copied after the pattern information plane is generated. By this processing, a pattern information plane as shown in FIG. 11 in which no effective image is lost can be generated.
[0059]
Note that this correction processing is not limited to the above-described method. For example, as a method for detecting a region where a white thin line is inserted, the separation information plane may be compared with the expansion separation information plane, or may be detected as a contour pixel of the expansion separation information plane. Moreover, you may implement the expansion process with respect to a pattern information plane. Further, for the pixel to be corrected, the adjacent pixel may be copied, and the original image data after color conversion may be copied. However, in this case, for example, it is determined whether or not a white thin line is conspicuous so that the outline of the character line drawing as described in FIG. 16 does not enter the pattern information plane as much as possible. Processing such as copying the image data may be provided. Alternatively, processing such as removal of color components separated into character information planes may be performed.
[0060]
FIG. 12 is an explanatory diagram of an example of a combined image when correction processing is performed. Using the separation information plane shown in FIG. 9B, the corrected pattern information plane shown in FIG. 11, and a character information plane (not shown), a composition process is performed to restore the original document image. Then, the black thin line is restored in the pixels shown in black in the separation information plane shown in FIG. 9B, and the picture information plane shown in FIG. 11 is selected in the other pixels. As a result, as shown in FIG. 12, a composite image can be obtained in which no white fine line exists between the black fine line and the red graphic portion.
[0061]
FIG. 13 is a flowchart showing an example of operation in the third exemplary embodiment of the present invention. First, in step S <b> 81, input image data is input to the color space conversion unit 1. As in the first embodiment described above, the input image data is, for example, scanned input of a document by a scanner, or input of image data stored in advance on a CD-ROM or other large-capacity storage medium, for example. Alternatively, image data previously stored in a storage device such as a hard disk may be input. Furthermore, image data taken with a digital camera may be input, and the input method is not particularly limited.
[0062]
When the image data is input, the color space conversion unit 1 converts the image data into a predetermined color space in S82. A color space (for example, CIE-L) that does not depend on a device is changed from a color space (for example, DeviceRGB) that depends on an input device. ^* a ^* b ^* Etc.). Of course, this process is not necessary when image data in a color space independent of a device is input as input image data.
[0063]
When the color space conversion is completed, in S83, the luminance signal extraction unit 3 of the selection data generation unit 2 extracts the luminance signal included in the image data. For example, the color space conversion unit 1 uses CIE-L ^* a ^* b ^* L if converted to color space ^* What is necessary is just to extract a component as a luminance signal. In addition, the image area separation unit 4 other than the luminance signal, for example, the color difference signal a ^* , B ^* If the image area separation processing is also performed using the above, it is necessary to input a color difference signal to the image area separation unit 4.
[0064]
After extracting the luminance signal, the image area separation unit 4 starts image area separation processing in S84. Here, as an example, it is assumed that only the luminance signal is referred to in the image area separation process, and the character / line image information is extracted in the separation information plane. An image area separation method is not particularly limited. As an example, the attribute is determined in a predetermined block unit, for example,
Large gradation gradation → Text line drawing area
Small gradation gradation → Area other than character line drawing (photo area / background area)
The image area can be separated as shown in FIG. Of course, other image area separation methods may be used. Since the separation result (= separation information plane) is separated into two planes here, it can be composed of binary data. For example, “1 (black)” can be assigned to pixels determined to be a character / line image, and “0 (white)” can be assigned to other pixels. Of course, the opposite value may be used. In this way, a black and white binary separation information plane is generated. In S85, it is determined whether or not the image area separation process is completed, and the image area separation process in S84 is performed until the image area separation process is completed for all blocks of one page of the input document.
[0065]
When the image area separation processing is completed, in step S86, the expansion processing unit 5 performs expansion processing on the separation information plane to generate an expansion separation information plane. The expansion process is basically a process for thickening a character line drawing. The method of expansion processing is arbitrary, and for example, the specific example shown in the first embodiment described above may be used. The completion of the expansion process is determined in S87, and the expansion process in S86 is repeated until the expansion process is completed.
[0066]
When the expansion processing is completed, each plane is generated in the multi-layer separation unit 6 using the expansion separation information plane in S88. Here, as shown in FIG. 15, the color information of the character / line drawing part is stored in the character information plane, and the pattern information and the background image other than the character / line drawing part are stored in the pattern information plane. Of course, the information to be separated is not limited to this example. In S89, it is determined whether or not the separation process for each plane has been completed, and the separation process in S88 is performed until the separation process is completed for all color-converted image data.
[0067]
When the generation of each plane is completed, the correction processing unit 22 performs correction processing on the pattern information plane in S90. This correction process is as described above. For example, as shown in FIG. 9D, a region where a white fine line is inserted at the time of synthesis is detected from the generated pattern information plane, and correction processing is performed on the pixels in the detected region. Thereby, for example, a pattern information plane as shown in FIG. 11 is generated.
[0068]
When the pattern information plane correction process is completed, the resolution conversion unit 7, the resolution conversion unit 9, and the resolution conversion unit 11 perform the resolution conversion process on each plane in S91. The resolution conversion algorithm and parameters are arbitrary. A resolution conversion algorithm suitable for character information, in this example, a resolution conversion algorithm suitable for color palette information may be applied to the character information plane. Further, a resolution conversion algorithm suitable for pattern information such as a photograph or graphic image may be applied to the pattern information plane. Furthermore, a resolution conversion algorithm suitable for selection data, here, shape information of a binary character / line image may be applied to the separation information plane. Further, it is not necessary to perform resolution conversion for planes that are not subjected to resolution conversion processing, and it is not necessary to provide a resolution conversion unit.
[0069]
When the resolution conversion processing for each plane is completed, compression processing is performed by the compression unit 8, the compression unit 10, and the compression unit 12 on each plane after resolution conversion in S92. The compression algorithm and parameters are arbitrary. The character information plane is character information, in this example, a compression algorithm suitable for color palette information, the pattern information plane is a compression algorithm suitable for picture information such as photographs and graphic images, and the separation information plane is selected data (in this example, A compression algorithm suitable for (binary data indicating the shape of a character / line image) may be applied. Further, it is not necessary to perform compression processing for a plane that is not subjected to compression processing, and it is not necessary to provide a compression processing unit.
[0070]
When the compression processing for each plane is completed, the image format wrapping unit 13 combines the image data of each plane into one image file format in S93. As the image file format, for example, a currently widely used one such as TIFF (Tag Image File Format) or PDF (Portable Document Format) may be used, or another image file format may be used. It is not limited.
[0071]
In S94, the image data incorporated in the predetermined image file format is transmitted to another receiving device via a network or a public line. As a method of designating a receiving device at the time of transmission, if a specific device is designated from among a plurality of receiving devices using a salutation manager (SLM) protocol, or if it is used as a FAX using a public line, the other party You may enter your phone number. Further, the recipient's mail address may be designated as an electronic mail, or the receiving device may be designated by other methods, and the method is not particularly limited. In addition, the image area separation process, the expansion process, and each plane generation process in this embodiment are performed in units of pages. However, the present invention is not limited to this. A generation process may be performed to finally process one page.
[0072]
As described above, according to the third embodiment, when the graphic information plane is generated by excluding the character / line drawing information from the document image using the expansion separation information plane subjected to the expansion processing, the information is lost. The effective image area of the pattern information plane is corrected. Therefore, the outline of the character line drawing does not remain on the pattern information plane, and the effective image is not lost. For this reason, even if resolution conversion processing or compression processing is performed on each plane, image quality is hardly deteriorated, and image transmission with higher image quality and higher compression rate can be realized. Even when transmission is not performed, the amount of data can be reduced, so that the storage capacity and the like can be reduced. Further, in the third embodiment, even if the images separated into the respective planes are combined, white spots do not occur in the outline portion of the character / line image, and deterioration of the image quality can be prevented.
[0073]
FIG. 14 is a system configuration diagram showing an application example of the image processing apparatus and the image processing method of the present invention. In the figure, 31 and 32 are transmitting devices, 33 to 35 are receiving devices, and 36 is a network. In this example, the image processing apparatus and the image processing method of the present invention described in the first to third embodiments are incorporated in a transmission device and used for image communication via a network.
[0074]
The transmission devices 31 and 32 send an image input by an input device such as a scanner or a digital camera, an image created by a graphic function, an electronic document received from a host computer (not shown) via a network, etc. The image data is transmitted through the network. The transmission devices 31 and 32 include the image processing apparatus or the image processing method of the present invention as described in the first to third embodiments. The receiving devices 33 to 35 receive image data of a predetermined image format transmitted from the transmitting device 31 or the transmitting device 32 via the network 36 and store the image data in the storage device, display on the display device, paper, or the like. Are recorded on the recording medium and output. The network 36 is configured by a network line such as a public line or a LAN, and connects the transmission devices 31 and 32 and the reception devices 33 to 35 to each other. In FIG. 9, the functions of the transmitting device and the receiving device are made independent for the sake of clarity, but each of them may be a multi-function device having a transmitting function and a receiving function.
[0075]
For example, when transmitting an image from the transmission device 31, as described in the first to third embodiments of the present invention, one or more data is generated by separation processing suitable for the image to be transmitted, After the image processing is performed, the image data is compressed and sent together by image format wrapping processing. Since each separated data is optimally separated by attribute, image processing and compression processing optimum for each attribute is performed. In particular, in the present invention, the separation processing is performed using the expanded separation information plane that has undergone the expansion processing, so that the outline of the character / line drawing does not remain in the pattern information plane. Therefore, even if resolution conversion processing or compression processing is performed on each plane, image quality is hardly deteriorated, and image transmission with higher image quality and higher compression rate can be realized. In addition, since the amount of data can be reduced, high-speed transmission can be performed.
[0076]
The receiving devices 33 to 35 receive information transmitted from the transmitting device 31 via the network 36 and decompose it into a character information plane, a picture information plane, a separation information plane, and the like. Of course, one of the planes may not be transmitted, such as when there is no character information plane as shown in the second embodiment as an example. In that case, a plane that has not been sent from the received information may be created. Then, after matching the resolution of each plane, either a character information plane or a picture information plane is selected for each pixel according to the separation information plane. As a result, the original image can be restored. The restored image can be stored in, for example, a storage device, displayed on a display device, or recorded and output on a recording medium such as paper by a recording device.
[0077]
Of course, the application of the present invention is not limited to the system configuration shown in FIG. 14, and can be applied to various image communication devices involving image communication and various devices involving image storage. Of course, you may comprise as an image processing apparatus single-piece | unit which does not comprise the means for communication and accumulation | storage.
[0078]
【The invention's effect】
As is clear from the above description, according to the present invention, the separation information plane including selection data is subjected to expansion processing, and separation processing is performed using the expansion separation information plane after expansion processing. However, there is an effect that it is possible to prevent problems such as being left on a plane different from that of the character line drawing. For this reason, even if resolution conversion processing or compression processing is performed on each plane, there is almost no deterioration in image quality, higher image quality, a smaller amount of data, and a higher compression rate. Thereby, for example, high-speed image transmission can be realized, and the storage capacity can be reduced.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram showing a first embodiment of the present invention.
FIG. 2 is a flowchart showing an example of operation in the first embodiment of the present invention.
FIG. 3 is an explanatory diagram of an example of an expansion process.
FIG. 4 is an explanatory diagram of an example of a determination area used in the expansion process.
FIG. 5 is an explanatory diagram of an example of a character information plane generation process;
FIG. 6 is a block configuration diagram showing a second embodiment of the present invention.
FIG. 7 is a flowchart showing an example of an operation in the second embodiment of the present invention.
FIG. 8 is a block diagram showing a third embodiment of the present invention.
FIG. 9 is an explanatory diagram of an example of a process of generating a pattern information plane.
FIG. 10 is an explanatory diagram illustrating an example of a combined image when no correction processing is performed.
FIG. 11 is an explanatory diagram of an example of a pattern information plane after correction processing by a correction processing unit.
FIG. 12 is an explanatory diagram illustrating an example of a combined image when correction processing is performed.
FIG. 13 is a flowchart showing an example of an operation according to the third embodiment of the present invention.
FIG. 14 is a system configuration diagram showing an application example of the image processing apparatus and the image processing method of the present invention.
FIG. 15 is an explanatory diagram of a specific example of each plane image when using a method of separating input image data into a plurality of plane images.
FIG. 16 is an explanatory diagram of image quality deterioration of a pattern information plane at the time of separation into a plurality of planes.
FIG. 17 is an explanatory diagram of signal processing when generating separation information from an input image signal.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Color space conversion part, 2 ... Selection data generation part, 3 ... Luminance signal extraction part, 4 ... Image area separation part, 5 ... Expansion processing part, 6 ... Multi-layer separation part, 7, 9, 11 ... Resolution conversion part, 8, 10, 12 ... compression unit, 13 ... image format wrapping unit, 21 ... image area separation unit, 22 ... image correction unit, 31, 32 ... transmission device, 33-35 ... reception device, 36 ... network.

Claims (7)

入力画像データから第１画像データ、第２画像データ、および前記第１画像データまたは前記第２画像データのいずれかを選択する選択データのうち少なくとも前記選択データを含む２以上の画像データを生成する画像処理装置において、前記選択データを生成する選択データ生成手段と、前記選択データ生成手段によって生成された前記選択データに膨張処理を施して膨張選択データを生成する膨張処理手段と、前記膨張処理手段によって生成された前記膨張選択データを用いて前記入力画像データを前記第１画像データまたは前記第２画像データに分離する分離手段を有し、前記選択データ生成手段で生成された前記選択データと、前記分離手段で分離された前記第１画像データ及び第２画像データの少なくとも一方を出力することを特徴とする画像処理装置。  Two or more pieces of image data including at least the selection data among the first image data, the second image data, and selection data for selecting either the first image data or the second image data are generated from the input image data. In the image processing apparatus, a selection data generation unit that generates the selection data, an expansion processing unit that performs expansion processing on the selection data generated by the selection data generation unit to generate expansion selection data, and the expansion processing unit Separation means for separating the input image data into the first image data or the second image data using the expansion selection data generated by the selection data generated by the selection data generation means; Outputting at least one of the first image data and the second image data separated by the separating means; The image processing apparatus according to. 前記選択データ生成手段は、前記選択データとして前記入力画像データから文字線画情報を抽出することを特徴とする請求項１に記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the selection data generation unit extracts character line drawing information from the input image data as the selection data. 前記選択データ生成手段は、特定の色情報に基づいて前記選択データを生成することを特徴とする請求項１に記載の画像処理装置。  The image processing apparatus according to claim 1, wherein the selection data generation unit generates the selection data based on specific color information. 前記分離手段で分離された前記第１画像データまたは前記第２画像データのいずれか一方について分離されなかった領域の一部の画素を補正する補正手段をさらに有することを特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理装置。  2. The apparatus according to claim 1, further comprising a correcting unit that corrects a part of pixels in a region that has not been separated with respect to either the first image data or the second image data separated by the separating unit. The image processing apparatus according to claim 3. 前記補正手段は、前記膨張選択データに基づいて補正処理を行うことを特徴とする請求項４に記載の画像処理装置。  The image processing apparatus according to claim 4, wherein the correction unit performs correction processing based on the expansion selection data. 入力画像データから文字線画領域を分離して選択データを生成する選択データ生成手段と、該選択データ生成手段で生成された前記選択データに膨張処理を施して膨張選択データを生成する膨張処理手段と、該膨張処理手段で生成された前記膨張選択データに基づいて文字線画を含む第１の画像データとそれ以外の画像を含む第２の画像データに前記入力画像データを分離する分離手段を有し、前記選択データ生成手段で生成された前記選択データと、前記分離手段で分離された前記第１の画像データ及び第２の画像データを出力することを特徴とする画像処理装置。  Selection data generation means for generating selection data by separating a character / line drawing area from input image data; expansion processing means for performing expansion processing on the selection data generated by the selection data generation means to generate expansion selection data; And separating means for separating the input image data into first image data including a character line drawing and second image data including other images based on the expansion selection data generated by the expansion processing means. An image processing apparatus that outputs the selection data generated by the selection data generation means and the first image data and the second image data separated by the separation means. 前記膨張選択データによって前記第１の画像データに分離された領域の一部の画素について前記第２の画像データを補正する画像補正手段を有することを特徴とする請求項６に記載の画像処理装置。  The image processing apparatus according to claim 6, further comprising an image correcting unit that corrects the second image data for a part of pixels in the region separated into the first image data by the expansion selection data. .

Images