JP3927426B2 - 画像処理方法および画像処理装置並びにそれを備えた画像形成装置 - Google Patents
画像処理方法および画像処理装置並びにそれを備えた画像形成装置 Download PDFInfo
- Publication number
- JP3927426B2 JP3927426B2 JP2002064469A JP2002064469A JP3927426B2 JP 3927426 B2 JP3927426 B2 JP 3927426B2 JP 2002064469 A JP2002064469 A JP 2002064469A JP 2002064469 A JP2002064469 A JP 2002064469A JP 3927426 B2 JP3927426 B2 JP 3927426B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- processing
- chromatic
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color, Gradation (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、スキャナやデジタルスチルカメラ等のカラー画像入力装置より読み取られた入力画像データより、有彩・無彩の判定並びに純色・混色の判定を行い、この結果に基づいて適切な中間調処理を行う画像処理方法および画像処理装置並びにそれを備えた画像形成装置に関するものである。
【０００２】
【従来の技術】
たとえば、デジタルカラー複写機などの画像形成装置において、アナログ画像をデジタル化した後、プリンタまたはディスプレイなどの出力装置に出力する技術が実用化されている。この種の画像形成装置においては、プレスキャン時または本スキャン時に原稿がカラーを含むものであるか白黒であるかを判定して、白黒であると判定された場合には、黒色材だけで出力し、原稿がカラーを含むものであると判定された場合には、複数の色材を用いてカラー再生画像を生成する画像処理方式において、さらに領域分離処理と呼ばれる処理によってたとえば無彩文字領域と有彩文字領域とを識別し、それぞれの文字領域の再現性を高めるために、無彩文字領域に対しては色材の使用量を削減し、合わせて黒色材の量を多くする処理を行う。有彩文字領域に対しては、原稿に形成された色の成分を推定し、その色相に応じて不用な色を取除くことによって色の再現性を高める処理が施されている。
【０００３】
また、文字領域全体に強調処理にあたるフィルタリング処理を行うことによって、文字領域をくっきりと際立たせて見やすさを向上させる処理を行うとともに、中間調処理部において、サイズの異なる二種類のディザテーブルを準備しておき、無彩文字領域または有彩文字領域に対してはサイズの小さいたとえば１×１のディザテーブルを使用する。文字領域以外の領域に対しては、サイズの大きなたとえば２×２以上のディザテーブルを使用することによって、文字領域における再現性と文字領域以外の領域における階調性とを高める処理を行っている。
【０００４】
たとえば、特開平９−２１４７８５号公報においては、画像処理装置内に、代表色割当部と、変化点抽出部と、エッジ検出部とからなる像域分離部が設けられ、代表色割当部は、入力画素を構成する各画素に対して、対象画素の色に近似した代表色を割当て、変化点抽出部は、各画素に割当てられた代表色に基づいて入力画素中の代表色の変化点を抽出し、エッジ検出部は、この抽出結果に基づいて入力画像を各々代表色の異なった複数の像域に区切るエッジを検出するようになっている。
【０００５】
特開２００１−１１１８５０号公報においては、たとえばスキャナによる原稿のプレスキャン時に、画像データの有彩／無彩を検出して原稿がカラー画像か否かを判定し、カラー画像のときには、その画像データの文字領域、有彩色領域、色相情報を求め、その色相に応じて不要色を抑制する処理を画像データに施すようになっている。また、特開平８−３０７７１７号公報においては、文字領域とその他の領域とでディザテーブルを切換える技術が記載されている。
【０００６】
【発明が解決しようとする課題】
このような従来技術において、文字領域に対して解像力を保つべく中間調処理部における処理つまり中間調処理を省略し、出力装置固有の最小単位による出力を行うと、出力装置の性能によっては、中間調処理を施した場合と比べて階調性または色再現性が劣る場合がある。中間調処理を施すことによって、出力装置が持合わせていない色相を再現することができるが、この中間調処理は複数画素による面積階調または面積色再現処理であるため、文字領域に対し解像力が低下して画質劣化を招く。前記各公報に記載の従来技術では、文字領域の解像度を高めるか、色文字の再現性を高めるかを選択する最適化処理が施されないので、文字領域の解像度を高めるとともに、色文字の再現性を高めることは不可能である。
【０００７】
したがって本発明の目的は、文字領域の解像度を高めるか、あるいは、色再現性・階調性を高めるかを適切に選択することにより、文字領域に対して最適な処理を施すことのできる画像処理方法および画像処理装置並びにそれを備えた画像形成装置を提供することである。
【０００８】
【課題を解決するための手段】
本発明は、入力画像に中間調処理を施す階調再現処理手段と、
入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかを判定するとともに、純色であるか混色であるかを判定する色判定手段と、
前記色判定手段の判定結果に基づいて、有彩色でかつ純色であると判定された注目画素に対しては解像度を重視した中間調処理を施し、有彩色でかつ混色であると判定された注目画素に対しては階調性を重視した中間調処理を施すように、階調再現処理手段を制御する制御手段とを備えることを特徴とする画像処理装置である。
【０００９】
本発明に従えば、階調再現処理手段にて、入力画像に中間調処理を施す。階調再現処理手段による中間調処理にあたって、色判定手段にて、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかが判定されるとともに、純色であるか混色であるかが判定される。制御手段は、色判定手段の判定結果に基づいて、有彩色でかつ純色であると判定された注目画素に対しては解像度を重視した中間調処理を施し、有彩色でかつ混色であると判定された注目画素に対しては階調性を重視した中間調処理を施すように、階調再現処理手段を制御する。
【００１０】
また本発明は、色判定手段は、入力画像の色空間を均等色空間に変換する色座標変換部を備えることを特徴とする。
【００１１】
本発明に従えば、色座標変換部にて入力画像の色空間を均等色空間に変換し、色判定手段における色の判定を均等色空間で扱う。
【００１２】
また本発明は、階調再現処理手段は、画像出力装置固有の最小単位である１×１のサイズの第１のマスクを用いて、解像度を重視した中間調処理を行い、前記第１のマスクよりもサイズが大きい第２のマスクを用いて、階調性を重視した中間調処理を行うことを特徴とする。
【００１３】
本発明に従えば、画像出力装置固有の最小単位である１×１のサイズの第１のマスクを用いて、解像度を重視した中間調処理が行われ、前記第１のマスクよりもサイズが大きい第２のマスクを用いて、階調性を重視した中間調処理が行われる。
【００１６】
また本発明は、前記画像処理装置を備えることを特徴とする画像形成装置である。
【００１７】
本発明に従えば、有彩色の文字領域について、純色の場合は解像度を重視した出力方式を適用し、混色の場合は階調性を重視した中間調の出力方式を適用する。
【００１８】
また本発明は、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかを判定するとともに、純色であるか混色であるかを判定し、
有彩色でかつ純色であると判定された注目画素に対しては解像度を重視した中間調処理を施し、有彩色でかつ混色であると判定された注目画素に対しては階調性を重視した中間調処理を施すことを特徴とする画像処理方法である。
【００１９】
本発明に従えば、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかが判定されるとともに、純色であるか混色であるかが判定される。有彩色でかつ純色であると判定された注目画素に対しては、解像度を重視した中間調処理が施される。有彩色でかつ混色であると判定された注目画素に対しては、階調性を重視した中間調処理が施される。
【００２０】
【発明の実施の形態】
図１は、本発明の一実施形態に係る画像形成装置１に適用されるカラー画像処理装置２とカラー画像入力装置３およびカラー画像出力装置４の構成図である。この画像形成装置１は、たとえばデジタルカラー複写機に好適に適用され、たとえば固体撮像素子（ＣＣＤ：Charge Coupled Device）を備えたスキャナ部から構成されるカラー画像入力装置３（以下、画像入力装置３と呼ぶ）と、カラー画像処理装置２（以下、画像処理装置２と呼ぶ）と、たとえばインクジェット方式のプリンタなどのカラー画像出力装置４（以下、画像出力装置４と呼ぶ）とを有する。画像入力装置３によって取込まれた入力画像データに対して、画像処理装置２でもって所望の画像処理を施し、その後、画像出力装置４にて出力画像が出力されるようになっている。以下の説明において、入力画像を複数の領域に分離する領域分離処理を施す画像処理方法の説明をも含む。
【００２１】
画像処理装置２は、アナログ／デジタル変換部５（以下、Ａ／Ｄ変換部５と呼ぶ）と、シェーディング補正部６と、入力階調補正部７と、領域分離手段としての領域分離処理部８と、色補正部９と、黒生成下色除去部１０と、空間フィルタ処理部１１と、出力階調補正部１２と、階調再現処理手段としての階調再現処理部１３（中間調生成部１３）と、これらの処理を制御する制御手段としての中央処理装置（ＣＰＵ：Central Processing Unit）とを有する。画像入力装置３においては、原稿からの反射光像を赤Ｒ，緑Ｇ，青Ｂのアナログ信号として固体撮像素子にて読取り、これらアナログ信号を画像処理装置２に入力する。
【００２２】
画像入力装置３にて読取られたアナログ信号は、画像処理装置２内において順次、Ａ／Ｄ変換部５、シェーディング補正部６、入力階調補正部７、領域分離処理部８、色補正部９、黒生成下色除去部１０、空間フィルタ処理部１１、出力階調補正部１２、階調再現処理部１３へ送られ、シアン、マゼンタ、イエロー、ブラックすなわちＣ，Ｍ，Ｙ，Ｋのデジタルカラー信号として、画像出力装置４へ出力されるようになっている。Ａ／Ｄ変換部５では、赤Ｒ，緑Ｇ，青Ｂのアナログ信号が赤Ｒ，緑Ｇ，青Ｂのデジタル信号（以下、ＲＧＢ信号と呼ぶ）に変換され、シェーディング補正部６にて、画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みが取除かれる。
【００２３】
次に、入力階調補正部７において、前記歪みが取除かれたＲＧＢ信号（つまりＲＧＢの反射率信号）に対して、カラーバランスを整えると同時に、画像処理に適した濃度信号に変換する処理が施される。また、ＲＧＢの濃度信号は補色反転されてＣin，Ｍin，Ｙin信号に変換される。領域分離処理部８では、Ｃin，Ｍin，Ｙin信号から、入力画素中の各画素を文字領域、網点領域、写真領域のいずれかに分離する。この領域分離処理部８は、分離結果に基づいて画素がいずれの領域に属しているかを示す領域識別信号を、黒生成下色除去部１０と、空間フィルタ処理部１１と、階調再現処理部１３とへ出力するとともに、入力階調補正部７から出力された入力信号をそのまま後段の色補正部９に出力する。
【００２４】
色補正部９においては、色再現性を高めるために、不要吸収成分を含むシアン、マゼンタ、イエロー色材つまりＣＭＹ色材の分光特性に基づいた色濁りを取除く処理が施される。その後、黒生成下色除去部１０において、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する処理が行われ、シアン、マゼンタ、イエロー、ブラックすなわちＣＭＹＫ４色信号に変換されるようになっている。黒生成処理の一例として、スケルトンブラックによる黒生成を行う一般的方法がある。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力されるデータをＣ，Ｍ，Ｙ，出力されるデータをＣ”，Ｍ”，Ｙ”，Ｋ'、下色除去（ＵＣＲ：Under Color Removal）率をα（０＜α＜１）とすると、黒生成下色除去処理は以下の数１で表わされる。
【００２５】
【数１】
【００２６】
空間フィルタ処理部１１は、黒生成下色除去部１０から入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒状性劣化を防ぐように処理するものであって、階調再現処理部１３も、空間フィルタ処理部１１と同様に、ＣＭＹＫ信号の画像データに対して、領域識別信号を基に所定の処理を施すものである。たとえば、領域分離処理部８にて文字に分離された領域すなわち文字領域は、特に黒文字または色文字の再現性を高めるために、空間フィルタ処理部１１による空間フィルタ処理における鮮鋭強調処理を行うことで高周波数の強調量が大きくされる。同時に、階調再現処理部１３においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
【００２７】
また、領域分離処理部８にて網点に分離された領域に関しては、空間フィルタ処理部１１において、入力網点成分を除去するためのローパスフィルタ処理が施される。そして、出力階調補正部１２では、濃度信号などの信号を画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部１３において、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）が施される。領域分離処理部８にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。上述した各処理が施された画像データは、たとえばラム（ＲＡＭ：Random Access Memory）などの記憶手段に一旦記憶され、所定のタイミングで読出されて画像出力装置４に入力される。
【００２８】
図２は領域分離処理部８の構成図であり、図３は、注目画素の周辺に７×７画素の局所マスクを形成した場合の説明図であり、図４は水平方向のエッジと垂直方向のエッジを検出する方法を説明する図である。領域分離処理部８は、文字領域判定部１４と網点領域判定部１５とを有し、入力信号Ｃin，Ｍin，Ｙin（ＲＧＢ信号を補色反転したデータ）に対して注目画素を中心とした局所マスクを形成して領域分離処理を施し、少なくとも文字領域と、文字領域以外の領域すなわち網点領域とに分離する。文字領域でも網点領域でもない場合には、写真領域と判定する。文字領域判定部１４は、文字領域検出部１６と、エッジ検出部１７と、パターンマッチング部１８と、色判定部１９と、判定信号生成部２０とを有し、これらのうち文字領域検出部１６、エッジ検出部１７、パターンマッチング部１８が文字領域抽出部に相当する。文字領域検出部１６において文字の特徴を有する領域を抽出し、誤判別を極力抑制するために、垂直エッジ検出部２１と水平エッジ検出部２２とから成るエッジ検出部１７にてエッジ検出を行い、パターンマッチング部１８にてパターンマッチングを行って文字領域を分離する。さらに、文字領域については、有彩色であるか無彩色であるかを判定し、この判定結果に基づいて黒文字と色文字とを分離し、色文字についてはさらに純色であるか混色であるかを判定する。ここで示した純色とは、カラー画像出力装置４で色材を混色することなく再現できる色である。
【００２９】
色判定部１９は、有彩／無彩判定部２３と、純色／混色判定部２４と、判定部２５とで構成されている。文字領域検出部１６の判定結果に基づき、有彩／無彩判定部２３において、文字領域に属すると判定された注目画素に対して、有彩色であるか無彩色であるかを判定する。純色／混色判定部２４においては、画像出力装置４によって一次色または二次色として再現することができる色相を純色とし、画像出力装置４によって３つ以上の色材を混ぜることによって再現することができる色を混色として、入力信号に対して判別を行う。判定部２５においては、これら有彩／無彩判定部２３と純色／混色判定部２４との判定結果に基づいて、文字領域を、黒文字と純色の色文字と混色の色文字とに分離する。一次色は、画像出力装置４に用いられている複数の色材のうち、主に一つの色材を用いて表現される色であり、二次色は、前記複数の色材のうち、二つの色材をメインに用いて表現される色である。
【００３０】
最終的に画像出力装置４によって純色として再現することができる色文字領域と、それ以外の文字領域とを、文字領域判定部１４の判定信号生成部２０で生成され出力される文字領域識別信号によって識別し、階調再現処理手段としての階調再現処理部１３にて行われる中間調処理を適宜切換えることが可能となる。
【００３１】
図５は複数の文字検出用パターンの説明図であり、図６は、パターンマッチングを行う際に７×７画素の局所マスク内に３×３画素のサブマスクを形成した様子を示す説明図であり、図７は色判定処理の模式図であり、図８は純色エリアの模式図であり、図９は、文字領域判定部１４の判定結果に基づく中間調切換え処理のフローチャートである。ここで、Ｓｉ（ｉ＝１，２，３，…）はステップを示す。ＲＧＢ信号を補色反転した信号である入力信号Ｃin，Ｍin，Ｙinに対し、処理対象の注目画素を（i，j）とすると、この注目画素における入力信号値は（Ｃin（i，j），Ｍin（i，j），Ｙin（i，j））で与えられるものとする。ステップ１では、文字領域検出部１６において文字領域検出処理が行われ、次に、ステップ２およびステップ３に移行して、注目画素点の周辺に対しＭ×Ｎ画素の局所マスク（図３参照）を形成し、たとえば隣接する画素間の差分（図４参照）を求め、その差分をしきい値処理することによって、エッジを検出する。いま、注目画素（i，j）における局所マスクに属する画素Mask(ｉ，ｊ)を数２のように定義する。
【００３２】
【数２】
【００３３】
数２から垂直方向のエッジ画素EdgeV(ｉ，ｊ)および水平方向のエッジ画素EdgeH(ｉ，ｊ)は、それぞれ数３および数４のように表される。
【００３４】
【数３】
【００３５】
【数４】
【００３６】
これら数３を含む垂直エッジ検出部２１と、数４を含む水平エッジ検出部２２とによって、垂直方向および水平方向のエッジを検出する（図４参照）。ただし、この方法では端1画素分エッジを検出することができないため便宜上端にエッジ無しを代入し、局所マスクと同サイズの垂直方向および水平方向のエッジ検出を行う。その後ステップ４に移行して検出結果の論理和EdgeV(ｉ，ｊ) ∪EdgeH(ｉ，ｊ)を求め、エッジ検出結果Edge(ｉ，ｊ)とする。
【００３７】
ステップ５にて検出されたエッジEdge(ｉ，ｊ)に対し、ステップ６においてパターンマッチング処理を行って文字領域をさらに分離する。つまり、前記エッジEdge(ｉ，ｊ)に対し、図６に示すように、たとえば７×７のマスク内に３×３のサブマスクを形成し、その３×３のサブマスクが７×７のマスク全てを覆うように１画素ずらしながら走査することによって、テンプレートを検出する。同じパターンが検出された場合に、処理を行っている注目画素点が文字領域であると判定するようになっている。
【００３８】
ステップ７において前記同じパターンが検出された場合には、ステップ８，９に移行して、有彩／無彩判定部２３にて色判定処理と、純色／混色判定部２４にて純色／混色判定処理が並列に行われる。ステップ８における色判定処理において、単純に、無彩領域ではシアン、マゼンタ、イエロー間のバランスが揃っているのに対し、有彩領域ではシアン、マゼンタ、イエロー間のバランスが揃っていない特徴を利用し、シアン、マゼンタ、イエロー間の最大濃度差をしきい値処理することによって、注目画素点での有彩、無彩判定を行うことが可能となる。したがって、色判定処理は以下の数５によって行うことができる。
【００３９】
【数５】
【００４０】
ＴＨ colorは色判定用しきい値で、予め設定する定数であるが、以下のように入力の濃度値の最小値に応じて、しきい値を変更する方法がよく行われている（図７参照）。ここで、ＴＨintennは予め定められるしきい値である。
【００４１】
【数６】
【００４２】
上述したエッジ検出結果と色判定結果とに基づいて、以下の表１によって色文字と白黒文字とを判定する。
【００４３】
【表１】
【００４４】
ステップ９における純色／混色判定処理において、色文字と判定された領域に対して、画像出力装置４が再現可能な一次色であるか否かを判定する。画像出力装置４として電子写真方式の複写機を考えた場合、通常出力用の色材としては、シアン、マゼンタ、イエローのトナーを用いて減法混色によって色を再現している。この三原色に対しては、他の色材を混色することなく出力再現することが可能である。したがって、入力原稿の中からこの色に属する領域を検出し、この色とその他の色とを分離処理することによって高画質化を図ることができる。分離処理方法については、次の［数７］を用いてしきい値処理することによって実現し、純色判定を行う。ここで、注目画素点での入力信号は（Ｃin（i，j），Ｍin（i，j），Ｙin（i，j））で与えられるものとする。
【００４５】
【数７】
【００４６】
図１１は一次色文字の読取り例を示す説明図である。実際には、シアン文字であっても画像入力装置３の精度によっては、マゼンタ成分またはイエロー成分が含まれてしまう。同様にマゼンタ文字、イエロー文字であっても他の色成分が含まれてしまうため、上述した判定方法ではうまく判別することができない場合が存在する。この種の画像入力装置３においては、各色成分の分布が直線によって近似することが可能であるため、画像入力装置３の特性に応じた各色文字の色成分を直線近似し、次の数８におけるＰの値を設定し判定するうえでの幅を広げて、すなわち誤差を考慮したうえで、数８を用いて精度よく判定することが可能となる。
【００４７】
【数８】
【００４８】
ステップ１０では、色判定処理の結果が有彩色であるのか無彩色であるのかの判定がなされ、有彩色の判定がなされた場合、ステップ１１で純色か混色かの判定がなされる。そして、次の表２に示すように、上述した文字検出結果と色判定結果である文字領域識別信号に基づいて、制御手段としてのＣＰＵが中間調処理の方式を切換えることによって、たとえば画像出力装置４が一次色として再現可能な色相に対してはステップ１２に移行して解像度を重視して出力し、それ以外の色文字に対してはステップ１３に移行して、複数画素を用いた中間調処理によって階調性もしくは色再現性を高めて出力することができる。表２において、＊は一次色、混色のどちらでもよいことを表す。
【００４９】
【表２】
【００５０】
文字検出結果が色文字でかつ純色判定結果が一次色と判定された場合には、中間調処理において、画像出力装置固有の最小単位である１×１のマスクサイズでもって出力し、色文字でかつ混色と判定された場合には、たとえば８×８のマスクサイズを用いて面積変調処理の一種であるディザ処理を行う。ディザ処理としては、たとえば一般的に用いられている組織的ディザマトリックス法を用いて処理するものとする。図１２は二次色文字の読取り例を示す説明図である。ステップ１１における純色の判定においては、電子写真方式の複写機を考慮した場合、画像出力装置４の二次色であっても精度よく出力することが可能であるため、二次色を含めたかたちで判定するものとする。二次色の判定も前記一次色を判定した方法と略同様に次の数９を用いて判定することが可能である。
【００５１】
【数９】
【００５２】
しかし、スキャナの精度によっては色分解精度が不十分であり、たとえば画像入力装置３によっては図１２のように色成分が分布する。このような色成分が分布する画像入力装置３を用いる場合には、次の数１０を用いて判定することによって、精度よく判定することが可能である。以下、前記方法と同様に、判定部２５、判定信号生成部２０において次の表３のように判定し、制御手段としてのＣＰＵが中間調処理を切換える。
【００５３】
【数１０】
【００５４】
【表３】
【００５５】
上記した文字領域検出部１６での文字の特徴を有する領域を抽出する方法および網点領域判定部１５での処理方法としては、例えば「画像電子学会研究会予稿90-06-04」に記載されている方法を用いることができる。すなわち、注目画素を中心としたＭ×Ｎ（Ｍ、Ｎは自然数）画素のブロック内で以下のような判定を行い、それを注目画素の領域識別信号とする。ブロック内の画素に対して信号レベルの平均値Ｄaveを求め、その平均値を用いてブロック内の各画素を二値化する。また、最大画素信号レベルＤmax、最小画素信号レベルＤminも同時に求める。
【００５６】
網点領域では、小領域における画像信号の変動が大きいことと、背景に比べて濃度が高いこととを利用し、網点領域を識別する。二値化されたデータに対して主走査方向および副走査方向でそれぞれ０から１への変化点数、１から０への変化点数を求めて、それぞれＫH，ＫVとし、しきい値ＴH，ＴVと比較して両者が共にしきい値を上回ったら網点領域とする。また、背景との誤判定を防ぐために、先に求めたＤmax，Ｄmin，Ｄaveをしきい値Ｂ１，Ｂ２と比較する。つまり、最大画素信号レベルＤmaxから信号レベルの平均値Ｄaveを減じた値がしきい値Ｂ1より大きく（Ｄmax −Ｄave ＞Ｂ１）、かつ、信号レベルの平均値Ｄaveから最小画素信号レベルＤminを減じた値がしきい値Ｂ２より大きく（Ｄave −Ｄmin ＞Ｂ２）、かつ、ＫH ＞ＴH 、かつ、ＫV ＞ＴVならば網点領域であり、そうでなければ非網点領域である。
【００５７】
文字領域では、最大信号レベルと最小信号レベルとの差が大きく、濃度も高いと考えられることから、文字領域の識別を以下のように行う。最大信号レベルと、最小信号レベルと、それらの差分 Ｄsubを、しきい値ＰA ，ＰB ，ＰC とそれぞれ比較し、Ｄmax ＞ＰA またはＤmin ＜ＰBまたはＤsub ＞ＰCの条件を充たすならば文字領域とする。網点領域でも文字領域でもない領域の画素はその他（写真）領域とする。
【００５８】
以上説明した画像処理装置２によれば、文字領域に属する注目画素に対して、有彩色か無彩色かが判定され、有彩色と判定された注目画素に対して予め定められる色相の範囲内にあるか否かが判定された後、これら判定結果に基づいて階調再現処理部１３の処理内容が設定されるので、再現可能な有彩色の文字領域に対しては、解像度を高めることが可能となり、再現不可能な有彩色の文字領域に対しては、色文字の再現性を高めることが可能となる。制御手段としてのＣＰＵは、有彩色でかつ予め定められる色相の範囲内にあると判定された注目画素に対しては、解像度を重視した中間調処理を選択し、有彩色でかつ前記色相の範囲内にないと判定された注目画素に対しては、階調性を重視した中間調処理を選択するので、文字領域の解像度を高めるとともに、色文字の再現性を高めることができる。
【００５９】
また、色判定部１９にて、有彩色であると判定された注目画素に対して、階調再現処理手段によって制御可能な解像度を重視した中間調処理によって再現することが可能な色相の範囲内にあるか否かを判定する。たとえば、シアン、マゼンタ、イエロー色材つまりＣＭＹ色材によって画像を形成するような装置を想定すると、前記ＣＭＹ色材の二色を混色することによって赤、青、緑の二次色は比較的容易に出力することが可能となる。したがって、このような二次色を入力信号から同時に判定し、純色の場合と同様な処理を行うことによって、純色文字と同等の解像度を高めた出力を行うことが可能となる。
【００６０】
前記画像処理装置２を備える画像形成装置１によれば、色文字領域のうち色材を多く混色することなく再現できる色相と、複数の色材を混色することによってのみ再現できる色相とを予め設定しておき、前者において解像度を重視した出力方式を適用し、後者において色味または階調を重視した中間調の出力方式を適用することができる。このように出力方式を適宜切換えることによって、前記従来のものと比べて高品質の画像を出力することが可能となり、しかも前記画像をリアルタイムで高速に出力することが可能となる。
【００６１】
本発明の実施の他の形態として、上述したエッジ検出法は、必ずしも差分によるしきい値処理によって検出するものではなく、さまざまなエッジ検出法を利用することが可能である。
【００６２】
色を判定する色空間は、ＲＧＢ（補色反転したＣＭＹ）空間に限定されるものではなく、CIE1976L*a*b*（ＣＩＥ：Commission Internationale de
l'Eclairage：国際照明委員会。L*：明度、a*・b*：色度）の均等色空間で行うことが可能である。
【００６３】
図１０は色判定部１９に色座標変換部２６を備えた図２相当図である。ただし、前記実施形態と同一の部材には同一の符号を付し、その説明は適宜省略する。CIE1976L*a*b*の均等色空間で色判定する場合、有彩／無彩判定部２３および純色／混色判定部２４の前段に、補色反転したＣＭＹ空間をCIE1976L*a*b*空間に変換する色座標変換部２６を設ければよい。色座標変換の方法としては、例えば、カラーチャート原稿の各色パッチを測色器で測色してＬ*ａ*ｂ*値を求める（Ｌ*ａ*ｂ*表色系のデータを求める）一方、測色に用いたカラーチャート原稿を画像入力装置３から読取ってＲＧＢデータを得てＣＭＹデータに補色反転し、このようにして得たＬ*ａ*ｂ*値とＣＭＹ値とを基に、両者を対応付けるための係数をニューラルネットワークやマスキング演算係数決定法により求め、求めた係数を用いて色座標変換を行う。有彩／無彩判定部では、下記の数１１に基づいて彩度Ｃ*を求め、予め定められている閾値と比較することにより有彩／無彩の判定を行う。
【００６４】
【数１１】
【００６５】
純色／混色判定部では、下記の数１２により色相Hを求め、１次色の範囲内にあるか否かにより判定を行えば良い。
【００６６】
【数１２】
【００６７】
中間調処理は、組織的ディザマトリックス法に限定されるものではなく、誤差拡散などさまざまな中間調処理を適用することが可能である。画像出力装置４は、画像データをたとえば紙などの記録媒体上に出力するもので、たとえば、電子写真方式またはインクジェット方式を用いたものを挙げることができるが、これらに限定されるものではない。その他、前記実施形態に、特許請求の範囲を逸脱しない範囲において種々の部分的変更を行う場合もある。
【００６８】
【発明の効果】
以上のように本発明によれば、階調再現処理手段による中間調処理にあたって、色判定手段にて、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかが判定されるとともに、純色であるか混色であるかが判定される。制御手段は、色判定手段の判定結果に基づいて、階調再現処理手段を制御する。
有彩色の文字領域に対して解像度を重視した中間調処理を行うと、色再現性が低くなる場合と色再現性が低くならない場合とがある。混色の文字領域は、解像度を重視した中間調処理を行うと、色再現性が低くなる。純色の文字領域は、解像度を重視した中間調処理を行っても、色再現性が低くならない。
このような点を考慮して、制御手段にて階調再現処理手段を制御して、次のように中間調処理を行う。有彩色でかつ混色であると判定された注目画素に対しては、階調性を重視した中間調処理を施す。これによって色再現性の低下を防ぐことができる。有彩色でかつ純色であると判定された注目画素に対しては、解像度を重視した中間調処理を施す。これによって解像度を高くすることができる。このとき色再現性は低くならない。このような本発明では、有彩色の文字領域について、全体として、色再現性を低下させることなく、解像度を高くすることができる。
【００６９】
また本発明によれば、色座標変換部にて入力画像の色空間を均等色空間に変換し、色判定手段における色の判定を均等色空間で扱うことによって、機器依存性を無くし、高精度の判定結果を得ることが可能となる。
【００７０】
また本発明によれば、画像出力装置固有の最小単位である１×１のサイズの第１のマスクを用いて中間調処理を行うことによって、有彩色の文字領域について解像度を高くすることができる。また前記第１のマスクよりもサイズが大きい第２のマスクを用いて中間調処理を行うことによって、有彩色の文字領域について階調性を高くして色再現性を高くすることができる。
【００７３】
また本発明によれば、有彩色の文字領域について、純色の場合は解像度を重視した出力方式を適用し、混色の場合は階調性を重視した中間調の出力方式を適用することができる。このように出力方式を適宜切換えることによって、前記従来のものと比べて高品質の画像を出力することが可能となり、しかも前記画像をリアルタイムで高速に出力することが可能となる。
【００７４】
また本発明によれば、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかが判定されるとともに、純色であるか混色であるかが判定される。有彩色でかつ混色であると判定された注目画素に対しては、階調性を重視した中間調処理が施される。これによって色再現性の低下を防ぐことができる。有彩色でかつ純色であると判定された注目画素に対しては、解像度を重視した中間調処理が施される。これによって解像度を高くすることができる。このとき色再現性は低くならない。このような本発明では、有彩色の文字領域について、全体として、色再現性を低下させることなく、解像度を高くすることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像形成装置の概略構成図である。
【図２】領域分離処理部の構成図である。
【図３】注目画素の周辺に７×７画素の局所マスクを形成した場合の説明図である。
【図４】水平方向のエッジと垂直方向のエッジを検出する方法を説明する図である。
【図５】複数の文字検出用パターンの説明図である。
【図６】パターンマッチングを行う際に７×７画素の局所マスク内に３×３画素のサブマスクを形成した様子を示す説明図である。
【図７】色判定処理の模式図である。
【図８】純色エリアの模式図である。
【図９】文字領域判定部の判定結果に基づく中間調切換え処理のフローチャートである。
【図１０】色判定部に色座標変換部を備えた図２相当図である。
【図１１】一次色文字の読取り例を示す説明図である。
【図１２】二次色文字の読取り例を示す説明図である。
【符号の説明】
１ 画像形成装置
２ 画像処理装置
８ 領域分離処理部
１３ 階調再現処理部
１４ 文字領域判定部
１６ 文字領域検出部
１７ エッジ検出部
１８ パターンマッチング部
１９ 色判定部
２３ 有彩／無彩判定部
２４ 純色／混色判定部
２５ 判定部
【発明の属する技術分野】
本発明は、スキャナやデジタルスチルカメラ等のカラー画像入力装置より読み取られた入力画像データより、有彩・無彩の判定並びに純色・混色の判定を行い、この結果に基づいて適切な中間調処理を行う画像処理方法および画像処理装置並びにそれを備えた画像形成装置に関するものである。
【０００２】
【従来の技術】
たとえば、デジタルカラー複写機などの画像形成装置において、アナログ画像をデジタル化した後、プリンタまたはディスプレイなどの出力装置に出力する技術が実用化されている。この種の画像形成装置においては、プレスキャン時または本スキャン時に原稿がカラーを含むものであるか白黒であるかを判定して、白黒であると判定された場合には、黒色材だけで出力し、原稿がカラーを含むものであると判定された場合には、複数の色材を用いてカラー再生画像を生成する画像処理方式において、さらに領域分離処理と呼ばれる処理によってたとえば無彩文字領域と有彩文字領域とを識別し、それぞれの文字領域の再現性を高めるために、無彩文字領域に対しては色材の使用量を削減し、合わせて黒色材の量を多くする処理を行う。有彩文字領域に対しては、原稿に形成された色の成分を推定し、その色相に応じて不用な色を取除くことによって色の再現性を高める処理が施されている。
【０００３】
また、文字領域全体に強調処理にあたるフィルタリング処理を行うことによって、文字領域をくっきりと際立たせて見やすさを向上させる処理を行うとともに、中間調処理部において、サイズの異なる二種類のディザテーブルを準備しておき、無彩文字領域または有彩文字領域に対してはサイズの小さいたとえば１×１のディザテーブルを使用する。文字領域以外の領域に対しては、サイズの大きなたとえば２×２以上のディザテーブルを使用することによって、文字領域における再現性と文字領域以外の領域における階調性とを高める処理を行っている。
【０００４】
たとえば、特開平９−２１４７８５号公報においては、画像処理装置内に、代表色割当部と、変化点抽出部と、エッジ検出部とからなる像域分離部が設けられ、代表色割当部は、入力画素を構成する各画素に対して、対象画素の色に近似した代表色を割当て、変化点抽出部は、各画素に割当てられた代表色に基づいて入力画素中の代表色の変化点を抽出し、エッジ検出部は、この抽出結果に基づいて入力画像を各々代表色の異なった複数の像域に区切るエッジを検出するようになっている。
【０００５】
特開２００１−１１１８５０号公報においては、たとえばスキャナによる原稿のプレスキャン時に、画像データの有彩／無彩を検出して原稿がカラー画像か否かを判定し、カラー画像のときには、その画像データの文字領域、有彩色領域、色相情報を求め、その色相に応じて不要色を抑制する処理を画像データに施すようになっている。また、特開平８−３０７７１７号公報においては、文字領域とその他の領域とでディザテーブルを切換える技術が記載されている。
【０００６】
【発明が解決しようとする課題】
このような従来技術において、文字領域に対して解像力を保つべく中間調処理部における処理つまり中間調処理を省略し、出力装置固有の最小単位による出力を行うと、出力装置の性能によっては、中間調処理を施した場合と比べて階調性または色再現性が劣る場合がある。中間調処理を施すことによって、出力装置が持合わせていない色相を再現することができるが、この中間調処理は複数画素による面積階調または面積色再現処理であるため、文字領域に対し解像力が低下して画質劣化を招く。前記各公報に記載の従来技術では、文字領域の解像度を高めるか、色文字の再現性を高めるかを選択する最適化処理が施されないので、文字領域の解像度を高めるとともに、色文字の再現性を高めることは不可能である。
【０００７】
したがって本発明の目的は、文字領域の解像度を高めるか、あるいは、色再現性・階調性を高めるかを適切に選択することにより、文字領域に対して最適な処理を施すことのできる画像処理方法および画像処理装置並びにそれを備えた画像形成装置を提供することである。
【０００８】
【課題を解決するための手段】
本発明は、入力画像に中間調処理を施す階調再現処理手段と、
入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかを判定するとともに、純色であるか混色であるかを判定する色判定手段と、
前記色判定手段の判定結果に基づいて、有彩色でかつ純色であると判定された注目画素に対しては解像度を重視した中間調処理を施し、有彩色でかつ混色であると判定された注目画素に対しては階調性を重視した中間調処理を施すように、階調再現処理手段を制御する制御手段とを備えることを特徴とする画像処理装置である。
【０００９】
本発明に従えば、階調再現処理手段にて、入力画像に中間調処理を施す。階調再現処理手段による中間調処理にあたって、色判定手段にて、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかが判定されるとともに、純色であるか混色であるかが判定される。制御手段は、色判定手段の判定結果に基づいて、有彩色でかつ純色であると判定された注目画素に対しては解像度を重視した中間調処理を施し、有彩色でかつ混色であると判定された注目画素に対しては階調性を重視した中間調処理を施すように、階調再現処理手段を制御する。
【００１０】
また本発明は、色判定手段は、入力画像の色空間を均等色空間に変換する色座標変換部を備えることを特徴とする。
【００１１】
本発明に従えば、色座標変換部にて入力画像の色空間を均等色空間に変換し、色判定手段における色の判定を均等色空間で扱う。
【００１２】
また本発明は、階調再現処理手段は、画像出力装置固有の最小単位である１×１のサイズの第１のマスクを用いて、解像度を重視した中間調処理を行い、前記第１のマスクよりもサイズが大きい第２のマスクを用いて、階調性を重視した中間調処理を行うことを特徴とする。
【００１３】
本発明に従えば、画像出力装置固有の最小単位である１×１のサイズの第１のマスクを用いて、解像度を重視した中間調処理が行われ、前記第１のマスクよりもサイズが大きい第２のマスクを用いて、階調性を重視した中間調処理が行われる。
【００１６】
また本発明は、前記画像処理装置を備えることを特徴とする画像形成装置である。
【００１７】
本発明に従えば、有彩色の文字領域について、純色の場合は解像度を重視した出力方式を適用し、混色の場合は階調性を重視した中間調の出力方式を適用する。
【００１８】
また本発明は、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかを判定するとともに、純色であるか混色であるかを判定し、
有彩色でかつ純色であると判定された注目画素に対しては解像度を重視した中間調処理を施し、有彩色でかつ混色であると判定された注目画素に対しては階調性を重視した中間調処理を施すことを特徴とする画像処理方法である。
【００１９】
本発明に従えば、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかが判定されるとともに、純色であるか混色であるかが判定される。有彩色でかつ純色であると判定された注目画素に対しては、解像度を重視した中間調処理が施される。有彩色でかつ混色であると判定された注目画素に対しては、階調性を重視した中間調処理が施される。
【００２０】
【発明の実施の形態】
図１は、本発明の一実施形態に係る画像形成装置１に適用されるカラー画像処理装置２とカラー画像入力装置３およびカラー画像出力装置４の構成図である。この画像形成装置１は、たとえばデジタルカラー複写機に好適に適用され、たとえば固体撮像素子（ＣＣＤ：Charge Coupled Device）を備えたスキャナ部から構成されるカラー画像入力装置３（以下、画像入力装置３と呼ぶ）と、カラー画像処理装置２（以下、画像処理装置２と呼ぶ）と、たとえばインクジェット方式のプリンタなどのカラー画像出力装置４（以下、画像出力装置４と呼ぶ）とを有する。画像入力装置３によって取込まれた入力画像データに対して、画像処理装置２でもって所望の画像処理を施し、その後、画像出力装置４にて出力画像が出力されるようになっている。以下の説明において、入力画像を複数の領域に分離する領域分離処理を施す画像処理方法の説明をも含む。
【００２１】
画像処理装置２は、アナログ／デジタル変換部５（以下、Ａ／Ｄ変換部５と呼ぶ）と、シェーディング補正部６と、入力階調補正部７と、領域分離手段としての領域分離処理部８と、色補正部９と、黒生成下色除去部１０と、空間フィルタ処理部１１と、出力階調補正部１２と、階調再現処理手段としての階調再現処理部１３（中間調生成部１３）と、これらの処理を制御する制御手段としての中央処理装置（ＣＰＵ：Central Processing Unit）とを有する。画像入力装置３においては、原稿からの反射光像を赤Ｒ，緑Ｇ，青Ｂのアナログ信号として固体撮像素子にて読取り、これらアナログ信号を画像処理装置２に入力する。
【００２２】
画像入力装置３にて読取られたアナログ信号は、画像処理装置２内において順次、Ａ／Ｄ変換部５、シェーディング補正部６、入力階調補正部７、領域分離処理部８、色補正部９、黒生成下色除去部１０、空間フィルタ処理部１１、出力階調補正部１２、階調再現処理部１３へ送られ、シアン、マゼンタ、イエロー、ブラックすなわちＣ，Ｍ，Ｙ，Ｋのデジタルカラー信号として、画像出力装置４へ出力されるようになっている。Ａ／Ｄ変換部５では、赤Ｒ，緑Ｇ，青Ｂのアナログ信号が赤Ｒ，緑Ｇ，青Ｂのデジタル信号（以下、ＲＧＢ信号と呼ぶ）に変換され、シェーディング補正部６にて、画像入力装置３の照明系、結像系、撮像系で生じる各種の歪みが取除かれる。
【００２３】
次に、入力階調補正部７において、前記歪みが取除かれたＲＧＢ信号（つまりＲＧＢの反射率信号）に対して、カラーバランスを整えると同時に、画像処理に適した濃度信号に変換する処理が施される。また、ＲＧＢの濃度信号は補色反転されてＣin，Ｍin，Ｙin信号に変換される。領域分離処理部８では、Ｃin，Ｍin，Ｙin信号から、入力画素中の各画素を文字領域、網点領域、写真領域のいずれかに分離する。この領域分離処理部８は、分離結果に基づいて画素がいずれの領域に属しているかを示す領域識別信号を、黒生成下色除去部１０と、空間フィルタ処理部１１と、階調再現処理部１３とへ出力するとともに、入力階調補正部７から出力された入力信号をそのまま後段の色補正部９に出力する。
【００２４】
色補正部９においては、色再現性を高めるために、不要吸収成分を含むシアン、マゼンタ、イエロー色材つまりＣＭＹ色材の分光特性に基づいた色濁りを取除く処理が施される。その後、黒生成下色除去部１０において、色補正後のＣＭＹの３色信号から黒（Ｋ）信号を生成する処理が行われ、シアン、マゼンタ、イエロー、ブラックすなわちＣＭＹＫ４色信号に変換されるようになっている。黒生成処理の一例として、スケルトンブラックによる黒生成を行う一般的方法がある。この方法では、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）、入力されるデータをＣ，Ｍ，Ｙ，出力されるデータをＣ”，Ｍ”，Ｙ”，Ｋ'、下色除去（ＵＣＲ：Under Color Removal）率をα（０＜α＜１）とすると、黒生成下色除去処理は以下の数１で表わされる。
【００２５】
【数１】
空間フィルタ処理部１１は、黒生成下色除去部１０から入力されるＣＭＹＫ信号の画像データに対して、領域識別信号を基にデジタルフィルタによる空間フィルタ処理を行い、空間周波数特性を補正することによって出力画像のぼやけや粒状性劣化を防ぐように処理するものであって、階調再現処理部１３も、空間フィルタ処理部１１と同様に、ＣＭＹＫ信号の画像データに対して、領域識別信号を基に所定の処理を施すものである。たとえば、領域分離処理部８にて文字に分離された領域すなわち文字領域は、特に黒文字または色文字の再現性を高めるために、空間フィルタ処理部１１による空間フィルタ処理における鮮鋭強調処理を行うことで高周波数の強調量が大きくされる。同時に、階調再現処理部１３においては、高域周波数の再現に適した高解像度のスクリーンでの二値化または多値化処理が選択される。
【００２７】
また、領域分離処理部８にて網点に分離された領域に関しては、空間フィルタ処理部１１において、入力網点成分を除去するためのローパスフィルタ処理が施される。そして、出力階調補正部１２では、濃度信号などの信号を画像出力装置４の特性値である網点面積率に変換する出力階調補正処理を行った後、階調再現処理部１３において、最終的に画像を画素に分離してそれぞれの階調を再現できるように処理する階調再現処理（中間調生成）が施される。領域分離処理部８にて写真に分離された領域に関しては、階調再現性を重視したスクリーンでの二値化または多値化処理が行われる。上述した各処理が施された画像データは、たとえばラム（ＲＡＭ：Random Access Memory）などの記憶手段に一旦記憶され、所定のタイミングで読出されて画像出力装置４に入力される。
【００２８】
図２は領域分離処理部８の構成図であり、図３は、注目画素の周辺に７×７画素の局所マスクを形成した場合の説明図であり、図４は水平方向のエッジと垂直方向のエッジを検出する方法を説明する図である。領域分離処理部８は、文字領域判定部１４と網点領域判定部１５とを有し、入力信号Ｃin，Ｍin，Ｙin（ＲＧＢ信号を補色反転したデータ）に対して注目画素を中心とした局所マスクを形成して領域分離処理を施し、少なくとも文字領域と、文字領域以外の領域すなわち網点領域とに分離する。文字領域でも網点領域でもない場合には、写真領域と判定する。文字領域判定部１４は、文字領域検出部１６と、エッジ検出部１７と、パターンマッチング部１８と、色判定部１９と、判定信号生成部２０とを有し、これらのうち文字領域検出部１６、エッジ検出部１７、パターンマッチング部１８が文字領域抽出部に相当する。文字領域検出部１６において文字の特徴を有する領域を抽出し、誤判別を極力抑制するために、垂直エッジ検出部２１と水平エッジ検出部２２とから成るエッジ検出部１７にてエッジ検出を行い、パターンマッチング部１８にてパターンマッチングを行って文字領域を分離する。さらに、文字領域については、有彩色であるか無彩色であるかを判定し、この判定結果に基づいて黒文字と色文字とを分離し、色文字についてはさらに純色であるか混色であるかを判定する。ここで示した純色とは、カラー画像出力装置４で色材を混色することなく再現できる色である。
【００２９】
色判定部１９は、有彩／無彩判定部２３と、純色／混色判定部２４と、判定部２５とで構成されている。文字領域検出部１６の判定結果に基づき、有彩／無彩判定部２３において、文字領域に属すると判定された注目画素に対して、有彩色であるか無彩色であるかを判定する。純色／混色判定部２４においては、画像出力装置４によって一次色または二次色として再現することができる色相を純色とし、画像出力装置４によって３つ以上の色材を混ぜることによって再現することができる色を混色として、入力信号に対して判別を行う。判定部２５においては、これら有彩／無彩判定部２３と純色／混色判定部２４との判定結果に基づいて、文字領域を、黒文字と純色の色文字と混色の色文字とに分離する。一次色は、画像出力装置４に用いられている複数の色材のうち、主に一つの色材を用いて表現される色であり、二次色は、前記複数の色材のうち、二つの色材をメインに用いて表現される色である。
【００３０】
最終的に画像出力装置４によって純色として再現することができる色文字領域と、それ以外の文字領域とを、文字領域判定部１４の判定信号生成部２０で生成され出力される文字領域識別信号によって識別し、階調再現処理手段としての階調再現処理部１３にて行われる中間調処理を適宜切換えることが可能となる。
【００３１】
図５は複数の文字検出用パターンの説明図であり、図６は、パターンマッチングを行う際に７×７画素の局所マスク内に３×３画素のサブマスクを形成した様子を示す説明図であり、図７は色判定処理の模式図であり、図８は純色エリアの模式図であり、図９は、文字領域判定部１４の判定結果に基づく中間調切換え処理のフローチャートである。ここで、Ｓｉ（ｉ＝１，２，３，…）はステップを示す。ＲＧＢ信号を補色反転した信号である入力信号Ｃin，Ｍin，Ｙinに対し、処理対象の注目画素を（i，j）とすると、この注目画素における入力信号値は（Ｃin（i，j），Ｍin（i，j），Ｙin（i，j））で与えられるものとする。ステップ１では、文字領域検出部１６において文字領域検出処理が行われ、次に、ステップ２およびステップ３に移行して、注目画素点の周辺に対しＭ×Ｎ画素の局所マスク（図３参照）を形成し、たとえば隣接する画素間の差分（図４参照）を求め、その差分をしきい値処理することによって、エッジを検出する。いま、注目画素（i，j）における局所マスクに属する画素Mask(ｉ，ｊ)を数２のように定義する。
【００３２】
【数２】
数２から垂直方向のエッジ画素EdgeV(ｉ，ｊ)および水平方向のエッジ画素EdgeH(ｉ，ｊ)は、それぞれ数３および数４のように表される。
【００３４】
【数３】
【数４】
これら数３を含む垂直エッジ検出部２１と、数４を含む水平エッジ検出部２２とによって、垂直方向および水平方向のエッジを検出する（図４参照）。ただし、この方法では端1画素分エッジを検出することができないため便宜上端にエッジ無しを代入し、局所マスクと同サイズの垂直方向および水平方向のエッジ検出を行う。その後ステップ４に移行して検出結果の論理和EdgeV(ｉ，ｊ) ∪EdgeH(ｉ，ｊ)を求め、エッジ検出結果Edge(ｉ，ｊ)とする。
【００３７】
ステップ５にて検出されたエッジEdge(ｉ，ｊ)に対し、ステップ６においてパターンマッチング処理を行って文字領域をさらに分離する。つまり、前記エッジEdge(ｉ，ｊ)に対し、図６に示すように、たとえば７×７のマスク内に３×３のサブマスクを形成し、その３×３のサブマスクが７×７のマスク全てを覆うように１画素ずらしながら走査することによって、テンプレートを検出する。同じパターンが検出された場合に、処理を行っている注目画素点が文字領域であると判定するようになっている。
【００３８】
ステップ７において前記同じパターンが検出された場合には、ステップ８，９に移行して、有彩／無彩判定部２３にて色判定処理と、純色／混色判定部２４にて純色／混色判定処理が並列に行われる。ステップ８における色判定処理において、単純に、無彩領域ではシアン、マゼンタ、イエロー間のバランスが揃っているのに対し、有彩領域ではシアン、マゼンタ、イエロー間のバランスが揃っていない特徴を利用し、シアン、マゼンタ、イエロー間の最大濃度差をしきい値処理することによって、注目画素点での有彩、無彩判定を行うことが可能となる。したがって、色判定処理は以下の数５によって行うことができる。
【００３９】
【数５】
ＴＨ colorは色判定用しきい値で、予め設定する定数であるが、以下のように入力の濃度値の最小値に応じて、しきい値を変更する方法がよく行われている（図７参照）。ここで、ＴＨintennは予め定められるしきい値である。
【００４１】
【数６】
上述したエッジ検出結果と色判定結果とに基づいて、以下の表１によって色文字と白黒文字とを判定する。
【００４３】
【表１】
ステップ９における純色／混色判定処理において、色文字と判定された領域に対して、画像出力装置４が再現可能な一次色であるか否かを判定する。画像出力装置４として電子写真方式の複写機を考えた場合、通常出力用の色材としては、シアン、マゼンタ、イエローのトナーを用いて減法混色によって色を再現している。この三原色に対しては、他の色材を混色することなく出力再現することが可能である。したがって、入力原稿の中からこの色に属する領域を検出し、この色とその他の色とを分離処理することによって高画質化を図ることができる。分離処理方法については、次の［数７］を用いてしきい値処理することによって実現し、純色判定を行う。ここで、注目画素点での入力信号は（Ｃin（i，j），Ｍin（i，j），Ｙin（i，j））で与えられるものとする。
【００４５】
【数７】
図１１は一次色文字の読取り例を示す説明図である。実際には、シアン文字であっても画像入力装置３の精度によっては、マゼンタ成分またはイエロー成分が含まれてしまう。同様にマゼンタ文字、イエロー文字であっても他の色成分が含まれてしまうため、上述した判定方法ではうまく判別することができない場合が存在する。この種の画像入力装置３においては、各色成分の分布が直線によって近似することが可能であるため、画像入力装置３の特性に応じた各色文字の色成分を直線近似し、次の数８におけるＰの値を設定し判定するうえでの幅を広げて、すなわち誤差を考慮したうえで、数８を用いて精度よく判定することが可能となる。
【００４７】
【数８】
ステップ１０では、色判定処理の結果が有彩色であるのか無彩色であるのかの判定がなされ、有彩色の判定がなされた場合、ステップ１１で純色か混色かの判定がなされる。そして、次の表２に示すように、上述した文字検出結果と色判定結果である文字領域識別信号に基づいて、制御手段としてのＣＰＵが中間調処理の方式を切換えることによって、たとえば画像出力装置４が一次色として再現可能な色相に対してはステップ１２に移行して解像度を重視して出力し、それ以外の色文字に対してはステップ１３に移行して、複数画素を用いた中間調処理によって階調性もしくは色再現性を高めて出力することができる。表２において、＊は一次色、混色のどちらでもよいことを表す。
【００４９】
【表２】
文字検出結果が色文字でかつ純色判定結果が一次色と判定された場合には、中間調処理において、画像出力装置固有の最小単位である１×１のマスクサイズでもって出力し、色文字でかつ混色と判定された場合には、たとえば８×８のマスクサイズを用いて面積変調処理の一種であるディザ処理を行う。ディザ処理としては、たとえば一般的に用いられている組織的ディザマトリックス法を用いて処理するものとする。図１２は二次色文字の読取り例を示す説明図である。ステップ１１における純色の判定においては、電子写真方式の複写機を考慮した場合、画像出力装置４の二次色であっても精度よく出力することが可能であるため、二次色を含めたかたちで判定するものとする。二次色の判定も前記一次色を判定した方法と略同様に次の数９を用いて判定することが可能である。
【００５１】
【数９】
しかし、スキャナの精度によっては色分解精度が不十分であり、たとえば画像入力装置３によっては図１２のように色成分が分布する。このような色成分が分布する画像入力装置３を用いる場合には、次の数１０を用いて判定することによって、精度よく判定することが可能である。以下、前記方法と同様に、判定部２５、判定信号生成部２０において次の表３のように判定し、制御手段としてのＣＰＵが中間調処理を切換える。
【００５３】
【数１０】
【表３】
上記した文字領域検出部１６での文字の特徴を有する領域を抽出する方法および網点領域判定部１５での処理方法としては、例えば「画像電子学会研究会予稿90-06-04」に記載されている方法を用いることができる。すなわち、注目画素を中心としたＭ×Ｎ（Ｍ、Ｎは自然数）画素のブロック内で以下のような判定を行い、それを注目画素の領域識別信号とする。ブロック内の画素に対して信号レベルの平均値Ｄaveを求め、その平均値を用いてブロック内の各画素を二値化する。また、最大画素信号レベルＤmax、最小画素信号レベルＤminも同時に求める。
【００５６】
網点領域では、小領域における画像信号の変動が大きいことと、背景に比べて濃度が高いこととを利用し、網点領域を識別する。二値化されたデータに対して主走査方向および副走査方向でそれぞれ０から１への変化点数、１から０への変化点数を求めて、それぞれＫH，ＫVとし、しきい値ＴH，ＴVと比較して両者が共にしきい値を上回ったら網点領域とする。また、背景との誤判定を防ぐために、先に求めたＤmax，Ｄmin，Ｄaveをしきい値Ｂ１，Ｂ２と比較する。つまり、最大画素信号レベルＤmaxから信号レベルの平均値Ｄaveを減じた値がしきい値Ｂ1より大きく（Ｄmax −Ｄave ＞Ｂ１）、かつ、信号レベルの平均値Ｄaveから最小画素信号レベルＤminを減じた値がしきい値Ｂ２より大きく（Ｄave −Ｄmin ＞Ｂ２）、かつ、ＫH ＞ＴH 、かつ、ＫV ＞ＴVならば網点領域であり、そうでなければ非網点領域である。
【００５７】
文字領域では、最大信号レベルと最小信号レベルとの差が大きく、濃度も高いと考えられることから、文字領域の識別を以下のように行う。最大信号レベルと、最小信号レベルと、それらの差分 Ｄsubを、しきい値ＰA ，ＰB ，ＰC とそれぞれ比較し、Ｄmax ＞ＰA またはＤmin ＜ＰBまたはＤsub ＞ＰCの条件を充たすならば文字領域とする。網点領域でも文字領域でもない領域の画素はその他（写真）領域とする。
【００５８】
以上説明した画像処理装置２によれば、文字領域に属する注目画素に対して、有彩色か無彩色かが判定され、有彩色と判定された注目画素に対して予め定められる色相の範囲内にあるか否かが判定された後、これら判定結果に基づいて階調再現処理部１３の処理内容が設定されるので、再現可能な有彩色の文字領域に対しては、解像度を高めることが可能となり、再現不可能な有彩色の文字領域に対しては、色文字の再現性を高めることが可能となる。制御手段としてのＣＰＵは、有彩色でかつ予め定められる色相の範囲内にあると判定された注目画素に対しては、解像度を重視した中間調処理を選択し、有彩色でかつ前記色相の範囲内にないと判定された注目画素に対しては、階調性を重視した中間調処理を選択するので、文字領域の解像度を高めるとともに、色文字の再現性を高めることができる。
【００５９】
また、色判定部１９にて、有彩色であると判定された注目画素に対して、階調再現処理手段によって制御可能な解像度を重視した中間調処理によって再現することが可能な色相の範囲内にあるか否かを判定する。たとえば、シアン、マゼンタ、イエロー色材つまりＣＭＹ色材によって画像を形成するような装置を想定すると、前記ＣＭＹ色材の二色を混色することによって赤、青、緑の二次色は比較的容易に出力することが可能となる。したがって、このような二次色を入力信号から同時に判定し、純色の場合と同様な処理を行うことによって、純色文字と同等の解像度を高めた出力を行うことが可能となる。
【００６０】
前記画像処理装置２を備える画像形成装置１によれば、色文字領域のうち色材を多く混色することなく再現できる色相と、複数の色材を混色することによってのみ再現できる色相とを予め設定しておき、前者において解像度を重視した出力方式を適用し、後者において色味または階調を重視した中間調の出力方式を適用することができる。このように出力方式を適宜切換えることによって、前記従来のものと比べて高品質の画像を出力することが可能となり、しかも前記画像をリアルタイムで高速に出力することが可能となる。
【００６１】
本発明の実施の他の形態として、上述したエッジ検出法は、必ずしも差分によるしきい値処理によって検出するものではなく、さまざまなエッジ検出法を利用することが可能である。
【００６２】
色を判定する色空間は、ＲＧＢ（補色反転したＣＭＹ）空間に限定されるものではなく、CIE1976L*a*b*（ＣＩＥ：Commission Internationale de
l'Eclairage：国際照明委員会。L*：明度、a*・b*：色度）の均等色空間で行うことが可能である。
【００６３】
図１０は色判定部１９に色座標変換部２６を備えた図２相当図である。ただし、前記実施形態と同一の部材には同一の符号を付し、その説明は適宜省略する。CIE1976L*a*b*の均等色空間で色判定する場合、有彩／無彩判定部２３および純色／混色判定部２４の前段に、補色反転したＣＭＹ空間をCIE1976L*a*b*空間に変換する色座標変換部２６を設ければよい。色座標変換の方法としては、例えば、カラーチャート原稿の各色パッチを測色器で測色してＬ*ａ*ｂ*値を求める（Ｌ*ａ*ｂ*表色系のデータを求める）一方、測色に用いたカラーチャート原稿を画像入力装置３から読取ってＲＧＢデータを得てＣＭＹデータに補色反転し、このようにして得たＬ*ａ*ｂ*値とＣＭＹ値とを基に、両者を対応付けるための係数をニューラルネットワークやマスキング演算係数決定法により求め、求めた係数を用いて色座標変換を行う。有彩／無彩判定部では、下記の数１１に基づいて彩度Ｃ*を求め、予め定められている閾値と比較することにより有彩／無彩の判定を行う。
【００６４】
【数１１】
純色／混色判定部では、下記の数１２により色相Hを求め、１次色の範囲内にあるか否かにより判定を行えば良い。
【００６６】
【数１２】
中間調処理は、組織的ディザマトリックス法に限定されるものではなく、誤差拡散などさまざまな中間調処理を適用することが可能である。画像出力装置４は、画像データをたとえば紙などの記録媒体上に出力するもので、たとえば、電子写真方式またはインクジェット方式を用いたものを挙げることができるが、これらに限定されるものではない。その他、前記実施形態に、特許請求の範囲を逸脱しない範囲において種々の部分的変更を行う場合もある。
【００６８】
【発明の効果】
以上のように本発明によれば、階調再現処理手段による中間調処理にあたって、色判定手段にて、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかが判定されるとともに、純色であるか混色であるかが判定される。制御手段は、色判定手段の判定結果に基づいて、階調再現処理手段を制御する。
有彩色の文字領域に対して解像度を重視した中間調処理を行うと、色再現性が低くなる場合と色再現性が低くならない場合とがある。混色の文字領域は、解像度を重視した中間調処理を行うと、色再現性が低くなる。純色の文字領域は、解像度を重視した中間調処理を行っても、色再現性が低くならない。
このような点を考慮して、制御手段にて階調再現処理手段を制御して、次のように中間調処理を行う。有彩色でかつ混色であると判定された注目画素に対しては、階調性を重視した中間調処理を施す。これによって色再現性の低下を防ぐことができる。有彩色でかつ純色であると判定された注目画素に対しては、解像度を重視した中間調処理を施す。これによって解像度を高くすることができる。このとき色再現性は低くならない。このような本発明では、有彩色の文字領域について、全体として、色再現性を低下させることなく、解像度を高くすることができる。
【００６９】
また本発明によれば、色座標変換部にて入力画像の色空間を均等色空間に変換し、色判定手段における色の判定を均等色空間で扱うことによって、機器依存性を無くし、高精度の判定結果を得ることが可能となる。
【００７０】
また本発明によれば、画像出力装置固有の最小単位である１×１のサイズの第１のマスクを用いて中間調処理を行うことによって、有彩色の文字領域について解像度を高くすることができる。また前記第１のマスクよりもサイズが大きい第２のマスクを用いて中間調処理を行うことによって、有彩色の文字領域について階調性を高くして色再現性を高くすることができる。
【００７３】
また本発明によれば、有彩色の文字領域について、純色の場合は解像度を重視した出力方式を適用し、混色の場合は階調性を重視した中間調の出力方式を適用することができる。このように出力方式を適宜切換えることによって、前記従来のものと比べて高品質の画像を出力することが可能となり、しかも前記画像をリアルタイムで高速に出力することが可能となる。
【００７４】
また本発明によれば、入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかが判定されるとともに、純色であるか混色であるかが判定される。有彩色でかつ混色であると判定された注目画素に対しては、階調性を重視した中間調処理が施される。これによって色再現性の低下を防ぐことができる。有彩色でかつ純色であると判定された注目画素に対しては、解像度を重視した中間調処理が施される。これによって解像度を高くすることができる。このとき色再現性は低くならない。このような本発明では、有彩色の文字領域について、全体として、色再現性を低下させることなく、解像度を高くすることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像形成装置の概略構成図である。
【図２】領域分離処理部の構成図である。
【図３】注目画素の周辺に７×７画素の局所マスクを形成した場合の説明図である。
【図４】水平方向のエッジと垂直方向のエッジを検出する方法を説明する図である。
【図５】複数の文字検出用パターンの説明図である。
【図６】パターンマッチングを行う際に７×７画素の局所マスク内に３×３画素のサブマスクを形成した様子を示す説明図である。
【図７】色判定処理の模式図である。
【図８】純色エリアの模式図である。
【図９】文字領域判定部の判定結果に基づく中間調切換え処理のフローチャートである。
【図１０】色判定部に色座標変換部を備えた図２相当図である。
【図１１】一次色文字の読取り例を示す説明図である。
【図１２】二次色文字の読取り例を示す説明図である。
【符号の説明】
１ 画像形成装置
２ 画像処理装置
８ 領域分離処理部
１３ 階調再現処理部
１４ 文字領域判定部
１６ 文字領域検出部
１７ エッジ検出部
１８ パターンマッチング部
１９ 色判定部
２３ 有彩／無彩判定部
２４ 純色／混色判定部
２５ 判定部
Claims (5)
- 入力画像に中間調処理を施す階調再現処理手段と、
入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかを判定するとともに、純色であるか混色であるかを判定する色判定手段と、
前記色判定手段の判定結果に基づいて、有彩色でかつ純色であると判定された注目画素に対しては解像度を重視した中間調処理を施し、有彩色でかつ混色であると判定された注目画素に対しては階調性を重視した中間調処理を施すように、階調再現処理手段を制御する制御手段とを備えることを特徴とする画像処理装置。 - 色判定手段は、入力画像の色空間を均等色空間に変換する色座標変換部を備えることを特徴とする請求項１に記載の画像処理装置。
- 階調再現処理手段は、画像出力装置固有の最小単位である１×１のサイズの第１のマスクを用いて、解像度を重視した中間調処理を行い、前記第１のマスクよりもサイズが大きい第２のマスクを用いて、階調性を重視した中間調処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
- 請求項１〜３のいずれか１項に記載の画像処理装置を備えることを特徴とする画像形成装置。
- 入力画像のうちで文字領域に属する注目画素に対して、有彩色であるか無彩色であるかを判定するとともに、純色であるか混色であるかを判定し、
有彩色でかつ純色であると判定された注目画素に対しては解像度を重視した中間調処理を施し、有彩色でかつ混色であると判定された注目画素に対しては階調性を重視した中間調処理を施すことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002064469A JP3927426B2 (ja) | 2002-03-08 | 2002-03-08 | 画像処理方法および画像処理装置並びにそれを備えた画像形成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002064469A JP3927426B2 (ja) | 2002-03-08 | 2002-03-08 | 画像処理方法および画像処理装置並びにそれを備えた画像形成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003264693A JP2003264693A (ja) | 2003-09-19 |
| JP3927426B2 true JP3927426B2 (ja) | 2007-06-06 |
Family
ID=29197256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002064469A Expired - Fee Related JP3927426B2 (ja) | 2002-03-08 | 2002-03-08 | 画像処理方法および画像処理装置並びにそれを備えた画像形成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3927426B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007184829A (ja) * | 2006-01-10 | 2007-07-19 | Fuji Xerox Co Ltd | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
| JP4956356B2 (ja) * | 2007-10-02 | 2012-06-20 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5163226B2 (ja) * | 2008-03-28 | 2013-03-13 | カシオ電子工業株式会社 | 画像形成装置システム |
-
2002
- 2002-03-08 JP JP2002064469A patent/JP3927426B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003264693A (ja) | 2003-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0486311B1 (en) | Color image processing apparatus and method | |
| US7742194B2 (en) | Image processing device, image processing method, image forming apparatus, image processing program, and storage medium | |
| US7502150B2 (en) | Color converting device, image forming apparatus, color conversion method, computer program and recording medium | |
| JP3784649B2 (ja) | 画像処理装置及びそれを備えた画像形成装置並びに画像処理方法 | |
| JP4331159B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよびその記録媒体 | |
| JP4531606B2 (ja) | 画像処理装置、画像形成装置、および画像処理方法 | |
| JP3734703B2 (ja) | 画像処理方法、画像処理装置、および画像形成装置 | |
| JP2005286571A (ja) | 画像処理装置、画像処理装置を備えた画像形成装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体 | |
| JP2002325182A (ja) | 画像処理方法および画像処理装置並びにそれを備えた画像形成装置 | |
| JP3927426B2 (ja) | 画像処理方法および画像処理装置並びにそれを備えた画像形成装置 | |
| JP4522978B2 (ja) | 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび記録媒体 | |
| JP2002218271A (ja) | 画像処理装置、画像形成装置、並びに画像処理方法 | |
| JP3847565B2 (ja) | 画像処理装置及びそれを備えた画像形成装置並びに画像処理方法 | |
| JP2003264701A (ja) | 画像処理方法および画像処理装置並びにそれを備えた画像形成装置 | |
| JP2003230006A (ja) | 画像処理方法および画像処理装置ならびに画像形成装置 | |
| JP4179998B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、及びコンピュータプログラム | |
| JP2004088663A (ja) | 画像処理装置、画像形成装置、及び、画像処理方法 | |
| JP7076268B2 (ja) | 画像処理装置、画像処理方法および記録媒体 | |
| JP2003219178A (ja) | 画像処理方法、画像処理装置、および画像形成装置 | |
| JP4176656B2 (ja) | 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび該プログラムを記録した記録媒体 | |
| JP4101741B2 (ja) | 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、および記録媒体 | |
| JP2001352456A (ja) | 画像処理方法及び画像処理装置並びにそれを備えた画像形成装置 | |
| JP2008271131A (ja) | 画像処理方法、画像処理装置および画像形成装置 | |
| JP2002374425A (ja) | 画像処理方法、画像処理プログラムおよび画像処理装置並びに画像処理装置を備えた画像形成装置 | |
| JP2002064717A (ja) | カラー画像形成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040728 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070302 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3927426 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |