JP2009302761A - 画像処理装置 - Google Patents

Abstract

【課題】 入力された画像に対して文字・線画部の判定を行う画像処理装置において、文字・線画エッジ部に適応的な処理を施すことを可能とする。
【解決手段】 文字・線画エッジ部の内エッジ領域・外エッジ領域の抽出を行い、内エッジ領域をエッジの外側方向に、外エッジ領域をエッジの内側方向に拡張させることによって、文字エッジの内側または外側に近接する任意の幅の領域を判定する方法を用いる。
【選択図】 図１

Description

本発明は画像処理装置に関し、詳しくは、入力した画像の文字／線画部分を検出し、その部分に適応的な画像処理を施す画像処理装置に関する。

この種の装置として、電子写真方式の記録装置が一般的に知られている。

このような記録装置は、読み取りユニットに、例えばＣＣＤ等の光電変換素子を備え、これを原稿に対して走査させることにより原稿上の画像を電気信号に変換する。そして、この読み取りによって得られた電気信号に基づいてレーザーあるいはＬＥＤ等を駆動することに感光ドラム上に潜像を形成し、潜像によって電位差を生じたところにトナーを現像して、これを記録紙等の被記録媒体上に転写して再生させるものである。

上記のような装置においては、読み取り時にレンズの収差やＣＣＤの開口等に起因する像ぼけや潜像特性や転写・定着等プロセス要因による再生画像の劣化により、読み取った画像を紙上に再生する際に、画像のＭＴＦが劣化してしまうという問題が生じる。

上記のようなＭＴＦ劣化による文字部の画質劣化を補正する為に文字／線画部の判定を行い、判定された箇所に最適な画像処理（例えばエッジ強調等）の処理を行うものは多数提案されている（例えば、特許文献１）。

又、別の従来例としては、特許文献２をあげることが出来る。

なお以下では、上述のように、原画像内の画素等の画像単位毎に特性の検出・判定及び画像単位に対する属性の付与を像域判定、前記像域判定の判定結果に従い各画像単位に行う適応的処理を像域処理、両者を総じて像域分離または像域分離処理と称する。
特開平04-142880号公報 特開2005-176222号公報

しかし、電子写真におけるＭＴＦの劣化は非常に複雑であり、文字／線画部のエッジだけを判定・最適な処理を施しても良好な画質は得られない。

従来の方式では、エッジの１〜２画素しか判定できない方法か、あるいは広いエリアを判定する方法もあるが、そのような方法は、非常に多くのメモリが必要となり、多大なコスト負担がかかっていた。

例えば、黒文字領域は、ブラックトナーのみで印字したいような場合、黒文字のエッジ部１〜２画素しか文字と判定できないような処理では、黒文字領域全体に所望の処理を行うことが出来ない。また、やや太い文字等では、文字の内側とエッジ部で極端に異なる処理を行うと擬似輪郭のように見えてしまうような問題があった（以下、エッジの縁取りと称する）。

このような問題を解決するために、特許文献２では、デジタルフィルタを用いて所望の空間周波数の強調・抽出を行い、その結果を２つの閾値（正と負）で判定することにより、内エッジ信号と外エッジ信号を得、この両者の信号をそれぞれ決められた領域で積算する手段を用いて、内エッジ信号を外エッジ信号と逆方向に拡大することで、文字の内側の領域判定を行う手法が提案されている。

しかし、像域分離を行う画像形成装置において、エッジ周辺で生じる問題は上記のようにエッジの内側に限らない。

例えば、グレーの下地の中に黒い文字が配置されているような原稿のように、文字の色が周辺の下地部分の色よりも濃度が高い場合、文字エッジに強調フィルタをかけると、その影響でエッジの外側に接する下地領域に図２（ａ）に示すようなアンダーシュートが生じ、濃度が低く再現されるという問題がある（以下、白抜けと称する）。

また、複数の色によって再現されるカラー出力装置においては上記とは逆の効果を持つ問題もある。図２（ｄ）に示すように、濃度の低いシアン（以下、Cと称する）の下地の中に、濃度の高いマゼンダ（以下、Mと称する）とイエロー（以下、Yと称する）によって高い濃度の赤い文字が配置されているような原稿のように、文字と下地の色が異なる色相によって再現されているような場合、文字エッジに強調フィルタをかけると、その影響でエッジの外側に接する下地領域に図２（c）に示すようにオーバーシュートが生じ、濃度が高く再現されるという問題がある（以下、逆強調と称する）。

本発明は、像域分離を行う画像形成装置において、エッジ周辺領域の内側・外側の領域を適切に判定することによって、判定されたそれぞれの領域に対して、適応的な処理を施し、エッジの縁取りのようなエッジの内側に隣接する領域に生じる問題のみならず、白抜けや逆強調のようなエッジの外側に隣接する領域において生じる問題をも解決するためのものである。斯様な問題を解決するための本発明の画像処理装置は、図１に示す、以下の構成を備える。

すなわち、入力した画像信号に対して、文字・線画部の判定を行う画像処理装置において、入力画像データに対してフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によってフィルタ処理された画像を閾値でクリッピングすることで外エッジ領域を得る外エッジクリッピング処理手段と、前記フィルタ処理された画像を閾値でクリッピングすることで内エッジ領域を得る内エッジクリッピング処理手段と、前記外エッジ領域を文字内部方向に拡張させ、前記内エッジ領域を文字外側方向に拡張させる領域拡張処理手段と、前記領域拡張処理手段によって拡張された外エッジ領域及び内エッジ領域を判定基準として用いて文字エッジ領域、及び、文字エッジ領域の外側に隣接する非文字エッジ領域、及び、文字エッジ領域の内側に隣接する非文字エッジ領域を判定するフラグ判定部、とを有することを特徴とする。

以上説明したように、本発明によれば、像域分離を行う画像形成装置において、文字や線画等のエッジに隣接する内側及び外側の領域を抽出することが可能であり、各領域に対して適応的な像域処理を行うことによって、像域分離による文字・線画等のエッジ周辺で生じる白抜けや逆強調等の画質劣化の問題を解決することが可能となる。

次に、本発明の詳細を実施例の記述に従って説明する。

以下では、図面を用いて、本発明の実施例を説明する。

本発明の実施の形態として適用可能な画像処理装置の一例として、電子写真方式のカラーＭＦＰ（Multi Function Printer / Multi Function Peripheral）の構成例を説明する。なお、本実施の形態は、電子写真方式のカラーMFPのみならず、インクジェット方式や他の方式のモノクロ及びカラー画像形成装置でも適用可能である。

まず、電子写真方式のカラーＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ：マルチファンクション周辺機器）の構成について図３に示すＭＦＰのブロック構成図を用いて説明する。

同図において、入力画像処理部は、紙原稿などをスキャナなどの画像読み取り装置で読み取り、読み取られた画像データを画像処理する。

ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）部は、ネットワークを利用して入力された画像データ（主に、ＰＤＬデータ）をＲＩＰ部に渡したり、ＭＦＰ内部の画像データや装置情報をネットワーク経由で外部に送信したりする。ＲＩＰ部は、入力されたＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）データを解読し、ＲＩＰ（Ｒａｓｔｅｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｏｒ）展開する部分である。

次に、入力された画像データは、ＭＦＰ制御部に送られる。ＭＦＰ制御部は、入力されるデータや出力するデータを制御する交通整理の役割を果たしている。

また、ＭＦＰ制御部に入力された画像データは、一旦メモリ部に格納される。格納された画像データは、一時的に格納されたり、必要に応じて呼び出されたりする。

出力画像処理部は、プリントするための画像処理が施され、プリンタ部に送られる。

プリンタ部では、シートを給紙し、出力画像処理部で作られた画像データをそのシート上に順次印字していく。プリントアウトされたシートは後処理部へ送り込まれ、シートの仕分け処理やシートの仕上げ処理が行われる。

更に、操作部は、上記の様々なフローや機能を選択したり操作指示したりするためのものであるが、操作部の表示装置の高解像度化に伴い、メモリ部にある画像データをプレビューし、確認後ＯＫならばプリントするといった使い方もできる。

このように、ＭＦＰには様々な機能と利用方法があり、以下にその例を示す。

A)複写機能：入力画像処理部→出力画像処理部→プリンタ部
B)ネットワークスキャン：入力画像処理部→ＮＩＣ部
C)ネットワークプリント：ＮＩＣ部→ＲＩＰ部→出力画像処理部→プリンタ部
D)ボックススキャン機能：入力画像処理部→出力画像処理部→メモリ部
E)ボックスプリント機能：メモリ部→プリンタ部
F)ボックス受信機能：ＮＩＣ部→ＲＩＰ部→出力画像処理部→メモリ部
G)ボックス送信機能：メモリ部→ＮＩＣ部
H)プレビュー機能：メモリ部→操作部
次に、入力画像処理部について説明する。

図４は、スキャナ入力部内の画像データのフローと構成を示すブロック図である。

カラースキャナによって読み込まれた画像は、ＣＣＤセンサにより電気信号に変換される。このＣＣＤセンサはＲＧＢ３ラインのカラーセンサであり、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）それぞれの画像データとしてＡ／Ｄ変換部に入力される。

Ａ／Ｄ変換部では、ゲイン調整、オフセット調整がされた後、色信号毎に８ビットのディジタル画像データに変換される。

シェーディング補正部で基準白色板の読み取り信号を用いて、CCDセンサの各画素の感度のばらつきや原稿照明ランプの光量のばらつきなどを色毎に補正する。

さらに、ＣＣＤセンサの各色ラインセンサは、相互に所定の距離を隔てて配置されているため、色オフセット部でCCDのＲＧＢの並びから来る副走査方向（紙送り方向）の空間的ずれをラインディレイ調整回路により補正されると共に、副ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：変調伝達関数）補正部により、センサのムラなどから生じるずれの補正を行い、特に、白と黒の間隔が狭まることで生じるコントラストの低下や画像のボケも補正する。

入力ガンマ補正部は、ＲＧＢの各入力に対し、露光量と輝度が線形関係になるように補正を行う一次元のルックアップテーブル（ＬＵＴ：ＬｏｏｋＵｐ Ｔａｂｌｅ）である。

入力ダイレクトマッピング部は、色空間を統一するため、入力されたＲＧＢ信号からデバイス内のＲＧＢ信号に変換する三次元のＬＵＴであり、ＣＣＤセンサのＲＧＢフィルタの分光特性で決まる読取色空間を、ｓＲＧＢなどの標準色空間に変換する部分であり、ＣＣＤセンサの感度特性や照明ランプのスペクトル特性等の諸特性なども吸収することができる。

主ＭＴＦ補正部では、注目画素と左右それぞれの画素に対して加重平均をとることで主走査方向のＭＴＦ補正を実現している。

像域判定部は、文字判定部と無彩色判定部からなっている。前者はＲＧＢ画像データから、文字領域や線画輪郭領域の画素判定を行い、その結果を像域データＺＡとして出力する。後者は、ＲＧＢ空間の画像データをＬ＊ａ＊ｂ＊やＹＵＶといった輝度色差空間の画像データに変換した後、低彩度領域や黒文字、色文字領域を判定し、その結果を像域データＺＢとして出力する。ここでは、像域データＺＡ及びＺＢを併せて像域データと呼ぶこととする。

次に、空間フィルタ部では、像域データを用いて、輝度成分に対してフィルタリングを行う。具体的には、文字領域にエッジ強調を行い、写真領域にはスムージングか弱いエッジ強調といった異なるシャープネスフィルタを適用する。

彩度抑圧部は、像域データから低彩度と判定された領域に対し、彩度の抑圧を行う。黒文字領域をＫ（Ｂｌａｃｋ）単色で表現するため、色差をゼロにして処理する。

ＡＣＳ（Ａｕｔｏ Ｃｏｌｏｒ Ｓｅｌｅｃｔ）部は、像域判定の結果から低彩度の画素をカウントし、白黒画像かカラー画像かを判定することができる。

ＢＥ（下地除去：Ｂａｃｋｇｒｏｕｎｄ Ｅｒａｓｅ）サンプリング部では、下地を検出するため、指定された矩形領域の画素を離散的にサンプリングし、輝度のヒストグラムを作成し、これをプリント時の下地除去に利用する。

次に像域分離処理部について、概念とその一例を説明する。

像域分離処理とは、原稿画像に含まれる画像の特徴に応じて最適な画像処理を施すために原稿画像の特徴を抽出して像域属性を示す信号（以後フラグデータという）を生成するために行われる。例えば原稿中には、連続階調のフルカラーの写真領域や、黒一色の文字領域、あるいは新聞印刷のような網点印刷領域など、様々な画像領域が混在しているのが普通である。

これらを一律に同一の画像処理手順で処理して出力すると、その出力画像は一般に好ましい画質が得られない場合が多い。

そこで、本システムでは、入力画像処理部３０１から入力されるカラー画像信号を用いて原稿画像中に含まれる画像データの属性を検出し、それを識別するためのフラグデータを生成する。具体的な手順を図５に示す。

同図は、像域属性の抽出方法の一例を説明するためのブロック図である。入力信号５０１は、平均濃度演算５０２、エッジ強調処理５０３に入力される。

平均濃度演算５０２では、入力信号について注目画素を中心とするＭ×Ｎ領域（ＭとＮは自然数）の平均値ＡＶＥを算出する。

エッジ強調処理５０３では、注目画素周辺領域のデータを参照し、Ｍ×Ｎ領域（ＭとＮは自然数）にて注目画素のエッジ強調処理を行い、強度の異なる２種類のエッジ強調信号ＥＤＧ１とＥＤＧ２を算出する。

平均濃度演算５０２とエッジ強調処理５０３の結果は、網点判定５０４とエッジ判定５０５に入力される。

エッジ判定５０５について、図６を用いて説明する。平均濃度演算５０２（ＡＶＥ）とエッジ強調処理５０３（ＥＤＧ２）の結果が、濃度差判定６０１に入力される。このとき、エッジ強調処理５０３から出力されるＥＤＧ２と周辺領域の濃度（ＡＶＥ）の差の大きさの判定を行い所定の濃度差よりも大きい場合は１を、小さい場合は０を出力する。

ＡＶＥ−Ａ×ＥＤＧ２ ＞ Ｂならば、 濃度差信号＝１
Ａ×ＥＤＧ２−ＡＶＥ ＞ Ｃならば、 濃度差信号＝１
それ以外のとき、濃度差信号＝０
（Ａは実数、Ｂ、Ｃは実数または整数）
濃度差判定６０１から出力される濃度差信号は、孤立判定６０２に入力され、孤立点の除去がなされる。たとえば、濃度差信号を７×７で参照し、最外周の画素位置に濃度差信号＝１が存在しない場合には、内側の５×５領域の濃度差信号を強制的に０とすることで、孤立点を除去するものである。

孤立判定６０２から出力される孤立判定信号は、補正処理６０３に入力され、不連続部分の補正がなされる。たとえば、３×３領域で注目画素（３×３の中央）をはさむ画素（前後、左右、斜め）の孤立判定信号が１の場合、注目画素が０ならば、注目画素の値を１に補正する。これにより、線画の欠けている部分の連続度が増し、また、線画も滑らかな、エッジ信号６０４が生成される。エッジならば、ＥＤＧＥ＝１を出力する。

網点判定５０４とエッジ判定５０５から出力される網点判定信号とエッジ判定信号６０４の結果は文字判定５０６に入力される。ここでは画素単位に処理され、網点ではなく（ＡＭＩ＝０）、エッジである（ＥＤＧＥ＝１）画素を文字と考え、文字信号５０７を生成する。

以上が像域属性の抽出方法の一例であるが、これに限るものではない。

以上の像域分離処理により画像の属性が画素ごとに検出されると、次に後段の入力画像処理部で画像属性に応じた画像処理が施される。

ここでは、例えば文字領域に対して画像の高周波成分を強調して文字の鮮鋭度を強調し、また、網点領域に対してはいわゆるローパスフィルタ処理を行い、ディジタル画像に特有のモアレ成分を除去する、といった処理を行うことができる。これらの処理の切り替えを像域判定部で生成した属性フラグデータに応じて画素単位で行うことが可能である。

次に、別図を用いて、本発明の最も特徴的な部分に関して、更に説明する。

図１に示すのは、本発明を適用したエッジ判定部２０５のデータフローと構成を示すブロック図である。また、図７に示すのは、入力画像の文字エッジ部を模した画像及び濃度特性と、処理フローごとに得られる値の特性及び中間処理画像を模式的に現したものである。

入力画像１０２は、フィルタ処理部１０２で２次微分フィルタにかけられる。微分された画像は外エッジクリッピング処理部１０３と内エッジクリッピング処理部１０４で所定の閾値によってクリップされる。これによって７０５に示すような、文字・線画のエッジ部分の外側部分（以下、外エッジ領域）、内側部分（以下、内エッジ領域）が中間的なフラグデータとして得られる。

クリップされた画像データは、領域拡張処理部１０５において、７０６に示すとおり、外エッジ領域は内エッジ方向に、内エッジ領域は外エッジ方向に拡張され、積算判定を行い、文字領域７２１・文字エッジ近傍外側領域７２２・文字エッジ近傍内側領域７２３、及び、それ以外のイメージ領域７２４を判定する。

領域拡張処理は、例えば５×５エリアでのフラグデータを持つ画素数によって、対象画素のフラグデータを決定する。

例えば、外エッジ領域の拡張の場合、以下のような条件に従い積算判定を行う。

・注目画素が外エッジ領域である。→外エッジ領域
・上記以外で、注目画素周辺５×５エリアに外エッジ領域が所定数以上、内エッジ領域が所定数以上ある。→外エッジ領域
・上記いずれにも該当せず。→非外エッジ領域
領域拡張処理は以上の例に限定されるものではなく、これらの組み合わせや繰り返しを行ってもよい。

フラグ判定部では、画素ごとに得られた複数種の中間フラグデータをもとに、フラグデータを決定する。図８に示すのは、拡張された外エッジ領域・拡張された内エッジ領域の中間フラグデータから、フラグデータの判定を行う際に用いるテーブルである。これによって文字エッジ領域、文字エッジ周辺外側領域、文字エッジ周辺内側領域、その他のイメージ領域に判別する。

図９（a）は、白抜けが発生する入力画像のエッジ部分の画素値特性、図９（b）は図９（a）の入力画像に対して、本発明を適用しないエッジ強調処理を行った画素値特性、図９（c）は本発明を適用したエッジ強調処理を行った画素値特性を模式的に表したものである。

また、図１０（a）は、逆強調が発生する入力画像のエッジ部分の画素値特性、図１０（ｂ）は図１０（a）の入力画像に対して、本発明を適用しないエッジ強調処理を行った画素値特性、図１０（c）は本発明を適用したエッジ強調処理を行った画素値特性を模式的に表したものである。

図14に示すのは、図９、図１０で行ったエッジ強調のために利用した畳み込み演算の1次元テーブルである。

生成されたフラグデータは、入力画像処理部の後段や出力画像処理部において利用可能となる。入力画像処理部において、図１１に示すように、文字エッジ周辺外側領域のフラグデータ７２２を持つ画素の画素値を、５×５エリア内に存在するイメージ領域のフラグデータ７２４を持つ画素の画素値の平均値に置換する処理を行う。これによって図９（c）及び図１０（c）に示すとおり、文字エッジ周辺外側領域がさらに外側のイメージ領域と均一化されるため、オーバーシュート、アンダーシュートによる白抜けや逆強調を防ぐため、図２（b）及び図２（d）に示すような良好な画像を得ることが可能となる。

本実施例では、特に文字エッジに隣接する文字の外側の領域である文字エッジ周辺外側領域の画質改善の例を示したが、本発明はこれに限定されるものではなく、文字エッジ周辺内側領域に対して所定の画像処理を行うことも可能である。また、文字エッジ周辺外側・内側領域は閾値や領域拡張処理の係数設計によって任意の幅を持たせることが可能である。

実施例１では、文字エッジの外エッジ領域と内エッジ領域の２つの中間フラグの領域を参照することによって、フラグデータを生成した。しかし、エッジの先鋭度が低く、内エッジ領域と外エッジ領域との間に幅がある場合には、大きなメモリが必要になる。

本実施例では、斯様な状況においても適用可能な、大容量のメモリを必要としない形態について説明する。

図１２に示すのは、本実施例における、エッジ判定部２０５のデータフローと構成を示すブロック図である。

実施例１と異なるのは、１次微分フィルタを行う第２のフィルタ処理部１２０８を設け、文字エッジクリッピング処理部1209において閾値によってクリッピングすることによって、文字エッジ領域を中間フラグとして生成し、領域拡張処理部１２０５において、拡張処理を行う際に、参照する点である。すなわち、図１３に示すような位置関係で、各クリッピング処理を終えて生成された中間フラグが存在する時に、以下のような条件によって内外エッジ領域拡張を行うことも可能である。

・注目画素が外エッジ領域である。→外エッジ領域
・上記以外で、注目画素が文字エッジ領域であり、注目画素周辺５×５エリアに外エッジ領域が所定数以上ある。→外エッジ領域
・上記いずれにも該当せず。→非外エッジ領域
像域処理については実施例１に倣う。

本実施例では、1次微分フィルタと２次微分フィルタによる処理結果を組み合わせて領域拡張処理を行ったが、これによってエッジ量が低い文字エッジ部においても、参照するエリアが狭くても、領域拡張することが可能となり、メモリの低容量化を実現することができる。

本発明を適用した画像処理装置におけるエッジ判定部のデータフローと構成を示すブロック図 白抜け及び逆強調の例と本発明を適用した出力例 電子写真方式のカラーＭＦＰの構成 スキャナ入力部内の画像データのフローと構成 像域属性の抽出方法の一例を説明するためのブロック図 エッジ判定部のフロー 文字エッジ部を模した画像及び濃度特性と処理結果の様子 判定時の参照テーブル 白抜けが生じる画像とそのエッジ強調の結果の画素値特性 逆強調が生じる画像とそのエッジ強調の結果の画素値特性 フラグデータに従い色置換する様子 実施例２におけるエッジ判定部のデータフロー 文字エッジ領域と内・外エッジ領域との位置関係 エッジ強調のために利用した畳み込み演算のテーブル

Claims (5)

1. 入力した画像信号に対して、文字・線画部の判定を行う画像処理装置において、入力画像データに対してフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によってフィルタ処理された画像を閾値でクリッピングすることで外エッジ領域を得る外エッジクリッピング処理手段と、前記フィルタ処理された画像を閾値でクリッピングすることで内エッジ領域を得る内エッジクリッピング処理手段と、前記外エッジ領域を文字内部方向に拡張させ、前記内エッジ領域を文字外側方向に拡張させる領域拡張処理手段と、前記領域拡張処理手段によって拡張された外エッジ領域及び内エッジ領域を判定基準として用いて文字エッジ領域、及び、文字エッジ領域の外側に隣接する非文字エッジ領域、及び、文字エッジ領域の内側に隣接する非文字エッジ領域を判定するフラグ判定部、とを有することを特徴とする画像処理装置。
2. 前記フィルタ処理手段には、２次微分フィルタを少なくとも１つ含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記領域拡張処理手段は、前記フィルタ処理手段以外に、画像処理の系を持ち、それらの結果を参照して、領域拡張処理を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記フラグ判定手段は、請求項３に記載の画像処理の結果を参照して、判定を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記フィルタ処理手段及び前記外エッジクリッピング処理手段及び前記内エッジクリッピング処理手段とは別に、第２のフィルタ処理手段及び第３のクリッピング処理手段によって第３の領域を得、前記領域拡張処理手段は、前記外エッジ領域及び前記内エッジ領域及び前記第３の領域を参照して領域拡張処理を行うことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。

Images