JP2009266233A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像の特徴に適合したエッジ強調とノイズ低減効果を実現し、特に文字や線の画像では、エッジを強調してより鮮明な画像に補整する。
【解決手段】画素抽出部２０１は、任意の注目画素を中心とした、５×５の範囲の画素ブロックを抽出する。輝度演算部２０２は、画素抽出部２０１が抽出した画素ブロック内の各画素の輝度値を演算する。標準偏差算出部２０３は、注目画素と他の各画素との輝度値の差の標準偏差値を求める。フィルタ処理部２０４は、標準偏差算出部２０３で求めた標準偏差値を用いて、バイラテラルフィルタのガウス分布反転形、メキシカンハットフィルタ、ローパスフィルタおよびハイパスフィルタに標準偏差による重みづけをしたフィルタ係数を有するフィルタ等でフィルタ処理を行い、画像を出力する。標準偏差値が大きい画素については、文字や線の画素と見なし、エッジを強調するために高い周波数成分を強調するようなフィルタ処理を行う。
【選択図】図２

Description

本発明は、画像信号のエッジ強調とノイズ低減の両方を実現する画像処理装置および画像処理方法に関する。

デジタル複合機やプリンタ等に組み込まれている画像処理装置において、読み取る画像には、文字のみの画像、写真や絵のみの画像、または文字と写真、絵が混在した画像等がある。読み取った画像の再現性をよくするため、画像処理装置は画像の補整処理を行う。読み取った画像を補正する処理のひとつに、フィルタ処理がある。フィルタ処理によって、文字画像に対してはエッジ量を増大させて文字を鮮明にさせたり、写真や絵の画像に対しては背景のノイズを低減、網点を平滑化させ、モアレを低減したりする効果が得られる。

従来、画像データの注目画素を含み、所定の方向に沿って互いに隣接する複数の画素からなる画素ブロックを抽出し、画素ブロック内のエッジ量について一次微分フィルタを用いて検出する。次に、画素ブロックに隣接する画素のエッジ量を増大させるよう検出したエッジ量を補正する。次に、補正した画素のエッジ量に基づき、エッジ強調フィルタからの画像データと平滑化フィルタからの画像データとの混合比を変えるという技術が知られている（特許文献１参照）。これにより、エッジの急峻さを保持しつつ、網点画像データや写真画像データを平滑化処理し、なめらかに再現することができる。

特開平５−３０７６０３号公報

しかしながら、特許文献１に開示されている技術は、画像から一次微分フィルタを用いてエッジ量を検出し、検出したエッジ量を所定の閾値で２値化し、エッジの画素が連続しているかを判定する。２値化する際の閾値は、設計者があらかじめ与えなければならない。

また、白黒のラインが羅列したパターンであるラダーパターンなどといったある周期を持った画像の場合では、網点のパターンと酷似しているため、網点と誤認識して平滑化処理が行われてしまい、ラダーパターンのラインのエッジが鈍化してしまう可能性がある。

本発明はこのような点に鑑みてなされたもので、特定の閾値や複雑な処理を必要とせず、画像の特徴に適合したエッジ強調とノイズ低減の両方の効果を実現することができ、特に文字や線の画像では、エッジを強調してより鮮明な画像に補整することができる画像処理装置および画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、画像信号における文字、線や写真、絵等の画像の特徴を判定する画像処理装置において、前記画像信号から任意の注目画素および前記注目画素を中心とした所定範囲の画素ブロックを抽出する画素抽出部と、前記画素抽出部で抽出した前記画素ブロック内の各画素の輝度値を演算する輝度演算部と、前記輝度演算部で演算した前記各画素の輝度値と前記注目画素の輝度値の差から、標準偏差値を求める標準偏差算出部と、前記標準偏差算出部で算出した前記標準偏差値を用いて、前記画素抽出部で抽出した前記所定範囲における画素ブロックについてフィルタ処理を行うフィルタ処理部と、前記フィルタ処理部でフィルタ処理を行った前記画素ブロックを出力する出力部と、を有し、前記フィルタ処理部は、前記標準偏差算出部で算出した前記標準偏差値が大きい場合、前記画素ブロックに対しエッジ強調処理を行い、前記標準偏差値が小さい場合、前記画像ブロックに対しノイズ低減処理を行う、ことを特徴とする。

本発明に係る画像処理装置および画像処理方法によれば、特定の閾値や複雑な処理を必要とせず、画像の特徴に適合したエッジ強調とノイズ低減の両方の効果を実現することができ、特に文字や線の画像では、エッジを強調してより鮮明な画像に補整することができる。

本発明の一実施形態に係る画像形成装置の概略構成を示すブロック図。 同上の実施形態における画像調整部の概略構成を示すブロック図。 同上の実施形態における、画像から画素抽出を行う一例を示す図。 同上の実施形態における、抽出した画像範囲の標準偏差値を算出する動作を示すフローチャート。 同上の実施形態におけるバイラテラルフィルタのガウス分布の波形を示す図。 同上の実施形態におけるバイラテラルフィルタの反転形のガウス分布の波形を示す図。 同上の実施形態におけるメキシカンハットフィルタとガウス分布とを掛け合わせた波形を示す図。 同上の実施形態における、第３のフィルタ処理例の動作を示すフローチャート。

以下、本発明の実施形態を添付図面に基づいて説明する。

図１は、本発明の一実施形態である画像形成装置１、例えば、デジタルＭＦＰ（Digital Multi-Function Peripheral）のシステム構成例を示す図である。この画像形成装置１は、デジタルカラー複合機として機能するもので、例えば、コピー機能、プリンタ機能、スキャナー機能、ＦＡＸ機能、ストレージ機能等が実現される。

画像形成装置１は、読取部１１、画像処理部１２、ページメモリ部１３、画像記録部１４を備えており、これらの構成によってコピー機能を実現している。読取部１１は、原稿を、例えば３ラインＣＣＤセンサで光学的に読み取り、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーデジタル画像信号に変換する。

画像処理部１２は、スキャナー系画像処理部２１、プリンタ系画像処理部２２、および画像調整部２０を含む。

スキャナー系画像処理部２１は、主走査方向の信号レベルの不均一性を補正するシェーディング補正等の各種画像処理を行う。また、コピー機能として動作する場合には、Ｒ，Ｇ，Ｂの三原色から例えばシアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の色信号に変換してページメモリ部１３へ出力する一方、スキャナー機能として動作する場合には、Ｒ，Ｇ，Ｂの３原色としてページメモリ部１３へ出力する。

プリンタ系画像処理部２２は、ページメモリ部１３から出力される画像信号に対して、印刷のための画像処理、例えばγ補正処理や階調処理等を行い、画像記録部１４に出力する。

画像調整部２０は、読取部１１またはページメモリ部１３から入力された画像信号に対してノイズ低減処理およびエッジ強調処理を行う。詳細は後に記載する。

ページメモリ部１３は、スキャナー系画像処理部２１で出力した画像信号を、例えばページ単位で一時的に記憶し、再度画像処理部１２へ出力する。

画像記録部１４は、例えば電子写真方式で記録紙に画像を印刷する構成品であり、露光装置、感光ドラム、現像装置等（いずれも図示せず）等を備えて構成されるものである。

また画像形成装置１は、ストレージ部１５、プリンタコントローラ部１６、ＦＡＸコントローラ部１７、電子データ作成部１８、外部Ｉ／Ｆ部１９、を備えている。これらの構成品は、画像形成装置1をストレージ機能、プリンタ機能、ＦＡＸ機能、スキャナー機能等として動作させる場合に用いられるものである。

ストレージ部１５は、例えばＨＤＤ（Hard Disk Drive）で構成されるものであり、読取部１１で読み取った画像信号や外部のパーソナルコンピュータ等から入力した画像信号を記憶する。ストレージ部１５に記憶された画像信号は必要に応じて読み出され、画像記録部１４で印刷し、或いは、スキャンデータとして外部に出力することができる。

電子データ作成部１８は、画像形成装置１をスキャナー機能として動作させる際に、画像信号を所定のデータフォーマットに変換しスキャンデータを生成する。生成されたスキャンデータは、外部Ｉ／Ｆ部１９を介して外部に出力される。

ＦＡＸコントローラ部１７は、画像形成装置１をＦＡＸ機能として動作させるものである。読取部１１で読み取られた画像信号をＦＡＸ用のデータフォーマットに変換し、外部Ｉ／Ｆ部１９を介して外部の電話回線に出力する。また、電話回線から入力されるＦＡＸデータを画像信号に変換して、画像記録部１４で印刷を行うことができる。

プリンタコントローラ部１６は、画像形成装置１をプリンタ機能として動作させる際にプリント機能に必要となる各種制御や各種処理を行う。制御部１０は、画像形成装置１の全体に係る制御を行っている。

図２に、画像調整部２０内の構成を示す。画像調整部２０は、画素抽出部２０１、輝度演算部２０２、標準偏差算出部２０３、フィルタ処理部２０４を含む。画素抽出部２０１は、画像から任意の注目画素を中心として、所定範囲の画素ブロックを抽出する。輝度演算部２０２は各画素の輝度値を算出する。標準偏差算出部２０３は、画素抽出部２０１で抽出された所定範囲の画素ブロックにおいて、注目画素と他の画素との輝度値の差の標準偏差値を算出する。フィルタ処理部２０４は、標準偏差算出部２０３で求めた標準偏差値を用いて、画素抽出部２０１で抽出した画素ブロックにおけるフィルタ処理を行う。標準偏差値が大きい画素ブロックについては、文字と見なし、エッジを強調するために高い周波数成分を強調するフィルタ処理を行う。標準偏差値が小さい画素ブロックについては、写真または絵と見なし、ノイズ低減を行うために低い周波数成分を強める（高い周波数成分を抑える）フィルタ処理を行う。

図３に画像から画素抽出を行う例を、図４にそのフローチャートを示す。読取部１１が画像を走査して読み取ると（ステップＳ１０１）、画素抽出部２０１は、任意の注目画素（図３の例ではグレーの網掛け部分）を中心とした、５×５の範囲の画素ブロックを抽出する（ステップＳ１０３）。輝度演算部２０２は、画素抽出部２０１が抽出した画素ブロック内の各画素の輝度値を演算する（ステップＳ１０５）。標準偏差算出部２０３は、演算した各画素の輝度値から、注目画素と他の各画素との輝度値の差の標準偏差値を算出する（ステップＳ１０７）。フィルタ処理部２０４は、画素ブロックの画像に対して算出した標準偏差値より、画像の特徴を反映したフィルタ処理を行い、画像に対して適切な処理を行う。以下フィルタ処理の例を説明する。

＜第１のフィルタ処理例＞
フィルタ処理部２０４で用いるフィルタの第１の例として、変形したバイラテラルフィルタについて説明する。

まず、バイラテラルフィルタは、下記（１）式で示される。

（１）式において、注目画素をI(i,j)とし、I(i+m、j+n)を注目画素の任意の近傍画素とする。ここで、m、nは近傍画素からの画素の変位量であり、mを走査方向（i方向）の変位量、nを副走査方向（j方向）の変位量とする。また、σ₁は空間フィルタの標準偏差値、σ₂は抽出した画素ブロック内での輝度値の差の標準偏差値である。(１)式内の分子第２項は空間フィルタ、分子第３項はガウス分布を示す。分母は正規化のための式である。

バイラテラルフィルタでは、注目画素の輝度値と近傍画素の輝度値との差分により、空間フィルタを制御するガウス分布の波形が変化する。図５にバイラテラルフィルタにおけるガウス分布の波形を示す。図５では上に凸の形状である。ガウス分布は、輝度値の差分が大きいほどなだらかな波形を描き、輝度値の差分が小さいほど急峻な波形を描く。図５では横軸が空間軸であるが、横軸を周波数軸におきかえた場合も同様の傾向となる。

空間フィルタ（（１）式の分子第２項）にローパスフィルタを選び、このガウス分布と、空間フィルタであるローパスフィルタを併合させ乗算すると、ローパスフィルタのフィルタ適用範囲が変化することになる。よって、ガウス分布が急峻な波形を描く場合は、ローパスフィルタの効果が強くなり、ガウス分布がなだらかな波形を描く場合は、ローパスフィルタの効果が弱くなる。このようにガウス分布によりローパスフィルタの効果の大小を制御することができる。

バイラテラルフィルタのガウス分布が備えるこのローパスフィルタの効果を、高域成分を強調するハイパスフィルタの効果に応用するために、バイラテラルフィルタのガウス分布を反転した形（バイラテラルフィルタのガウス分布反転形）を（２）式に示し、その形状を図６に示す。

（２）式は、（１）式の分子第３項のガウス分布を示す部分を１から減算する形となっており、図６で示すように、図５を反転させた、下に凸の形状となっている。ガウス分布は、輝度値の差分が大きいほど急峻な波形を描き、輝度値の差分が小さいほどなだらかな波形を描く。図６では横軸が空間軸であるが、周波数軸におきかえた場合も同様の傾向となる。

空間フィルタ（（１）式の分子第２項）にハイパスフィルタを選び、この反転したガウス分布と、空間フィルタであるハイパスフィルタを併合させ乗算すると、フィルタの適応範囲も逆転し、差分が大きいほどフィルタが適用される。よって、ガウス分布が急峻な波形を描く場合は、ハイパスフィルタの効果が強くなり、ガウス分布がなだらかな波形を描く場合は、ハイパスフィルタの効果が弱くなる。

よって（２）式の「バイラテラルフィルタのガウス分布反転形」を用いることによって、輝度値の差分が大きい文字や線などには、ハイパスフィルタの効果であるエッジ強調効果を高め、よりくっきりした画像が出力される。逆に輝度値の差分が小さい写真等にはエッジ強調効果を弱め、なめらかな画像が出力される。

＜第２のフィルタ処理例＞
フィルタ処理部２０４で用いるフィルタの第２の例として、メキシカンハットフィルタを用いた例について説明する。（３）式は、（１）式のバイラテラルフィルタのガウス分布に、輝度値の差分を空間フィルタの標準偏差値σ₁で正規化したメキシカンハットフィルタを掛け合わせている。

ここでａは制御係数であり、輝度値の標準偏差値σ₂に比例する。図７に、制御係数ａの違いによる、メキシカンハットフィルタ（（３）式の分子第３項）とガウス分布（（３）式の分子第４項）とを掛け合わせた式の波形を示す。輝度値の差分が０の場合はメキシカンハットフィルタの項が０となりガウス分布のみとなる。輝度値の変化が空間フィルタの標準偏差値σ₁と比較して小さい場合も、メキシカンハットフィルタの要素が小さいためガウス分布のみの波形に近くなり、ローパスフィルタの効果が強くなる。輝度値の差分が空間フィルタの標準偏差値σ₁と比較して大きい場合は、メキシカンハットフィルタの要素が強くなる。

また制御係数ａは図７における波形の幅を示している。制御係数ａが小さいと波形の幅が大きくなり、ガウス分布に近づいて、ハイパスフィルタの効果およびローパスフィルタの効果が弱い。制御係数ａが大きいと波形がメキシカンハット型となり、ハイパスフィルタの効果およびローパスフィルタの効果が強くなる。

よって（３）式のメキシカンハットフィルタを用いることで、ハイパスフィルタの効果とローパスフィルタの効果の両方を得ることができ、文字や線はエッジ強調効果ではっきりと、写真や絵はノイズ低減効果でなめらかに出力される。

＜第３のフィルタ処理例＞
フィルタ処理部２０４で用いるフィルタの第３の例として、標準偏差値を元にしたローパスフィルタ効果とハイパスフィルタ効果の切り替えについて、図８のフローチャートを参照して説明する。

標準偏差算出部２０３は、図４のステップＳ１０７で求めた標準偏差値を正規化して制御係数ｎを求める。この制御係数ｎを空間フィルタ（ローパスフィルタおよびハイパスフィルタ）における重みづけとする。フィルタ処理部２０４は制御係数ｎを用いて、（４）式のフィルタ係数を与える（ステップＳ２０１）。

ここでＨＰＦはハイパスフィルタを示す項、ＬＰＦはローパスフィルタを示す項である。（４）式より、制御係数ｎが大きい、つまり標準偏差値が大きいときは、抽出した画像に文字や線があると見なし、エッジを強調するために高い周波数成分を強調するフィルタ処理（（４）式のＨＰＦの項）となっている。逆に、制御係数ｎが小さい、つまり標準偏差値が小さいときは、抽出した画像に写真や絵があると見なし、ノイズを低減するために低い周波数成分を強調するフィルタ処理（（４）式のＬＰＦの項）となっている。

次に、フィルタ処理部２０４は（４）式で算出したFilter[x][y]を、ステップＳ１０３で抽出した５×５の画素にそれぞれ乗算する（ステップＳ２０３）。このとき、Filter[x][y]と乗算する画素I[x][y]とは、座標が対応している。

次に、フィルタ処理部２０４は、下記の（５）式に示すように、各画素で乗算した結果の総和を取り、Filter[x][y]の総和（（５）式ではSUM_Filterと表示）で除算する（ステップＳ２０５）。ステップＳ２０５で得られた出力画像をg[x][y]とする。

以上の動作を画像全体に対して行う。具体的には、ある画像範囲での処理が終わったら、次に抽出する画像範囲を走査方向あるいは副走査方向のどちらかに画素１つ分ずらして、輝度値の標準偏差値を求める。画像全体における処理が終了したら（ステップＳ２０７で「Ｙｅｓ」）、画像調整部２０は画像記録部１４に画像出力する（ステップＳ２０９）。

これにより、抽出した画像範囲における注目画素からの標準偏差値に基づいた制御係数ｎによって、フィルタの重みづけが変化し、ローパスフィルタの効果とハイパスフィルタの効果を画像によって切り替えることが可能となり、エッジ強調とノイズ低減の両効果が同時に実現可能となる。

なお、（４）式におけるローパスフィルタとハイパスフィルタの具体例は、その効果があればどのようなフィルタであってもよい。また、（４）式において、単にエッジ強調のみを行いたい場合は、ｎ＝１としてＬＰＦの項を除去すればよい。逆に、単にノイズ低減のみを行いたい場合は、ｎ＝０としてＨＰＦの項を除去すればよい。

以上説明したように、本実施形態によれば、任意の画像範囲における、注目画素との輝度値の差の標準偏差値をフィルタ処理に用いて、文字等に対するエッジ強調効果と、写真等に対するノイズ低減の効果の両方を得ることができる。また、モアレの低減にも効果があり、モアレを抑えながらも文字を強調させて出力できる。

特に、文字や線の画像では、エッジを強調してより鮮明な画像にすることができる。具体的には、バイラテラルフィルタのガウス分布反転形、メキシカンハットフィルタ、ローパスフィルタおよびハイパスフィルタに標準偏差による重みづけをしたフィルタ係数を有するフィルタが有効である。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１…画像形成装置、１０…制御部、１１…読取部、１２…画像処理部、１３…ページメモリ部、１４…画像形成部、１５…ストレージ部、１６…プリンタコントローラ部、１７…ＦＡＸコントローラ部、１８…電子データ作成部、２０…画像調整部、２１…スキャナー系画像処理部、２２…プリンタ系画像処理部、２０１…画素抽出部、２０２…輝度演算部、２０３…標準偏差算出部、２０４…フィルタ処理部。

Claims (5)

1. 画像信号における文字、線や写真、絵等の画像の特徴を判定する画像処理装置において、
   前記画像信号から任意の注目画素および前記注目画素を中心とした所定範囲の画素ブロックを抽出する画素抽出部と、
   前記画素抽出部で抽出した前記画素ブロック内の各画素の輝度値を演算する輝度演算部と、
   前記輝度演算部で演算した前記各画素の輝度値と前記注目画素の輝度値の差から、標準偏差値を求める標準偏差算出部と、
   前記標準偏差算出部で算出した前記標準偏差値を用いて、前記画素抽出部で抽出した前記所定範囲における画素ブロックについてフィルタ処理を行うフィルタ処理部と、
   前記フィルタ処理部でフィルタ処理を行った前記画素ブロックを出力する出力部と、
   を有し、
   前記フィルタ処理部は、前記標準偏差算出部で算出した前記標準偏差値が大きい場合、前記画素ブロックに対しエッジ強調処理を行い、前記標準偏差値が小さい場合、前記画像ブロックに対しノイズ低減処理を行う、
   ことを特徴とする画像処理装置。
2. 前記フィルタ処理部は、バイラテラルフィルタのガウス分布要素を反転した形のフィルタを有する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記フィルタ処理部は、バイラテラルフィルタにメキシカンハットフィルタの要素を掛け合わせた形のフィルタを有する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記フィルタ処理部は、ハイパスフィルタとローパスフィルタの組み合わせで合成され、前記標準偏差算出部で求めた前記標準偏差を正規化した正規化標準偏差をσ₀とすると、ハイパスフィルタをσ₀で重みづけし、ローパスフィルタを（１−σ₀）で重みづけする
   ことを特徴とする請求項１記載の画像処理装置。
5. 画像信号における文字、線や写真、絵等の画像の特徴を判定する画像処理方法において、
   前記画像信号から任意の注目画素および前記注目画素を中心とした所定範囲の画素ブロックを抽出し、
   抽出した前記画素ブロック内の各画素の輝度値を演算し、
   演算した前記各画素の輝度値と前記注目画素の輝度値の差から、標準偏差値を求め、
   算出した前記標準偏差値を用いて、抽出した前記所定範囲における画素ブロックについてフィルタ処理を行い、
   フィルタ処理を行った前記画素ブロックを出力し、
   算出した前記標準偏差値が大きい場合、前記画素ブロックに対しエッジ強調処理を行い、前記標準偏差値が小さい場合、前記画像ブロックに対しノイズ低減処理を行う、
   ことを特徴とする画像処理方法。