JP7357853B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、二値化処理技術に関する。

地肌ノイズが含まれている原稿を読取り、その読取画像を二値化処理すると不要な地肌ノイズが残存する問題がある。このような問題に対し、たとえば特許文献１は、入力画像の濃度ヒストグラムにおいて、各濃度に対する度数の移動平均を求め、その結果の最大度数に対する濃度値に基づいて二値化スライスレベルを求め、二値化を行う技術を提案している。しかしながら、閾値は、移動平均を取った後のヒストグラムが明確な双峰性を持つことを前提として簡易な方法で設定されているので、明確な双峰性が無い場合には、閾値を設定することができないという問題がある。一方、特許文献２は、ｎ×ｎ画素の「セル」を取得し、そのセルを中心にｍ×ｍ画素（ｎ＜ｍ）の測定領域を設定し、測定領域内の輝度ヒストグラムからセルに対する局所的しきい値を求め、予め設定された制限値の範囲内で局所的しきい値を用いてセルを２値化する技術を提案している。予め設定された制限値の範囲内としているのは、ノイズ成分の取り出しを抑制するためである。

特開平７－２６２３４８号公報 特開２００１－２４５１４８号公報

しかしながら、本願発明者の知見によれば、地肌の濃度分布が広い場合には、明確な双峰性が認められない場合も多く、特許文献１は、このような画像の二値化に対応することができないという問題がある。一方、本願発明者の解析によれば、ノイズ成分の発生は、地肌の濃度に応じて変動するので、予め設定されている固定の制限値では、ノイズ成分の取り出しと薄い図形や文字の消滅のトレードオフの問題から逃れられないという問題がある。

本発明は、このような状況に鑑みてなされたものであり、低濃度画像の判別と画像ノイズの抑制の両立を改善する二値化処理技術を提供することを目的とする。

本発明の画像処理装置は、入力画像データに対して判別分析法で第１のクラスの平均階調値である第１の平均階調値と、背景画像を比較的に多く含む側である第２のクラスの平均階調値である第２の平均階調値とを算出するヒストグラム解析部と、前記第１の平均階調値と前記第２の平均階調値の間において、閾値を調整するためのユーザー入力を受け付ける操作表示部と、前記操作表示部に入力されたユーザー入力に応じて前記閾値を調整し、前記調整された閾値を使用して二値化処理を実行する二値化処理部とを備え、前記操作表示部は、前記閾値を操作に応じて実時間で前記二値化処理後の画像を表示する。

本発明の画像形成方法は、入力画像データに対して判別分析法で第１のクラスの平均階調値である第１の平均階調値と、背景画像を比較的に多く含む側である第２のクラスの平均階調値である第２の平均階調値とを算出するヒストグラム解析工程と、前記第１の平均階調値と前記第２の平均階調値の間において、閾値を調整するためのユーザー入力を受け付ける操作表示工程と、前記操作表示工程で入力されたユーザー入力に応じて前記閾値を調整し、前記調整された閾値を使用して二値化処理を実行する二値化処理工程とを備え、前記操作表示工程は、前記閾値を操作に応じて実時間で前記二値化処理後の画像を表示する。

本発明の画像処理プログラムは、入力画像データに対して判別分析法で第１のクラスの平均階調値である第１の平均階調値と、背景画像を比較的に多く含む側である第２のクラスの平均階調値である第２の平均階調値とを算出するヒストグラム解析部、前記第１の平均階調値と前記第２の平均階調値の間において、閾値を調整するためのユーザー入力を受け付ける操作表示部、及び前記操作表示部に入力されたユーザー入力に応じて前記閾値を調整し、前記調整された閾値を使用して二値化処理を実行する二値化処理部として画像処理装置を機能させ、前記操作表示部は、前記閾値を操作に応じて実時間で前記二値化処理後の画像を表示する。

本発明によれば、低濃度画像の判別と画像ノイズの抑制の両立を改善する二値化処理技術を提供することができる。

本発明の第１実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。 第１実施形態に係る画像形成装置１０の機能的構成を示すブロックダイアグラムである。 読取画像及び読取画像の輝度ヒストグラムを示す説明図である。 比較例に係る二値化処理及び比較例の二値化処理用閾値ＴＨｃを示す説明図である。 第１実施形態に係る二値化処理手順の内容を示すフローチャートである。 第１実施形態に係るローパスフィルタ処理の内容を示す説明図である。 第１実施形態に係るページ閾値設定処理の内容を示すフローチャートである。 第１実施形態に係るページ閾値設定処理の内容を示す説明図である。 第１実施形態及び比較例に係る地肌ノイズ判定用閾値設定処理の内容を示す説明図である。 第１実施形態及び比較例に係る地肌ノイズ除去処理の内容を示す説明図である。 第１実施形態に係る地肌ノイズ除去処理及び二値化処理の内容を示す説明図である。 第１実施形態に係る二値化処理の内容を示すフローチャートである。 第１実施形態に係る着目局所領域選択の様子を示す説明図である。 第１実施形態に係る切替用閾値ＴＨＳを示すグラフである。 第１実施形態に係る二値化処理の内容を示す説明図である。 第２実施形態に係る二値化用閾値調整処理の内容を示すフローチャートである。 第２実施形態に係る操作表示画面を示す説明図である。 変形例に係るフィルタ処理の内容を示す説明図である。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して以下の順序で説明する。
Ａ．第１実施形態：
Ｂ．第２実施形態：
Ｃ．変形例：

Ａ．第１実施形態：
図１は、本発明の第１実施形態に係る画像形成装置１０の全体構成を示す概略構成図である。図２は、第１実施形態に係る画像形成装置１０の機能的構成を示すブロックダイアグラムである。画像形成装置１０は、画像読取部１００と、制御部２１０と、画像形成部２２０と、操作表示部２３０と、記憶部２４０と、ＦＡＸ処理部２５０とを備えている。画像読取部１００は、自動原稿送り装置（ＡＤＦ）１６０と原稿台（コンタクトガラス）１５０とを有し、原稿から画像（原画像）を読み取ってデジタルデータである画像データＩＤを生成する。

画像形成部２２０は、画像データＩＤに基づいて印刷媒体（図示せず）に画像を形成して排出する。画像形成部２２０は、色変換処理部２２１と、ハーフトーン処理部２２２と、画像出力部２２３とを備える。色変換処理部２２１は、ＲＧＢデータである画像データＩＤをＣＭＹＫ画像データに色変換する。ハーフトーン処理部２２２は、ハーフトーン処理を実行してＣＭＹＫ画像データのハーフトーンデータを生成する。画像出力部２２３は、ハーフトーンデータに基づいて画像を形成する。操作表示部２３０は、タッチパネルとして機能するディスプレイ（図示せず）や各種ボタンやスイッチ（図示せず）からユーザーの操作入力を受け付ける。

制御部２１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部２１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェイスに関連するコントローラ機能を備え、画像形成装置１０全体を制御する。

記憶部２４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御部２１０や二値化処理部１４０が実行する処理の制御プログラム（画像処理プログラムを含む。）やデータを記憶する。

画像読取部１００は、図２に示されるように、光源ドライバ１１１と、光源１１２とを備えている。光源１１２は、原稿Ｄに光を照射する複数のＬＥＤ（図示せず）を有する。光源ドライバ１１１は、主走査方向に配列されている複数のＬＥＤを駆動するＬＥＤドライバであり、光源１１２のオンオフ駆動制御を行う。これにより、光源１１２は、可変の駆動デューティのパルス幅変調（ＰＷＭ）で原稿Ｄの原稿面を照射光Ｌ１で照射することができる。

照射光Ｌ１は、原稿Ｄの面に垂直な方向に対して４５度（傾斜した方向）の角度で照射される。原稿Ｄは、拡散反射光Ｌ２と、正反射光とを含む反射光を反射する。受光素子１２２は、拡散反射光Ｌ２を受光する。

画像読取部１００は、さらに、図１に示されるように、原稿Ｄとイメージセンサ１２１との間に、第１反射鏡１１３と、第１キャリッジ１１４と、第２反射鏡１１５と、第３反射鏡１１６と、第２キャリッジ１１７と、集光レンズ１１８とを備えている。第１反射鏡１１３は、原稿Ｄからの拡散反射光Ｌ２を第２反射鏡１１５の方向に反射する。第２反射鏡１１５は、拡散反射光Ｌ２を第３反射鏡１１６の方向に反射する。第３反射鏡１１６は、拡散反射光Ｌ２を集光レンズ１１８の方向に反射する。集光レンズ１１８は、拡散反射光Ｌ２をイメージセンサ１２１が有する複数の受光素子１２２の各受光面（図示せず）に結像する。

イメージセンサ１２１は、Ｒ，Ｇ，Ｂの各色成分のカラーフィルタ（図示略）を使用してＲ，Ｇ，Ｂの３つの色をそれぞれ検知する３本のＣＣＤラインセンサ（図示せず）である。イメージセンサ１２１は、主走査方向に延びている３本のＣＣＤラインセンサで原稿を走査（副走査）して原稿上の画像をＲ，Ｇ，Ｂに対応する電圧値の組合せとして取得する。このように、イメージセンサ１２１は、光電変換処理を行って、主走査方向の画素毎のＲ，Ｇ，Ｂのアナログ電気信号を出力することができる。

第１キャリッジ１１４は、光源１１２と第１反射鏡１１３とを搭載し、副走査方向に往復動する。第２キャリッジ１１７は、第２反射鏡１１５と第３反射鏡１１６とを搭載し、副走査方向に往復動する。第１キャリッジ１１４及び第２キャリッジ１１７は、走査制御部として機能する制御部２１０によって制御される。これにより、光源１１２は原稿を副走査方向に走査することができるので、イメージセンサ１２１は、原稿上の２次元画像に応じてアナログ電気信号を出力することができる。

なお、自動原稿送り装置（ＡＤＦ）１６０が使用される場合には、第１キャリッジ１１４及び第２キャリッジ１１７は、予め設定されている副走査位置に固定され、原稿Ｄの自動送りによって副走査方向の走査が行われる。なお、ＡＤＦ１６０には、片面だけでなく両面を同時にあるいは逐次に読み取るものもある。

ＡＤＦ１６０は、紙送りローラー１６１と、原稿読取スリット１６２とを備えている。紙送りローラー１６１は、原稿の自動送りを行い、原稿の読み取りが原稿読取スリット１６２を介して行われる。この場合には、第１キャリッジ１１４が予め設定されている副走査位置に固定されるので、第１キャリッジ１１４に搭載されている光源１１２も所定位置に固定されることになる。

画像読取部１００は、図２に示されるように、さらに、信号処理部１２３と、シェーディング補正部１２４と、シェーディング補正テーブル１２４ａと、ガンマ変換部１２５と、二値化処理部１４０と、ＡＧＣ処理部１３０と、白基準板１３２（図１参照）とを備えている。二値化処理部１４０は、フィルタ処理部１４１と、閾値設定部１４２とを有している。

信号処理部１２３は、Ａ／Ｄ変換機能を有する可変利得増幅器である。信号処理部１２３は、ＡＧＣ処理部１３０で設定され、記憶部２４０に格納されている利得でアナログ電気信号を増幅し、増幅されたアナログ電気信号をＡ／Ｄ変換してデジタルデータとする。

ＡＧＣ処理部１３０は、本実施形態では、黒基準信号と白基準信号とを使用して複数の受光素子１２２のそれぞれに対して最適な利得とオフセット値とを設定する利得調整部である。黒基準信号は、光源１１２がオフの状態における受光素子１２２のアナログ電気信号である。白基準信号は、原稿Ｄの代わりに白基準板１３２を照射したときの受光素子１２２のアナログ電気信号である。

ＡＧＣ処理部１３０は、黒基準信号が信号処理部１２３によってＡ／Ｄ変換されたときの画像データＩＤのＲＧＢの各階調値が最小値「０」となるようにオフセット値を設定する。ＡＧＣ処理部１３０は、このオフセット値を使用して白基準信号が信号処理部１２３によってＡ／Ｄ変換されたときの画像データＩＤのＲＧＢの各階調値が最大値「２５５」となるように利得を設定する。これにより、最小値「０」から最大値「２５５」までのダイナミックレンジを有効に利用することができる。

シェーディング補正部１２４は、デジタルデータに対してシェーディング補正を実行して画像データＩＤを生成する。シェーディング補正は、光源１１２の長さ方向の光量不均一性やレンズのコサイン４乗則による周辺減光、主走査方向に配列されている複数の受光素子１２２の感度ムラに起因して発生するシェーディングを抑制するための補正である。ガンマ変換部１２５は、画像読取部１００の特性に基づいてガンマ変換を行う。これにより、画像読取部１００は、ＲＧＢの各階調値を有する画像データＩＤを生成することができる。

二値化処理部１４０は、輝度値Ｌの計算式（輝度値Ｌ≒０．３Ｒ＋０．６Ｇ＋０．１Ｂ）を使用し、画像データＩＤのＲＧＢの各階調値を使用して輝度値Ｌを算出してモノクロ画像データＭＤ０を生成する。二値化処理部１４０は、さらに、モノクロ画像データＭＤ０に対して二値化処理を実行して各画素が１ビットで表される二値データＢＤとする。ＦＡＸ処理部２５０は、データサイズが小さな二値データＢＤを使用してファクシミリの送信処理を実行することができる。

このように、画像読取部１００は、原稿Ｄ上の画像を読み取って画像データＩＤを生成し、必要に応じて二値データＢＤを生成する。画像データＩＤは、原稿Ｄ上の画像をＲＧＢの各階調値（０～２５５）で表すＲＧＢ画像データである。

図３は、読取画像及び読取画像の輝度ヒストグラムを示す説明図である。図３（ａ）は、原稿画像Ｄ０を示している。原稿画像Ｄ０は、地肌の輝度が比較的に低い視認性の悪い画像である。原稿画像Ｄ０は、画像読取部１００の読取りによって生成された画像データＩＤによって表される画像である。

図３（ｂ）は、モノクロ画像データＭＤ０の輝度ヒストグラムＨ０を示している。モノクロ画像データＭＤ０は、原稿画像Ｄ０を表す画像データＩＤの輝度値Ｌのヒストグラムである。輝度ヒストグラムの横軸は、輝度階調値（０（黒）乃至２５５（白））であり、縦軸は、画素数（頻度）である。輝度ヒストグラムＨ０は、黒文字のテキストや罫線といった線画の画像を構成する画素群である線画画素群と、地肌画像を構成する画素群である地肌画素群とを含んでいる。

図４は、比較例に係る二値化処理及び比較例の二値化処理用閾値ＴＨｃを示す説明図である。二値化処理用閾値ＴＨｃは、比較例としての判別分析法（大津の方法）を用いて設定されている。判別分析法は、輝度ヒストグラムを暫定閾値によって２つのクラスに分け、各クラス内の分散値とクラス間の分散値からヒストグラムの形状を調べ、もっとも谷部に位置すると思われる閾値を採用する手法である。なお、判別分析法の処理内容については後述する。

図４（ａ）は、比較例に係る二値化処理の処理結果としての二値化画像Ｄｃを示している。二値化画像Ｄｃは、二値化処理後の二値データＢＤによって表される画像である。二値データＢＤは、二値化処理部１４０によって、入力画像データとしてのモノクロ画像データＭＤ０の線画画素群の輝度階調値を「０（黒）」とし、地肌画素群のうち二値化処理用閾値ＴＨｃよりも輝度階調値が低い画素の輝度階調値を「０」とする一方、他の画素の輝度階調値を「１（白）」とすることによって生成される画像データである。

図４（ｂ）は、比較例に係る二値化処理用閾値ＴＨｃを示している。二値化処理用閾値ＴＨｃは、黒文字のテキスト画像をパターン領域と判別するだけでなく、地肌画像のうち輝度の低い画素から構成される画像領域もパターン領域と判別している。パターン領域と判別された地肌画像の輝度は、二値化処理部１４０によって「０（黒）」に輝度が変更されるので、二値化画像Ｄｃは、二値化処理によって顕著に粒状性が悪化した（荒い）画像となっている（図４（ａ）参照）。

図５は、第１実施形態に係る二値化処理手順の内容を示すフローチャートである。第１実施形態に係る二値化処理は、上述のような地肌画像に起因する粒状性の悪化を顕著に抑制することができる。

ステップＳ１００では、二値化処理部１４０のフィルタ処理部１４１は、ローパスフィルタ処理を実行する。ローパスフィルタ処理では、二値化処理部１４０は、たとえば３００ｄｐｉのモノクロ画像データＭＤ０（入力画像データとも呼ばれる。）に対して、５×５画素のガウシアンフィルタを使用して平滑化処理を実行する。これにより、ローパスフィルタ処理は、地肌画像のノイズを平滑化してモノクロ画像データＭＤ１を生成することができる。地肌画像のノイズは、背景ノイズの一例である。

図６は、第１実施形態に係るローパスフィルタ処理の内容を示す説明図である。図６（ａ）は、ローパスフィルタ処理前のモノクロ画像データＭＤ０の輝度ヒストグラムＨ０を示している。図６（ｂ）は、ローパスフィルタ処理後のモノクロ画像データＭＤ１の輝度ヒストグラムＨ１を示している。輝度ヒストグラムＨ１から分かるように、離散的となっている地肌画素群の階調値分布が単一の山にまとまっている。

ローパスフィルタ処理は、モノクロ画像データＭＤ０の高周波成分（画素値の変動が激しい地肌の階調領域（ノイジーでギザギザな輝度成分））を平滑化し、これにより、背景ノイズ判定用閾値設定処理（ステップＳ３００）で適切な閾値を設定可能とするために実行される。

ステップＳ２００では、二値化処理部１４０の閾値設定部１４２は、ローパスフィルタ処理後の輝度ヒストグラムＨ１に基づいてページ閾値ＴＨＰを設定する。ページ閾値設定処理では、二値化処理部１４０は、判別分析法（大津の方法）を使用してページ閾値を設定する。ページ閾値ＴＨＰは、画像の全面に適用可能な二値化用閾値である。

図７は、第１実施形態に係るページ閾値設定処理（ステップＳ２００）の内容を示すフローチャートである。図８は、第１実施形態に係るページ閾値設定処理の内容を示す説明図である。ステップＳ２１０では、二値化処理部１４０は、ヒストグラム解析部として機能し、暫定閾値を使用して輝度ヒストグラムＨ１を暫定的にクラス１（第１のクラスとも呼ばれる。）とクラス２（第２のクラスとも呼ばれる。）の２つのクラスにクラス分けする（図８（ａ）参照）。第２のクラスは、背景画像を比較的に多く含む側のクラスである。

ステップＳ２２０では、二値化処理部１４０は、クラス内分散算出処理を実行する。クラス内分散算出処理では、二値化処理部１４０は、計算式Ｆ１を使用してクラス内分散を算出する。ステップＳ２３０では、二値化処理部１４０は、クラス間分散算出処理を実行する。クラス間分散算出処理では、二値化処理部１４０は、計算式Ｆ２を使用してクラス間分散を算出する。ステップＳ２４０では、二値化処理部１４０は、全分散算出処理を実行する。全分散算出処理では、二値化処理部１４０は、計算式Ｆ３を使用して全分散を算出する。全分散は、暫定閾値の評価値として使用することができる。

二値化処理部１４０は、輝度階調値の全階調値でステップＳ２１０乃至ステップＳ２４０の処理を繰り返して実行する（ステップＳ２５０）。ステップＳ２６０では、二値化処理部１４０は、全分散が最大の階調値にページ閾値ＴＨＰを設定する。

ステップＳ３００では、二値化処理部１４０は、背景ノイズ判定用閾値設定部として機能し、地肌ノイズ判定用の閾値である地肌ノイズ判定用閾値ＴＨＢを設定する。なお、本処理（ステップＳ３００）は、地肌が黒の場合には、スキップするようにしてもよい。地肌ノイズ判定用閾値ＴＨＢは、背景ノイズ判定用閾値とも呼ばれる。

図９は、第１実施形態及び比較例に係る地肌ノイズ判定用閾値設定処理の内容を示す説明図である。図１０は、第１実施形態及び比較例に係る地肌ノイズ除去処理の内容を示す説明図である。図９（ａ）は、第１実施形態に係る地肌ノイズ判定用閾値ＴＨＢを設定する方法を示している。図９（ｂ）は、比較例に係る地肌ノイズ判定用閾値設定処理の内容を示す説明図である。図１０（ａ）は、第１実施形態に係る地肌ノイズ除去処理の内容を示す説明図である。図１０（ｂ）は、比較例に係る地肌ノイズ除去処理の内容を示す説明図である。

この例では、二値化処理部１４０は、地肌画像の分布のピーク値ＰＢの画素数であるピーク画素数の所定範囲の割合（たとえば１０％）の画素数（頻度）となる輝度階調値を、ピーク値ＰＢの輝度階調値である背景ピーク階調値の側から輝度階調値の低い側（濃度が濃くなる側）に検索する。

比較例に係る地肌ノイズ判定用閾値ＴＨＢ（図９（ｂ））では、地肌画素群の階調値分布が離散的（ギザギザ）となっているので、二値化処理部１４０は、地肌ノイズを効果的に排除することができる地肌ノイズ判定用閾値を設定してことができないことが分かる（図１０（ｂ）参照）。これに対して、第１実施形態に係る地肌ノイズ判定用閾値ＴＨＢ（図９（ａ））では、地肌画素群の階調値分布が単一の山にまとまっているので、二値化処理部１４０は、円滑に適切な地肌ノイズ判定用閾値を設定して地肌ノイズを効果的に排除することができる（図１０（ａ））。

これにより、二値化処理部１４０は、検索された閾値を地肌ノイズ判定用閾値ＴＨＢとして設定することができる。輝度ヒストグラムＨ１では、上述のように高周波成分（画素値の変動が激しい地肌の階調領域（ノイジーでギザギザな輝度成分））が平滑化されているので、二値化処理部１４０は、地肌の残存が過度とならないような地肌ノイズ判定用閾値ＴＨＢを円滑に設定することができる。所定範囲の割合は、５％乃至２０％が好ましく、５％乃至１５％がより好まく、１０％の近傍が最も好ましい。

ステップＳ４００では、二値化処理部１４０は、ページ閾値ＴＨＰと地肌ノイズ判定用閾値ＴＨＢとを比較し、ページ閾値ＴＨＰが地肌ノイズ判定用閾値ＴＨＢよりも大きな場合には、処理をステップＳ５００に進め、ページ閾値ＴＨＰが地肌ノイズ判定用閾値ＴＨＢ以下の場合には、処理をステップＳ６００に進める。

ステップＳ５００では、二値化処理部１４０は、地肌ノイズ判定用閾値ＴＨＢの値をページ閾値ＴＨＰの値で置き換えて再設定する。これにより、二値化処理部１４０は、地肌ノイズ判定用閾値ＴＨＢが過度に小さく設定された場合に、地肌ノイズ除去処理で過度に地肌ノイズが消去され、残すべきテキスト画像等が削除されるといたことが発生しないようにすることができる。

ステップＳ６００では、二値化処理部１４０は、背景ノイズ低減処理部として機能し、地肌ノイズ除去処理（背景ノイズ低減処理とも呼ばれる。）を実行する。地肌ノイズ除去処理では、二値化処理部１４０は、地肌ノイズ判定用閾値ＴＨＢよりも輝度階調値が高い（濃度が薄い）画素の画素値を地肌ノイズ判定用閾値ＴＨＢの輝度階調値に設定する。

これにより、二値化処理部１４０は、輝度ヒストグラムＨ２を有するモノクロ画像データＭＤ２を生成することができる。輝度ヒストグラムＨ２では、地肌画像の輝度階調値分布が地肌ノイズ判定用閾値ＴＨＢに集中して平滑化され、コントラストが低くなるため後述の二値化処理（ステップＳ７００）においてノイズ（特にエッジ）のパターン画像との誤判別を抑制することができる。

図１１は、第１実施形態に係る地肌ノイズ除去処理及び二値化処理の内容を示す説明図である。この例では、二値化処理部１４０は、後述の二値化処理（ステップＳ７００）とは異なり、二値化処理の閾値をページ閾値ＴＨＰに固定して処理した場合を想定している。図１１（ａ）は、地肌ノイズ除去処理後のモノクロ画像Ｄ１を示している。モノクロ画像Ｄ１は、地肌画像において、顕著に輝度の低い画素の輝度が高くなる一方、顕著に輝度の高い画素の輝度が低くなるように処理されているので、モノトーンの粒状性が向上した（細かい）背景画像を有している。

図１１（ｂ）は、第１実施形態に係る二値化処理後の二値画像Ｄ２を示している。二値画像Ｄ２は、第１実施形態に係るページ閾値ＴＨＰの設定によって、パターン領域の画素と誤判別される背景領域の画素が顕著に減少して、粒状性を悪化させることなく適切な画像となっている。このような誤判別の低減は、地肌ノイズ除去処理によって粒状性が低下し、局所コントラストが低下したことによって実現されている。

このように、第１実施形態に係る画像形成装置１０は、二値化処理用の閾値を設定する前に前処理としてのローパスフィルタ処理を実行する。これにより、二値化処理部１４０は、地肌画像のノイズを低減させるとともに輝度階調値の分散を小さくすることができる。地肌画像のノイズ除去は、二値化処理に伴う粒状性の悪化を低減させることができる。輝度階調値の分散の低減は、地肌画像の輝度階調値の平均値を中心として地肌画像の分布の幅を狭くするとともに、分布の階調値変化を滑らかにして地肌ノイズ判定用閾値ＴＨＢの設定を円滑化することができる。

図１２は、第１実施形態に係る二値化処理（ステップＳ７００）の内容を示すフローチャートである。ステップＳ７１０では、二値化処理部１４０は、着目局所領域選択部として機能し、モノクロ画像データＭＤ２（入力画像データとも呼ばれる。）を構成する複数の画素を（Ｍ×Ｎ）画素（Ｍ及びＮは、たとえば３以上の整数）から構成される複数の局所領域に分割し、前記分割された複数の局所領域を着目局所領域として順に選択する。着目局所領域は、たとえば参照サイズが５×５画素の領域である。参照サイズは、たとえば処理対象となる画像の解像度等に応じて設定される。

図１３は、第１実施形態に係る着目局所領域選択の様子を示す説明図である。図１４は、第１実施形態に係る切替用閾値ＴＨＳを示すグラフである。この例では、２つの局所領域ＬＲ１，ＬＲ２が示されている。着目局所領域として、局所領域ＬＲ１が選択されたときには、黒文字のテキスト画像が参照範囲に入っているので、最小輝度値は０に近い値となり、最大輝度値は地肌の輝度値、すなわち地肌ノイズ判定用閾値ＴＨＢの近傍の輝度値となる。一方、局所領域ＬＲ２が選択されたときには、薄いテキスト画像が参照範囲に入っているので、最小輝度値は薄いテキスト画像の輝度値となって、地肌ノイズ判定用閾値ＴＨＢの近傍の輝度値となり、最大輝度値は地肌の輝度値となる。

ステップＳ７２０では、二値化処理部１４０は、最大輝度値取得処理を実行する。最大輝度値取得処理では、二値化処理部１４０は、着目局所領域内の最大輝度値を取得する。具体的には、二値化処理部１４０は、着目局所領域が局所領域ＬＲ１及び局所領域ＬＲ２のいずれの場合においても、各局所領域内の地肌の最大輝度値を取得することになる。この例では、二値化処理部１４０は、局所領域ＬＲ２において、局所最大輝度値Ｌ＿Ｍａｘ（輝度値１７０）を取得したものとする（図１４（ａ）参照）。最大輝度値は、輝度の最大階調値であり、最も濃度が低い側の濃度階調値である最大階調値でもよい。

ステップＳ７３０では、二値化処理部１４０は、切替用閾値設定部として機能し、切替用閾値設定処理を実行する。切替用閾値設定処理では、二値化処理部１４０は、記憶部２４０から予め設定されている二値化閾値切替用閾値テーブル（閾値切替テーブルとも呼ばれる。）Ｔを読出して切替用閾値ＴＨＳを設定可能な状態とする。この例では、二値化処理部１４０は、局所最大輝度値Ｌ＿Ｍａｘ（輝度値１７０）に基づき、切替用閾値ＴＨＳとして、「３０」を取得したものとする。

閾値切替テーブルＴは、計算式Ｆ４で定義される切替用閾値ＴＨＳを離散化してテーブルとしたものである。切替用閾値ＴＨＳは、背景領域（この例では地肌画像）の輝度が低いほど、局所領域内で発生しているコントラストがパターン領域に起因するのではなく、背景領域の画像のノイズに起因する可能性が高いという発明者の知見に基づいて設定されている。本願発明者は、最大階調値に応じて切替用閾値ＴＨＳを変化させることが好ましいことを実験やシミュレーションで見出した。具体的には、切替用閾値ＴＨＳは、最大階調値が小さくなるほど（濃度が濃くなるほど）大きくなるように設定し、特に線形に変化するように設定することが好ましいことが見いだされた。

ステップＳ７４０では、二値化処理部１４０は、局所コントラスト算出処理を実行する。局所コントラスト算出処理では、二値化処理部１４０は、局所領域内の５×５の２５画素のうちの最大輝度値（この例では１７０）と最小輝度値（この例では１２０）の間の差を局所コントラストＬＣとして算出する（計算式Ｆ５参照）。この例では、二値化処理部１４０は、局所コントラストＬＣとして「５０」（＝１７０－１２０）を取得したものとする。最小輝度値は、輝度の最小階調値であり、最も濃度が濃い側の階調値である最小階調値でもよい。

ステップＳ７５０では、二値化処理部１４０は、局所コントラストＬＣが切替用閾値ＴＨＳよりも大きい場合には、処理をステップＳ７６０に進め、局所コントラストＬＣが切替用閾値ＴＨＳ以下の場合には、処理をステップＳ７７０に進める。これにより、二値化処理部１４０は、背景領域のノイズがパターン領域のコントラストであるとの誤判別や文字の中抜けを抑制することができる。

ステップＳ７６０では、二値化処理部１４０は、局所領域ＬＲ２の二値化処理に使用される二値化処理用閾値として局所閾値ＴＨＬ（計算式Ｆ６参照）を設定する。この例では、計算式Ｆ６において、係数αは、たとえば０．１以上の数値である。ステップＳ７７０では、二値化処理部１４０は、局所領域ＬＲ２の二値化処理に使用される二値化処理用閾値としてページ閾値ＴＨＰを設定する。ステップＳ７１０乃至ステップＳ７７０の処理は、全ての局所領域に対して実行される（ステップＳ７８０）。なお、局所閾値は、最大階調値と最小階調値の間の範囲で設定されるものであればよい。

図１５は、第１実施形態に係る二値化処理の内容を示す説明図である。図１５（ａ）は、薄いテキスト画像を示す原稿画像Ｄ０ａを示している。原稿画像Ｄ０ａは、原稿画像Ｄ０（図３（ａ）参照）と同様の背景画像を有しているが、説明を分かりやすくするために、地肌を除去して示している。図１５（ｂ）は、比較例に係る二値化処理後の画像Ｄｃａを示している。この例において、画像Ｄｃａでは、薄いテキスト画像が背景画像と誤判別されて二値化処理で消滅している。図１５（ｂ）は、第１実施形態に係る二値化処理後の画像Ｄ２を示している。この例において、画像Ｄ２は、薄いテキスト画像がパターン領域の画像と判別されて二値化処理で明確に再現されている。

このように、第１実施形態に係る画像形成装置１０は、局所領域内の最大輝度値に応じて輝度階調値に応じて切替用閾値ＴＨＳを調整しつつ、切替用閾値ＴＨＳに基づいて局所閾値ＴＨＬとページ閾値ＴＨＰとを適切に切り替えて二値化処理を実行する。これにより、低濃度画像（薄いテキスト等）の判別と画像ノイズの抑制の両立を改善することができる。一方、本画像形成装置１０は、地肌ノイズ除去処理によって地肌ノイズのコントラストを低減させているので、背景領域のノイズが低濃度画像のコントラストであるとの誤判別を抑制することもできる。

Ｂ．第２実施形態：
図１６は、第２実施形態に係る二値化用閾値調整処理（ステップＳ８００）の内容を示すフローチャートである。第２実施形態に係る二値化処理は、第１実施形態による二値化処理の後で、ユーザーの希望に応じて二値化用閾値を調整し、改めて二値化処理を実行可能となるように構成されている。第２実施形態に係る二値化処理は、第１実施形態の二値化処理に対して、二値化用閾値調整処理（ステップＳ８００）が処理の最後に追加されている点で第１実施形態と相違する。

図１７は、第２実施形態に係る操作表示画面を示す説明図である。二値化用閾値調整処理（ステップＳ８００）は、二値化処理後において、操作表示部２３０への所定のユーザー入力に応じて対話型微調整処理モードとして起動される。操作表示部２３０は、ユーザーインターフェース画面２３１とスタートボタン２３２とを有している。ユーザーインターフェース画面２３１は、対話型微調整処理モードを有し、選択アイコン２３３と、解除アイコン２３４と、ＯＫアイコン２３５と、濃度減少アイコン２３７ｄと、濃度増加アイコン２３７ｕとを有している。

ステップＳ８１０では、操作表示部２３０は、領域選択のためのユーザー入力を受け付ける。ユーザーは、選択アイコン２３３をタッチして反転させた状態において、ユーザーインターフェース画面２３１上において指をスライドさせて選択領域ＳＲを指定することができる。選択領域を改めて選択するときには、解除アイコン２３４をタッチすることによって選択領域ＳＲの指定を解除することができる。この状態において、ＯＫアイコン２３５をタッチすると、操作表示部２３０は、文字入力用ポップアップ画面（図示略）を表示する。

ステップＳ８２０では、操作表示部２３０は、文字入力のためのポップアップ画面（図示略）においてユーザー入力を受け付ける。ユーザーが文字を入力し、あるいは入力することなく、ポップアップ画面上のＯＫアイコン（図示略）をタッチすると、処理がステップＳ８３０に進められる。

ステップＳ８３０では、制御部２１０のＯＣＲ処理部２１１は、ＯＣＲ確度算出処理を実行する。ＯＣＲ確度算出処理では、ＯＣＲ処理部２１１は、入力された文字の認識を実行し、ＯＣＲ確度（認識の確からしさ）を数値化し、各文字の認識確度の積算値を算出する。ＯＣＲ処理部２１１は、第１実施形態に係る閾値ＴＨ１やページ閾値の際に設定されたクラス１の平均輝度値Ｍ_１（図８参照）とクラス２の平均輝度値Ｍ_２との間において閾値を変更しつつＯＣＲ確度を閾値毎に算出する（ステップＳ８４０）。ＯＣＲ処理部２１１は、文字認識処理部とも呼ばれる。平均輝度値Ｍ_１は、第１の平均階調値とも呼ばれる。平均輝度値Ｍ_２は、第２の平均階調値とも呼ばれる。

ステップＳ８５０では、制御部２１０のＯＣＲ処理部２１１は、最高確度閾値を設定する。最高確度閾値は、入力された各文字の認識確度の積算値が最も高い閾値である。二値化処理部１４０は、最高確度閾値を使用して選択領域ＳＲの二値化処理を実行し、二値化処理後の二値化画像をユーザーインターフェース画面２３１に実時間で表示する。なお、たとえばユーザーの選択によって、最高確度閾値を使用して二値化処理が行われる対象をページ全体とするようにしてもよい。

ステップＳ８６０では、操作表示部２３０は、微調整処理のためのユーザー入力を受け付ける。微調整処理では、濃度減少アイコン２３７ｄをタッチすることによって閾値を大きくする微調整を可能とし、濃度増加アイコン２３７ｕをタッチすることによって閾値を小さくする微調整を可能とする。

このように、第２実施形態に係る画像形成装置１０は、第１実施形態における自動処理の結果に満足できない場合には、特定の領域又はページ全体において、クラス１の平均輝度値Ｍ_１とクラス２の平均輝度値Ｍ_２との間においてＯＣＲ確度が最も高い閾値を自動的に変更して、たとえば自動処理の二値化処理で消滅した文字を対話型微調整処理モードで再現することができる。

これにより、画像形成装置１０は、たとえば異常画像（全白や全黒）に簡易に対処できるとともに、ユーザー好みの二値化処理を実現する事ができる。なお、濃度減少アイコン２３７ｄ及び濃度増加アイコン２３７ｕは、ステップＳ８１０乃至ステップＳ８５０の処理を実行しなかった場合にも全階調値の範囲又は平均輝度値Ｍ_１と平均輝度値Ｍ_２との間で利用可能とすることが好ましい。

Ｃ．変形例：
本発明は、上記実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、ローパスフィルタ処理で使用されるフィルタは、ガウシアンフィルタであるが、それに限定されず、たとえば移動平均フィルタを使用してもよい。さらに、背景画像（たとえば地肌画像）のノイズを除去できる特性を有していれば、ＤＯＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）フィルタ（ガウシアン差分フィルタとも呼ばれる。）のようなノイズの除去とともに線画の強調が可能なバンドパスフィルタも利用可能である。

図１８は、変形例に係るフィルタ処理の内容を示す説明図である。図１８（ａ）は、図９（ａ）と同一であり、ガウシアンフィルタ処理後のモノクロ画像データＭＤ１のヒストグラムＨ１を示している。図１８（ｂ）は、ＤＯＧフィルタ処理後のモノクロ画像データＭＤ１ａのヒストグラムＨ１ａを示している。ヒストグラムＨ１ａでは、薄文字のテキストが強調されている。これにより、二値化処理の閾値設定において、薄文字のテキストの残存性を高めるような適切な閾値を設定可能とすることができる。

変形例２：上記実施形態では、輝度階調値と輝度ヒストグラムが使用されているが、たとえば濃度階調値や濃度ヒストグラムを使用してもよい。濃度は、たとえばＫの色材を使用して印刷したと仮定した場合のＫの色材の濃度階調値である。

変形例３：上記実施形態では、本発明は、画像形成装置に適用されているが、必ずしもい画像形成装置に限定されず、画像読み取り装置や携帯端末用のような画像処理装置として機能する電子機器に適用可能である。

１０ 画像形成装置
２１０ 制御部
２２０ 画像形成部
２３０ 操作表示部
２４０ 記憶部
１００ 画像読取部
１１１ 光源ドライバ
１１２ 光源
１２１ イメージセンサ
１２２ 受光素子
１２３ 信号処理部
１２４ シェーディング補正部
１３０ ＡＧＣ処理部
１４０ 二値化処理部
１４１ フィルタ処理部
１４２ 閾値設定部
１５０ 原稿台
１６０ 自動原稿送り装置
１６２ 原稿読取スリット

Claims (7)

1. 入力画像データに対して、二値化処理用の閾値を設定する前に前処理としてのローパスフィルタ処理を実行するフィルタ処理部と、
   二値化処理用閾値として、前記ローパスフィルタ処理が実行された入力画像データに基づいて、判別分析法を使用して設定されるページ閾値と、局所閾値とを設定する閾値設定部と、
   前記ローパスフィルタ処理が実行された入力画像データに含まれる複数の画素を（Ｍ×Ｎ）画素（Ｍ及びＮは、３以上の整数）から構成される局所領域に分割し、前記分割された複数の局所領域を着目局所領域として順に選択する着目局所領域選択部と、
   前記着目局所領域を構成する複数の画素が有する階調値のうちで最も濃度が低い側の階調値である最大階調値を取得し、前記最大階調値が小さくなるほど大きくなるように切替用閾値を設定する切替用閾値設定部と、
   前記着目局所領域に含まれる複数の画素が有する階調値のうちの前記最大階調値と最小階調値の間の差である局所コントラストと、前記切替用閾値とを比較し、前記局所コントラストが前記切替用閾値よりも大きな場合には、前記最大階調値と前記最小階調値の間の範囲で前記局所コントラストに所定の係数を乗じた値を前記最小階調値に加算した値として設定される前記局所閾値を使用して二値化処理を実行し、前記局所コントラストが前記切替用閾値以下の場合には、前記ページ閾値を使用して二値化処理を実行する二値化処理部と、
   前記ローパスフィルタ処理が実行された入力画像データに対して判別分析法で第１のクラスの平均階調値である第１の平均階調値と、背景画像を比較的に多く含む側である第２のクラスの平均階調値である第２の平均階調値とを算出するヒストグラム解析部と、
   選択領域を指定するためのユーザー入力を受け付ける操作表示部と、
   前記選択領域内の入力画像データに含まれている文字を認識し、前記認識の確からしさである認識確度を算出し、各文字の前記認識確度の積算値を算出する文字認識処理部と、
   を備え、
   前記二値化処理部は、前記第１の平均階調値と前記第２の平均階調値の間において閾値を変更しつつ、前記変更された閾値を使用して二値化処理を実行し、
   前記文字認識処理部は、前記変更された閾値毎に前記認識確度を算出し、入力された各文字の認識確度の積算値が最も高い閾値である最高確度閾値を設定し、
   前記二値化処理部は、前記最高確度閾値を使用して前記選択領域内の入力画像データの二値化処理を実行し、
   前記操作表示部は、前記二値化処理後の画像を表示する画像処理装置。
2. 請求項１記載の画像処理装置であって、さらに、
   前記入力画像データに含まれている文字を認識し、前記認識の確からしさである認識確度を算出し、各文字の前記認識確度の積算値を算出する文字認識処理部を備え、
   前記二値化処理部は、前記第１の平均階調値と前記第２の平均階調値の間において、前記閾値を変更しつつ、
   前記文字認識処理部は、前記選択された閾値毎に前記積算値を算出し、
   前記二値化処理部は、前記積算値が最も大きな値を有する閾値を使用して二値化処理を実行する画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、さらに、
   前記ローパスフィルタ処理が実行された画像データの、横軸が輝度階調値で縦軸が画素数である輝度ヒストグラムを生成し、前記輝度ヒストグラムの地肌画像の分布のピーク値の輝度階調値である背景ピーク階調値の側から濃度が濃くなる階調値の側に前記ピーク値の画素数であるピーク画素数の所定範囲の割合の画素数となる階調値を検索して背景ノイズ判定用閾値を設定する背景ノイズ判定用閾値設定部と、
   前記背景ノイズ判定用閾値よりも濃度が薄くなる側の階調値を有する画素の階調値を全て前記背景ノイズ判定用閾値とすることによって背景ノイズを低減させる背景ノイズ低減処理部と、
   を備え、
   前記ローパスフィルタ処理は、平滑化処理である画像処理装置。
4. 請求項３記載の画像処理装置であって、
   前記フィルタ処理部は、ガウシアンフィルタを使用して前記ローパスフィルタ処理を実行する画像処理装置。
5. 請求項３記載の画像処理装置であって、
   前記フィルタ処理部は、ガウシアン差分フィルタを使用して前記ローパスフィルタ処理を実行する画像処理装置。
6. 入力画像データに対して、二値化処理用の閾値を設定する前に前処理としてのローパスフィルタ処理を実行するフィルタ処理工程と、
   二値化処理用閾値として、前記ローパスフィルタ処理が実行された入力画像データに基づいて、判別分析法を使用して設定されるページ閾値と、局所閾値とを設定する閾値設定工程と、
   前記ローパスフィルタ処理が実行された入力画像データに含まれる複数の画素を（Ｍ×Ｎ）画素（Ｍ及びＮは、３以上の整数）から構成される局所領域に分割し、前記分割された複数の局所領域を着目局所領域として順に選択する着目局所領域選択工程と、
   前記着目局所領域を構成する複数の画素が有する階調値のうちで最も濃度が低い側の階調値である最大階調値を取得し、前記最大階調値が小さくなるほど大きくなるように切替用閾値を設定する切替用閾値設定工程と、
   前記着目局所領域に含まれる複数の画素が有する階調値のうちの前記最大階調値と最小階調値の間の差である局所コントラストと、前記切替用閾値とを比較し、前記局所コントラストが前記切替用閾値よりも大きな場合には、前記最大階調値と前記最小階調値の間の範囲で前記局所コントラストに所定の係数を乗じた値を前記最小階調値に加算した値として設定される前記局所閾値を使用して二値化処理を実行し、前記局所コントラストが前記切替用閾値以下の場合には、前記ページ閾値を使用して二値化処理を実行する二値化処理工程と、
   前記ローパスフィルタ処理が実行された入力画像データに対して判別分析法で第１のクラスの平均階調値である第１の平均階調値と、背景画像を比較的に多く含む側である第２のクラスの平均階調値である第２の平均階調値とを算出するヒストグラム解析工程と、
   選択領域を指定するためのユーザー入力を受け付ける操作表示工程と、
   前記選択領域内の入力画像データに含まれている文字を認識し、前記認識の確からしさである認識確度を算出し、各文字の前記認識確度の積算値を算出する文字認識処理工程と、
   を備え、
   前記二値化処理工程は、前記第１の平均階調値と前記第２の平均階調値の間において閾値を変更しつつ、前記変更された閾値を使用して二値化処理を実行し、
   前記文字認識処理工程は、前記変更された閾値毎に前記認識確度を算出し、入力された各文字の認識確度の積算値が最も高い閾値である最高確度閾値を設定し、
   前記二値化処理工程は、前記最高確度閾値を使用して前記選択領域内の入力画像データの二値化処理を実行し、
   前記操作表示工程は、前記二値化処理後の画像を表示する画像処理方法。
7. 入力画像データに対して、二値化処理用の閾値を設定する前に前処理としてのローパスフィルタ処理を実行するフィルタ処理部、
   二値化処理用閾値として、前記ローパスフィルタ処理が実行された入力画像データに基づいて、判別分析法を使用して設定されるページ閾値と、局所閾値とを設定する閾値設定部、
   前記ローパスフィルタ処理が実行された入力画像データに含まれる複数の画素を（Ｍ×Ｎ）画素（Ｍ及びＮは、３以上の整数）から構成される局所領域に分割し、前記分割された複数の局所領域を着目局所領域として順に選択する着目局所領域選択部、
   前記着目局所領域を構成する複数の画素が有する階調値のうちで最も濃度が低い側の階調値である最大階調値を取得し、前記最大階調値が小さくなるほど大きくなるように切替用閾値を設定する切替用閾値設定部、
   前記着目局所領域に含まれる複数の画素が有する階調値のうちの前記最大階調値と最小階調値の間の差である局所コントラストと、前記切替用閾値とを比較し、前記局所コントラストが前記切替用閾値よりも大きな場合には、前記最大階調値と前記最小階調値の間の範囲で前記局所コントラストに所定の係数を乗じた値を前記最小階調値に加算した値として設定される前記局所閾値を使用して二値化処理を実行し、前記局所コントラストが前記切替用閾値以下の場合には、前記ページ閾値を使用して二値化処理を実行する二値化処理部、
   前記ローパスフィルタ処理が実行された入力画像データに対して判別分析法で第１のクラスの平均階調値である第１の平均階調値と、背景画像を比較的に多く含む側である第２のクラスの平均階調値である第２の平均階調値とを算出するヒストグラム解析部、
   選択領域を指定するためのユーザー入力を受け付ける操作表示部、及び
   前記選択領域内の入力画像データに含まれている文字を認識し、前記認識の確からしさである認識確度を算出し、各文字の前記認識確度の積算値を算出する文字認識処理部として画像処理装置を機能させ、
   前記二値化処理部は、前記第１の平均階調値と前記第２の平均階調値の間において閾値を変更しつつ、前記変更された閾値を使用して二値化処理を実行し、
   前記文字認識処理部は、前記変更された閾値毎に前記認識確度を算出し、入力された各文字の認識確度の積算値が最も高い閾値である最高確度閾値を設定し、
   前記二値化処理部は、前記最高確度閾値を使用して前記選択領域内の入力画像データの二値化処理を実行し、
   前記操作表示部は、前記二値化処理後の画像を表示する画像処理プログラム。

Images