JP6631360B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本明細書によって開示される技術は、画像処理装置および画像処理方法に関する。

画像データに対する画像処理の１つとして、二値化処理がある。二値化処理は、多段階（例えば、２５６段階）で階調表現された画像データ（多値画像データ）を構成する各画素を、閾値との比較結果に応じて、白色を表す階調値を有する白色画素と黒色を表す階調値を有する黒色画素とのいずれかに変換することにより、白色画素と黒色画素とにより構成された画像データ（二値画像データ）を生成する処理である。二値化処理は、例えば、画像データの容量低減のために実行されたり、特定の画像処理（例えば、ＯＣＲによる文字認識処理）の前処理として実行されたりする。

二値化処理に使用する閾値の設定方法として、例えば判別分析法（大津法）が知られている。判別分析法は、画像データを構成する各画素の輝度値等のヒストグラムにおいて最低値から最高値まで閾値Ａを変化させ、閾値Ａによって分けられた２つのクラスのクラス内分散に対するクラス間分散の比（クラス間分散／クラス内分散）の値が最大となる閾値Ａを、二値化処理に使用する閾値として設定する方法である。

従来、二値化処理において所望の結果を得るために、判別分析法により設定された閾値に所定のオフセットを加えて閾値を調整する技術が知られている（例えば、特許文献１参照）。

特開平５−２８４３５６号公報

しかし上記従来の技術では、二値化処理の対象となる画像データによっては、所望の結果を得ることができない場合がある。例えば、上記従来の技術では、画像の背景色（地色）に近い色の文字の部分の画素が、黒色画素ではなく白色画素に変換されてしまい、二値化処理後の画像データ（二値画像データ）において該文字が消えてしまう場合がある。また、上記従来の技術では、サイズの小さい文字を構成する各線の間の背景色（地色）の部分の画素が、白色画素ではなく黒色画素に変換されてしまい、二値化処理後の画像データにおいて該文字が黒くつぶれてしまう場合がある。

本明細書では、上述した課題の少なくとも一部を解決するため、二値化処理において所望の結果を得ることができない事態の発生を抑制する技術を開示する。

本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。

本明細書に開示される画像処理装置は、画像データを構成する複数の画素について、輝度の高さを表す指標値のヒストグラムを作成するヒストグラム作成部と、前記ヒストグラムに基づいて、二値化処理のための前記指標値の原閾値を設定する原閾値設定部と、前記ヒストグラムにおいて、所定の要件を満たす山部を検出する山部検出部と、前記原閾値の調整方向を設定する調整方向設定部と、前記ヒストグラムにおいて前記原閾値より前記調整方向側に存在する前記山部の１つである特定山部における特定方向のふもとの前記指標値を、調整後閾値として設定する調整後閾値設定部と、前記調整後閾値を用いて前記画像データの二値化処理を行う二値化処理部とを備える。そのため、本画像処理装置によれば、輝度の高さを表す指標値のヒストグラムにおける山部の位置や大きさという画像データの特徴に応じて調整後閾値を設定することができ、二値化処理において所望の結果を得ることができない事態の発生を抑制することができる。例えば、本画像処理装置によれば、画像中の背景色（地色）に近い色の文字の部分の画素が白色画素に変換されてしまい二値画像データにおいて該文字が消えてしまう事態や、画像中のサイズの小さい文字を構成する各線の間の背景色（地色）の部分の画素が黒色画素に変換されてしまい二値画像データにおいて該文字が黒くつぶれてしまう事態の発生を抑制することができる。

なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、画像処理装置、画像処理システム、これらの装置やシステムの制御方法、画像処理方法、これらの方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体等の形態で実現することが可能である。

本実施形態における画像処理システム１０の構成を示す説明図である。 スキャナ２００の制御部２１０が実現する機能の一例を示すブロック図である。 本実施形態における二値化処理の流れを示すフローチャートである。 本実施形態における二値化処理の具体例を示す説明図である。 本実施形態における閾値調整処理の流れを示すフローチャートである。 本実施形態における閾値調整処理の規則の一例を示す説明図である。 本実施形態における閾値調整処理の規則の一例を示す説明図である。 輝度値Ｙのヒストグラムにおける山部ＭＰの検出方法を示す説明図である。

Ａ．実施形態：
Ａ−１．画像処理システム１０の構成：
図１は、本実施形態における画像処理システム１０の構成を示す説明図である。画像処理システム１０は、原稿を読み取って原稿の画像を表す画像データを生成するスキャナ２００と、スキャナ２００を制御するパーソナルコンピュータ（以下、「ＰＣ」という）１００とを備える。ＰＣ１００とスキャナ２００とは、例えばネットワークＮＥＴを介して互いに通信可能に接続されている。スキャナ２００は、画像処理装置の一例である。

ＰＣ１００は、制御部１１０と、表示部１４０と、操作部１５０と、通信部１６０とを備える。制御部１１０と表示部１４０と操作部１５０と通信部１６０とは、バス等を介して互いに接続されている。制御部１１０は、ＣＰＵ１１２と、記憶部１１４とを含む。

ＰＣ１００の操作部１５０は、例えばマウスやキーボード（図示せず）を有し、ユーザによる各種の指示を受け付ける。表示部１４０は、例えば液晶ディスプレイを有し、各種の画面を表示する。通信部１６０は、スキャナ２００等の他機器との間で、有線通信方式または無線通信方式により通信を行うハードウェアである。

ＰＣ１００の記憶部１１４は、ＲＯＭやＲＡＭ等により構成され、各種のプログラムを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。本実施形態では、記憶部１１４は、少なくとも、スキャナ２００を制御するソフトウェアであるスキャナドライバを記憶している。ＣＰＵ１１２が記憶部１１４から読み出した各種プログラムを実行することにより、制御部１１０の各機能が実現される。

スキャナ２００は、制御部２１０と、表示部２４０と、操作部２５０と、通信部２６０と、読取部２７０とを備える。制御部２１０と表示部２４０と操作部２５０と通信部２６０と読取部２７０とは、バス等を介して互いに接続されている。制御部２１０は、ＣＰＵ２１２と、記憶部２１４と、ＡＳＩＣ（Application Specific Integrated Circuit）２１６とを含む。

スキャナ２００の読取部２７０は、原稿を密着センサ方式や光学縮小方式で読み取るイメージセンサである。表示部２４０は、例えば液晶ディスプレイを有し、各種の設定画面や装置の動作状態等を表示する。操作部２５０は、例えば各種のボタン（図示せず）を有し、ユーザによる各種の入力指示を受け付ける。なお、操作部２５０は、表示部２４０の表示面上に設けられたタッチパネルであってもよい。通信部２６０は、ＰＣ１００等の他機器との間で、有線通信方式または無線通信方式により通信を行うハードウェアである。

スキャナ２００の記憶部２１４は、ＲＯＭやＲＡＭ等により構成され、各種のプログラムを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。ＣＰＵ２１２は、記憶部２１４から読み出したプログラムに従って所定の処理を実行する。ＡＳＩＣ２１６は、例えば画像処理用のハード回路である。これらを含む制御部２１０は、種々の機能を実現する。

図２は、スキャナ２００の制御部２１０が実現する機能の一例を示すブロック図である。制御部２１０は、二値化処理部２２０として機能する。また、二値化処理部２２０は、色変換部２２１と、調整後閾値設定部２２３と、ヒストグラム作成部２２４と、原閾値設定部２２５と、山部検出部２２６と、調整方向設定部２２７と、調整レベル設定部２２８と、指定取得部２２９とを含む。これら各部の機能は、以下の「Ａ−２．二値化処理」において説明する。

Ａ−２．二値化処理：
本実施形態のスキャナ２００は、二値化処理を実行することができる。二値化処理は、多段階（例えば、２５６段階）で階調表現された画像データ（多値画像データ）を構成する各画素を、閾値との比較結果に応じて、白色を表す階調値を有する白色画素と黒色を表す階調値を有する黒色画素とのいずれかに変換することにより、白色画素と黒色画素とにより構成された画像データ（二値画像データＩＢ）を生成する処理である。二値化処理は、例えば、画像データの容量低減のために実行されたり、特定の画像処理（例えば、ＯＣＲによる文字認識処理）の前処理として実行されたりする。

図３は、本実施形態における二値化処理の流れを示すフローチャートである。また、図４は、本実施形態における二値化処理の具体例を示す説明図である。例えば、ＰＣ１００から通信部２６０を介して二値化処理の実行指示が入力されたり、スキャナ２００の操作部２５０に二値化処理の実行指示が受け付けられたりすると、二値化処理が開始される。

はじめに、スキャナ２００の二値化処理部２２０（図２）は、二値化処理の対象となる画像データ（以下、「対象画像データＩＦ」という）を取得する（Ｓ１１０）。本実施形態では、スキャナ２００の読取部２７０（図１）によって原稿（読取原稿）ＰＡが読み取られることにより生成された画像データが、対象画像データＩＦとして取得される。また、本実施形態では、対象画像データＩＦは、各画素がＲ成分、Ｇ成分、Ｂ成分のそれぞれについて２５６段階（８ビット）の階調（０〜２５５）で表された、いわゆるフルカラーのＲＧＢ画像データであるものとする。なお、以下の説明では、各画素のＲ成分、Ｇ成分、Ｂ成分の階調値を、それぞれ単に、Ｒ、Ｇ、Ｂと表す場合がある。後述のＹ成分、Ｃｂ成分、Ｃｒ成分等についても同様である。

図４の上段左側には、対象画像データＩＦの一例が示されている。図４に例示する対象画像データＩＦは、所定の色（地色）の背景ＢＧに、黒色文字ＣＨｋと、背景ＢＧの色に近い色の文字（以下、「背景近似色文字」という）ＣＨｇとが含まれる原稿ＰＡが、読取部２７０によって読み取られることにより生成された画像データである。なお、図４の例では、図示の便宜上、背景近似色文字ＣＨｇが破線で表現されているが、背景近似色文字ＣＨｇは実際には実線で書かれた文字である。

次に、色変換部２２１は、対象画像データＩＦ（ＲＧＢデータ）からＹＣｂＣｒデータを生成する（図３のＳ１２０）。ＹＣｂＣｒデータは、各画素の色を、輝度値（輝度成分）Ｙと２つの色度（色度成分）Ｃｂ（黄−青）、Ｃｒ（赤−緑）で表す画像データである。対象画像データＩＦからＹＣｂＣｒデータを生成する処理は、例えば、以下の式Ｆ（１）〜Ｆ（３）を用いて行われる。本実施形態では、輝度値Ｙは、０〜２５５の２５６段階の階調で表され、色度Ｃｂおよび色度Ｃｒは、−１２７〜１２８の２５６段階の階調で表される。
Ｙ ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・Ｆ（１）
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ ・・・Ｆ（２）
Ｃｒ＝ ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・Ｆ（３）

次に、ヒストグラム作成部２２４は、対象画像データＩＦの輝度値Ｙのヒストグラムを作成する（Ｓ１３０）。図４の上段右側には、対象画像データＩＦの輝度値Ｙのヒストグラム（各輝度値Ｙの頻度（度数）Ｆを結ぶ頻度カーブＣ１）の一例が示されている。図４に示す例では、対象画像データＩＦに、背景ＢＧと黒色文字ＣＨｋと背景近似色文字ＣＨｇとが含まれるため、頻度カーブＣ１は、それぞれに対応する３つのピークを有する曲線となっている。

次に、原閾値設定部２２５は、作成された輝度値Ｙのヒストグラムに基づき、二値化処理のための輝度値Ｙの閾値（以下、「原閾値Ｔｈｏ」という）を設定する（図３のＳ１４０）。原閾値Ｔｈｏの設定は、例えば、判別分析法（大津法）により行われる。判別分析法は、輝度値Ｙのヒストグラムにおいて最低輝度値から最高輝度値まで閾値Ａを変化させ、閾値Ａによって分けられた２つのクラスのクラス内分散に対するクラス間分散の比（クラス間分散／クラス内分散）の値が最大となる閾値Ａを、二値化処理に使用する閾値として決定する方法である。図４の中段右側には、設定された原閾値Ｔｈｏが例示されている。

次に、調整後閾値設定部２２３は、閾値調整処理を実行する（図３のＳ１５０）。閾値調整処理は、原閾値Ｔｈｏを、設定された調整方向および調整レベルに応じて調整して、調整後閾値Ｔｈａを設定する処理である。図５は、本実施形態における閾値調整処理の流れを示すフローチャートである。また、図６および図７は、本実施形態における閾値調整処理の規則の一例を示す説明図である。

閾値調整処理では、はじめに、調整方向設定部２２７および調整レベル設定部２２８が、それぞれ、調整方向および調整レベルを設定する（図５のＳ２１０）。本実施形態では、二値化処理の開始前または開始後に、指定取得部２２９が、操作部２５０を介して、ユーザによる調整方向および調整レベルの指定を取得する。調整方向設定部２２７および調整レベル設定部２２８は、取得された指定に従い調整方向および調整レベルを設定する。

図６および図７に示すように、本実施形態では、調整方向として、高輝度値方向（輝度値Ｙのヒストグラムにける右方向）と低輝度値方向（輝度値Ｙのヒストグラムにける左方向）とのいずれかが選択可能である。調整方向が高輝度値方向に設定されると、閾値調整処理によって閾値がより高い値に変更される（すなわち、調整後閾値Ｔｈａ＞原閾値Ｔｈｏとなる）。一方、調整方向が低輝度値方向に設定されると、閾値調整処理によって閾値がより低い値に変更される（すなわち、調整後閾値Ｔｈａ＜原閾値Ｔｈｏとなる）。

例えば、図４に示す例において、対象画像データＩＦ中の背景近似色文字ＣＨｇの部分の画素が黒色画素ではなく白色画素に変換されてしまい、二値画像データＩＢにおいて該文字が消えてしまうことを回避したい場合には、調整方向が高輝度値方向に設定される。一方、例えば、サイズの小さい文字を構成する各線の間の背景色（地色）の部分の画素が白色画素ではなく黒色画素に変換されてしまい、二値画像データＩＢにおいて該文字が黒くつぶれてしまうことを回避したい場合には、調整方向が低輝度値方向に設定される。

また、本実施形態では、高輝度値方向および低輝度値方向のそれぞれについて、調整量（調整後閾値Ｔｈａと原閾値Ｔｈｏとの差の絶対値）が互いに異なる２段階の調整レベルが選択可能である。以下の説明では、図６に示すように、高輝度値方向についての２段階の調整レベルの内、調整量が小さい方を調整レベル「＋１」といい、調整量が大きい方を調整レベル「＋２」という。また、図７に示すように、低輝度値方向についての２段階の調整レベルの内、調整量が小さい方を調整レベル「−１」といい、調整量が大きい方を調整レベル「−２」という。また、原閾値Ｔｈｏを調整後閾値Ｔｈａとして設定すること（すなわち、原閾値Ｔｈｏの調整を行わないこと）を、調整レベル「０」という。

次に、調整後閾値設定部２２３は、設定された調整レベルが「０」であるか否か、すなわち、原閾値Ｔｈｏの調整が行われるか否かを判定する（図５のＳ２２０）。調整レベルが「０」であると判定された場合には（Ｓ２２０：ＹＥＳ）、調整後閾値設定部２２３は、原閾値Ｔｈｏを調整後閾値Ｔｈａとして設定する（Ｓ２７０）。その後、二値化処理（図３）に戻ってＳ１６０の処理に進む。

一方、調整レベルが「０」ではないと判定された場合には（Ｓ２２０：ＮＯ）、山部検出部２２６が、輝度値Ｙのヒストグラムにおいて所定の要件を満たす山部ＭＰを検出する処理を実行する（Ｓ２３０〜Ｓ２５０）。図８は、輝度値Ｙのヒストグラムにおける山部ＭＰの検出方法を示す説明図である。山部検出部２２６は、まず、輝度値Ｙのヒストグラムの移動平均をとって平滑化する（Ｓ２３０）。図８の上段には、平滑化後の輝度値Ｙのヒストグラムの一例が拡大して示されている。

次に、山部検出部２２６は、平滑化後の輝度値Ｙのヒストグラムにおいて、輝度軸での隣接頻度差ΔＦを算出する（図５のＳ２４０）。図８の下段には、隣接頻度差ΔＦの算出例が示されている。隣接頻度差ΔＦは、輝度値Ｙがｘである画素の頻度Ｆ（ｘ）と、輝度値Ｙが（ｘ−１）である画素の頻度Ｆ（ｘ−１）との差（＝Ｆ（ｘ）−Ｆ（ｘ−１））である。そのため、隣接頻度差ΔＦは、高輝度値方向（右方向）に向かって頻度Ｆが増加している区間では正の値となり、高輝度値方向に向かって頻度Ｆが減少している区間では負の値となる。

次に、山部検出部２２６は、隣接頻度差ΔＦの算出結果に基づき、山部ＭＰを検出する（図５のＳ２５０）。より詳細には、山部検出部２２６は、図８の下段に示すように、輝度値Ｙが低い方から高い方に向かう方向（図８の右方向）において、隣接頻度差ΔＦが所定回数（本実施形態では３回）以上連続で正の値になったときの負の値から正の値への切替点である左ふもとＢｌから、その後に隣接頻度差ΔＦが所定回数（本実施形態では３回）以上連続で負の値になったときの正の値から負の値への切替点である頂点ＰＥを経て、さらにその後に隣接頻度差ΔＦが正の値になったときの負の値から正の値への切替点である右ふもとＢｒまでの区間であって、頂点ＰＥにおける頻度Ｆが所定の値（本実施形態では対象画像データＩＦの全画素数の２％）以上である区間を、山部ＭＰとして検出する。すなわち、本実施形態では、輝度値Ｙのヒストグラムにおいて、頂点の頻度Ｆがある程度高い山形の部分が、山部ＭＰとして検出される。

次に、調整後閾値設定部２２３は、設定された調整方向および調整レベルと、輝度値Ｙのヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎとに応じた規則に従い、該ヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの１つである特定山部ＭＰｘにおける特定方向Ｄｘ側のふもと（または中腹）の輝度値Ｙを、調整後閾値Ｔｈａとして設定する（図５のＳ２６０）。以下、該規則について順に説明する。

はじめに、調整方向が「高輝度値方向（右方向）」に設定され、調整レベルが「＋１」に設定された場合について、図６を参照しつつ説明する。この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「１」である場合には、該山部ＭＰが特定山部ＭＰｘとして設定され、特定山部ＭＰｘの左ふもとＢｌの輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向と反対の方向（左方向）が特定方向Ｄｘとして設定される。

また、この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「２」である場合には、調整方向側の山部ＭＰの内、原閾値Ｔｈｏから数えて１つ目の山部ＭＰ（原閾値Ｔｈｏに近い方の山部ＭＰ）が特定山部ＭＰｘとして設定され、特定山部ＭＰｘの右ふもとＢｒの輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向（右方向）が特定方向Ｄｘとして設定される。

また、この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「３以上」である場合には、調整方向側の山部ＭＰの内、原閾値Ｔｈｏから数えてＭ番目（ただしＭ＝Ｎ／２（小数点以下切り捨て））の山部ＭＰが特定山部ＭＰｘとして設定され、特定山部ＭＰｘの右ふもとＢｒの輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向（右方向）が特定方向Ｄｘとして設定される。例えば、Ｎ＝３の場合には、原閾値Ｔｈｏから数えて１番目の山部ＭＰの右ふもとＢｒの輝度値Ｙが調整後閾値Ｔｈａとして設定され、Ｎ＝４の場合には、原閾値Ｔｈｏから数えて２番目の山部ＭＰの右ふもとＢｒの輝度値Ｙが調整後閾値Ｔｈａとして設定される。

次に、調整方向が「高輝度値方向（右方向）」に設定され、調整レベルが「＋２」に設定された場合について、図６を参照しつつ説明する。この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「１」である場合には、該山部ＭＰが特定山部ＭＰｘとして設定され、特定山部ＭＰｘの左中腹（左ふもとＢｌと頂点ＰＥとの中間点）の輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向と反対の方向（左方向）が特定方向Ｄｘとして設定される。

また、この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「２以上」（「２」または「３以上」）である場合には、調整方向側の山部ＭＰの内、原閾値Ｔｈｏから最も遠い山部ＭＰ（すなわち、原閾値Ｔｈｏから数えてＮ番目の山部ＭＰ）が特定山部ＭＰｘとして設定され、特定山部ＭＰｘの左ふもとＢｌの輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向と反対の方向（左方向）が特定方向Ｄｘとして設定される。

次に、調整方向が「低輝度値方向（左方向）」に設定され、調整レベルが「−１」に設定された場合について、図７を参照しつつ説明する。この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「１」である場合には、該山部ＭＰが特定山部ＭＰｘとして設定され、特定山部ＭＰｘの右ふもとＢｒの輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向と反対の方向（右方向）が特定方向Ｄｘとして設定される。

また、この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「２」である場合には、調整方向側の山部ＭＰの内、原閾値Ｔｈｏから数えて１つ目の山部ＭＰ（原閾値Ｔｈｏに近い方の山部ＭＰ）が特定山部ＭＰｘとして設定され、特定山部ＭＰｘの左ふもとＢｌの輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向（左方向）が特定方向Ｄｘとして設定される。

また、この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「３以上」である場合には、調整方向側の山部ＭＰの内、原閾値Ｔｈｏから数えてＭ番目（ただしＭ＝Ｎ／２（小数点以下切り捨て））の山部ＭＰが特定山部ＭＰｘとして設定され、特定山部ＭＰｘの左ふもとＢｌの輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向（左方向）が特定方向Ｄｘとして設定される。例えば、Ｎ＝３の場合には、原閾値Ｔｈｏから数えて１番目の山部ＭＰの左ふもとＢｌの輝度値Ｙが調整後閾値Ｔｈａとして設定され、Ｎ＝４の場合には、原閾値Ｔｈｏから数えて２番目の山部ＭＰの左ふもとＢｌの輝度値Ｙが調整後閾値Ｔｈａとして設定される。

次に、調整方向が「低輝度値方向（左方向）」に設定され、調整レベルが「−２」に設定された場合について、図７を参照しつつ説明する。この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「１」である場合には、該山部ＭＰが特定山部ＭＰｘとして設定され、特定山部ＭＰｘの右中腹（右ふもとＢｒと頂点ＰＥとの中間点）の輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向と反対の方向（右方向）が特定方向Ｄｘとして設定される。

また、この場合において、原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが「２以上」（「２」または「３以上」）である場合には、調整方向側の山部ＭＰの内、原閾値Ｔｈｏから最も遠い山部ＭＰ（すなわち、原閾値Ｔｈｏから数えてＮ番目の山部ＭＰ）が特定山部ＭＰｘとして設定され、特定山部ＭＰｘの右ふもとＢｒの輝度値Ｙが調整後閾値Ｔｈａとして設定される。すなわち、この場合には、調整方向と反対の方向（右方向）が特定方向Ｄｘとして設定される。

このように、本実施形態では、設定された調整レベルが「０」以外である場合には、設定された調整方向および調整レベルと、輝度値Ｙのヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎとに応じた規則に従い、該ヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する特定山部ＭＰｘにおける特定方向Ｄｘ側のふもと（または中腹）の輝度値Ｙが、調整後閾値Ｔｈａとして設定される（図５のＳ２５０）。図４の下段右側には、設定された調整後閾値Ｔｈａが例示されている。その後、二値化処理（図３）に戻ってＳ１６０の処理に進む。

次に、二値化処理部２２０が、調整後閾値Ｔｈａを用いて対象画像データＩＦの二値化処理を行うことにより、二値画像データＩＢを生成する（図３のＳ１６０）。具体的には、二値化処理部２２０は、対象画像データＩＦを構成する複数の画素の内、輝度値Ｙが調整後閾値Ｔｈａ以下である画素を黒色画素に変換し、輝度値Ｙが調整後閾値Ｔｈａより高い画素を白色画素に変換する。なお、本実施形態では、二値画像データＩＢは、対象画像データＩＦと同様にＲＧＢ画像データとして生成されるため、黒色画素の階調値は（Ｒ，Ｇ，Ｂ）＝（０，０，０）となり、白色画素の階調値は（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）となる。

図４の下段右側に示された輝度値Ｙのヒストグラムにおいて、調整後閾値Ｔｈａのラインより左側に分布している画素は黒色画素に変換され、調整後閾値Ｔｈａのラインより右側に分布している画素は白色画素に変換される。図４に示す例では、対象画像データＩＦにおける背景近似色文字ＣＨｇの部分の画素の輝度値Ｙは、調整後閾値Ｔｈａより低いため、図４の下段左側に示すように、対象画像データＩＦ中の背景近似色文字ＣＨｇは、二値画像データＩＢにおいて消えずに黒色文字ＣＨｋとして残ることとなる。

なお、仮に上述した閾値調整処理（図３のＳ１５０）が実行されないとすると、図４の中段右側に示すように、対象画像データＩＦにおける背景近似色文字ＣＨｇの部分の画素の輝度値Ｙは原閾値Ｔｈｏより高いため、この部分の画素は二値化処理において白色画素に変換される。そのため、上述した閾値調整処理が実行されないと、図４の中段左側に示すように、対象画像データＩＦ中の背景近似色文字ＣＨｇは、二値画像データＩＢａにおいて消えることとなる。

以上説明したように、本実施形態のスキャナ２００による二値化処理では、スキャナ２００のヒストグラム作成部２２４が、対象画像データＩＦを構成する複数の画素について輝度値Ｙのヒストグラムを作成し、原閾値設定部２２５が、該ヒストグラムに基づいて二値化処理のための輝度値Ｙの原閾値Ｔｈｏを設定し、山部検出部２２６が、該ヒストグラムにおいて所定の要件を満たす山部ＭＰを検出し、調整方向設定部２２７が、原閾値Ｔｈｏの調整方向を設定し、調整後閾値設定部２２３が、該ヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの１つである特定山部ＭＰｘにおける特定方向Ｄｘ側のふもとの輝度値Ｙを調整後閾値Ｔｈａとして設定し、二値化処理部２２０が、調整後閾値Ｔｈａを用いて対象画像データＩＦの二値化処理を行う。そのため、本実施形態のスキャナ２００によれば、輝度値Ｙのヒストグラムにおける山部ＭＰの位置や大きさという対象画像データＩＦの特徴に応じて、調整後閾値Ｔｈａを設定することができる。より具体的には、二値化処理により、該ヒストグラムにおいて調整方向に存在する特定山部ＭＰｘに対応する画素がまとめて白色画素または黒色画素に変換されるように、調整後閾値Ｔｈａを設定することができる。そのため、本実施形態のスキャナ２００によれば、二値化処理において所望の結果を得ることができない事態の発生を抑制することができる。例えば、本実施形態のスキャナ２００によれば、画像中の背景色（地色）に近い色の文字の部分の画素が白色画素に変換されてしまい二値画像データにおいて該文字が消えてしまう事態や、画像中のサイズの小さい文字を構成する各線の間の背景色（地色）の部分の画素が黒色画素に変換されてしまい二値画像データにおいて該文字が黒くつぶれてしまう事態の発生を抑制することができる。

また、本実施形態のスキャナ２００による二値化処理では、指定取得部２２９が、ユーザによる指定を取得し、調整方向設定部２２７が、取得された指定に従い調整方向を設定する。そのため、本実施形態のスキャナ２００によれば、原閾値Ｔｈｏを所望の方向に調整した調整後閾値Ｔｈａを設定することができ、二値化処理において所望の結果を得ることができない事態の発生を効果的に抑制することができる。例えば、本実施形態のスキャナ２００によれば、画像中の背景色（地色）に近い色の文字の部分の画素が白色画素ではなく黒色画素に変換されることを希望する場合には、調整方向を高輝度値方向に設定することにより所望の結果を得ることができ、画像中のサイズの小さい文字を構成する各線の間の背景色（地色）の部分の画素が黒色画素ではなく白色画素に変換されることを希望する場合には、調整方向を低輝度値方向に設定することにより所望の結果を得ることができる。

また、本実施形態のスキャナ２００による二値化処理では、調整後閾値設定部２２３が、輝度値Ｙのヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎに対応付けて設定された規則に従い、特定山部ＭＰｘおよび特定方向Ｄｘを選択する。そのため、本実施形態のスキャナ２００によれば、輝度値Ｙのヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎという対象画像データＩＦの特徴に応じて、適切な特定山部ＭＰｘおよび特定方向Ｄｘを選択することによって、適切な調整後閾値Ｔｈａを設定することができるため、二値化処理において所望の結果を得ることができない事態の発生を効果的に抑制することができる。

また、本実施形態のスキャナ２００による二値化処理では、調整レベル設定部２２８が、原閾値Ｔｈｏの調整レベル（調整量の大きさ）を設定し、調整後閾値設定部２２３が、調整レベルに応じて設定された規則に従い特定山部ＭＰｘおよび特定方向Ｄｘを選択する。そのため、本実施形態のスキャナ２００によれば、設定された調整レベルに応じて、適切な特定山部ＭＰｘおよび特定方向Ｄｘを選択することによって、適切な調整後閾値Ｔｈａを設定することができ、二値化処理において所望の結果を得ることができない事態の発生を効果的に抑制することができる。なお、本実施形態のスキャナ２００による二値化処理では、指定取得部２２９が、ユーザによる指定を取得し、調整レベル設定部２２８が、取得された指定に従い調整レベルを設定する。そのため、本実施形態のスキャナ２００によれば、ユーザの所望の調整レベルに応じた適切な特定山部ＭＰｘおよび特定方向Ｄｘを選択することによって、適切な調整後閾値Ｔｈａを設定することができ、二値化処理において所望の結果を得ることができない事態の発生を効果的に抑制することができる。

また、本実施形態のスキャナ２００による二値化処理では、調整後閾値設定部２２３は、輝度値Ｙのヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数が１個である場合であって、（１）調整レベルが第１のレベル（＋１または−１）に設定された場合には、調整方向と反対の方向を特定方向Ｄｘとして設定し、（２）調整レベルが第１のレベルより調整量の大きい第２のレベル（＋２または−２）に設定された場合には、山部ＭＰのふもとに代えて、山部ＭＰにおける調整方向と反対の方向のふもとと頂点との間の位置に対応する輝度値Ｙを調整後閾値Ｔｈａとして設定する。そのため、本実施形態のスキャナ２００によれば、二値化処理において、対象画像データＩＦの特徴と設定された調整レベルとに応じた所望の結果を得ることができる。例えば、調整レベルが「＋１」に設定された場合には、背景色（地色）と分離されている薄い文字を黒色文字として残すことができ、調整レベルが「＋２」に設定された場合には、背景色（地色）に近い輝度の薄い文字を黒色文字として残すことができる。また、例えば、調整レベルが「−１」に設定された場合には、画像中の最も濃い文字以外を白くすることができ、調整レベルが「−２」に設定された場合には、画像中の最も濃い文字以外を白くすることができると共に、該文字のつぶれを抑制することができる。

また、本実施形態のスキャナ２００による二値化処理では、調整後閾値設定部２２３は、輝度値Ｙのヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数Ｎが２個である場合であって、（１）調整レベルが第１のレベル（＋１または−１）に設定された場合には、原閾値Ｔｈｏに近い側の山部ＭＰを特定山部ＭＰｘとして選択すると共に、調整方向を特定方向Ｄｘとして設定し、（２）調整レベルが第１のレベルより調整量の大きい第２のレベル（＋２または−２）に設定された場合には、原閾値Ｔｈｏから遠い側の山部ＭＰを特定山部ＭＰｘとして選択すると共に、調整方向と反対の方向を特定方向Ｄｘとして設定する。そのため、本実施形態のスキャナ２００によれば、二値化処理において、対象画像データＩＦの特徴と設定された調整レベルとに応じた所望の結果を得ることができる。例えば、調整レベルが「＋１」に設定された場合には、背景色（地色）と分離されている薄い文字を黒色文字として残すことができ、調整レベルが「＋２」に設定された場合には、背景色（地色）に近い輝度の薄い文字を黒色文字として残すことができる。また、例えば、調整レベルが「−１」に設定された場合には、画像中の最も濃い文字以外を白くすることができ、調整レベルが「−２」に設定された場合には、画像中の最も濃い文字以外を白くすることができると共に、該文字のつぶれを抑制することができる。

また、本実施形態のスキャナ２００による二値化処理では、調整後閾値設定部２２３は、輝度値Ｙのヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの数がＮ個（ただしＮは３以上の整数）である場合であって、（１）調整レベルが第１のレベル（＋１または−１）に設定された場合には、原閾値Ｔｈｏに近い側から数えてＭ番目（ただしＭ＝Ｎ／２（小数点以下切り捨て））の山部ＭＰを特定山部ＭＰｘとして選択すると共に、調整方向を特定方向Ｄｘとして設定し、（２）調整レベルが前記第１のレベルより調整量の大きい第２のレベル（＋２または−２）に設定された場合には、原閾値Ｔｈｏから最も遠い山部ＭＰ（すなわち、原閾値Ｔｈｏから数えてＮ番目の山部ＭＰ）を特定山部ＭＰｘとして選択すると共に、調整方向と反対の方向を特定方向Ｄｘとして設定する。そのため、本実施形態のスキャナ２００によれば、二値化処理において、対象画像データＩＦの特徴と設定された調整レベルとに応じた所望の結果を得ることができる。例えば、調整レベルが「＋２」に設定された場合には、背景色（地色）と分離されている薄い文字を黒色文字として残すことができ、調整レベルが「＋１」に設定された場合には、調整レベル「＋２」と調整レベル「０」（調整しない）との中間的な調整を行うことができる。また、例えば、調整レベルが「−２」に設定された場合には、画像中の最も濃い文字以外を白くすることができ、調整レベルが「−１」に設定された場合には、調整レベル「−２」と調整レベル「０」（調整しない）との中間的な調整を行うことができる。

また、本実施形態のスキャナ２００による二値化処理では、山部検出部２２６は、輝度値Ｙのヒストグラムにおいて、一の輝度値Ｙにおける頻度Ｆと、一の輝度値Ｙより１つ低い輝度値Ｙにおける頻度Ｆとの差（隣接頻度差ΔＦ）を順に算出し、輝度値Ｙが低い方から高い方に向かう方向（右方向）において、隣接頻度差ΔＦが所定回数以上連続で正の値になったときの負の値から正の値への切替点である第１のふもと（左ふもとＢｌ）から、その後に隣接頻度差ΔＦが所定回数以上連続で負の値になったときの正の値から負の値への切替点である頂点ＰＥを経て、さらにその後に隣接頻度差ΔＦが正の値になったときの負の値から正の値への切替点である第２のふもと（右ふもとＢｒ）までの区間を、山部ＭＰとして検出する。そのため、本実施形態のスキャナ２００によれば、対象画像データＩＦの特徴を表す適切な山部ＭＰを検出することができ、適切な調整後閾値Ｔｈａを設定することができる。る。なお、本実施形態では、山部検出部２２６は、上記区間の内、頂点ＰＥにおける頻度Ｆが所定の値以上である区間を、山部ＭＰとして検出する。そのため、本実施形態のスキャナ２００によれば、対象画像データＩＦの特徴を表すより適切な山部ＭＰを検出することができ、より適切な調整後閾値Ｔｈａを設定することができる。

Ｂ．変形例：
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。

上記実施形態における画像処理システム１０の構成は、あくまで一例であり、種々変形可能である。例えば、スキャナ２００の二値化処理部２２０は、必ずしも調整レベル設定部２２８や指定取得部２２９の機能を含む必要は無い。

また、上記実施形態における二値化処理の内容は、あくまで一例であり、一部のステップを省略したり、内容を変更したり、他のステップと順番を入れ替えたりしてもよい。例えば、上記実施形態では、対象画像データＩＦは、スキャナ２００の読取部２７０によって原稿ＰＡが読み取られることにより生成された画像データであるとしているが、対象画像データＩＦは、通信部２６０等を介して他の装置（例えば、ＰＣ１００）から取得された画像データであるとしてもよい。また、対象画像データＩＦは、ＲＧＢデータである必要はなく、他の表色系（色空間）によって表された画像データであるとしてもよいし、モノクロ画像（グレースケール画像）であるとしてもよい。

また、上記実施形態の二値化処理では、輝度値Ｙのヒストグラムが用いられているが、輝度値Ｙそのものではなく、輝度の高さを表す他の指標値（例えばＧ成分）のヒストグラムが用いられてもよい。

また、上記実施形態の二値化処理における山部ＭＰの検出方法は、あくまで一例であり、種々変形可能である。例えば、輝度値Ｙのヒストグラムの移動平均をとることによる平滑化処理は必ずしも実行される必要はない。また、山部ＭＰとして検出される条件として、頂点ＰＥにおける頻度Ｆが所定の値以上であるという条件はなくてもよい。

また、上記実施形態の二値化処理では、各調整方向について、調整レベルが２段階のレベルから選択可能であるとしているが、３段階以上のレベルから選択可能であるとしてもよいし、調整レベルの選択ができない（調整レベルは１段階である）としてもよい。また、上記実施形態の二値化処理では、調整方向や調整レベルが、ユーザによる指定に従い設定されるとしているが、調整方向や調整レベルが、対象画像データＩＦに基づき自動的に設定されるとしてもよい。例えば、輝度値Ｙのヒストグラムにおける２つの山部ＭＰを構成する画素群の、対象画像データＩＦにおける位置関係を調べ、対象画像データＩＦにおいて両画素群の位置が重なっている場合（例えば、２つの画素群の内、低輝度側の画素群が文字部分であり、高輝度側の画素群が文字背景である場合）には、２つの山部ＭＰの間に調整後閾値Ｔｈａが来るような調整方向および調整レベルが設定されるとしてもよい。このようにすれば、二値画像において文字部分を残し、文字背景部分を消すことができる。また、例えば、輝度値Ｙのヒストグラムにおける２つの山部ＭＰを構成する画素群の、対象画像データＩＦにおける位置関係を調べ、対象画像データＩＦにおいて両画素群の位置が重なっていない場合（例えば、２つの画素群が共に文字部分である場合）には、２つの山部ＭＰより高輝度値側に調整後閾値Ｔｈａが来るような調整方向および調整レベルが設定されるとしてもよい。このようにすれば、二値画像において２つの山部ＭＰに対応する２つの文字部分を残すことができる。

また、上記実施形態の二値化処理において、調整後閾値設定部２２３が、輝度値Ｙのヒストグラムにおいて原閾値Ｔｈｏより調整方向側に存在する山部ＭＰの内の頻度Ｆが最も高い山部ＭＰを特定山部ＭＰｘとして選択し、調整方向と反対の方向を特定方向Ｄｘとして設定するとしてもよい。このようにすれば、二値化処理において、対象画像データＩＦの特徴に応じた所望の結果を得ることができる。

また、上記実施形態では、二値化処理に使用される原閾値Ｔｈｏの設定方法として、判別分析法（大津法）が用いられているが、ヒストグラムに基づいて原閾値Ｔｈｏを設定する方法であれば他の方法が用いられるとしてもよい。

また、上記実施形態において、対象画像データＩＦからＹＣｂＣｒデータを生成する処理に代えて、対象画像データＩＦから輝度値Ｙを算出する処理が実行されるとしてもよい。

また、上記実施形態では、二値化処理がスキャナ２００により実行されるとしているが、二値化処理が他の画像処理装置（例えば、ＰＣ１００や図示しないプリンタ等）により実行されるとしてもよい。例えば、二値化処理は、パーソナルコンピュータ１００の記憶部１１４に格納されたスキャナドライバや他のアプリケーションプログラムに従ってＣＰＵ１１２により実行されるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。

２００：スキャナ ２１０：制御部 ２１２：ＣＰＵ ２１４：記憶部 ２１６：ＡＳＩＣ ２２０：二値化処理部 ２２１：色変換部 ２２３：調整後閾値設定部 ２２４：ヒストグラム作成部 ２２５：原閾値設定部 ２２６：山部検出部 ２２７：調整方向設定部 ２２８：調整レベル設定部 ２２９：指定取得部 ２５０：操作部

Claims (12)

1. 画像データを構成する複数の画素について、輝度の高さを表す指標値のヒストグラムを作成するヒストグラム作成部と、
   前記ヒストグラムに基づいて、二値化処理のための前記指標値の原閾値を設定する原閾値設定部と、
   前記ヒストグラムにおいて、所定の要件を満たす山部を検出する山部検出部と、
   前記原閾値の調整方向を設定する調整方向設定部と、
   前記ヒストグラムにおいて前記原閾値より前記調整方向側に存在する前記山部の１つである特定山部における特定方向のふもとの前記指標値を、調整後閾値として設定する調整後閾値設定部と、
   前記調整後閾値を用いて前記画像データの二値化処理を行う二値化処理部と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、さらに、
   ユーザによる指定を取得する指定取得部を備え、
   前記調整方向設定部は、前記指定に従い、前記調整方向を設定する、画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記調整後閾値設定部は、前記ヒストグラムにおいて前記原閾値より前記調整方向側に存在する前記山部の数に対応付けて設定された規則に従い、前記特定山部および前記特定方向を選択する、画像処理装置。
4. 請求項３に記載の画像処理装置であって、さらに、
   前記原閾値の調整量の大きさを表す調整レベルを設定する調整レベル設定部を備え、
   前記調整後閾値設定部は、前記調整レベルに応じて設定された規則に従い、前記特定山部および前記特定方向を選択する、画像処理装置。
5. 請求項４に記載の画像処理装置であって、さらに、
   ユーザによる指定を取得する指定取得部を備え、
   前記調整レベル設定部は、前記指定に従い、前記調整レベルを設定する、画像処理装置。
6. 請求項４または請求項５に記載の画像処理装置であって、
   前記調整後閾値設定部は、前記ヒストグラムにおいて前記原閾値より前記調整方向側に存在する前記山部の数が２個である場合であって、
   （１）前記調整レベルが第１のレベルに設定された場合には、前記原閾値に近い側の前記山部を前記特定山部として選択し、前記調整方向を前記特定方向として設定し、
   （２）前記調整レベルが前記第１のレベルより調整量の大きい第２のレベルに設定された場合には、前記原閾値から遠い側の前記山部を前記特定山部として選択し、前記調整方向と反対の方向を前記特定方向として設定する、画像処理装置。
7. 請求項４から請求項６までのいずれか一項に記載の画像処理装置であって、
   前記調整後閾値設定部は、前記ヒストグラムにおいて前記原閾値より前記調整方向側に存在する前記山部の数がＮ個（ただしＮは３以上の整数）である場合であって、
   （１）前記調整レベルが第１のレベルに設定された場合には、前記原閾値に近い側から数えてＭ番目（ただしＭ＝Ｎ／２（小数点以下切り捨て））の前記山部を前記特定山部として選択し、前記調整方向を前記特定方向として設定し、
   （２）前記調整レベルが前記第１のレベルより調整量の大きい第２のレベルに設定された場合には、前記原閾値から最も遠い前記山部であるＮ番目の前記山部を前記特定山部として選択し、前記調整方向と反対の方向を前記特定方向として設定する、画像処理装置。
8. 請求項４から請求項７までのいずれか一項に記載の画像処理装置であって、
   前記調整後閾値設定部は、前記ヒストグラムにおいて前記原閾値より前記調整方向側に存在する前記山部の数が１個である場合であって、
   （１）前記調整レベルが第１のレベルに設定された場合には、前記調整方向と反対の方向を前記特定方向として設定し、
   （２）前記調整レベルが前記第１のレベルより調整量の大きい第２のレベルに設定された場合には、前記山部のふもとに代えて、前記山部における前記調整方向と反対の方向のふもとと頂点との間の位置に対応する前記指標値を、前記調整後閾値として設定する、画像処理装置。
9. 請求項１から請求項８までのいずれか一項に記載の画像処理装置であって、
   前記調整後閾値設定部は、前記ヒストグラムにおいて前記原閾値より前記調整方向側に存在する前記山部の内の頻度が最も高い前記山部を前記特定山部として選択し、前記調整方向と反対の方向を前記特定方向として設定する、画像処理装置。
10. 請求項１から請求項９までのいずれか一項に記載の画像処理装置であって、
    前記山部検出部は、前記ヒストグラムにおいて、一の前記指標値における頻度と、一の前記指標値より１つ低い前記指標値における頻度との差を順に算出し、前記指標値が低い方から高い方に向かう方向において、前記差が所定回数以上連続で正の値になったときの負の値から正の値への切替点である第１のふもとから、その後に前記差が所定回数以上連続で負の値になったときの正の値から負の値への切替点である頂点を経て、さらにその後に前記差が正の値になったときの負の値から正の値への切替点である第２のふもとまでの区間を、前記山部として検出する、画像処理装置。
11. 請求項１０に記載の画像処理装置であって、
    前記山部検出部は、前記区間の内、前記頂点における頻度が所定の値以上である区間を、前記山部として検出する、画像処理装置。
12. 画像データを構成する複数の画素について、輝度の高さを表す指標値のヒストグラムを作成する工程と、
    前記ヒストグラムに基づいて、二値化処理のための原閾値を設定する工程と、
    前記ヒストグラムにおいて、所定の要件を満たす山部を検出する工程と、
    前記原閾値の調整方向を設定する工程と、
    前記ヒストグラムにおいて前記原閾値より前記調整方向側に存在する前記山部の１つである特定山部における特定方向のふもとに対応する前記指標値を、調整後閾値として設定する工程と、
    前記調整後閾値を用いて前記画像データの二値化処理を行う工程と、
    を備える、画像処理方法。

Images