JP4346620B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、例えば文書画像等の画像を二値化する画像処理装置、画像処理方法および画像処理プログラムに関する。

画像の二値化方法としては、二値化対象画像の撮影・撮像対象や撮影条件に合わせて様々な方法が提案されており、スキャナー等の撮像装置で撮像した文書画像や図面については、大津の方法等の単一しきい値法が有効であることが広く知られている（非特許文献１参照）。

これに対して、デジタルカメラ等の撮像装置で撮影した画像で、照明条件や感度が画像内で一定していない場合には、単一のしきい値での二値化が妥当でないため、画像内の位置により二値化しきい値を変化させる動的しきい値法が用いられる。

動的しきい値法としては、様々な方法が提案されており、代表的な方法としては、部分画像分割法が知られている（非特許文献２参照）。

部分画像分割法では、画像を小領域に分割し、分割した領域ごとに大津の方法等でしきい値を求め、求めたしきい値を各小領域の中心点でのしきい値として採用する。そして、中心点でのしきい値を滑らかに補完して各画素での二値化しきい値を決定する。
大津，"判別および最小２乗基準に基づく自動しきい値選定法"，電子通信学会論文誌，1980，Vol.J63-D，No.4，pp.349-356 高木幹雄、下田陽久，"画像解析ハンドブック"，東京大学出版会，1991，pp.502-505

しかしながら、従来の動的しきい値法の多くは、図と地に対応する二色の画像を対象としたものであり、小領域内でもそれが成立するという前提の上に成り立っている。

また、文書等の二色の画像であってもデジタルカメラでの撮像の際に影がかかって少領域内に図、地、影の三色が映り込むこともあり、そのような領域については二値化処理で二値化の誤りが起こることがあった。

また、内部が全て図または地のどちらか一方であるような小領域については、二値化処理の際に誤りが生じないよう、例えば小領域の大きさの調整など、処理対象に依存した工夫が必要であった。

本発明はこのような課題を解決するためになされたもので、影がかかっている画像や広い図の領域または広い地の領域を含む画像について安定した二値化処理を行うことのできる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。

上記した目的を達成するために、本発明の画像処理装置は、原画像を複数の部分領域に分割し、前記部分領域の各々について明度の代表値を検出して前記部分領域における背景の明度の複数の候補とする背景明度候補検出部と、前記背景明度候補検出部で検出された前記背景の明度の複数の候補を前記部分領域毎に一つずつ選択し、選択した候補の組み合わせを基に前記原画像の背景の明度の分布を求める背景明度分布推定部と、前記背景明度分布推定部により求められた背景の明度の分布から前記原画像の二値化処理のためのしきい値を算出するしきい値算出部と、前記しきい値算出部により算出されたしきい値により前記原画像を二値化する二値化部とを具備したことを特徴とする。

本発明の画像処理プログラムは、コンピュータに画像処理を実行させる画像処理プログラムであって、前記コンピュータを、原画像を複数の部分領域に分割し、前記部分領域の各々について明度の代表値を検出して前記部分領域における背景の明度の複数の候補とする背景明度候補検出部と、前記背景明度候補検出部で検出された前記背景の明度の複数の候補を前記部分領域毎に一つずつ選択し、選択した候補の組み合わせを基に前記原画像の背景の明度の分布を求める背景明度分布推定部と、前記背景明度分布推定部により求められた背景の明度の分布から前記原画像の二値化処理のためのしきい値を算出するしきい値算出部と、前記しきい値算出部により算出されたしきい値により前記原画像を二値化する二値化部として機能させることを特徴とする。

本発明の画像処理方法は、画像処理装置が画像処理を行う画像処理方法であって、前記画像処理装置が、原画像を複数の部分領域に分割し、前記部分領域の各々について明度の代表値を検出して前記部分領域における背景の明度の複数の候補とし、前記背景の明度の複数の候補を前記部分領域毎に一つずつ選択し、選択した候補の組み合わせを基に前記原画像の背景の明度の分布を求め、求めた背景の明度の分布から前記原画像の二値化処理のためのしきい値を算出し、算出したしきい値により前記原画像を二値化することを特徴とする。

本発明では、原画像を複数の部分領域に分割し、分割した部分領域毎に原画像の背景の明度として用いる明度値の候補を検出しその候補を用いて原画像の背景明度分布を推定する。つまり原画像の画像領域全体での変動が極力小さくなるように背景明度を推定し、推定した背景明度を基に二値化しきい値を算出するので、影等による局所的な変動に対して安定した二値化処理を行うことができる。

以上説明したように本発明によれば、影がかかっている画像や広い図の領域または広い地の領域を含む画像について安定した二値化処理を行うことができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は本発明の一つの実施形態に係る画像処理装置の構成を示すブロック図、図２乃至図５は原画像の分割例を示す図である。

図１に示すように、この画像処理装置は、デジタルカメラ１などの撮像装置とこのデジタルカメラ１を接続したコンピュータ２（以下ＰＣ２と称す）とから構成されている。

この画像処理装置では、デジタルカメラ１は、文字認識対象の帳票の表面を撮像して画像を読み取り取得する画像取得手段として機能する。帳票には、所定の情報として文字などが記入されているものとし、デジタルカメラ１により得られる帳票の画像は、白色と黒色とその他の色、つまり中間色が混在しグレースケールとなる。

以下、「記入」とは、文字などが手書きされた場合と、印刷された場合の双方の意味を含む。

画像情報は、デジタルカメラ１に限らず、スキャナーなどで読み取ったものでも良く、文書ファイルからの変換によって取得しても良い。また他のコンピュータに蓄積されている画像情報をＬＡＮなどのネットワークを通じてＰＣ２が取得しても良い。

ＰＣ２の機能は、ＣＰＵ、ＲＡＭ、ＲＯＭなどのメモリ、ハードディスク装置などの補助記憶装置、キーボードなどの入力装置およびマウスなどの指示装置、モニタなどの表示装置、デジタルカメラ１とのインターフェースボードなどのハードウェアと、オペレーティングシステム（以下ＯＳと称す）および画像処理ソフトウェアなどのプログラムとが協動して実現される。

ＰＣ２は、記憶部２１、背景明度候補検出部２２、背景明度候補補足部２５、背景明度分布推定部２６、しきい値算出部２９および二値化部３３を備える。

背景明度候補検出部２２は、ヒストグラム補正部２３およびフレーム間ヒストグラム加算部２４を有している。

ヒストグラム補正部２３は、部分領域の近傍のヒストグラムを当該部分領域のヒストグラムに加算したヒストグラムを生成し、生成したヒストグラムを当該フレームのヒストグラムの代わりに用いる。

フレーム間ヒストグラム加算部２４は、原画像が動画像の１フレームである場合に、背景明度候補検出を行うことで求められた、当該フレームより前のフレームにおける明度ヒストグラムを当該フレームのヒストグラムに加算してヒストグラムを生成し、生成したヒストグラムを当該フレームのヒストグラムの代わりに用いる。

なお、これらヒストグラム補正部２３およびフレーム間ヒストグラム加算部２４は、必須の構成ではない。またこれらをまとめて一つとしても良い。

背景明度候補検出部２２は、予め決められた手順に従い原画像を部分領域に分割し、各部分領域毎に原画像の背景の明度値の候補を検出する。

背景明度候補補足部２５は、背景明度候補検出部２２により検出された原画像の背景の明度値の候補を所定の計算式（式１）などにより補正（補足）し、その補正（補足）した値を背景明度候補として記憶部２１へ記憶する。背景明度候補補足部２５は、原画像が動画像の１フレームである場合に、部分領域の背景明度候補を当該フレームより前のフレームにおける背景明度候補の集合で補足する。

背景明度分布推定部２６は、記憶部２１に記憶された背景の明度値の候補を読み出し、その候補の中から評価関数を用いて候補を選定する処理を行い（図１４参照）、選定した候補を用いて原画像の背景の明度分布を推定する。つまり背景明度分布推定部２６は、候補の中から選定した明度値を用いて原画像の背景の明度分布を計算する。

背景明度分布推定部２６は、背景明度分布候補列挙部２７および背景明度分布選択部２８を有している。

背景明度分布候補列挙部２７は、部分領域毎に原画像の背景の明度値として用いる候補を記憶部２１またはバッファなどのメモリに記憶し、個々の部分領域を初期状態とした部分領域のグループを反復的に融合して一つのグループを生成し、生成したグループの融合のたびにメモリの該当候補を更新し、融合完了時にメモリに記憶されていた部分領域毎の候補を基に背景明度分布の候補を列挙する。

背景明度分布選択部２８は、予め定められた手順で候補番号Ｓを定め、画像全体で当該番号の候補を背景明度推定結果として出力、つまり記憶部２１へ記憶する。

しきい値算出部２９は、背景明度分布推定部２６により推定（計算）された背景明度分布（記憶部２１の背景明度推定結果）を基に、原画像を二値化するための二値化しきい値を算出する。

しきい値算出部２９は、明度補正部３０、補正前しきい値算出部３１、しきい値逆補正部３２を有している。

明度補正部３０は、記憶部２１より読み出した背景明度分布を所定の計算式（（式２９）または（式３０）など）に代入して原画像を補正、つまり原画像のシェーディングによる補正を行うことで補正画像を生成する。

補正前しきい値算出部３１は、明度補正部３０により生成された補正画像に対して所定の計算式（大津の方法など）を用いて補正前しきい値を算出する。

しきい値逆補正部３２は、補正前しきい値算出部３１により算出された補正前しきい値を所定の計算式に代入して二値化しきい値を算出する。

二値化部３３は、しきい値算出部２９により算出されたしきい値（記憶部２１の二値化しきい値）を用いて、記憶部２１より読み出した原画像を二値化する。

記憶部２１は、メモリ、ハードディスク装置などにより実現される。記憶部２１には、以下に説明する各式および選択条件（評価関数など）が記憶されている。記憶部２１には、デジタルカメラ１から入力された画像データが記憶される。記憶部２１は、各部が画像処理を行う際の画像データおよび各部が式を用いて求めたデータの一時記憶領域（作業領域）として機能する。

この画像処理装置は、コンピュータに本発明を実現するソフトウェアを組み込むことによって構成できるため、以下ではそのような構成を仮定して説明を行う。但し、本発明は各部を専用ハードウェアや、その集合体、または分散処理用のコンピュータネットワークとしても構成することもでき、ここで挙げた構成に関わらずどのようなもので実装しても良い。

また、上記実施形態で示す構成は一例にしか過ぎず、実施形態の各構成は、すべてが必須の構成とは限らず、その中からいくつかの構成を選択して利用しても良く、また他の構成を追加しても良い。

この画像処理装置では、原画像上での画素の横座標をｘ、縦座標をｙとおき、座標（ｘ，ｙ）の原画像上での明度をｆ（ｘ，ｙ）、二値画像上での画素値をｏ（ｘ，ｙ）と定める。

背景明度候補検出部２２では、原画像を予め定められた手順、つまり下記いくつかの方法で分割し、分割したそれぞれの部分領域における背景明度候補を検出する。

背景明度候補検出部２２は、図２に示すように、原画像を格子状に分割して部分領域を生成する。格子状に分割された部分領域の縦方向の位置をｉで表し、横方向の位置をｊで表し、縦方向の分割数をｍで表し、横方向の分割数をｎで表し、領域の位置を（ｉ，ｊ）で表し、領域の番号を、

で表し、分割された部分領域の個数をＫで表す。

背景明度候補検出部２２が原画像を部分領域に分割する場合の、画像の分割方法は、上記以外に、例えば図３に示すように、原画像を横方向に分割しても良く、図４に示すように、原画像を縦方向に分割しても良い。さらに図５に示すように、原画像を不均一な形状の部分領域に分割しても良く、分割数が有限である限りいかなる分割方法で分割しても良い。

背景明度候補検出部２２は、背景明度候補を検出する場合、原画像を分割したそれぞれの部分領域について下記方法ａ，ｂ，ｃのうちのいずれかの方法により明度ヒストグラムを生成し、生成した各部分領域毎の明度ヒストグラムから背景明度候補を検出する。

図６は背景明度候補検出部２２により生成される明度ヒストグラムの一例であり、この例では、ピーク毎の極値を背景明度候補ｐ_１，ｐ_２，ｐ_３，ｐ_４として検出する。この方法を方法aと称す。

つまり、この方法aの場合、背景明度候補検出部２２は、原画像を分割した各部分領域について、明度ヒストグラムのピークにおける明度の極値を検出することで、原画像の背景の明度値を求めるための候補とする。

この他、例えば背景明度候補は、原画像を分割した領域の各々について明度ヒストグラムを生成し、生成したヒストグラムの階級のうち度数で上位Ｎ階級までの階級の代表値として検出しても良い。但し、Ｎは予め定めた定数である。

図７は上位４階級までの階級の代表値を背景明度候補とした場合の背景明度候補検出例であり、この例では、背景明度候補ｐ_１，ｐ_２，ｐ_３，ｐ_４が検出されている。この方法を方法ｂと称す。

また背景明度候補は、原画像を分割したそれぞれの部分領域について、明度の標本値に対してｋ-ｍｅａｎｓ法（既存の代表値算出方法）などを適用し、クラスタの代表値として求めても良い。この方法を方法ｃと称す。

この他、背景明度候補の検出方法としては、背景明度の候補を検出できると期待できる方法ならば、いかなる方法を用いても良い。

上記方法ａ、方法ｂにおける明度ヒストグラムとしては、それぞれの部分領域において独立して求めたヒストグラムをそのまま用いても良く、以下に説明するヒストグラム補正部２３により補正処理したヒストグラムを用いても良い。

ここで、ヒストグラム補正部２３により補正処理したヒストグラムを用いることについて説明する。

ヒストグラム補正部２３は、注目分割領域の近傍のヒストグラムを注目分割領域のヒストグラムに加算する。補正前のヒストグラムの階級番号をｌ、分割領域（ｉ，ｊ）のヒストグラムをｈ（ｌ；ｉ，ｊ）で、分割領域（ｉ，ｊ）の補正後のヒストグラムをｈ’（ｌ；ｉ，ｊ）で表すと、ヒストグラム補正部２３による処理は、下記（式１）で表される。

但し、Ｕ，Ｖは非負の整数であり、ｗ（ｕ，ｖ）は、実関数でｗ（ｕ，ｖ）≧０かつ

とする。

また、ｉ+ｕ＜０、ｉ+ｕ≧ｍ、ｊ+ｖ＜０またはｊ+ｖ≧ｎの場合は、
ｈ（ｌ；ｉ+ｕ，ｊ+ｖ）＝０とする。

また、原画像が動画像の１フレームである場合、当該フレームより前のフレームにおける明度ヒストグラムを加算するフレーム間ヒストグラム加算部２４による処理を施すこともできる。

フレームの番号をｔ、分割領域（ｉ，ｊ）のヒストグラムをｈ（ｌ；ｉ，ｊ，ｔ）で、分割領域（ｉ，ｊ）の補正後のヒストグラムをｈ’（ｌ；ｉ，ｊ，ｔ）で表すと、フレーム間ヒストグラム加算部２４による処理は、下記（式２）で表される。

また、t−θが最初のフレーム番号より小さい場合はｈ’（ｌ；ｉ，ｊ，ｔ−θ）＝０
とする。

さらに、上記ヒストグラム補正部２３による処理と上記フレーム間ヒストグラム加算部２４による処理をまとめて下記（式３）でヒストグラムを補正しても良い。

背景明度候補検出部２２で検出した背景明度候補は、そのまま用いても良く、以下に説明する背景明度候補補足部２５により補正し、その補正値を用いても良い。

背景明度候補補足部２５は、注目分割領域の背景明度候補を近傍の分割領域の背景明度候補で補足する。

分割領域（ｉ，ｊ）の補足前の背景明度候補数をＮ（ｉ，ｊ）で表し、背景明度候補の集合をＰ（ｉ，ｊ）＝｛ｐ_１，…，ｐ_{Ｎ（ｉ，ｊ）}｝で表し、補足後の背景明度候補の集合をＰ’（ｉ，ｊ）で表すと、背景明度候補補足部２５による処理は、下記（式４）で表される。

但し、Ｕ，Ｖは、非負の整数であり、ｉ+ｕ＜０、ｉ+ｕ≧ｍ、ｊ+ｖ＜０またはｊ+ｖ≧ｎの場合は、Ｐ（ｉ+ｕ，ｊ+ｖ）＝φ（空集合）とする。

また、原画像が動画像の１フレームである場合、背景明度候補補足部２５においては当該フレームより前のフレームにおける背景明度候補の集合で当該フレームの背景明度候補を補足しても良い。

フレームの番号ｔにおける分割領域（ｉ，ｊ）の補足前の背景明度候補数をＮ（ｉ，ｊ，ｔ）で表し、背景明度候補の集合をＰ（ｉ，ｊ，ｔ）＝｛ｐ_１，…，ｐ_{Ｎ（ｉ，ｊ，ｔ）}｝で表し、補足後の背景明度候補の集合をＰ’（ｉ，ｊ，ｔ）で表すと、背景明度候補補足部２５による処理は、下記（式５）で表される。

また、（ｔ−θ）が最初のフレーム番号より小さい場合、ｉ+ｕ＜０、ｉ+ｕ≧ｍ、ｊ+ｖ＜０またはｊ+ｖ≧ｎの場合はＰ（ｉ+ｕ，ｊ+ｖ，ｔ−θ）＝φ（空集合）とする。

背景明度候補補足部２５の処理結果は、そのまま背景明度候補として用いても良いが、ｋ−ｍｅａｎｓ法等で求めた代表値による置き換え等で減数してから用いても良い。

背景明度分布推定部２６では、背景明度候補検出部２２により検出された背景明度候補を用いて背景明度分布を推定する。

背景明度分布推定部２６は、背景明度分布を推定するにあたり、画素毎に背景明度を推定する。なお画素の座標（ｘ，ｙ）における背景明度推定結果をｂ（ｘ，ｙ）とする。

背景明度分布推定部２６は、画素毎の背景明度推定結果ｂ（ｘ，ｙ）を、以下の２段階の処理により求める。

１）背景明度候補検出部２２で検出された背景明度候補を基に、後述する背景明度分布候補列挙部２７で、ｂ（ｘ，ｙ）の候補ｃ（ｘ，ｙ；１），ｃ（ｘ，ｙ；２），…ｃ（ｘ，ｙ；γ）を求める。ただし、γは背景明度分布の候補数である。

２）後述する背景明度分布選択部２８で、候補番号Ｓを設定し、画像全体で当該番号の候補を背景明度推定結果とする。

ｂ（ｘ，ｙ）＝ｃ（ｘ，ｙ；Ｓ） …（式６）

背景明度分布候補列挙部２７では、背景明度候補検出部２２により分割された部分領域毎に背景明度の候補Ｃ（k；s）を生成し、それを当該領域内の画素の背景明度候補とする。

ｃ（ｘ，ｙ；ｓ）＝Ｃ（ｋ（ｘ，ｙ）；ｓ） …（式７）
但し、ｓは候補番号、ｋ（ｘ，ｙ）は座標（ｘ，ｙ）の画素を含む分割領域の番号とする。

以下、図８のフローチャートを参照し、部分領域について「グループ」という概念を導入し、部分領域毎に背景明度の候補Ｃ（ｋ；ｓ）を列挙する計算手順（背景明度分布候補列挙部２７の動作）について説明する。

グループは、一つ以上の部分領域の集合であり、初期状態では、各部分領域の中の一つの領域が１グループであり、分割領域毎に背景明度の候補Ｃ（ｋ；ｓ）の計算完了時には全部分領域が一つのグループを構成する。

背景明度分布候補列挙部２７は、初期状態では、各部分領域の第ｓ候補Ｃ（ｋ；ｓ）を、背景明度候補検出部２２により当該領域において検出されたｓ番目の背景明度候補を用いて初期化する（図８のステップ１０１）。なおステップをＳと省略する。

記憶部２１に記憶される部分領域毎の背景明度の候補Ｃ（ｋ；ｓ）は、以下の４段階の処理を反復することによって更新する。

各部分領域における背景明度の候補数は、グループＧ内で一定値Γ_Ｇである。ｑ番目の反復ではＲ_ｑ個のグループＧ_q,1，Ｇ_q,2，…，Ｇ_q,Rqが融合されて１個のグループとなる。反復処理は、全部分領域が１つのグループを構成するようになるまで繰り返す。

1．各グループＧ_q,1，Ｇ_q,2，…，Ｇ_q,Rqにおいて、１つずつ背景明度の候補番号を選択することによって定まる組合せ（s₁，s₂，…，s_Rq）を全て列挙する（Ｓ１０２）。

２．各組合せ（s₁，s₂，…，s_Rq）と領域番号kについて、新背景明度候補Ｄ（k；s₁，s₂，…，s_Rq）を下記（式８）で定める。

但し、

はk番目の部分領域がグループＧ_gに含まれていることを示している。

背景明度分布候補列挙部２７は、新背景明度候補Ｄ（k；s₁，s₂，…，s_Rq）を下記（式９）に適用してコスト関数Ｅ（k；s₁，s₂，…，s_Rq）を算出し、求める（Ｓ１０３）。

例えば図９に示すように、原画像に不均一な部分領域を６つ設けた場合、Ωは以下の集合となる。図中の番号は部分領域の番号を示す。
Ω=｛（1，２），（1，３），（1，４），（２，３），（２，５），（３，４），（３，５），（３，６），（４，６），（５，６） …（式１０）
但し（式９）は、コスト関数Ｅ（k；s₁，s₂，…，s_Rq）の計算式の一例であり、コスト関数Ｅ（k；s₁，s₂，…，s_Rq）の計算式としては、背景明度候補C（k；s）の変動の大小を評価する式ならば、いかなる式を用いても良い。

３．第１段階において列挙した組合せのうちから、第２段階で求めたコスト関数Ｅ（k；s₁，s₂，…，s_Rq）において下位ΓMAX個の組合せを選出する。

第１段階において、列挙した組合せがΓMAX個未満の場合は、全ての組合せを選出結果とする。選出した組合せの個数をＺ個、組合せの番号をｚ、ｚ番目にコスト関数Ｅ（k；s₁，s₂，…，s_Rq）が小さい組合せをζｚとする（Ｓ１０４）。

４．一定値Γ_G=Ｚとして、Ｚ個の候補を下記更新式（式１１）で更新する（Ｓ１０５）。

このようにして背景明度分布候補列挙部２７は、更新（反復処理）を繰り返し、全部分領域が一つのグループを構成しているか否かを判定し（Ｓ１０６）、全部分領域が一つのグループを構成している場合（Ｓ１０６の真）、処理を終了する。

以上の反復処理の第３段階で、コスト関数Ｅ（k；s₁，s₂，…，s_Rq）で下位の候補を列挙することにより、背景明度分布候補列挙部２７では、画像全体での背景明度分布の変動が小さくなるよう背景明度分布の候補が列挙される。

このようにして列挙された候補を用いることで背景明度分布推定部２６では、明るさの変動が小さくなるように背景明度を推定できる。

各反復において融合するグループの個数Ｒ_ｑと組合せＧ_q,１，Ｇ_q,2，…Ｇ_q,Rは、任意であり、上記反復処理の第１段階で列挙する組合せ（s₁，s₂，…，s_Rq）の数が許容可能な範囲内ならば、グループの個数Ｒ_ｑと組合せＧ_q,１，Ｇ_q,2，…Ｇ_q,Rをどのように定めても良い。

但し、ここでいう許容可能な範囲とは、本発明による画像処理を実施するにあたって必要となるハードウェア資源や計算時間が、利用可能な範囲内に収まる範囲のことである。

図１０は原画像を格子状に分割し、縦・横４つの部分領域（合計１６個の部分領域）に細分して設定したことを示す図、図１１は、図１０のように１６個の部分領域を設定した場合に、各反復で融合するグループの個数と組合せの一例を示す図である。

図１０で示す組合せでは、どの反復でも４グループが融合され、第１反復から第４反復で融合したグループを第５反復で再び融合している。第１反復から第４反復からを第1段階、第５反復を第２段階とみなし、段階の番号をλで表すと、各段階では、部分領域数４^λのグループ４個を融合している。

この融合方法を一般化して、段階の数をΛとし、各段階でＲ個のグループを再帰的に融合すると、各段階で融合されるグループ内の部分領域数はＲ^λ、総部分領域数はK＝Ｒ^Λ、各段階辺りの反復数はＲ^Λ−λとなる。

例えば、格子状に部分領域を設定し、各段階で融合するグループ数をＲ＝ｒ^２と、縦方向と横方向の分割数をｍ＝ｎ＝ｒ^Λと、段内における反復の番号をρと、反復の通し番号をｑと、各反復で融合するグループをＧ_q,1，…，Ｇ_q,Rと、グループＧ_q,gに属するυ番目の部分領域の番号をk_q,p,g(υ)とし、qとk_q,p,g(υ)を下記（式１２）〜（式２１）で定義し、グループを融合する。

図１１は、r＝２，Λ＝４，λ＝２の場合の例を示す図、図１２は、r＝２，Λ＝４の各段階でのグループの融合の様子を示す図である。

背景明度分布選択部２８は、以下の手順で候補番号Ｓを定め、画像全体で当該番号の候補を背景明度推定結果とする。（（式６）参照）

すなわち、図１４に示すように、背景明度分布選択部２８は、各候補番号ｓ（１≦ｓ≦γ）について、背景濃度分布ｃ（ｘ，ｙ；ｓ）から以下に示す評価関数Ｌ（ｓ）を算出し、候補番号ｓと評価関数の対（ｓ，Ｌ（ｓ））を列挙する（Ｓ１１１）。

そして、背景明度分布選択部２８は、列挙した評価関数の対（ｓ，Ｌ（ｓ））を評価関数Ｌ（ｓ）の昇順に整列し（Ｓ１１２）、σ番目の対の候補番号ｓを（式６）での候補番号Ｓとする（Ｓ１１３）。

但し、σ＝λである。また、処理対象の画像や条件によっては、σ＝１、σ＝ｍｉｎ（２，λ）、σ＝ｍａｘ（λ−１，１）等がより好適な場合もあり、σの決定方法としては、上記の方法の他、いかなる方法を用いても良い。

以上、背景明度分布推定部２６での背景明度推定方法を説明したが、背景明度候補ｂ（ｘ，ｙ）の変動が小さくなると期待できる方法ならば、上記の方法に限らず、どのような方法を用いても良い。

例えば、分割領域の全体が少ない場合には、各分割領域での候補番号の組合せ（s₁，s₂，…，s_k）を全て列挙し、下記（式２３）〜（式２５）を用いて定義するＥ_global（s₁，s₂，…，s_k）が最小となる（s₁，s₂，…，s_k）について、下記（式２６）により画素毎の背景明度推定結果ｂ（ｘ，ｙ）を算出して、求めても良い。

また、背景明度分布推定部２６で推定された背景明度推定結果ｂ（ｘ，ｙ）に対して後処理を行っても良い。

例えば、横方向及び縦方向の分散がσx，σyのガウス関数Ｈ（σx，σy）（（式２８）参照）との畳み込み積分の結果ｂ’（ｘ，ｙ）でｂ（ｘ，ｙ）を置き換えても良い。（（式２７）参照）

背景明度推定結果ｂ（ｘ，ｙ）に対して後処理を行った場合、ｂ（ｘ，ｙ）の変化がなだらかとなり、部分領域の境界等での二値化結果のひずみが緩和される。

しきい値算出部２９では、背景明度分布推定部２６により推定された背景明度分布を基に二値化しきい値を算出する。

以下では、座標（ｘ，ｙ）での二値化しきい値をτ（ｘ，ｙ）とする。
しきい値算出部２９は、以下の三段階の手順で二値化しきい値を算出する。

１）明度補正部３０が記憶部２１より読み出した原画像を、下記関数式に従って補正して補正画像を生成する。

２）補正前しきい値算出部３１は、明度補正部３０により生成された補正画像に対して補正前しきい値を算出する。

３）しきい値逆補正部３２は、補正前しきい値算出部３１により算出された補正前しきい値を用いて二値化しきい値を算出する。

明度補正部３０は、原画像ｆ（ｘ，ｙ）のシェーディングによる明暗を補正する。
明度補正部３０は、背景明度候補検出部２２により推定された背景明度ｂ（ｘ，ｙ）を用いて、下記（式２９）により上記補正画像の明度値ｇ（ｘ，ｙ）を求める。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｂ（ｘ，ｙ） …（式２９）

また、明度補正部３０は、下記（式３０）に基づいて補正処理を行っても良く、原画像のシェーディングを補正し得る方法ならば、いかなる方法で補正しても良い。

但し、εは正の実数である。補正前しきい値算出部３１は、明度補正部３０により求められた補正画像の明度値ｇ（ｘ，ｙ）に対して単一の二値化しきい値βを求める。補正前しきい値算出部３１で算出したしきい値βを補正前しきい値と呼ぶ。

補正前しきい値βは、補正画像の明度値ｇ（ｘ，ｙ）に対して、最小２乗基準に基づく自動しきい値選定法（既存のしきい値算出方法）などを適用して求める。

補正前しきい値βの算出方法としては、補正画像の明度値ｇ（ｘ，ｙ）に対する単一の二値化しきい値を求める方法ならば、いかなる方法を用いても良い。

しきい値逆補正部３２は、補正前しきい値算出部３１により算出された補正前しきい値βから、原画像ｆ（ｘ，ｙ）に対する二値化しきい値τ（ｘ，ｙ）を算出する。

しきい値逆補正部３２は、補正画像の明度値ｇ（ｘ，ｙ）をしきい値βで二値化した結果と、原画像ｆ（ｘ，ｙ）を二値化しきい値τ（ｘ，ｙ）で二値化した結果とが一致するように二値化しきい値τ（ｘ，ｙ）を算出する。

明度補正部３０が上記（式２９）を用いて明度補正を行う場合、二値化しきい値τ（ｘ，ｙ）は下記（式３１）で算出する。
τ（ｘ，ｙ）＝β＋ｂ（ｘ，ｙ） …（式３１）

また、明度補正部３０が上記（式３０）を用いて明度補正を行う場合、二値化しきい値τ（ｘ，ｙ）は下記（式３２）を用いて算出する。

また、二値化しきい値τ（ｘ，ｙ）は、補正画像ｇ（ｘ，ｙ）をしきい値βで二値化した結果と、原画像ｆ（ｘ，ｙ）を二値化しきい値τ（ｘ，ｙ）で二値化した結果とが類似するように算出しても良い。

例えば、明度補正部３０が上記（式３０）を用いて明度補正を行う場合、二値化しきい値τ（ｘ，ｙ）は下記（式３３）で算出しても良い。

τ（ｘ，ｙ）＝βｂ（ｘ，ｙ） …（式３３）

また、しきい値算出部２９は、背景明度分布推定部２６により推定された背景明度の定数α倍として二値化しきい値を算出しても良い。

τ（ｘ，ｙ）＝αｂ（ｘ，ｙ） …（式３４）

しきい値算出部２９としては、推定した背景明度に従って適応的に二値化しきい値が算出される機能を備えていれば、いかなる手段を用いても良い。

二値化部３３は、しきい値算出部２９により算出されたしきい値を用いて原画像を二値化する。

二値化部３３は、原画像の各画素について明度ｆ（ｘ，ｙを二値化しきい値τ（ｘ，ｙ）でしきい値処理し、二値画像の画素値ｏ（ｘ，ｙ）を算出する。

但し、Ａ，Ｂは、二値化後の画素値であり、Ａ≠Ｂである限り、いかなる組合せでも良い。また、二値化部３３による二値化処理は、等号の位置を変えて下記（式３６）を用いて行っても良い。

このようにこの実施形態の画像処理装置によれば、原画像を予め決められた手順に従って複数の部分領域に分割し各部分領域毎に原画像の背景の明度として用いる明度値の候補を検出する背景明度候補検出部２２と、検出した候補を用いて原画像の背景明度分布を推定する背景明度分布推定部２６と、推定した背景明度分布に基づいて原画像の二値化処理のためのしきい値を算出するしきい値算出部２９と、算出したしきい値により原画像を二値化する二値化部３３とを備えたことで、原画像の画像領域全体での変動が極力小さくなるように背景明度を推定し、推定した背景明度を基に二値化しきい値を算出するので、影等による局所的な変動に対して安定した二値化処理を行うことができる。

本発明の一つの実施形態の画像処理装置の構成を示すブロック図である。 原画像を格子状に分割して生成した部分領域の一例を示す図である。 原画像を縦に分割して生成した部分領域の一例を示す図である。 原画像を横に分割して生成した部分領域の一例を示す図である。 原画像を不均一に分割して生成した部分領域の一例を示す図である。 背景明度候補検出部における候補検出結果の一例を示す図である。 背景明度候補検出部における候補検出結果の一例を示す図である。 背景明度分布候補列挙部の動作を示すフローチャートである。 背景明度分布推定部における隣接部分領域の組合せを例示するために用いる部分領域分割例を示す図である。 反復処理の説明に用いる領域分割例であり、原画像を縦・横４つの部分領域に細分した図である。 図１０の部分領域を各反復処理で融合するグループの個数と組合せの一例を示す図である。 背景明度分布推定部における融合対象部分領域の番号算出処理を説明するための図である。 背景明度分布推定部におけるグループの融合の様子を示す図である。 背景明度分布選択部の動作を示すフローチャートである。

符号の説明

１…デジタルカメラ、２…コンピュータ、２１…記憶部、２２…背景明度候補検出部、２３…ヒストグラム補正部、２４…フレーム間ヒストグラム加算部、２５…背景明度候補補足部、２６…背景明度分布推定部、２７…背景明度分布候補列挙部、２８…背景明度分布選択部、２９…しきい値算出部、３０…明度補正部、３１…補正前しきい値算出部、３２…しきい値逆補正部、３３…二値化部。

Claims (10)

1. 原画像を複数の部分領域に分割し、前記部分領域の各々について明度の代表値を検出して前記部分領域における背景の明度の複数の候補とする背景明度候補検出部と、
   前記背景明度候補検出部で検出された前記背景の明度の複数の候補を前記部分領域毎に一つずつ選択し、選択した候補の組み合わせを基に前記原画像の背景の明度の分布を求める背景明度分布推定部と、
   前記背景明度分布推定部により推定された背景の明度の分布から前記原画像の二値化処理のためのしきい値を算出するしきい値算出部と、
   前記しきい値算出部により算出されたしきい値により前記原画像を二値化する二値化部と
   を具備することを特徴とする画像処理装置。
2. 前記背景明度分布推定部が、
   前記部分領域毎に前記背景の明度の複数の候補から候補を一つずつ選択した組み合わせを複数求め、前記組み合わせの各々から背景明度分布の候補を求める背景明度分布候補列挙部を具備し、
   前記背景明度分布推定部では前記組み合わせの各々において、選択した背景の明度の候補の画像全体にわたる変動が小さくなるように、背景の明度の候補の選択を行うことを特徴とする請求項１記載の画像処理装置。
3. 前記背景明度分布候補列挙部が、
   前記部分領域毎に前記原画像の背景の明度値として用いる候補をメモリに記憶し、個々の部分領域を初期状態とした部分領域のグループを反復的に融合して一つのグループを生成し、
   前記グループの融合のたびに前記メモリの該当候補を更新し、
   融合完了時に前記メモリに記憶されていた部分領域毎の候補を基に背景明度分布の候補を列挙することを特徴とする請求項２記載の画像処理装置。
4. 前記背景明度候補検出部が、
   前記原画像を分割したそれぞれの部分領域の明度を求め、各領域の明度と出現頻度との関係を示す明度ヒストグラムを生成し、
   生成した明度ヒストグラム上でピークの画素値を、前記原画像の背景の明度の候補として検出する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記背景明度候補検出部が、
   前記部分領域の近傍のヒストグラムを当該部分領域のヒストグラムに加算したヒストグラムを、当該フレームのヒストグラムの代わりに用いるヒストグラム補正部を具備することを特徴とする請求項４記載の画像処理装置。
6. 原画像が動画像の１フレームである場合に、前記背景明度候補検出部により求められた、当該フレームより前のフレームにおける明度ヒストグラムを当該フレームのヒストグラムに加算したヒストグラムを、当該フレームのヒストグラムの代わりに用いるフレーム間ヒストグラム加算部を具備することを特徴とする請求項４記載の画像処理装置。
7. 前記分割領域の背景明度候補を近傍の分割領域の背景明度候補で補足する補足部を具備することを特徴とする請求項１記載の画像処理装置。
8. 前記原画像が動画像の１フレームである場合に、前記部分領域の背景明度候補を当該フレームより前のフレームにおける背景明度候補の集合で補足する補足部を具備することを特徴とする請求項１または７いずれか記載の画像処理装置。
9. コンピュータに画像処理を実行させる画像処理プログラムであって、
   前記コンピュータを、
   原画像を複数の部分領域に分割し、前記部分領域の各々について明度の代表値を検出して前記部分領域における背景の明度の複数の候補とする背景明度候補検出部と、
   前記背景明度候補検出部で検出された前記背景の明度の複数の候補を前記部分領域毎に一つずつ選択し、選択した候補の組み合わせを基に前記原画像の背景の明度の分布を求める背景明度分布推定部と、
   前記背景明度分布推定部により求められた背景の明度の分布から前記原画像の二値化処理のためのしきい値を算出するしきい値算出部と、
   前記しきい値算出部により算出されたしきい値により前記原画像を二値化する二値化部として機能させることを特徴とする画像処理プログラム。
10. 画像処理装置が画像処理を行う画像処理方法であって、
    前記画像処理装置が、
    原画像を複数の部分領域に分割し、前記部分領域の各々について明度の代表値を検出して前記部分領域における背景の明度の複数の候補とし、
    前記背景の明度の複数の候補を前記部分領域毎に一つずつ選択し、選択した候補の組み合わせを基に前記原画像の背景の明度の分布を求め、
    求めた背景の明度の分布から前記原画像の二値化処理のためのしきい値を算出し、
    算出したしきい値により前記原画像を二値化する
    ことを特徴とする画像処理方法。

Images