JP5229328B2 - 文字領域抽出装置，文字領域抽出機能を備えた撮像装置，および文字領域抽出プログラム - Google Patents

Description

本発明は，画像データからの文字領域の抽出処理に関する。より詳しくは，被写体が撮像された画像データから文字認識処理の対象となる二値画像データを取得するため，環境光の写り込みによる反射等が発生している画像データからでも文字領域を精度良く抽出できる処理に関する。

文字領域は，文字画素に分類される画素領域である。同じ基底線で並ぶ一または複数の文字領域を「行」と呼ぶ。

コンパクトデジタルカメラ，カメラ機能を搭載した携帯電話等が普及した現在では，カメラ撮影機能に高精度な文字認識機能が求められている。

従来の文字認識処理の対象画像データは，被写体がスキャナなどの固定装置を利用して撮像されるため，外乱がない撮影環境で得られたものであった。

しかし，コンパクトデジタルカメラ，携帯電話等は，屋内屋外のいずれでも利用可能であるため，撮影時の外乱影響が大きくなることを考慮する必要がある。特に，大きな問題の一つとして，被写体表面に存在する反射率の高いガラスやプラスチック等の素材によって照明光の反射が撮影画像上に発生し，視認性や文字認識精度を低下させるという現象がある。

この現象の原因は，反射部分では背景と文字の濃淡値が共に上昇して両者のコントラストが低下し，非反射領域での背景と文字とのコントラストと異なる状態となるため，分離処理の精度が低下することによる。なお，この現象は，背景や文字に複雑な模様がない均一な場合でも発生する。

反射の生じた撮影画像に対して反射領域の背景色および文字色を補完し，目視での画質向上や文字認識精度の向上を図る従来技術として，例えば，特許文献１，特許文献２の技術が知られている。

特許文献１は，文字と背景領域とを局所的なエッジ強度に基づいて分離し，各領域に属する画素から推定した背景色と文字色とを用いて濃淡に応じて補正して，文字と背景とを分離する。

また，特許文献２は，入力画像の濃淡値ヒストグラムから背景色を推定して文字と背景色とを分離し，この背景色より高い濃淡値を持つ領域を反射領域部として，反射領域内の背景色を濃淡値分布ヒストグラムから推定し，推定結果をもとに文字と背景とを分離することで反射領域を含めた画像全体の文字領域を求めている。
特開２００８−１１３４４６号公報 特開２００８−７９２５８号公報

しかし，反射領域がある画像では，文字と背景の境界だけでなく，反射領域と非反射領域との境界でもエッジが発生する。このため，特許文献1では，背景領域上に生じた反射領域と非反射領域とのエッジも，文字領域の一部として誤検出する場合があり，文字領域抽出の精度を低下させ，さらには，文字認識処理での認識精度を低下させることが考えられる。

また，特許文献２は，文字領域と背景領域とに属する画素の濃淡値が各領域内で均一でない場合に，ヒストグラム上で分離処理の適切な閾値を検出できない。また，閾値の評価と評価に基づく補正を行わないため，文字領域と背景領域との分離精度が低下して，文字領域抽出の精度，ひいては文字認識処理での認識精度が低下することが考えられる。

上記の問題に鑑み，本発明は，反射領域のように画像データ全体の濃淡値傾向と異なる傾向の領域が生じている画像データから，文字領域を高精度で分離できる文字領域抽出装置，文字領域抽出機能を備えた撮像装置，および文字領域抽出プログラムを提供することを目的とする。

本発明の一態様である文字領域抽出装置は，処理対象となる画像データを入力し，画像データ全体の濃淡値に基づいて定めた第１閾値を用いて，画像データ全体を二値化処理し，画素値が飽和している反射領域と画素値が非飽和である非反射領域とに分離する。

さらに，反射領域と非反射領域のそれぞれを，個別の閾値（第２閾値，第３閾値）を用いて二値化処理して文字領域と背景領域とに分離する。

そして，反射領域と非反射領域の各々で分離された文字領域を統合し，画像データ全体の文字領域を求め，文字領域の位置情報を抽出する。

ここで，前記の第１閾値〜第３の閾値が適切でない場合は，反射領域と非反射領域の分離処理，さらには反射領域と非反射領域各々での文字領域と背景領域との分離処理の処理精度が低下する。例えば，文字領域の統合時に，文字ストロークのつながりが不連続になったり，部分的な欠落が生じたりするという問題が生じる。このため，反射領域と非反射領域での分離結果を用いて，二値化処理で使用した第１閾値〜第３閾値を評価する。所定の評価条件から，分離結果が適正ではないと判定した場合に，その分離結果に関連する閾値を調整し，再度二値化分離処理を行う。

具体的には，本発明の一態様として開示する文字領域抽出装置では，被写体が撮像された画像データを受け付ける画像入力部と，画像データを第１閾値で二値化し，画像データを画素値が飽和している反射領域と画素値が非飽和である非反射領域とに分離し，前記第１閾値が適正でないと評価された場合に該第１閾値を変更して前記画像データを二値化する反射・非反射領域分離部と，画像データの反射領域を第２閾値で二値化し，反射領域を文字領域と背景領域とに分離し，前記第２閾値が適正でないと評価された場合に該第２閾値を変更して前記反射領域を二値化する反射領域二値化部と，画像データの非反射領域を第３閾値で二値化し，非反射領域の文字領域と背景領域とに分離し，前記第３閾値が適正でないと評価された場合に該第３閾値を変更して前記非反射領域を二値化する非反射領域二値化部と，反射領域二値化部と非反射領域二値化部との分離結果を用いて第１閾値，第２閾値，第３閾値を評価する反射・非反射領域分離評価部と，反射領域と非反射領域のそれぞれの文字領域を統合し，画像データでの結合した文字領域の位置情報を抽出する行抽出部とを備える。

開示の文字領域抽出装置では，被写体が撮像された画像データを各画素の特徴量に基づいて二値化することによって，反射領域と非反射領域とに分離する処理を行い，分離結果の反射領域と非反射領域のそれぞれにおいて，さらに画素の特徴量を用いて二値化処理して文字領域と背景領域とに分離することができる。このため，特徴量が異なる領域に合わせた二値化処理によって文字領域を抽出することができ，画像データでの文字位置を，より高精度に得ることができる。

さらに，前記の文字領域抽出装置では，反射領域と非反射領域での分離結果を用いて，二値化処理の閾値を評価し，その評価を二値化処理へ反映させてさらに二値化処理を行うことができるため，画像データから文字位置を，さらに高精度に抽出することができる。

前記の文字領域抽出装置では，二値化処理の閾値（第１閾値〜第３閾値）の評価に用いる分離結果として，例えば，反射領域と非反射領域のそれぞれで分離された文字領域が接する輪郭部の長さ（輪郭画素数）の差異，非反射領域での文字領域に分類される領域の面積（画素数）とその輪郭長（輪郭画素数）との比，反射／非反射領域の二値化処理で得られる反射領域の輪郭線と反射領域での二値化処理での低濃淡値領域との輪郭線とが接する部分の長さ（輪郭画素長）等を利用することができる。

さらに，前記の文字領域抽出装置は，行抽出部によって特定された文字領域の位置情報をもとに，画像データの文字領域から文字を抽出して認識する文字認識部を備えてもよい。

さらに，前記の文字認識結果に基づいて二値化処理の第１閾値〜第３閾値を評価する文字認識評価部を備えてもよい。

また，本発明の別の態様は，前記の文字領域抽出装置で実行される処理が可能な文字領域抽出機能を備えた撮像装置である。

さらに，本発明の別の態様は，コンピュータを，前記の文字領域抽出装置として機能させるための文字領域抽出プログラムである。

開示の文字領域抽出装置は，撮影時の外乱の影響がある画像データを，第１閾値で二値化して反射領域と非反射領域とに分離し，反射領域と非反射領域のそれぞれを，別個の閾値（第２，第３閾値）で二値化して文字領域と背景領域とに分離し，分離された文字領域を結合して画像データ中の文字領域の位置情報を抽出できるため，ヒストグラム上の単一閾値による分離処理，エッジによる分離処理を含む従来の分離処理に比べて，より高精度に文字領域の位置を特定することができる。

さらに，開示の文字領域抽出装置は，反射領域／非反射領域の分離処理，反射領域と非反射領域のそれぞれでの文字／背景の二値化処理で使用する各閾値を評価し，これらの二値化処理に閾値の評価を反映させることができるため，さらに高精度に文字領域の位置を特定することができる。

したがって，高精度の文字領域抽出処理の実現によって，画像データからの文字切り出し，および文字認識の処理精度を向上させることができる。

本発明が，コンパクトデジタルカメラ，カメラ撮像機能を備える携帯電話等に組み込まれることによって，屋外撮像された画像データの高精度な文字認識処理が実現される。

本発明の実施の一形態における，文字領域抽出装置の機能ブロックの構成例を示す図である。 文字領域抽出装置が処理する画像データ例を示す図である。 本発明の実施の一形態における，文字領域抽出装置の処理概要を示す図である。 本発明の実施の一形態における，文字領域抽出処理の処理フローチャートである。 本発明の実施の一形態における，画像データの非反射領域での文字領域と背景領域との分離結果の例を示す図である。 第１閾値が適正値ではない場合の分離結果の例を示す図である。 画像データの統合処理から文字領域の生成処理までの流れを説明するための図である。 反射領域と非反射領域のそれぞれで分離された文字領域の統合結果の例を示す図である。 行抽出処理でのエッジ外接矩形を求める処理を説明するための図である。 行抽出処理での外接矩形の幅の分布曲線による，文字領域抽出の閾値を説明するための図である。

符号の説明

１ 文字領域抽出装置
１０ 画像記憶部
１１ 画像入力部
１２ 反射・非反射領域分離部
１３ 反射領域二値化部
１４ 非反射領域二値化部
１５ 反射領域二値化評価部
１６ 非反射領域二値化評価部
１７ 反射・非反射領域分離評価部
１８ 行抽出部
２０ 文字切り出し・文字認識部
２１ 文字認識評価部

図１は，本発明の実施の一形態における，文字領域抽出装置１の機能ブロックの構成例を示す図である。

文字領域抽出装置１は，画像記憶部１０，画像入力部１１，反射・非反射領域分離部１２，反射領域二値化部１３，非反射領域二値化部１４，反射領域二値化評価部１５，非反射領域二値化評価部１６，反射・非反射領域分離評価部１７および行抽出部１８を有する。

本形態では，文字領域抽出装置１は，さらに付加的に文字認識機能を実現するための文字切り出し・文字認識部２０および文字認識評価部２１を有する。

画像記憶部１０は，被写体を撮影した画像データ３を記憶する。

画像入力部１１は，デジタルカメラ等で被写体を撮影した画像データ３を受け取り，画像記憶部１０へ格納する。

図２（Ａ）は，画像データ３の例を示す図である。

図２（Ａ）の画像データ３では，蛍光灯照明が画面下部の左右両側に文字領域（行）を跨って写り込み反射が生じている。反射が生じていない非反射領域では，背景と文字との間に十分なコントラストがあるが，反射が生じている反射領域では，背景と文字とのコントラストが低下している。

図２（Ｂ）は，画像データ３の文字「お」の部分を拡大した模式図である。

図２（Ｂ）の画像データ３の文字「お」の部分では反射が生じている。反射領域は，点線枠内で表す。また，文字領域を黒画素領域，背景領域を灰画素領域でそれぞれ表す。

この反射領域によって，画像データの背景／文字の分離精度が低下する。

反射・非反射領域分離部１２は，画像データ３を第１閾値で二値化し，画像データ３を画素値が飽和している反射領域と画素値が非飽和である非反射領域とに分離する。また，反射・非反射領域分離部１２は，第１閾値が適正と評価されなかった場合に第１閾値を変更して画像データ３の二値化処理を行う。

反射領域二値化部１３は，画像データ３の反射領域を第２閾値で二値化し，反射領域を第２閾値より暗い画素の文字領域とそれ以外の背景領域とに分離する。また，反射領域二値化部１３は，第２閾値が適正と評価されなかった場合に第２閾値を変更して画像データ３の反射領域の二値化処理を行う。

非反射領域二値化部１４は，画像データ３の非反射領域を第３閾値で二値化し，非反射領域を第３閾値より暗い画素の文字領域とそれ以外の背景領域とに分離する。また，非反射領域二値化部１４は，第３閾値が適正と評価されなかった場合に第３閾値を変更して画像データ３の非反射領域の二値化処理を行う。

反射領域二値化評価部１５は，画像データ３の反射領域の輪郭と反射領域で低濃淡値の領域として分類された背景領域の輪郭とが接する部分の輪郭線長（輪郭画素長）を求め，輪郭画素長と所定の評価値との関係を判定することによって，第１閾値を評価する。

ここで，反射・非反射領域分離部１２によって分離された画像データ３の反射領域の輪郭と，反射領域二値化部１３によって分離された反射領域の背景領域とが接する部分に着目すると，反射／非反射領域の二値化処理の第１閾値として用いた濃淡値が適正値より低い場合は，反射領域内の背景領域の面積が増加し，同時に反射領域と背景領域のそれぞれの輪郭が接する部分も増加する。

本形態において，反射領域二値化評価部１５は，反射領域の輪郭と反射領域内の背景領域の輪郭とが接する部分の画素数を計算し，求めた画素数が所定の評価値（第１閾値用評価値）以下であるかを判定し，求めた画素数が第１閾値用評価値以下である場合に，二値化処理に用いた第１閾値を適正であると評価し，求めた画素数が第１閾値用評価値を超える場合には第１閾値を適正ではないと評価する。

反射領域二値化評価部１５は，反射領域での文字領域と背景領域との分離結果を用いて，第２閾値が適正値であるかを評価する。

非反射領域二値化評価部１６は，非反射領域での文字領域と背景領域との分離結果を用いて第３閾値が適正値であるかを評価する。

本形態では，反射領域二値化評価部１５は，画像データ３の反射領域で分離された文字領域の面積（文字領域の画素数）と輪郭長（文字領域の輪郭画素数）とを求め，文字領域の画素数に対する輪郭画素数の比率と所定の評価値との関係を判定することによって，第２閾値を評価する。

また，非反射領域二値化評価部１６は，画像データ３の非反射領域で分離された文字領域の面積（文字領域の画素数）と輪郭長（文字領域の輪郭画素数）とを求め，文字領域の画素数に対する輪郭画素数の比率と所定の評価値との関係を判定することによって，第３閾値を評価する。

非反射領域二値化部１４の二値化処理で第３閾値が適正値ではない場合は，分離結果の中で文字領域として分離された画像内にノイズが発生する場合がある。非反射領域の適正ではない閾値による分離結果では，適正な閾値による分離結果に比べてノイズ発生が増加する。

本形態において，文字領域の面積と輪郭長との比率に着目し，非反射領域二値化評価部１６は，文字領域の画素数（面積）に対する輪郭画素数（輪郭長）の比率を計算し，求めた比率が所定の評価値（第３閾値用評価値）以下であるかを判定し，求めた比率が第３閾値用評価値以下である場合に二値化処理に用いた第３閾値を適正であると評価し，求めた比率が第３閾値用評価値を超える場合に二値化処理に用いた第３閾値を適正ではないと評価する。

反射領域二値化評価部１５も，非反射領域二値化評価部１６と同様の処理を行い，第２閾値を評価する。

反射・非反射領域分離評価部１７は，反射領域での分離結果と非反射領域での分離結果とを用いて，第１閾値〜第３閾値が適正であるかを評価する。反射・非反射領域分離評価部１７は，画像データ３の非反射領域で分離された文字領域と反射領域で分離された文字領域とを統合し，統合された文字領域の反射領域と非反射領域との結合部分での各文字領域の輪郭画素数を求め，結合部分での輪郭画素数の差異と所定の評価条件との関係を判定することによって，第１閾値〜第３閾値それぞれが適正値であるかを評価する。

画像データ３の反射領域と非反射領域でそれぞれ二値化されて得られた２つの文字領域画像を統合した結果に対し，反射領域と非反射領域との境界部分を跨る文字領域は，境界の両側（反射領域側と非反射領域側）で領域の幅が大きく変化しない，すなわち文字領域同士が接する部分での輪郭幅はほぼ同じであることが期待される。

しかし，反射領域／非反射領域の分離処理の第１閾値が適正値ではない場合は，文字領域が接続されない状態となりうる。また，反射領域と非反射領域各々での文字／背景の分離処理の第２閾値，第３閾値が適正値ではない場合も，輪郭幅の差異が大きくなる。

本形態において，反射・非反射領域分離評価部１７は，結合した文字領域の反射側の輪郭長（輪郭画素数）と非反射側の輪郭長（輪郭画素数）との差異を計算し，求めた差異が所定の評価値の範囲（第１の分離評価範囲）内であるかを判定し，求めた差異が第１の分離評価範囲内の値である場合に第１閾値を適正であると評価し，求めた差異が第１の分離評価値範囲内ではない場合に第１閾値を適正ではないと評価する。

また，反射・非反射領域分離評価部１７は，結合した文字領域の反射側の輪郭長（輪郭画素数）と非反射側の輪郭長（輪郭画素数）との差異が，第１の分離評価範囲内であるが，所定の第２の分離評価範囲内であるかを判定し，求めた差異が第２の分離評価範囲内の値である場合に第２閾値および第３閾値を適正であると評価し，求めた差異が第２の分離評価範囲内ではない場合に，第２閾値または第３閾値またはこれらの両方を適正ではないと評価する。

行抽出部１８は，画像データ３の反射領域で分離された文字領域と非反射領域で分離された文字領域とを統合し，画像データ３における文字領域の位置情報を抽出する。

さらに，反射・非反射領域分離部１２，反射領域二値化部１３および非反射領域二値化部１４は，同じ二値化処理による分離結果に対して複数の評価が行われている場合に，複数の評価の組み合わせに基づいて二値化処理の閾値（第１閾値〜第３閾値）を変更し，さらに変更した閾値によって二値化処理を行うことができる。

これにより，各二値化処理の評価を反映させてさらに二値化処理を行うことができ，より高精度の反射／非反射および文字／背景の分離結果を得ることができる。

さらに，反射・非反射領域分離部１２，反射領域二値化部１３および非反射領域二値化部１４は，自処理で用いる閾値（第１閾値〜第３閾値）として２以上の濃淡値を持ち，複数の濃淡値による二値化処理による分離結果を保持しておき，複数の濃淡値それぞれの分離結果に対する評価があった場合に，最も適切な濃淡値の分離結果を選択することができる。

予め複数の閾値による二値化処理を行い，その分離結果を保持することによって，反射領域二値化部１３，非反射領域二値化部１４および反射・非反射領域分離評価部１７は，一度に複数の分離結果を得て，各分離結果の評価処理を行うことができる。

よって，逐次的な評価処理，すなわち，一つの閾値による分離結果を評価し，この評価結果によって変更された閾値により再度二値化処理する場合に比べて，適正な閾値による分離結果を，より効率的に得ることができ，全体の処理効率を向上させることができる。

文字切り出し・文字認識部２０は，行抽出部１８が特定した文字領域の位置情報をもとに，画像データ３の文字領域から文字を切り出し，切り出した文字の文字認識処理を行う。

文字認識評価部２１は，文字切り出し・文字認識部２０の文字認識の精度を評価する。

文字認識評価部２１は，反射領域と非反射領域のそれぞれでの文字認識の認識率を計算し，反射領域での認識率が所定の評価値より低い場合は第２閾値が適正値ではないと判断し，非反射領域での認識率が所定の評価値より低い場合は第３閾値が適正値ではないと評価する。また，反射領域と非反射領域の両方で認識率が低い場合は，第１閾値が適正値ではないと評価する。

文字認識の認識精度を評価することによって，反射・非反射領域分離部１２，反射領域二値化部１３または非反射領域二値化部１４は，二値化処理の閾値を変更することができる。変更された閾値による二値化処理が行われることによって，より精度の高い文字領域の特定ができ，ひいては文字認識の精度を向上させることができる。

文字領域抽出装置１は，以上説明した各処理手段を備える構成によって，画像データの二段階の分離処理（反射／非反射の領域分離と，文字／背景の領域分離）と，これらの分離結果の評価処理とを再帰的に実行することができるため，高い精度の文字領域（行）抽出結果を得ることができる。

図３は，本形態における文字領域抽出装置１の処理概要を示す図である。

文字領域抽出装置１の画像入力部１１は，被写体を撮影した画像データ３を受け付け，画像記憶部１０に格納する（ステップＳ１）。反射・非反射領域分離部１２は，画像記憶部１０の画像データ３を第１閾値で二値化し，反射領域と非反射領域とに分離する（ステップＳ２）。

次に，反射領域二値化部１３は，画像データ３の反射領域を第２閾値で二値化し，非反射領域二値化部１４が画像データ３の非反射領域を第３閾値で二値化し，反射領域と非反射領域のそれぞれを，文字領域と背景領域とに分離する（ステップＳ３）。

さらに，反射領域二値化評価部１５，非反射領域二値化評価部１６，および反射・非反射領域分離評価部１７は，反射領域二値化部１３および非反射領域二値化部１４が行った分離結果が所定の評価条件を満たすかを判定することによって，二値化処理の第１閾値，第２閾値，第３閾値が適正であるかを評価する（ステップＳ４）。

次に，行抽出部１８は，反射領域において分離された文字領域と非反射領域において分離された文字領域とを統合して，統合された文字領域の画像データ３における位置情報を特定し出力する（ステップＳ５）。

ステップＳ５の処理後に，文字切り出し・文字認識部２０は，文字領域の位置情報をもとに文字を切り出し，切り出した文字の文字認識を行う。

さらに，文字認識処理の後に，文字認識評価部２１は，文字切り出し・文字認識部２０の文字認識の精度を評価する。

文字認識評価部２１は，既知の文字認識処理を実行する。例えば，抽出された文字列の認識を行って，各文字列の確信度を求め，所定の閾値以上の確信度を持つ文字列に含まれる文字成分を真の文字成分と判定し，閾値に満たない確信度の文字列を文字成分ではないと判定し，真の文字成分の集合を抽出し，真の文字成分の集合の全文字成分に対する比率を認識率とする（特許第３９１３９８５号公報参照）。

以下に，文字領域抽出装置１の処理をより詳細に説明する。

図４は，文字領域抽出処理の処理フローチャートである。

画像入力部１１は，図２（Ａ）に示す画像データ３の入力を受け付け，画像記憶部１０に格納する（ステップＳ１０１）。

反射・非反射領域分離部１２は，反射領域と非反射領域の分離のために，第１閾値として設定された画素濃淡値に基づいた画像データ３の二値化処理を行う（ステップＳ１０２）。

反射・非反射領域分離部１２は，二値化処理の準備として，画像データ３の全体の画素濃淡値から第１閾値とする画素濃淡値を決定する。第１閾値として，濃淡値の最頻値，濃淡値の平均値等を用いることができるが，これらの値に限定されるものではない。反射・非反射領域分離部１２は，第１閾値によって，画像データ全体の画素を反射領域と非反射領域のいずれかに分類する。分類後に，反射領域と非反射領域それぞれの面積（画素数）や輪郭長（輪郭画素数）を求める。

次に，処理対象が反射領域でなければ（ステップＳ１０３のＮＯ），ステップＳ１０４の処理を行い，処理対象が反射領域であれば（ステップＳ１０３のＹＥＳ），ステップＳ１０６の処理を行う。

ステップＳ１０４の処理では，非反射領域二値化部１４は，画像データ３から分離された非反射領域の画像データを第３閾値によって二値化し，画素を文字領域と背景領域とに分類する。第３閾値は，第１閾値とは異なる濃淡値であり，画像データ３の非反射領域内の画素濃淡値から決定する。第３閾値として，濃淡値ヒストグラムの極小値，濃淡値の最頻値が適用できるが，これらに限定されるものではない。

非反射領域二値化部１４は，画像データ３の非反射領域の画素の分類後に，文字領域の面積（画素数）や輪郭長（輪郭画素数）を求める。

次に，非反射領域二値化評価部１６は，非反射領域二値化部１４の分離結果を，評価条件「非反射領域内で文字領域の候補となる黒画素領域の輪郭画素数（輪郭長）と面積（画素数）との比率が，所定の値以下であること」を満たすかを判定することによって，第３閾値が適正値であるかを評価する（ステップＳ１０５）。

図５に，画像データ３の非反射領域における文字領域と背景領域との分離結果の例を示す。図５（Ａ）は，適正な第３閾値による文字と背景の分離結果例，図５（Ｂ）は，適正でない第３閾値による分離結果例（部分）を示す図である。

図５（Ｂ）に示す画像データ３では，第３閾値が適正値ではないために，背景領域に分類されるべき画素が誤って文字領域に分類されてしまい，非反射領域の文字領域画像にノイズとして現れている。

ノイズが生じると，文字領域の面積（画素数）と輪郭線長（輪郭画素数）が増加する。しかし，背景でのノイズ発生の特性として，微少な文字領域が多数発生することから，輪郭線長の増加率が，領域の面積の増加率よりも高くなり，輪郭線長（輪郭画素数）と面積（画素数）の比率は，ノイズが発生し始める閾値で大きく増加するという傾向にある。

この傾向に基づいて，非反射領域二値化評価部１６は，非反射領域の文字領域の輪郭画素数と文字領域の画素数との比率が所定の評価値以下であるかを判定する。

この比率が評価値以下の場合，すなわち評価条件を満たす場合に（ステップＳ１０５の「適」），第３閾値を適正値であると評価し，ステップＳ１０８の処理へ進む。

一方，分離結果が評価条件を満たさない場合は（ステップＳ１０５の「不適」），ステップＳ１０４の処理へ戻る。非反射領域二値化部１４は，第３閾値が「不適」と評価されたので，第３閾値を，文字領域がより小さくなる方向の値へ修正し，修正した第３閾値によって非反射領域で文字領域と背景領域との分離を行う。

これによって，図５（Ａ）に示すような適正な文字領域と背景領域との分離結果を得ることができる。

ステップＳ１０６の処理では，反射領域二値化部１３は，画像データ３から分離された反射領域の画像データを第２閾値によって二値化し，画素を文字領域と背景領域とに分類する。第２閾値は，第１閾値とは異なる濃淡値であり，画像データ３の非反射領域内の画素濃淡値から決定する。第２閾値として，濃淡値ヒストグラムの極小値，濃淡値の最頻値が適用できるが，これらに限定されるものではない。

次に，反射領域二値化評価部１５は，反射領域二値化部１３の分離結果と反射・非反射領域分離部１２の分離結果とを用いて，評価条件「反射領域の輪郭と反射領域内の背景領域（低濃淡値領域）の輪郭が接する部分の長さ（輪郭画素数）が，所定の値以下であること」を満たすかを判定することによって，第１閾値が適正値であるかを評価する（ステップＳ１０７）。

図６は，第１閾値が適正値ではない場合の分離結果を示す図である。

ここでは，画像データ３から分離された反射領域の輪郭と，各反射領域で第２閾値による分離された背景領域（低濃淡値領域）の輪郭とが接する部分に着目する。第１閾値が適正値より低い場合は，画像データ３の反射領域における低濃淡値領域が増加する。すると，同時に，低濃淡値領域のそれぞれの輪郭が接する部分の長さ（輪郭画素数）も増加する。よって，これらの領域の輪郭が接する部分の輪郭画素数が所定の評価値以下であるかを判定することによって，第１閾値が適正値であるかを評価する。

輪郭画素長が評価値以下の場合，すなわち評価条件を満たす場合に（ステップＳ１０７の「適」），第１閾値を適正値であると評価し，ステップＳ１０８の処理へ進む。

一方，分離結果が評価条件を満たさない場合は（ステップＳ１０７の「不適」），ステップＳ１０２の処理へ戻る。

反射・非反射領域分離部１２は，第１閾値が「不適」と評価されたので，第１閾値を高い方向の値へ修正し，修正した第１閾値によって画像データ３の反射領域と非反射領域との分離を行う。

これによって，反射領域での文字／背景の分離処理のもととなる反射／非反射領域の分離結果として，より高い精度の分離結果を得ることができる。

次に，反射・非反射領域分離評価部１７は，反射領域と非反射領域それぞれでの分離結果（二値化結果）を統合し，画像データ３全体としての文字領域と背景領域とを生成する（ステップＳ１０８）。

図７は，反射領域と非反射領域の統合から文字領域と背景領域の生成までの処理を説明するための図である。図７（Ａ）に示すように，画像データ３では，灰色の背景画素上に黒い文字ストロークがあり，この文字ストロークを横切るように反射領域が生じている場合を想定する。

図７（Ａ）の画像データ３は，反射・非反射領域分離部１２により，図７（Ｂ）に示す画像データ３の反射領域（中央部分）と，図７（Ｃ）に示す画像データ３の非反射領域（周囲部分）に分離されている。なお，図７（Ｂ）および（Ｃ）の画像データ３の横線で表される領域は，統合処理時のマスキング領域である。

そして，反射領域二値化部１３と非反射領域二値化部１４によって，図７（Ｄ）に示す反射領域および図７（Ｅ）に示す非反射領域で，それぞれ，文字領域と背景領域とが分離される。ここで，反射領域の背景領域を白画素，文字領域を黒画素で表している。

次に，図７（Ｆ）に示すように，反射・非反射領域分離評価部１７によって，反射領域と非反射領域の文字領域が統合され，画像データ３全体の文字領域が取得される。図７（Ｆ）の画像データ３上に，図７（Ａ）に示す文字ストローク（黒画素）と同じ文字領域が検出されていることがわかる。

次に，反射・非反射領域分離評価部１７は，反射／非反射領域で分離された文字領域の統合結果を用いて，第１閾値〜第３閾値を評価する（ステップＳ１０９，Ｓ１１０）。

評価処理では，反射領域と非反射領域のそれぞれの文字領域の統合結果に対して，反射領域の文字領域と非反射領域の文字領域との結合部分でのそれぞれの文字領域の輪郭画素数の差異を用いる。

本形態では，文字領域の結合部分での反射領域と非反射領域のそれぞれの画素数を求め，求めた画素数との差異が，所定の評価値を超える場合は，第１閾値が適正値ではないと評価する。

さらに，文字領域の結合部分での２つの文字領域の輪郭画素数の差異が所定の評価範囲内である値より大きい場合は，第２閾値および第３閾値が適正値ではないと評価する。

図８は，反射領域と非反射領域のそれぞれの文字領域の統合結果の例を示す図である。

図８（Ａ）に示すように，第１閾値が適正値よりかなり高い値である場合には，統合された文字領域において，反射領域の文字画素の一部が非反射領域の背景に誤分類されるために，反射領域と非反射領域の境界で文字ストロークが途切れる。

また，図８（Ｂ）に示すように，第１閾値が適正値よりかなり低い場合には，統合された文字領域において，非反射領域の背景画素の一部が反射領域の文字に誤分類されるために，境界付近の画素が文字として扱われノイズとなって現れる。

また，図８（Ｃ）に示すように，第１閾値が適正な値から少し高い値または低い値である場合には，統合された文字領域において，結合される文字領域の文字ストロークの幅の差として現れる。

反射・非反射領域分離評価部１７は，図８（Ａ）または（Ｂ）に示すように，文字領域の結合部分での反射領域と非反射領域のそれぞれの画素数の差異が非常に大きく，所定の評価値の範囲（第１の分離評価範囲）を超える場合は，第１閾値が適正値ではないと評価して（ステップＳ１０９の「不適」），ステップＳ１０２の処理へ戻る。

ステップＳ１０２の処理では，第１閾値が修正されて，反射・非反射領域の分離処理が再度実行される。

また，図８（Ｃ）に示すように，２つの文字領域の輪郭画素数の差異が所定の評価値の範囲（第２の分離評価範囲）を超える場合は，第２閾値および第３閾値が適正でないと評価して（ステップＳ１１０の「不適」），ステップＳ１０３の処理へ戻る。

ステップＳ１０３の処理では，処理対象が判定され，反射領域について，第２閾値が修正されて，文字・背景領域の分離処理が再度実行され（ステップＳ１０６），非反射領域について，第３閾値が修正されて，文字・背景領域の分離処理が再度実行される（ステップＳ１０４）。

第１閾値，第２閾値，第３閾値のいずれもが適正であると評価された場合は（ステップＳ１０９の「適」およびＳ１１０の「適」），行抽出部１８は，画像データ３における統合された文字領域の位置情報を特定し，位置情報を出力する（ステップＳ１１１）。

行抽出部１８は，既知の行抽出処理を行い，得られた文字列の位置を行抽出結果として出力する。

図９および図１０は，行抽出部１８の行抽出処理を説明するための図である。

図９（Ａ）に示す画像データ３の統合した文字領域のデータから，文字要素を得るためにエッジを抽出し，図９（Ｂ）に示すように，エッジ外接矩形を求める。外接矩形の横方向の長さ（文字幅）を横方向に投影した分布曲線を生成し，所定の閾値より高い部分を文字列領域，閾値以下の部分を背景領域とする。

ここで，図１０（Ａ）に示すように，文字領域とされるノイズ部分の影響が大きい場合は，文字列領域と非文字列領域とを分離する必要がある。一または複数の文字領域が列となっている文字領域ごとに，文字領域の左右の端間の長さ（文字列長とする）を求め，分布曲線上の値を文字列長で除算して正規化する。

文字列領域では，分布曲線上の値，すなわちエッジ外接矩形幅の合計と文字列長とが近い値となる。一方で，非文字列領域では，ノイズが幅広く分布すると文字列長がエッジ外接矩形幅の合計より長くなる傾向があるため，図１０（Ｂ）に示すように，正規化後の分布曲線では，文字列領域と非文字列領域とで高低差が大きくなるため，所定の文字領域判定の閾値によって，ノイズである文字領域を判断し除去できるため，文字のみの文字領域の位置を特定することができる。

文字領域抽出装置１では，ステップＳ１０２〜Ｓ１１０の一連の処理によって，分離処理の評価結果に基づく第１閾値〜第３閾値の各閾値の修正と，修正された閾値による二値化処理とを繰り返し実行し，所定の評価条件を満たした時点で分離処理を終了するといった再帰的な処理も可能である。

以上，本発明をその実施の形態により説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。

文字領域抽出装置１は，デジタルカメラや撮影機能を持つ携帯電話に組み込まれるように構成されてもよい。

また，文字領域抽出装置１は，プログラムがコンピュータにより読み取られ実行されることにより，画像入力部，反射・非反射領域分離部，反射領域二値化部，非反射領域二値化部，反射領域二値化評価部，非反射領域二値化評価部，反射・非反射領域分離評価部，行抽出部，文字切り出し・文字認識部，および文字認識評価部等が実現されることによって構築することができる。このプログラムは，コンピュータが読み取り可能な，可搬媒体メモリ，半導体メモリ，ハードディスクなどの適当な記録媒体に格納することができ，これらの記録媒体に記録して提供され，または，通信インタフェースを介して種々の通信網を利用した送受信により提供されてもよい。

Claims (6)

1. 被写体が撮像された画像データを受け付ける画像入力部と，
   受け付けた画像データを格納する画像記憶部と，
   前記画像データを第１閾値で二値化し，前記画像データを，画素値が飽和している反射領域と画素値が非飽和である非反射領域とに分離し，前記第１閾値が適正でないと評価された場合に該第１閾値を変更して前記画像データを二値化する反射・非反射領域分離部と，
   前記画像データの反射領域を第２閾値で二値化し，前記反射領域を文字領域と背景領域とに分離し，前記第２閾値が適正でないと評価された場合に該第２閾値を変更して前記反射領域を二値化する反射領域二値化部と，
   前記画像データの非反射領域を第３閾値で二値化し，前記非反射領域を文字領域と背景領域とに分離し，前記第３閾値が適正でないと評価された場合に該第３閾値を変更して前記非反射領域を二値化する非反射領域二値化部と，
   前記反射領域二値化部と前記非反射領域二値化部との分離結果を用いて，前記第１閾値，前記第２閾値または前記第３閾値を評価する反射・非反射領域分離評価部と，
   前記反射領域と前記非反射領域のそれぞれの文字領域を統合し，前記画像データでの結合した文字領域の位置情報を抽出する行抽出部とを備える
   ことを特徴とする文字領域抽出装置。
2. 前記反射・非反射領域分離評価部は，前記非反射領域の文字領域と前記反射領域の文字領域とを統合し，統合した文字領域における非反射領域と反射領域との境界部分でのそれぞれの輪郭画素数を求め，該非反射領域の輪郭画素数と該反射領域の輪郭画素数との差異が，第１の分離評価範囲内の値であるかを判定し，前記差異が前記第１の分離評価値範囲内にない場合に前記第１閾値を適正ではないと評価する
   ことを特徴とする請求項１に記載の文字領域抽出装置。
3. 前記反射・非反射領域分離評価部は，前記非反射領域の文字領域と前記反射領域の文字領域とを統合し，統合した文字領域における非反射領域と反射領域との境界部分でのそれぞれの輪郭画素数を求め，該非反射領域の輪郭画素数と該反射領域の輪郭画素数との差異が，第２の分離評価範囲内の値であるかを判定し，前記差異が前記第２の分離評価範囲内にない場合に，前記第２閾値または前記第３閾値またはこれらの両方を適正ではないと評価する
   ことを特徴とする請求項１または請求項２に記載の文字領域抽出装置。
4. 前記反射・非反射領域分離部によって分離された反射領域の輪郭と前記反射領域二値化部によって分離された前記反射領域の背景領域の輪郭とが接する部分の画素数を求め，該画素数が第１閾値用評価値以下であるかを判定し，前記画素数が前記第１閾値用評価値を超える場合に前記第１閾値を適正ではないと評価する反射領域二値化評価部を備える
   ことを特徴とする請求項１ないし請求項３のいずれかに記載の文字領域抽出装置。
5. 前記反射領域二値化評価部は，前記反射領域二値化部によって分離された文字領域の画素数と当該文字領域の輪郭画素数とを求め，前記輪郭画素数に対する前記文字領域の画素数の比率を求め，求めた比率が第２閾値用評価値以下であるかを判定し，該比率が前記第２閾値用評価値を超える場合に前記第２閾値を適正ではないと評価する
   ことを特徴とする請求項１ないし請求項４のいずれか一項に記載の文字領域抽出装置。
6. 画像データから文字領域を抽出する文字領域抽出プログラムであって，
   コンピュータを，
   被写体が撮像された画像データを受け付ける画像入力部と，
   受け付けた画像データを格納する画像記憶部と，
   前記画像データを第１閾値で二値化し，前記画像データを，画素値が飽和している反射領域と画素値が非飽和である非反射領域とに分離し，前記第１閾値が適正でないと評価された場合に該第１閾値を変更して前記画像データを二値化する反射・非反射領域分離部と，
   前記画像データの反射領域を第２閾値で二値化し，前記反射領域を文字領域と背景領域とに分離し，前記第２閾値が適正でないと評価された場合に該第２閾値を変更して前記反射領域を二値化する反射領域二値化部と，
   前記画像データの非反射領域を第３閾値で二値化し，前記非反射領域を文字領域と背景領域とに分離し，前記第３閾値が適正でないと評価された場合に該第３閾値を変更して前記非反射領域を二値化する非反射領域二値化部と，
   前記反射領域二値化部と前記非反射領域二値化部との分離結果を用いて，前記第１閾値，前記第２閾値または前記第３閾値を評価する反射・非反射領域分離評価部と，
   前記反射領域と前記非反射領域のそれぞれの文字領域を統合し，前記画像データでの結合した文字領域の位置情報を抽出する行抽出部とを備える
   文字領域抽出装置として機能させる
   ことを特徴とする文字領域抽出プログラム。
   
   

Images