JP6744126B2 - 文字認識装置、文字認識プログラム、文字認識方法 - Google Patents

Description

本発明の実施形態は、文字を認識する技術に関する。

従来、電力、水道、ガスなどを供給する事業者による課金業務は、作業員がその供給量を示すメータを検針することによって行われる。このようなメータの検針作業は、メータにおいて並列された複数の数字ドラムにより数値を示すカウンタ部を作業員が目視することによってなされるため、数値の読み間違えなどの人為的なミスが起こり得る。

これに対し、０から９の数字を縦に並べた照合用モデル画像を用意し、現字形計器の指示値表示部を撮像した画像データから各桁の画像領域を個別に切り出し、切り出した画像から数字部分を抽出し、この数字部分と照合用モデル画像とを比較して照合を行い、指示値を読み取る現字形計器認識処理装置、が知られている（特許文献１）。

特開２００３−２４２４４４号公報

しかしながら、上述の技術によれば、認識対象とするカウンタ部における各数値の位置を人手で設定する必要があり、カウンタ部の数値の認識に際して作業が発生して煩雑である、という問題があった。

本発明の実施形態は、上述した問題点を解決するためになされたものであり、より容易にカウンタ部の数値を認識することができる技術を提供することを目的とする。

上述した課題を解決するため、本発明の実施形態は、並列する複数の文字を含む領域が階調で撮像された撮像画像を取得する画像取得部と、前記撮像画像を二値化した二値化画像を生成するフィルタ処理部と、前記二値化画像の縦座標毎に合計輝度値を算出した縦方向射影と、前記二値化画像の横座標毎に合計輝度値を算出した横方向射影とに基づいて、前記撮像画像における複数の文字のそれぞれを含む複数の部分画像を抽出する文字抽出部と、前記複数の部分画像のそれぞれと予め記憶された辞書データとをマッチングして文字を認識するマッチング処理部とを備える。

実施形態に係る文字認識装置が組み込まれたメータ読取装置を含むメータ読取システムの全体構成を示す図である。 水道メータの構成を示す概略図である。 水道メータの表示部の構成を示す概略図である。 文字認識装置のハードウェア構成を示すブロック図である。 文字認識装置の機能構成を示すブロック図である。 文字認識装置の全体動作を示すフローチャートである。 撮像画像を示す図である。 フィルタ処理の動作を示すフローチャートである。 ソーベルフィルタのカーネルを示す図である。 エッジ強調画像を示す図である。 二値化画像を示す図である。 細線化画像を示す図である。 回転補正処理の動作を示すフローチャートである。 境界線Ｌ及び回転角θを示す図である。 文字領域抽出処理の動作を示すフローチャートである。 二値化画像における対象領域を示す図である。 撮像画像における対象領域を示す図である。 二値化画像におけるノイズを示す図である。 ｙ方向射影を示す図である。 第１文字領域抽出処理の動作を示すフローチャートである。 ｘ方向射影を示す図である。 部分撮像画像を示す図である。 位置補正処理の動作を示すフローチャートである。 並列文字領域抽出処理の動作を示すフローチャートである。 文字判定処理の動作を示すフローチャートである。 右上角と左下角とを結ぶ対角線により分割された２つの領域を示す図である。 左上角と右下角とを結ぶ対角線により分割された２つの領域を示す図である。 左右に分割された２つの領域を示す図である。 合計輝度値による文字判定に用いられる画像を示す図である。 文字領域抽出処理による抽出結果を示す図である。 文字高さと抽出ウィンドウ間の距離との相関関係を示すグラフである。 部分撮像画像を二値化した二値画像及び特徴量算出処理結果を画像で表わした結果を示す図である。 特徴量パターンを示す図である。 マッチング処理の動作を示すフローチャートである。 数字の変形箇所を示す図である。 マッチング処理に用いられるカーネル関数を示す図である。 特徴量画像で表現された５と６との違いを示す図である。 カウンタ値判定処理の動作を示すフローチャートである。 ４９９から５００に変化するカウンタ部を示す図である。 回転が不十分なカウンタ部を示す図である。

以下、本発明の実施形態について図面を参照しつつ説明する。

（全体構成）
実施形態に係る文字認識装置が組み込まれたメータ読取装置を含むメータ読取システム、文字認識装置による文字認識対象である水道メータの構成、水道メータの表示部の構成について説明する。図１は、実施形態に係るメータ読取装置を含むメータ読取システムを含む検針システムの全体構成を示す図である。図２は、水道メータの構成を示す概略図である。図３は、水道メータの表示部の構成を示す概略図である。

図１に示すように、メータ読取システムは、水道メータ９の表示部９３に表示される水の流量を読み取り、読み取った流量を無線通信により送信するメータ読取装置１と、送信された流量を受信するスマートフォン２とを備える。

水道メータ９は、図２に示すように、水の流量を計測する本体部９０と、本体部９０に水を流入させる流入口９１と、本体部９０から水を流出させる流出口９２と、本体部９０の上部に設けられて本体部９０により計測された水の流量に係る情報を表示する表示部９３とを備える。水道メータ９は、使用時には表示部９３が上方を向くように設置される。

表示部９３は、図３に示すように、円盤状に構成された表示盤９３０、視認可能に表示盤９３０に設けられたパイロット９３１、１Ｌ単位の積算値メータ９３２、１０Ｌ単位の積算値メータ９３３、流量を立方メートル単位の数値により示すカウンタ部９３４を備える。表示盤９３０は、少なくともカウンタ部９３４が設けられる領域が半円状に黒に着色され、それ以外の領域が白に着色され、これらの領域の境界部は直線となっている。カウンタ部９３４は、４桁もしくは５桁の整数と１桁の小数により流量を示し、これらの数値は、それぞれ、側面部に０〜９の数値が円環状に配置された数字ドラムが回転することにより変化される。４桁もしくは５桁の整数を示す数字ドラムはそれぞれ背景色が黒に着色されるとともに数字が白に着色され、１桁の小数を示す数字ドラムは背景色が白に着色されるとともに数字が赤に着色されているものとする。なお、整数を示す数字ドラムは、背景色の輝度と数字の色の輝度とが互いに異なるものであればよい。また、これらの数字ドラムは、本体部９０と表示盤９３０とにより構成される空間に内蔵されており、表示盤９３０に設けられた開口から外部より視認可能となっているものとする。また、水道メータ９の設置時には、表示盤９３０の面方向は水平方向を向くものとする。

メータ読取装置１は、図１に示すように、本体部１０と、本体部１０に内蔵される文字認識装置１１と、本体部１０の下部に設けられた略円筒状の撮像フード１２と、撮像フード１２内に設けられたカメラ１３と、カメラ１３による撮像対象に対して赤色光を照射するＬＥＤ１３ａと、メータ読取装置１を操作するための操作部１４と、メータ読取装置１に係る各種情報を表示するディスプレイ１５とを備える。メータ読取装置１は、水道メータ９の表示部９３におけるカウンタ部９３４の整数部を読み取るものであり、そのため、撮像フード１２は本体部９上に載置可能に構成され、カメラ１３は撮像フード１２に対して表示盤９３０の略全体を撮像可能に設けられるものとする。また、メータ読取装置１の使用者は、カメラ１３の撮像領域内にカウンタ部９３４と表示盤９３０における境界部とが含まれるようにメータ読取装置１を水道メータ９上に載置するものとする。

（文字認識装置の構成）
文字認識装置のハードウェア構成及び機能構成について説明する。図４は、文字認識装置のハードウェア構成を示すブロック図である。図５は、文字認識装置の機能構成を示すブロック図である。

文字認識装置１１は、図４に示すように、ハードウェアとして、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０、メモリ１１１、記憶装置１１２、通信部１１３、入出力Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１１４を備える。ＭＰＵ１１０及びメモリ１１１は、協働して各種機能を実行し、記憶装置１１２は各種機能により実行される処理に用いられる各種データを記憶する。通信部１１３は、スマートフォン２との通信を行う。入出力Ｉ／Ｆ１１４は、カメラ１３、ＬＥＤ１３ａ、操作部１４、ディスプレイ１５とのデータ入出力を行う。

また、文字認識装置１１は、図５に示すように、ＭＰＵ１１０及びメモリ１１１により実行される機能として、画像取得部１０１、フィルタ処理部１０２、回転補正部１０３、文字抽出部１０４、スケール調整部１０５、特徴量算出部１０６、マッチング処理部１０７、カウンタ値判定部１０８、カウンタ値送信部１０９を備える。画像取得部１０１は、カメラ１３により撮像された撮像画像を取得する。フィルタ処理部１０２は、取得された撮像画像に各種フィルタを適用する。回転補正部１０３は、フィルタが適用された画像に基づいて、撮像された表示部９３が正立するように撮像画像を回転させる。文字抽出部１０４は、撮像画像からカウンタ部９３４における個々の数値を含む部分画像を抽出する。スケール調整部１０５は、部分画像のスケールを調整する。特徴量算出部１０６は、部分画像から特徴量を算出する。マッチング処理部１０７は、部分画像の特徴量と予め用意された特徴量辞書とのマッチングを行うことにより部分画像内の数値を認識する。カウンタ値判定部１０８は、認識されたカウンタ部９３４の数値に対する判定を行う。カウンタ値送信部１０９は、通信部１１３を介して、認識され判定されたカウンタ部９３４の数値をスマートフォン２へ送信する。

（文字認識装置の全体動作）
文字認識装置の全体動作について説明する。図６は、文字認識装置の全体動作を示すフローチャートである。図７は、撮像画像を示す図である。

図６に示すように、まず、画像取得部１０１がカメラ１３により撮像された撮像画像として、図７に示すようなモノクロ濃淡画像を取得する（Ｓ１０１）。ここで、撮像画像におけるカウンタ部９３４における小数部の数字は白の背景に赤で着色されているため、ＬＥＤ１３ａにより照射される赤色光により、白の矩形部となっており、従って、本実施形態においては認識対象とせず数字でない領域として扱われるものとする。

次に、フィルタ処理部１０２が後述するフィルタ処理を実行し（Ｓ１０２）、回転補正部１０３が後述する回転補正処理を実行する（Ｓ１０３）。

次に、文字抽出部１０４が回転補正処理により正立された撮像画像に対して、後述する文字領域抽出処理を実行し（Ｓ１０４）、スケール調整部１０５が文字領域抽出処理により抽出された各部分画像のスケールを調整し（Ｓ１０５）、特徴量算出部１０６が後述する特徴量算出処理を実行し（Ｓ１０６）、マッチング処理部１０７が各部分画像における数値を認識する（Ｓ１０７）。

次に、カウンタ値判定部１０８が後述するカウンタ値判定処理を行い（Ｓ１０８）、カウンタ値送信部１０９がカウンタ値判定処理により確定されたカウンタ部９３４のカウンタ値をスマートフォン２へ送信する（Ｓ１０９）。

（フィルタ処理）
フィルタ処理について説明する。図８は、フィルタ処理の動作を示すフローチャートである。図９は、ソーベルフィルタのカーネルを示す図である。図１０は、エッジ強調画像を示す図である。図１１は、二値化画像を示す図である。図１２は、細線化画像を示す図である。

図８に示すように、まず、フィルタ処理部１０２は、撮像画像取得部１０１により取得された撮像画像に対して、図９（ａ）に示すような縦方向のカーネルと図９（ｂ）に示すような横方向のカーネルとを用いたソーベルフィルタを適用して、図１０に示すような輝度の変化が大きいエッジ箇所が強調されたエッジ強調画像を生成する（Ｓ２０１）。

次に、フィルタ処理部１０２は、エッジ強調画像を所定の閾値により二値化して、図１１に示すような二値化画像を生成し（Ｓ２０２）、更に、この二値化画像に対して、線を１ピクセル幅だけ残す細線化処理を行い、図１２に示すような細線化画像を生成する（Ｓ２０３）。

このように、フィルタ処理によれば、後述する処理に用いられる二値化画像及び細線化画像が生成される。

（回転補正処理）
回転補正処理の動作について説明する。図１３は、回転補正処理の動作を示すフローチャートである。図１４は、境界線Ｌ及び回転角θを示す図である。

図１３に示すように、まず、回転補正部１０３は、細線化画像に基づいて、表示盤９３０における境界部を検出する（Ｓ３０１）。ここで、回転補正部１０３は、ハフ変換によって、細線化画像において図１４に示すような最長の直線を境界線Ｌとして検出することによって、表示盤９３０における境界部、すなわち、黒に着色された半円状の領域の直線部分を検出する。

次に、回転補正部１０３は、水平線ｙ＝０と境界線Ｌとのなす角θを検出し（Ｓ３０２）、この角θが０となるように、撮像画像及び二値化画像を−θ回転させる（Ｓ３０３）。ここで、二値化画像は、上述したステップＳ２０２において生成された画像である。また、以降の説明において、画像の左上隅を原点とし、水平方向右向きにｘ軸、垂直方向下向きにｙ軸をとるものとする。

画像の回転後、回転補正部１０３は、回転補正した撮像画像について、倒立状態であるか否かを判定する（Ｓ３０４）。ここで、倒立状態とは、回転補正した撮像画像において表示部９３が倒立している状態、即ち、境界線が平行となっているものの、カウンタ部９３４における数字が上下に反転している状態を示し、回転補正部１０３は、細線化画像における境界線Ｌが回転された線に相当する撮像画像における境界線上の点から上方側の１０ピクセル、下方側の１０ピクセルについて、それぞれ輝度値の加算を行い、上方の合計値が下方の合計値より大きい場合に倒立状態と判定する。

倒立状態である場合（Ｓ３０４，ＹＥＳ）、回転補正部１０３は、回転補正した撮像画像及び回転補正した二値化画像を１８０°回転させ（Ｓ３０５）、回転補正処理を終了する。

一方、倒立状態ではない場合（Ｓ３０４，ＮＯ）、回転補正部１０３は、回転補正処理を終了する。

このように、回転補正処理によれば、メータ読取装置１の使用者は、水道メータ９のカウンタ値の読み取りにおいて、撮像画像上において表示部９３が正立するように、即ちカウンタ部９３４における数字の上下方向と撮像画像の上下方向とが一致するように、メータ読取装置１を設置する必要がない。

（文字領域抽出処理）
文字領域抽出処理の動作について説明する。図１５は、文字領域抽出処理の動作を示すフローチャートである。図１６は、二値化画像における対象領域を示す図である。図１７は、撮像画像における対象領域を示す図である。図１８は、二値化画像におけるノイズを示す図である。図１９は、ｙ方向射影を示す図である。

図１５に示すように、文字抽出部１０４は、回転補正部１０３により表示部９３が正立するように回転された撮像画像及び二値化画像から、図１６、図１７に示すように対象領域を抽出する（Ｓ４０１）。ここで、対象領域は境界線から上方に位置して上下方向に所定距離を有し、かつカウンタ部９３４が含まれる領域である。このとき小数点が対象領域に含まれないように対象領域下端と境界線との距離を設定する。例えば小数点部分が境界線から１０ピクセル上にある場合、境界線から６０ピクセル上方の位置から、境界線から１０ピクセル上方の位置までの領域を対象領域として設定する。

次に、文字抽出部１０４は、対象領域として抽出した二値化画像（以後、単に二値化画像と称する。撮像画像も同様。）から図１８に示すようなノイズＮを除去する（Ｓ４０２）。ノイズＮは、表示盤９３０に設けられた開口部に起因するものであり、文字抽出部１０４は、横方向に所定幅以上連続する白画素をノイズＮと判定し、該当箇所を黒画素に変更する。ここで、所定幅は、少なくともカウンタ部９３４における一桁分の文字幅以上とすると良く、例えば３０ピクセルに設定される。更に、文字抽出部１０４は、所定幅以上連続する白画素から上下１ピクセルに存在する白画素についてもノイズＮと判定して黒画素に変更する。

ノイズＮの除去後、文字抽出部１０４は、二値化画像のｙ方向射影Ｐ_ｙを以下の式により算出する（Ｓ４０３）。ここで、射影Ｐ_ｙは、ｙ座標毎に算出される合計輝度値を示す。

Ｆ_１は二値化画像、Ｗ_１は二値化画像の幅。図１９に射影Ｐ_ｙの例を示す。

次に、文字抽出部１０４は、予め設定された所定の閾値Ｔ_１と射影Ｐ_ｙとに基づいて文字高さＨ_ｃを算出する（Ｓ４０４）。ここで、文字抽出部１０４は、Ｐ_ｙ（ｙ）≧Ｔ_１となるような、２つのｙ座標により示されるｙ方向の区間を探索し、該当する区間のうち、最大の区間を文字高さＨ_ｃとする。なお、この文字高さＨ_ｃは、対象領域のｙ方向の範囲として用いられる。これによって、処理対象領域に占める文字を構成する領域の割合を増加させることができ、延いては、文字の認識の精度を高めることができる。

次に、文字抽出部１０４は、後述する第１文字領域抽出処理を実行し（Ｓ４０５）、更に、後述する並列文字領域抽出処理を実行し（Ｓ４０６）、文字領域抽出処理を終了する。

（第１文字領域抽出処理）
第１文字領域抽出処理の動作について説明する。図２０は、第１文字領域抽出処理の動作を示すフローチャートである。図２１は、ｘ方向射影を示す図である。図２２は、部分撮像画像を示す図である。

図２０に示すように、文字抽出部１０４は、まず、二値化画像のｘ方向射影Ｐ_ｘを以下の式により算出する（Ｓ５０１）。ここで、射影Ｐ_ｘは、ｘ座標毎に算出される合計輝度値を示す。

Ｈ_１は二値化画像の高さ。図２１に射影Ｐ_ｘの例を示す。

次に、文字抽出部１０４は、射影Ｐ_ｘのｘ方向の重心座標ｘｇを以下の式により算出する（Ｓ５０２）。

次に、文字抽出部１０４は、ｘ方向に予め設定されたウィンドウ幅Ｗｓを用いて、幅（２・Ｗｓ）を持つ抽出ウィンドウを射影Ｐ_ｘに設け、その抽出ウィンドウの中心をｘ方向にｘｇ−Ｗｓからｘｇ＋Ｗｓの間を１ピクセルごと左から右に移動しながら抽出ウィンドウ内の射影Ｐ_ｘの合計を算出する。この抽出ウィンドウ内の射影Ｐ_ｘの合計が最大となる抽出ウィンドウの中心座標ｘ_ｃを算出する（Ｓ５０４）。

次に、文字抽出部１０４は、後述する位置補正処理により抽出ウィンドウの中心座標ｘ_ｃのｘ方向位置を補正し（Ｓ５０５）、撮像画像における抽出ウィンドウ内の領域の画像を図２２に示すような部分撮像画像として抽出し（Ｓ５０６）、文字領域抽出処理を終了する。図２２には、カウンタ値における一の位の”５”を含む部分画像が示される。

このように、二値化画像における射影Ｐ_ｘの重心座標Ｘｇを初期値として抽出ウィンドウの中心座標ｘ_ｃを算出することにより、重心座標Ｘｇを抽出ウィンドウの中心にセットする場合に比べ、より文字が存在する可能性が高い領域に対して、最初に抽出ウィンドウをセットすることができる。なお、この抽出ウィンドウは、並列文字領域抽出処理により左右に移動し最適位置に補正される。

（位置補正処理）
位置補正処理について説明する。図２３は、位置補正処理の動作を示すフローチャートである。

図２３に示すように、まず、文字抽出部１０４は、中心座標ｘ_ｃを中心としてウィンドウ幅Ｗｓを左右に有する抽出ウィンドウを回転補正された撮像画像にセットし、この抽出ウィンドウ内の回転補正された撮像画像を部分撮像画像として抽出し（Ｓ６０１）、この部分撮像画像を判別分析法により二値化する（Ｓ６０２）。

次に、文字抽出部１０４は、二値化された部分撮像画像におけるｘ方向の重心座標ｘ_ｃｇを以下の式により算出する（Ｓ６０３）。

Ｆ_２Ｂは二値化された部分撮像画像、Ｈ_２は部分撮像画像の高さ。

次に、文字抽出部１０４は、中心座標ｘ_ｃと重心座標ｘ_ｃｇとが一致するか否かを判定する（Ｓ６０４）。ここで、文字抽出部１０４は、ｘ_ｃｇ−Ｗｓ＝０である場合に中心座標ｘ_ｃと重心座標ｘ_ｃｇとが一致すると判定する。

中心座標ｘ_ｃと重心座標ｘ_ｃｇとが一致する場合（Ｓ６０４，ＹＥＳ）、文字抽出部１０４は、位置補正処理を終了する。

一方、中心座標ｘ_ｃと重心座標ｘ_ｃｇとが一致しない場合（Ｓ６０４，ＮＯ）、文字抽出部１０４は、中心座標ｘ_ｃをｘ方向にシフトして抽出ウィンドウを移動させ（Ｓ６０５）、移動された抽出ウィンドウ内の回転補正した撮像画像を部分撮像画像として抽出する（Ｓ６０１）。抽出ウィンドウの移動においては、中心座標ｘ_ｃには、重心座標ｘ_ｃｇからウィンドウ幅Ｗｓを減算した値に中心座標ｘ_ｃを加算した値が代入される。

このように、位置補正処理によれば、中心座標ｘ_ｃと重心座標ｘ_ｃｇとが一致するように抽出ウィンドウのｘ方向位置を変化させることにより、抽出ウィンドウにより抽出される部分撮像画像による文字抽出の精度を向上させることができる。

（並列文字領域抽出処理）
並列文字領域抽出処理の動作について説明する。図２４は、並列文字領域抽出処理の動作を示すフローチャートである。

図２４に示すように、まず、文字抽出部１０４は、二値化画像及び撮像画像に設定された抽出ウィンドウの中心座標ｘ_ｃを予め設定された文字間隔値分右方向へ動かし（Ｓ７０１）、後述する文字判定処理を実行し（Ｓ７０２）、この文字判定処理により抽出ウィンドウ内に文字があると判定されたか否かを判定する（Ｓ７０３）。

抽出ウィンドウ内に文字があると判定されない場合（Ｓ７０３，ＮＯ）、文字抽出部１０４は、第１文字領域抽出処理により二値化画像及び撮像画像に設定された抽出ウィンドウの中心座標ｘ_ｃを文字間隔値分左方向へ動かし（Ｓ７０４）、文字判定処理を実行し（Ｓ７０５）、この文字判定処理により抽出ウィンドウ内に文字があると判定されたか否かを判定する（Ｓ７０６）。

抽出ウィンドウ内に文字があると判定されない場合（Ｓ７０６，ＮＯ）、文字抽出部１０４は、並列文字領域抽出処理を終了する。

一方、抽出ウィンドウ内に文字があると判定された場合（Ｓ７０６，ＹＥＳ）、文字抽出部１０４は、上述した位置補正処理により抽出ウィンドウの中心座標ｘ_ｃの位置を補正し（Ｓ７０７）、抽出ウィンドウ内の領域の撮像画像を部分撮像画像として抽出し（Ｓ７０８）、再度、抽出ウィンドウの中心座標ｘ_ｃを文字間隔値分左方向へ動かす。（Ｓ７０４）。

また、ステップＳ７０３において、抽出ウィンドウ内に文字があると判定された場合（Ｓ７０３，ＹＥＳ）、文字抽出部１０４は、上述した位置補正処理により抽出ウィンドウの中心座標ｘ_ｃの位置を補正し（Ｓ７０９）、抽出ウィンドウ内の回転補正された撮像画像を部分撮像画像として抽出し（Ｓ７１０）、再度、抽出ウィンドウの中心座標ｘ_ｃを文字間隔値分右方向へ動かす（Ｓ７０１）。

このように、並列文字領域抽出処理によれば、第１文字領域抽出処理により決定された抽出ウィンドウを左右に動かして、第１文字領域抽出処理により特定された領域に並列する数値の領域を特定することができる。また、並列文字領域抽出処理による左右方向それぞれへの探索は、文字判定処理により抽出ウィンドウ内に文字が存在しないと判定された場合に抽出ウィンドウがカウンタ部９３４の数値部分よりも外方の端部側へ達したと見做され終了される。

（文字判定処理）
文字判定処理の動作について説明する。図２５は、文字判定処理の動作を示すフローチャートである。図２６は、右上角と左下角とを結ぶ対角線により分割された２つの領域を示す図である。図２７は、左上角と右下角とを結ぶ対角線により分割された２つの領域を示す図である。図２８は、左右に分割された２つの領域を示す図である。図２９は、合計輝度値による文字判定に用いられる画像を示す図である。図３０は、文字領域抽出処理による抽出結果を示す図である。

図２５に示すように、まず、文字抽出部１０４は、二値化画像における抽出ウィンドウ内の合計輝度値が所定比率未満であるかを判定する（Ｓ８０１）。ここで、文字抽出部１０４は、具体的には、白画素の数が抽出ウィンドウ内の総画素数の１６分の１未満であるか否かを判定する。この判定によれば、抽出ウィンドウ内に白画素が極端に少ない場合に抽出ウィンドウ内に文字が存在しないと判定される。

合計輝度値が所定比率未満ではない場合（Ｓ８０１，ＮＯ）、文字抽出部１０４は、図２６に示すように、二値化画像における抽出ウィンドウ内の領域を右上角から左下角への対角線により分割した領域Ａ、領域Ｂとし（Ｓ８０２）、これらの領域間に合計輝度値の偏りがあるか否かを判定する（Ｓ８０３）。ここで、文字抽出部１０４は、具体的には、領域Ａにおける合計輝度値をＳ_Ａ、領域Ｂにおける合計輝度値をＳ_Ｂとした際、Ｓ_ＡがＳ_Ｂの５倍以上である場合、または、Ｓ_ＢがＳ_Ａの５倍以上である場合に領域Ａと領域Ｂとの間に合計輝度値の偏りがあると判定する。

領域間に輝度値の偏りがない場合（Ｓ８０３，ＮＯ）、文字抽出部１０４は、図２７に示すように、二値化画像における抽出ウィンドウ内の領域を左上角から右下角への対角線により分割した領域Ａ、領域Ｂとし（Ｓ８０４）、これらの領域間に合計輝度値の偏りがあるか否かを判定する（Ｓ８０５）。ここで、文字抽出部１０４は、具体的には、上述の判定と同様に、領域Ａにおける合計輝度値をＳ_Ａ、領域Ｂにおける合計輝度値をＳ_Ｂとした際、Ｓ_ＡがＳ_Ｂの５倍以上である場合、または、Ｓ_ＢがＳ_Ａの５倍以上である場合に領域Ａと領域Ｂとの間に合計輝度値の偏りがあると判定する。

領域間に輝度値の偏りがない場合（Ｓ８０５，ＮＯ）、文字抽出部１０４は、図２８に示すように、二値化画像における抽出ウィンドウ内の領域を中心縦線に分割した領域Ａ、領域Ｂとし（Ｓ８０６）、これらの領域間に合計輝度値の偏りがあるか否かを判定する（Ｓ８０７）。ここで、文字抽出部１０４は、具体的には、領域Ａにおける合計輝度値をＳ_Ａ、領域Ｂにおける合計輝度値をＳ_Ｂとした際、Ｓ_ＡがＳ_Ｂの１０倍以上である場合、または、Ｓ_ＢがＳ_Ａの１０倍以上である場合に領域Ａと領域Ｂとの間に合計輝度値の偏りがあると判定する。

領域間に合計輝度値の偏りがない場合（Ｓ８０７，ＮＯ）、文字抽出部１０４は、撮像画像における抽出ウィンドウ内の領域について、ソーベルフィルタを適用した画像と元画像とを加算し、更に判定判別法により二値化した判定用部分画像を生成する（Ｓ８０８）。生成後、文字抽出部１０４は、図２９（ａ）に示すような二値化画像における抽出ウィンドウ内の合計輝度値と、図２９（ｂ）に示すような判定用部分画像における合計輝度値との差が、予め設定された所定値以上であるか否かを判定する（Ｓ８０９）。本実施の形態においては、この判定に用いる所定値を１７５とする。

合計輝度値の差が所定値以上ではない場合（Ｓ８０９，ＮＯ）、文字抽出部１０４は、抽出ウィンドウ内の領域に文字があると判定し（Ｓ８１０）、文字判定処理を終了する。

一方、合計輝度値の差が所定値以上である場合（Ｓ８０９，ＹＥＳ）、文字抽出部１０４は、抽出ウィンドウ内の領域に文字がないと判定し（Ｓ８１１）、文字判定処理を終了する。

また、ステップＳ８０７において、領域間に合計輝度値の偏りがある場合（Ｓ８０７，ＹＥＳ）、文字抽出部１０４は、抽出ウィンドウ内の領域に文字がないと判定する（Ｓ８１１）。

また、ステップＳ８０５において、領域間に合計輝度値の偏りがある場合（Ｓ８０５，ＹＥＳ）、文字抽出部１０４は、抽出ウィンドウ内の領域に文字がないと判定する（Ｓ８１１）。

また、ステップＳ８０３において、領域間に合計輝度値の偏りがある場合（Ｓ８０３，ＹＥＳ）、文字抽出部１０４は、抽出ウィンドウ内の領域に文字がないと判定する（Ｓ８１１）。

また、ステップＳ８０１において、合計輝度値が所定比率未満である場合（Ｓ８０１，ＹＥＳ）、文字抽出部１０４は、抽出ウィンドウ内の領域に文字がないと判定する（Ｓ８１１）。

このように、文字判定処理によれば、抽出ウィンドウ内の合計輝度値に基づいて、抽出ウィンドウ内に文字が存在するか否かを判定することができる。また、位置補正処理を含む第１文字領域抽出処理と、文字判定処理及び位置補正処理を含む並列文字領域抽出処理とを含む文字抽出処理によれば、図３０に示すように、例えば、Ｗ１〜Ｗ６の順に抽出ウィンドウの位置が移動される。このうち、Ｗ１、Ｗ３、Ｗ４、Ｗ５は文字があると判定され、Ｗ２はステップＳ８０９の判定により文字がないと判定され、Ｗ６は、ステップＳ８０３の判定により文字がないと判定される。なお、抽出ウィンドウＷ１、Ｗ３、Ｗ４、Ｗ５により抽出された部分撮像画像は、桁数を示す桁値が対応付けられるものとし、この桁値は、最も右側に位置するものを０として、１ずつ増加するようになっている。

（スケール調整処理）
スケール処理について説明する。図３１は、文字高さと抽出ウィンドウ間の距離との相関関係を示すグラフである。

カメラ１３と表示部９３との距離や、水道メータ９の種別の違いなどによって、撮像画像における文字の大きさが特徴量辞書を作成するときに使用した文字の大きさと異なる状況が存在する。これに対し、スケール調整部１０５は、スケール調整処理により部分撮像画像のスケールを調整する。ここで、スケール調整に係る倍率は、図３１に示すような事前に計測された文字同士の間隔と文字高さとの相関関係から得られた近似直線によって決定され、本実施の形態において、この近似直線はｙ＝０．９７０９ｘ−５．３３０９とする。

スケール調整部１０５は、まず、文字として判定された複数の抽出ウィンドウにおいて、隣り合う抽出ウィンドウの中心座標ｘ_ｃ間の距離をそれぞれ算出し、算出した距離の平均値を近似直線に代入することによって文字高さを算出する。更に、スケール調整部１０５は、算出された文字高さに基づいて、部分撮像画像のスケールを調整する。

（特徴量算出処理）
特徴量算出処理について説明する。図３２は、部分撮像画像を二値化した二値画像及び特徴量算出処理結果を画像で表わした結果を示す図である。図３３は、特徴量パターンを示す図である。

特徴量算出部１０６は、まず、例えば微分ヒストグラム法によって、図３２（ａ）に示すように部分撮像画像を二値化し、この二値化画像を図３２（ｂ）に示すように特徴量算出する。ここで特徴量算出部１０６は、二値化画像をｘ方向に、左領域、中領域、右領域に三分割し、ｙ座標（行）毎にそれぞれの領域内に含まれる輝度値に基づいて、各領域を０または１に設定する。本実施形態においては、白画素が３ピクセル以上続く場合に１と設定し、それ以外の場合に０と設定する。このように行ごとに算出した特徴量集合を作成する。これを以後特徴量画像と呼ぶ。この特徴量画像において、各ｙ座標（行）は、図３３において３ビット（０〜７の値）で表現される。このように、部分撮像画像を特徴量の集合として表わすことによりマッチング処理における堅牢性が向上するとともに、部分撮像画像を後述するマッチング処理に適したものとすることができる。

（マッチング処理）
マッチング処理について説明する。図３４は、マッチング処理の動作を示すフローチャートである。図３５は、数字の変形箇所を示す図である。図３６は、マッチング処理に用いられるカーネル関数を示す図である。図３７は、特徴量化された５と６との違いを示す図である。

図３４に示すように、まず、マッチング処理部１０７は、未選択の特徴量画像を選択し（Ｓ９０１）、未選択の特徴量辞書を選択する（Ｓ９０２）。

ここで、特徴量辞書について説明する。特徴量辞書は、円筒状の数字ドラムの側面を円周方向に３°ずつずらして全周を撮像した１２０枚の画像をそれぞれの特徴量算出を行い集合としたものである。図３５に示すように、カウンタ部９３４の文字は数字ドラムの側面に表示され、この側面の断面形状は円弧を描いているため、数字ドラム中心から上下に離れるにつれ文字の変形が増大する。また、数字ドラムの側面には０〜９の数値が配置されており、カウンタ値の変化途中においては、例えば、隣り合って配置される２つの数値が同時に視認可能となる。そのため、このように個々の数字を撮像した画像だけでなく、変化途中も考慮した画像をも用いることによって、より精度の高いマッチングを行うことができる。なお、これら１２０個の特徴量辞書のそれぞれには、０．０〜９．９の値が対応付けられており、この値において、整数部はカウンタ値として表示される数字を示し、小数部は数字ドラムの回転方向に隣り合う数字への変化度合を示す。例えば、９から０へ変化する途中の状態であって、上方に９の一部と下方に０の一部とが撮像された特徴量辞書には９．５が設定される。この特徴量辞書に対応付けられる値はカウンタ値判定処理に用いられる。

次に、マッチング処理部１０７は、選択した特徴量画像及び特徴量辞書との類似度Ｒを以下の式により算出する（Ｓ９０３）。

Ｉ（ｈ）はｈ行における特徴量画像の特徴量、Ｔ（ｈ）はｈ行における特徴量辞書の特徴量を示す。テルソン積記号は特徴量の組み合わせに対して設定されたカーネル値を決定する演算を示し、後述するカーネル関数が用いられる。また、

であり、この処理によればｈ行とマッチングする対象を特徴量辞書ｈ−Δｈ行〜ｈ＋Δｈ行の合計２・Δｈ＋１行の中で演算値が最大のものがマッチング結果として採用される。これにより、スケール調整処理によりスケール調整の誤差が生じた場合であっても、この誤差がマッチングに及ぼす影響を低減することができる。

類似度Ｒの算出に用いられるカーネル関数は、図３６に示すように、特徴量の組み合わせに対して、個々に重みを設定したものであり、区別すべき特徴量の組み合わせに対しては小さな値がセットされる。例えば、図３７に示すような特徴量画像で表現された５と６とでは、その違いは一部分のみとなっているが、ここで、特徴量［００１］＝１と特徴量［１０１］＝５に対して小さな値を設定することによって、マッチング処理における５と６の判別性能を向上させることができる。

類似度Ｒの算出後、マッチング処理部１０７は、未選択の特徴量辞書があるか否かを判定する（Ｓ９０４）。

未選択の特徴量辞書がない場合（Ｓ９０４，ＮＯ）、マッチング処理部１０７は、算出された類似度Ｒが最大である特徴量辞書を選択し（Ｓ９０５）、この特徴量辞書に対応付けられた値を取得し（Ｓ９０６）、未選択の特徴量画像があるか否かを判定する（Ｓ９０７）。

未選択の特徴量画像がない場合（Ｓ９０７，ＮＯ）、マッチング処理を終了する。

一方、未選択の特徴量画像がある場合（Ｓ９０７，ＹＥＳ）、マッチング処理部１０７は、再度、未選択の特徴量画像を選択する（Ｓ９０１）。

また、ステップＳ９０４において、未選択の特徴量辞書がある場合（Ｓ９０４，ＹＥＳ）、マッチング処理部１０７は、再度、未選択の特徴量辞書を選択する（Ｓ９０２）。

（カウンタ値判定処理）
カウンタ値判定処理について説明する。図３８は、カウンタ値判定処理の動作を示すフローチャートである。図３９は、４９９から５００に変化するカウンタ部を示す図である。

図３８に示すように、まず、カウンタ値判定部１０９は、最下位の桁を０とした変数ｎに０を代入し（Ｓ１００１）、ｎがカウンタ値の桁数を示し、予め設定される設定桁数（本実施形態においては４）より小さいか否かを判定する（Ｓ１００２）。

ｎが設定桁数より小さい場合（Ｓ１００２，ＹＥＳ）、ｎ桁についてマッチング処理により取得された取得値（類似度Ｒが最大となる特徴量辞書に対応付けられた値）が９＋Δｎから１０−Δｎの区間内であるか否かを判定する（Ｓ１００３）。ここで、Δｎは予め設定する値であり桁上がりが発生しているかの判定を調整するパラメータとなっており、本実施の形態においては、０．３に設定されているものとする。

取得値が９＋Δｎから１０−Δｎの区間内である場合（Ｓ１００３，ＹＥＳ）、カウンタ値判定部１０９は、ｎ桁を後に判定の対象とする桁である判定保留桁に追加し（Ｓ１００４）、ｎをインクリメントし（Ｓ１００５）、再度、ｎが設定桁数より小さいか否かを判定する（Ｓ１００２）。

一方、取得値が９＋Δｎから１０−Δｎの区間外である場合（Ｓ１００３，ＮＯ）、カウンタ値判定部１０９は、ｎ桁目の取得値の小数部が（１−Δｎ）以下であるか否かを判定する（Ｓ１００６）。

ｎ桁についての取得値の小数部が（１−Δｎ）以下である場合（Ｓ１００６，ＹＥＳ）、カウンタ値判定部１０９は、ｎ桁目の取得値の整数部をｎ桁目の読取値とし（Ｓ１００７）、変数ｍに０を代入し（Ｓ１００８）、ｍが判定保留桁のうち最大のものである最大判定保留桁より小さいか否かを判定する（Ｓ１００９）。

ｍが最大判定保留桁より小さい場合（Ｓ１００９，ＹＥＳ）、カウンタ値判定部１０９は、m桁が判定保留桁かどうかを判定する（Ｓ１０１０）。

ｍ桁が判定保留桁である場合（Ｓ１０１０，ＹＥＳ）、ｍ桁の読取値を９としてｍ桁を判定保留桁から解除し（Ｓ１０１１）、ｍをインクリメントし（Ｓ１０１２）、再度、ｍが最大判定保留桁より小さいか否かを判定する（Ｓ１００９）。ここで、読取値とは、最終的にカウンタ部９３２のカウンタ値として読み取られる値である。

一方、ｍ桁が判定保留桁ではない場合（Ｓ１０１０，ＮＯ）、カウンタ値判定部１０９は、ｍをインクリメントする（Ｓ１０１２）。

また、ステップＳ１００９において、ｍが最大判定保留桁以上である場合（Ｓ１００９，ＮＯ）、カウンタ値判定部１０９は、ｎをインクリメントする（Ｓ１００５）。

また、ステップＳ１００６において、ｎ桁についての取得値の小数部が（１−Δｎ）より大きい場合（Ｓ１００６，ＮＯ）、カウンタ値判定部１０９は、ｎ桁目の取得値の整数部＋１をｎ桁目の読取値とし（Ｓ１０１３）、ｍに０を代入し（Ｓ１０１４）、ｍが最大判定保留桁より小さいか否かを判定する（Ｓ１０１５）。

ｍが最大判定対象保留桁より小さい場合（Ｓ１０１５，ＹＥＳ）、カウンタ値判定部１０９は、m桁が判定保留桁かどうかを判定する（Ｓ１０１６）。

ｍ桁が判定保留桁である場合（Ｓ１０１６，ＹＥＳ）、カウンタ値判定部１０９は、ｍ桁の読取値を０としてｍ桁を判定保留桁から解除し（Ｓ１０１７）、ｍをインクリメントし（Ｓ１０１８）、再度、ｍが最大判定保留桁より小さいか否かを判定する（Ｓ１０１５）。

一方、ｍ桁が判定保留桁ではない場合（Ｓ１０１６，ＮＯ）、カウンタ値判定部１０９は、ｍをインクリメントする（Ｓ１０１８）。

また、ステップＳ１０１５において、ｍが最大判定保留桁以上である場合（Ｓ１０１５，ＮＯ）、カウンタ値判定部１０９は、ｎをインクリメントする（Ｓ１００５）。

また、ステップＳ１００２において、ｎが設定桁数より小さくない場合（Ｓ１００２、ＮＯ）、カウンタ値判定部１０９は、カウンタ値判定処理を終了する。

このように、カウンタ値判定処理によれば、図３９に示すような、カウンタ値が［０４９９］から［０５００］に変化している際の撮像画像について、０と９との間にある桁（判定対象桁）よりも上位の桁がより大きな数字へ変化中であるか否かを判定することによって、判定対象桁の数字を正しく読み取ることができる。なお、回転が不十分なカウンタ部を示す図４０からわかるように、数字が変化途中でなくとも数字の上下方向における重心が中心位置から大きくずれている水道メータも存在するため、カウンタ値判定処理における小数部の閾値Δｎを０．３程度に設定することが望ましい。

本実施の形態において、文字認識プログラムは上述した文字認識装置の内部に予めインストールされているものとして記載したが、本発明における文字認識プログラムは記憶媒体に記憶されたものも含まれる。ここで記憶媒体とは、磁気テープ、磁気ディスク（ハードディスクドライブ等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ等、欠陥検査装置に対し脱着可能な媒体や、さらにネットワークを介することで伝送可能な媒体等、上述した文字認識装置としてのコンピュータで読み取りや実行が可能な全ての媒体をいう。

発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１ 文字認識装置、１０１ 画像取得部、１０２ フィルタ処理部、１０４ 文字抽出部、１０７ マッチング処理部。

Claims (8)

1. 並列する複数の文字を含む半円状に着色された領域における文字の認識を行う文字認識装置であって、
   前記半円状に着色された領域が階調で撮像された撮像画像を取得する画像取得部と、
   前記撮像画像を二値化した二値化画像を生成するフィルタ処理部と、
   前記二値化画像における半円状の領域の直線部が水平となるように前記二値化画像を回転補正する回転補正部と、
   前記回転補正された二値化画像の縦座標毎に合計輝度値を算出した縦方向射影と、前記二値化画像の横座標毎に合計輝度値を算出した横方向射影とに基づいて、前記撮像画像における複数の文字のそれぞれを含む複数の部分画像を抽出する文字抽出部と、
   前記回転補正された二値化画像における隣り合う部分画像間の距離と、予め設定された隣り合う部分画像間の距離と該部分画像の高さとの相関関係とに基づいて、前記複数の部分画像のスケールを調整するスケール調整部と、
   前記スケールが調整された複数の部分画像のそれぞれと予め記憶された辞書データとをマッチングして文字を認識するマッチング処理部と
   を備える文字認識装置。
2. 前記文字抽出部は、前記縦方向射影に基づく縦方向範囲と所定の横幅とを有する第１抽出ウィンドウの横方向位置を前記横方向射影の重心に基づいて決定し、該第１抽出ウィンドウを前記撮像画像にセットし、前記第１抽出ウィンドウ内の画像を部分画像として抽出することを特徴とする請求項１に記載の文字認識装置。
3. 前記文字抽出部は、前記第１抽出ウィンドウと同等の縦方向範囲及び横幅とを有し、該第１抽出ウィンドウに対して横方向に所定距離単位で順次移動される第２抽出ウィンドウを前記撮像画像にセットし、前記第２抽出ウィンドウ内の画像を部分画像として抽出することを特徴とする請求項２に記載の文字認識装置。
4. 前記文字抽出部は、前記第２抽出ウィンドウを前記第１抽出ウィンドウに対して横方向一方へ順次移動させ、該第２抽出ウィンドウ内の領域画像が文字を含むか否かを該領域画像の合計輝度値に基づいて判定し、該領域画像が文字を含まない場合、前記第１抽出ウィンドウに対して横方向逆方へ順次移動させることを特徴とする請求項３に記載の文字認識装置。
5. 前記複数の部分画像のそれぞれの特徴量を算出して特徴量の集合である特徴量集合を生成する特徴量算出部を更に備え、
   前記マッチング処理部は、予め記憶された特徴量の集合である前記辞書データと、前記特徴量集合との類似度を算出することにより文字を認識することを特徴とする請求項１〜請求項４のいずれか一項に記載の文字認識装置。
6. 前記マッチング処理部は、前記辞書データに含まれる特徴量と前記特徴量集合に含まれる特徴量との組み合わせに対して予め設定された重みに基づいて、前記類似度を算出することを特徴とする請求項５に記載の文字認識装置。
7. 並列する複数の文字を含む半円状に着色された領域における文字の認識を行う文字認識プログラムであって、
   前記半円状に着色された領域が階調で撮像された撮像画像を取得し、
   前記撮像画像を二値化した二値化画像を生成し、
   前記二値化画像における半円状の領域の直線部が水平となるように前記二値化画像を回転補正し、
   前記回転補正された二値化画像の縦座標毎に合計輝度値を算出した縦方向射影と、前記二値化画像の横座標毎に合計輝度値を算出した横方向射影とに基づいて、前記撮像画像における複数の文字のそれぞれを含む複数の部分画像を抽出し、
   前記回転補正された二値化画像における隣り合う部分画像間の距離と、予め設定された隣り合う部分画像間の距離と該部分画像の高さとの相関関係とに基づいて、前記複数の部分画像のスケールを調整し、
   前記スケールが調整された複数の部分画像のそれぞれと予め記憶された辞書データとをマッチングして文字を認識する
   処理をコンピュータに実行させる文字認識プログラム。
8. 並列する複数の文字を含む半円状に着色された領域における文字の認識をコンピュータに行わせる文字認識方法であって、
   前記コンピュータが、
   前記半円状に着色された領域が階調で撮像された撮像画像を取得し、
   前記撮像画像を二値化した二値化画像を生成し、
   前記二値化画像における半円状の領域の直線部が水平となるように前記二値化画像を回転補正し、
   前記回転補正された二値化画像の縦座標毎に合計輝度値を算出した縦方向射影と、前記二値化画像の横座標毎に合計輝度値を算出した横方向射影とに基づいて、前記撮像画像における複数の文字のそれぞれを含む複数の部分画像を抽出し、
   前記回転補正された二値化画像における隣り合う部分画像間の距離と、予め設定された隣り合う部分画像間の距離と該部分画像の高さとの相関関係とに基づいて、前記複数の部分画像のスケールを調整し、
   前記スケールが調整された複数の部分画像のそれぞれと予め記憶された辞書データとをマッチングして文字を認識する文字認識方法。