JP6177541B2 - 文字認識装置、文字認識方法及びプログラム - Google Patents

Description

本発明は、文字認識装置、文字認識方法及びプログラムに関し、特に、グレースケール画像に対して文字認識を行うための文字認識装置、文字認識方法及びプログラムに関する。

撮像装置によって撮像された撮像画像について文字認識を行う技術は、ナンバープレート認識を始めとして、様々な用途に応用されている。撮像画像に対する文字認識では、一般的に、撮像画像から２値化画像を生成する処理が行われ、更に、該２値化画像について文字認識処理が行われる。このような技術は、例えば、特許第３４１１７９５号（特許文献１）に開示されている。

撮像画像から２値化画像を生成し、該２値化画像に対して文字認識処理を行う技術の一つの問題は、撮像画像の画質が悪いと、良好な２値化画像が得られないことである。例えば、撮像画像においてコントラストが不十分であると、２値化処理において隣接した文字が連結した２値化画像が生成され、これは、文字認識の精度を低下させる。特許３７９８５８２号公報（特許文献２）は、２値化画像において接触している文字を分離する技術を開示しているが、この技術は、良好な２値化画像が得られないという問題を根本的に解決するものではない。

このような問題に対処するために、発明者らは、２値化処理を行わずに文字認識処理を行うこと、即ち、グレースケール画像（濃淡画像）に対して文字認識処理を行うことを検討している。そして、発明者らの検討によれば、２値化を行わずに文字認識処理を行う上での一つの問題は、各文字が存在する領域の候補（以下では、「文字候補領域」ということがある）を適切に設定することである。グレースケール画像に対して文字認識処理を行う場合に文字候補領域を不適切に設定すると、誤った文字認識結果が得られる、即ち、文字の誤認識が発生することになる。２値化画像では、ノイズを除去した後、（バックグラウンドが白である場合には）黒の画素が連続して存在する部分を文字候補領域であるとして設定する処理を行えばよいが、グレースケール画像については、このような処理を行うことはできない。多数の文字候補領域を適宜に設定することで、文字の誤認識を抑制することはできるが、その一方で、過剰に多数の文字候補領域を設定することは、文字認識処理におけるデータ処理量の増大、即ち、処理時間の長大化を招く。

このような背景から、グレースケール画像に対して文字認識処理を行う際に、適切に文字候補領域を設定するための技術を提供することが求められている。

特許第３４１１７９５号 特許３７９８５８２号公報

したがって、本発明の目的は、グレースケール画像に対して文字認識処理を行う際に、適切に文字候補領域を設定するための技術を提供することにある。

本発明の一の観点では、文字認識装置が、文字高さ方向範囲検出手段と、文字幅方向範囲検出手段と、文字中心候補領域決定手段と、文字候補領域設定手段と、文字認識手段と、文字識別結果確定手段とを具備する。文字高さ方向範囲検出手段は、グレースケール画像であり、且つ、文字幅方向に並んだ複数の文字を含む文字列が映された画像である対象画像について、文字列が存在する、文字幅方向と垂直な文字高さ方向の範囲である文字高さ方向範囲を検出する。文字幅方向範囲検出手段は、対象画像について、文字列の各文字が存在する文字幅方向の範囲である文字幅方向範囲を検出する。文字中心候補領域決定手段は、対象画像について、文字高さ方向における文字高さ方向範囲の中心を含み、文字幅方向における文字幅方向範囲の中心を含む領域として、文字列の各文字について文字中心候補領域を決定する。文字候補領域設定手段は、文字中心候補領域の各点について、対角線の交点が各点に一致する複数の矩形の文字候補領域を設定する。文字認識手段は、対象画像の複数の文字候補領域の部分のそれぞれに対して文字認識処理を行って、文字列の各文字について、複数の文字候補領域のそれぞれの文字認識結果を得る。文字識別結果確定手段は、複数の文字候補領域それぞれの文字認識結果から、文字列の各文字についての文字識別結果を確定する。

一実施形態では、文字高さ方向範囲検出手段は、対象画像の文字高さ方向の各位置について算出された、文字幅方向に並んだ画素の輝度値の和の分布である第１射影ヒストグラムを生成し、第１射影ヒストグラムに対して平滑化処理を行って第１平滑化データを算出し、第１射影ヒストグラムと平滑化データとの差の符号が反転する位置として文字高さ方向範囲の上端と下端とを検出する。

一実施形態では、文字幅方向範囲検出手段は、対象画像の文字幅方向の各位置について算出された、文字高さ方向に並んだ画素の輝度値の和の分布である第２射影ヒストグラムを生成し、第２射影ヒストグラムに対して平滑化処理を行って第２平滑化データを算出し、第２射影ヒストグラムと第２平滑化データとの差の符号が反転する位置から始点候補と終点候補とを検出し、始点候補のうちから文字列の各文字の文字幅方向範囲の始点を選択し、終点候補のうちから文字列の各文字の文字幅方向範囲の終点を選択する。

好適な応用例としては、本発明は、対象画像が、ナンバープレートが映されたプレート領域画像、又は、プレート領域画像に対して画像処理を行うことで得られる画像である場合に適用される。一実施形態では、対象画像が、ナンバープレートが映されたプレート領域画像に対して前処理を行うことで得られる画像であってもよい。前処理では、プレート領域画像に対して、高輝度になっている部分の輝度を抑制すると共に、画素の輝度の平均値と標準偏差とが、それぞれ、所定の値になるように線形変換を行う輝度補正処理が行われ、輝度補正処理によって得られた画像に対して微分フィルタによる処理が行われてエッジ画像が生成され、エッジ画像に含まれる文字輪郭線の内側を穴埋めする穴埋め処理が行われ、穴埋め処理で得られた画像に対して文字幅方向の低周波成分を除去する処理が行われる

本発明の他の観点においては、文字認識方法が、グレースケール画像であり、且つ、文字幅方向に並んだ複数の文字を含む文字列が映された画像である対象画像について、文字列が存在する、文字幅方向と垂直な文字高さ方向の範囲である文字高さ方向範囲を検出するステップと、対象画像について、文字列の各文字が存在する文字幅方向の範囲である文字幅方向範囲を検出するステップと、対象画像について、文字高さ方向における文字高さ方向範囲の中心を含み、文字幅方向における文字幅方向範囲の中心を含む領域として、文字列の各文字について文字中心候補領域を決定するステップと、文字中心候補領域の各点について、対角線の交点が各点に一致する複数の矩形の文字候補領域を設定するステップと、対象画像の複数の文字候補領域の部分のそれぞれに対して文字認識処理を行って、文字列の各文字について、複数の文字候補領域のそれぞれの文字認識結果を得るステップと、複数の文字候補領域それぞれの文字認識結果から、文字列の各文字についての文字識別結果を確定するステップとを具備する。

本発明の更に他の観点においては、プログラムが、演算装置を、下記手段として機能させる：グレースケール画像であり、且つ、文字幅方向に並んだ複数の文字を含む文字列が映された画像である対象画像について、文字列が存在する、文字幅方向と垂直な文字高さ方向の範囲である文字高さ方向範囲を検出する文字高さ方向範囲検出手段、対象画像について、文字列の各文字が存在する文字幅方向の範囲である文字幅方向範囲を検出する文字幅方向範囲検出手段、対象画像について、文字高さ方向における文字高さ方向範囲の中心を含み、文字幅方向における文字幅方向範囲の中心を含む領域として、文字列の各文字について文字中心候補領域を決定する文字中心候補領域決定手段、文字中心候補領域の各位置について、複数の文字候補領域を設定する文字候補領域設定手段、対象画像の複数の文字候補領域のそれぞれに対して文字認識処理を行って、複数の文字候補領域のそれぞれの文字認識結果を得る文字認識手段、及び、複数の文字候補領域それぞれの文字認識結果から、文字列の各文字についての文字識別結果を確定する文字識別結果確定手段。

本発明によれば、グレースケール画像に対して文字認識処理を行う際に、適切に文字候補領域を設定することができる。

本発明の一実施形態における文字認識装置の構成を示すブロック図である。 本発明の一実施形態における文字認識方法の概要を示すフローチャートである。 本実施形態の文字認識方法における前処理の内容を示すフローチャートである。 本実施形態の文字認識方法における文字高さ方向範囲検出処理の内容を示すフローチャートである。 本実施形態の文字認識方法における文字高さ方向範囲検出処理の内容を示す概念図である。 ナンバープレートの構成の例を示す概念図である。 図５Ａのナンバープレートについて行われる文字高さ方向範囲検出処理の内容を示すフローチャートである。 本実施形態の文字認識方法における文字幅方向範囲検出処理の内容を示すフローチャートである。 本実施形態の文字認識方法における文字幅方向範囲検出処理の内容を示す概念図である。 本実施形態の文字認識方法における文字中心候補領域設定処理の内容を示すフローチャートである。 本実施形態の文字認識方法における文字中心候補領域設定処理の内容を示す概念図である。 本実施形態の文字認識方法における文字領域・文字認識結果確定処理の内容を示すフローチャートである。 文字中心候補領域の特定の点と、該特定の点について設定される文字候補領域との関係を示す概念図である。 本実施形態における文字領域・文字認識結果確定処理において設定される文字候補領域を示す概念図である。

図１は、本発明の一実施形態における文字認識装置１の構成を示すブロック図である。本実施形態では、文字認識装置１が、ナンバープレート認識に用いられる。即ち、文字認識装置１は、外部から供給されたプレート領域画像データ２１に対して文字認識処理を行ってプレート認識データ２２を生成する。ここで、プレート領域画像データ２１とは、プレート領域画像、即ち、ナンバープレート（自動車登録番号標又は車両番号標）が映された画像の画像データであり、例えば、車両を撮影した撮像画像から、ナンバープレートに対応する部分を切り出す画像処理によって得られる。プレート領域画像データ２１は、グレースケール画像の画像データであることに留意されたい。また、プレート認識データ２２とは、文字認識処理によって得られた文字認識結果（即ち、認識された文字）を示すデータである。

文字認識装置１は、画像処理ＩＣ（integrated circuit）２と、外部インターフェース３と、外部記憶装置４と、メモリ５と、ＲＯＭ（read only memory）６とを備えている。外部インターフェース３は、外部から受け取ったプレート領域画像データ２１を、画像処理ＩＣ２に供給する。外部記憶装置４は、文字認識装置１における文字認識処理において生成されるデータを保存する。外部記憶装置４に保存されるデータは、プレート認識データ２２を含んでいる。メモリ５は、画像処理ＩＣ２による演算処理のワーキングエリアとして使用される。ＲＯＭ６は、画像処理ＩＣ２によって実行されるプログラムを保存している。ＲＯＭ６に記憶されているプログラムは、文字認識処理を実行するためのプログラムである文字認識ソフトウェア６ａを含んでいる。

画像処理ＩＣ２は、演算モジュール１１と、画像入力インターフェース１２と、データ入出力インターフェース１３と、メモリコントローラ１４と、ＲＯＭコントローラ１５とを備えている。演算モジュール１１と、画像入力インターフェース１２と、データ入出力インターフェース１３と、メモリコントローラ１４と、ＲＯＭコントローラ１５とは、内部バス１６によって接続されている。演算モジュール１１は、メモリ５をワーキングエリアとして使用しながら文字認識ソフトウェア６ａを実行して、プレート領域画像データ２１に対する文字認識処理を行う。画像入力インターフェース１２は、画像処理ＩＣ２にプレート領域画像データ２１を入力するために用いられるインターフェースである。データ入出力インターフェース１３は、外部記憶装置４へのアクセスを行うためのインターフェースである。メモリコントローラ１４は、メモリ５へのアクセスを行うためのインターフェースである。また、ＲＯＭコントローラ１５は、ＲＯＭ６へのアクセスを行うためのインターフェースである。

以下に述べられる文字認識方法の各処理は、図１に示されているハードウェアを用いて実行される。以下では、本実施形態の文字認識方法について、詳細に説明する。

図２は、本実施形態における文字認識方法を示すフローチャートである。上述の文字認識ソフトウェア６ａは、この文字認識方法を実行するためのプログラムコード群である。

本実施形態の文字認識方法は、概略的には、前処理（ステップＳ０１）、文字高さ方向範囲検出処理（ステップＳ０２）、文字幅方向範囲検出処理（ステップＳ０３）、文字中心候補位置領域設定処理（ステップＳ０４）、及び、文字領域、文字認識結果確定処理（ステップＳ０５）を含んでいる。以下、それぞれの処理について、詳細に説明する。

１．前処理
まず、プレート領域画像データ２１に対して、前処理（ステップＳ０１）が行われる。前処理とは、文字の周辺の外乱成分を可能な限り排除し、また、文字を構成する線（文字線）を強調するための画像処理である。なお、以下に説明される前処理は、精度の高い文字認識を行うために好適であるが、原理的には必須ではないことに留意されたい。

前処理（ステップＳ０１）では、まず、輝度補正処理が行われる（ステップＳ１１）。輝度補正処理では、まず、ハレーション等により高輝度になっている部分の輝度を抑制する処理が行われ、更に、画素の輝度の平均値と標準偏差とが、それぞれ、所定の値になるように線形変換が行われる。

更に、ステップＳ０１の輝度補正によって得られた画像データに対し、Ｓｏｂｅｌフィルタその他の微分フィルタによる処理が行われ、エッジ画像が生成される（ステップＳ１２）。エッジ画像には、文字輪郭線が現れる。

得られたエッジ画像に対し、エッジ画像に含まれる文字輪郭線の内側を穴埋めする処理が行われ、穴埋め画像が生成される（ステップＳ１３）。このような穴埋め処理は、例えば、エッジ画像に対し、最大値フィルタと最小値フィルタによる処理を行うことで実現できる。この場合、文字幅方向（即ち、水平方向）におけるフィルタサイズは、例えば、文字線の太さ程度に選択され、文字高さ方向（即ち、垂直方向）におけるフィルタサイズは、１画素に選択される。ここで、プレート領域画像及びエッジ画像には、全体としては、水平方向に文字が並んでいることに留意されたい。

更に、ステップＳ１３における処理で得られた穴埋め画像に対し、文字幅方向の低周波成分を除去する処理が行われる（ステップＳ１４）。この処理は、車両のバンパーやトランク等、ナンバープレートの文字以外の像が穴埋め画像に含まれている場合に、該像を除去するために行われる。より具体的には、最小値フィルタによる処理を行い、更に、最大値フィルタによる処理を行った後、ステップＳ１３で得られる穴埋め画像との差分を算出することで行われる。該差分の画像データが、ステップＳ１４で得られる画像データである。

以上で、前処理が完了する。前処理によって得られた画像の画像データは、外部記憶装置４に保存される。ここで、前処理によって得られる画像は、（２値化画像ではなく）グレースケール画像であることに留意されたい。

２．文字高さ方向範囲検出処理
続いて、前処理（ステップＳ０１）によって得られた画像データに対して、文字高さ方向範囲検出処理が行われる（ステップＳ０２）。文字高さ方向範囲検出処理とは、処理対象の画像（即ち、前処理によって得られた画像）において、文字列が存在する文字高さ方向の範囲（文字高さ方向範囲）の上端と下端を検出する処理である。図４Ａは、文字高さ方向範囲検出処理において行われる処理を示すフローチャートであり、また、図４Ｂは、文字高さ方向範囲検出処理を概念的に説明する図である。

まず、ｙ軸射影ヒストグラムが生成される（ステップＳ２１）。ここで、ｙ軸射影ヒストグラムとは、画像の文字高さ方向の各位置について算出された、文字幅方向に並んだ画素の輝度値の和の分布である。図４Ｂに図示されているように、ｙ軸が画像の垂直方向に、ｘ軸が水平方向に定められたｘｙ座標系を規定した場合、座標（ｘ，ｙ）にある画素の輝度をＢ（ｘ，ｙ）として、ｙ軸射影ヒストグラムは、次式（１）で定義されるＳ_Σ１（ｙ）として得られる：
Ｓ_Σ１（ｙ）＝ΣＢ（ｉ、ｙ） ・・・（１）
ここで、Σは、ｙ軸座標がｙである全画素についての和である。図４Ｂにおいて、グラフ３１は、ｙ軸射影ヒストグラムＳ_Σ１（ｙ）を表わしている。

更に、ｙ軸射影ヒストグラムＳ_Σ１（ｙ）に対して平滑化フィルタによる処理（平滑化処理）が行われて平滑化データが算出される（ステップＳ２２）。平滑化フィルタのフィルタサイズは、１文字の高さに相当するサイズに選ばれる。本実施形態では、平滑化処理として移動平均を算出する処理が用いられる。即ち、平滑化データとして、ｙ軸射影ヒストグラムＳ_Σ１（ｙ）の移動平均Ｓ＾_Σ１（ｙ）が算出される。図４Ｂにおいて、グラフ３２は、移動平均Ｓ＾_Σ１（ｙ）を表わしている。

更に、ｙ軸射影ヒストグラムＳ_Σ１（ｙ）と、その移動平均Ｓ＾_Σ１（ｙ）とを用いて、文字高さ方向範囲の上端と下端が検出される（ステップＳ２４）。ステップＳ２４における、文字高さ方向範囲の上端と下端の検出では、まず、平滑化データが最大値をとる文字高さ方向の位置であるピーク点３３が検出される。本実施形態では、移動平均Ｓ＾_Σ１（ｙ）が最大値をとるｙ座標が、ピーク点３３として検出される。更に、ピーク点３３を始点として平滑化データの値がｙ軸射影ヒストグラムＳ_Σ１（ｙ）の値よりも大きくなる位置が検索され、平滑化データの値がｙ軸射影ヒストグラムＳ_Σ１（ｙ）の値よりも大きくなる位置が、文字高さ方向範囲の上端及び下端の位置として検出される。図４Ｂにおいて、符号３４は、ステップＳ２４で検出された、文字高さ方向範囲の上端を示しており、符号３５は、文字高さ方向範囲の下端を示している。

平滑化データとして移動平均Ｓ＾_Σ１（ｙ）が用いられる本実施形態では、移動平均Ｓ＾_Σ１（ｙ）がｙ軸射影ヒストグラムＳ_Σ１（ｙ）の値よりも大きくなる位置が、文字が存在する領域の上端３４及び下端３５の位置として検出される。ここで、移動平均Ｓ＾_Σ１（ｙ）がｙ軸射影ヒストグラムＳ_Σ１（ｙ）の値よりも初めて大きくなる位置が上端３４及び下端４６の位置として検出されてもよい。また、文字高さ方向の所定数の一連の画素にわたって移動平均Ｓ＾_Σ１（ｙ）がｙ軸射影ヒストグラムＳ_Σ１（ｙ）の値よりも大きくなる場合に、当該一連の画素のいずれか（典型的には中央の画素）のｙ座標が、上端３４及び下端４６の位置として検出されてもよい。

更に、プレート領域画像が、１段プレート、２段プレートのいずれの画像であるかが判定される（ステップＳ２４）。プレート領域画像が２段プレートの画像である場合、上記のステップＳ２１〜Ｓ２３の処理では、ナンバープレートに含まれる２つの文字列の一方について、上端３４及び下端３５を検出する処理が行われることになる。そこで、プレート領域画像が２段プレートの画像である場合、上端３４、下端３５を検出する処理が行われていない他方の文字列について上記のステップＳ２１〜Ｓ２３の処理と同じ処理が行われ、該他方の文字列の、文字高さ方向範囲の上端と下端とが検出される（ステップＳ２５）。

ここで、プレート領域画像に移されているナンバープレートが１段プレート、２段プレートのいずれであるかが予め分かっている場合には、１段プレート、２段プレートのいずれの画像であるかの判定（ステップＳ２４）は行わなくてもよい。プレート領域画像に撮像されているナンバープレートが１段プレートである場合には、上記のステップＳ２１〜Ｓ２３の処理で、文字高さ方向範囲検出処理が完了する。また、プレート領域画像に移されているナンバープレートが２段プレートである場合には、ステップＳ２５において、上端３４、下端３５を検出する処理が行われていない他方の文字列について、再度、上記のステップＳ２１〜Ｓ２３の処理と同じ処理が行われる。

例えば、日本国のナンバープレートに記載される文字は、図５Ａに図示されているように、相対的に小さな文字で構成される地名５３の文字と分類番号５４の文字が水平方向に並んだ上段の文字列５１と、相対的に大きな文字で構成される一連指定番号５５と平仮名５６とが並んだ下段の文字列５２とを含んでいる。そこで、日本国のナンバープレートについての文字認識処理においては、ステップＳ２４における１段プレート、２段プレートのいずれの画像であるかの判定は行われなくてもよい。

そして、日本国のナンバープレートのプレート領域画像について文字認識を行う場合、ステップＳ２１〜Ｓ２３の処理では、下側の文字列５２について、文字高さ方向範囲の上端３４と下端３５とが検出されることになる。この場合、図５Ｂに図示されているように、ステップＳ２１〜Ｓ２３の処理が行われた後、上段の文字列５１について上記のステップＳ２１〜Ｓ２３の処理と同じ処理が行われ、上段の文字列５１の、文字高さ方向範囲の上端と下端とが検出されてもよい（ステップＳ２６）。

上記の文字高さ方向範囲検出処理によって検出された上端、下端の位置を示す上下端データは、外部記憶装置４に保存される。

３．文字幅方向範囲検出処理
更に、前処理（ステップＳ０１）によって得られた画像データに対して、文字幅方向範囲検出処理が行われる（ステップＳ０３）。文字幅方向範囲検出処理とは、各文字が存在すると考えられる水平方向の範囲（以下、「文字幅方向範囲」という。）の、水平方向における始点の候補（始点候補）及び終点の候補（終点の候補）を検出する処理である。なお、文字幅方向範囲検出処理で検出される始点候補は、あくまで「候補」であり、各文字が存在する領域の、水平方向における始点として最終的に決定されるわけではないことに留意されたい。同様に、終点候補は、あくまで「候補」であり、各文字が存在する領域の、水平方向における終点として最終的に決定されるわけではない。

図６は、文字幅方向範囲検出処理において行われる処理を示すフローチャートであり、また、図７は、文字幅方向範囲検出処理を概念的に説明する図である。まず、ｘ軸射影ヒストグラムが生成される（ステップＳ３１）。ここで、ｘ軸射影ヒストグラムとは、画像の水平方向の各位置について算出された、垂直方向に並んだ画素の輝度値の和の分布である。図７を参照して、座標（ｘ，ｙ）にある画素の輝度をＢ（ｘ，ｙ）とした場合、ｘ軸射影ヒストグラムは、次式（２）で定義されるＳ_Σ２（ｘ）として得られる：
Ｓ_Σ２（ｘ）＝ΣＢ（ｘ、ｊ） ・・・（２）
ここで、Σは、ｘ軸座標がｘである全画素についての和である。図７において、グラフ４１は、ｘ軸射影ヒストグラムＳ_Σ２（ｘ）を表わしている。

更に、ｘ軸射影ヒストグラムＳ_Σ２（ｘ）に対して平滑化フィルタによる処理（平滑化処理）が行われて平滑化データが算出される（ステップＳ３２）。平滑化フィルタのフィルタサイズは、１文字の幅に相当するサイズに選ばれる。本実施形態では、平滑化処理として移動平均を算出する処理が用いられる。即ち、平滑化データとして、ｘ軸射影ヒストグラムＳ_Σ２（ｘ）の移動平均Ｓ＾_Σ２（ｘ）が算出される。図７において、グラフ４２は、移動平均Ｓ＾_Σ２（ｘ）を表わしている。

更に、ｘ軸射影ヒストグラムＳ_Σ２（ｘ）と、その移動平均Ｓ＾_Σ２（ｘ）とを用いて、各文字の文字幅方向範囲の始点候補及び終点候補が検出される（ステップＳ２４）。本実施形態では、始点候補及び終点候補とは、画像の一方の端、より具体的には、左端から探索して検出される。即ち、始点候補は、各文字の文字幅方向範囲の始点の候補、終点候補は、文字幅方向範囲の終点の候補として検出される。始点候補及び終点候補の検出においては、各ｘ座標について移動平均とｘ軸射影ヒストグラムとの差が算出され、始点候補及び終点候補は、移動平均とｘ軸射影ヒストグラムとの差の符号が逆転する位置として検出される。例えば、移動平均からｘ軸射影ヒストグラムを減じた差Ｓ＾_Σ２（ｘ）−Ｓ_Σ２（ｘ）が各ｘ座標について算出される場合、始点候補は、差Ｓ＾_Σ２（ｘ）−Ｓ_Σ２（ｘ）の符号がプラスからマイナスに反転するｘ座標として算出され、終点候補は、差Ｓ＾_Σ２（ｘ）−Ｓ_Σ２（ｘ）の符号がマイナスからプラスに反転するｘ座標として算出される。図７において、検出された始点候補は、記号“○”によって示されており、検出された終点候補は、記号“□”によって示されている。

以上の処理により、水平方向に並ぶ文字列の一つについて、始点候補及び終点候補を検出する処理が行われたことになる。プレート領域画像が２段プレートの画像である場合、始点候補及び終点候補の検出が行われていない他方の文字列について、上記のステップＳ３１〜Ｓ３３の処理が行われる（ステップＳ３４）。検出された始点候補及び終点候補の位置は、始終点候補データとして、外部記憶装置４に保存される。

４．文字中心候補位置領域設定処理
文字中心候補位置領域設定処理（ステップＳ０４）では、上述の文字高さ方向範囲検出処理によって検出された文字高さ方向範囲の上端及び下端の位置、及び、文字幅方向範囲検出処理によって検出された始点候補及び終点候補のデータに基づいて、各文字の文字中心候補領域を決定する。文字中心候補領域とは、各文字の中心が存在する位置の候補となる領域である。後で行われる文字領域、文字認識結果確定処理（ステップＳ０５）においては、文字中心候補領域の内部のいずれかの位置が、各文字の中心が存在する位置として決定される。

文字中心候補領域の文字高さ方向（即ち、ｙ軸方向）の範囲は、文字高さ方向範囲検出処理で検出された文字高さ方向範囲の中心位置を含む領域として決定される（ステップＳ４１）。文字中心候補領域の文字高さ方向の範囲は、水平方向に並ぶ文字列に含まれる全ての文字について共通である。一例としては、文字高さ方向範囲検出処理で検出された上端のｙ座標ｙ_ＭＡＸ、下端のｙ座標ｙ_ＭＩＮ、及び、所定値ｍを用いて、（ｙ_ＭＩＮ＋ｙ_ＭＡＸ）／２−ｍから（ｙ_ＭＩＮ＋ｙ_ＭＡＸ）／２＋ｍまでの範囲と決定される。この場合、各文字の中心の垂直方向における位置の候補に、（２ｍ）画素の自由度があることになる。各文字の中心が存在する位置の候補に一定程度の自由度が与えられるのは、プレート領域画像にはナンバープレートが多少斜めに撮影されることが想定されるためである。

更に、各文字のそれぞれについて、文字中心候補領域の水平方向（即ち、ｘ軸方向）の範囲が決定される（ステップＳ４２）。各文字のそれぞれについての文字中心候補領域の水平方向の範囲の決定では、まず、上述の文字幅方向範囲検出処理で検出された始点候補及び終点候補から、各文字に対応する文字幅方向範囲の始点及び終点のペアが選択される。ここで、文字幅方向範囲の始点は、文字幅方向範囲検出処理で検出された始点候補から選択され、文字幅方向範囲の終点は、終点候補から選択される。左側からの探索によって始点候補及び終点候補が検出される本実施形態では、基本的には、左からｉ番目にある文字については、左からｉ番目にある始点候補を始点、左からｉ番目にある終点候補を終点と決定すればよい。ただし、文字の幅には、妥当と考えられる範囲があり、その範囲から外れるような始点及び終点が決定される場合には、隣接する始点候補又は終点候補を代わりに用いて始点及び終点のペアが決定される。このような手順により、各文字の文字幅方向範囲の始点及び終点のペアが決定される。

文字中心候補領域の水平方向（即ち、ｘ軸方向）の範囲は、各文字について決定された文字幅方向範囲の中心を含む領域として決定される。本実施形態では、各文字に対応する始点のｘ座標ｘ_ＭＩＮ及び終点のｘ座標ｘ_ＭＡＸ、及び、所定値ｋを用いて、（ｘ_ＭＩＮ＋ｘ_ＭＡＸ）／２−ｋから（ｘ_ＭＩＮ＋ｘ_ＭＡＸ）／２＋ｋまでの範囲と決定される。この場合、各文字の中心の水平方向における位置の候補に、（２ｋ）画素の自由度があることになる。これは、プレート領域画像に映る文字の幅に多少の変動があることを考慮したものである。

以上の処理により、水平方向に並ぶ文字列の一つについて、各文字の文字中心候補領域を決定する処理が行われたことになる。プレート領域画像が、２段プレートの画像である場合、文字中心候補領域を決定する処理が行われていない他方の文字列について、上記のステップＳ４１〜Ｓ４２の処理が行われる（ステップＳ４３）。決定された文字中心候補領域の範囲を示すデータ（文字中心候補領域データ）は、外部記憶装置４に保存される。

５．文字領域・文字認識結果確定処理
続いて、各文字が存在する領域、及び、文字認識結果を確定する処理が行われる（ステップＳ０５）。

図１０は、文字領域・文字認識結果確定処理において行われる処理を示すフローチャートであり、また、図１１、図１２は、文字幅方向範囲検出処理を概念的に説明する図である。

詳細には、図１０に図示されているように、まず、最初に処理すべき文字（本実施形態では、最も左に位置する文字）に対応する文字中心候補領域が選択される（ステップＳ５０）。

更に、選択された文字中心候補領域の内部の各点（各画素）に対し、高さ及び／又は幅が異なる複数の文字候補領域が設定される（ステップＳ５１）。例えば、文字中心候補領域が３×３の９画素である場合、その９画素の各画素に対応する９つの文字候補領域が設定される。本実施形態では、文字候補領域は矩形である（即ち、（正方形を含む）長方形である）。図１１は、文字中心候補領域の内部の特定の点６１と、該特定の点について設定される文字候補領域６２の関係を示す図である。文字中心候補領域の内部の特定の点６１について設定される文字候補領域６２は、当該文字候補領域６２の対角線６３の交点が、該特定の点６１に一致するように決定される。図１２に図示されているように、文字候補領域には、基準サイズ（基準の高さ及び幅）が定められており、各文字候補領域の高さ及び幅は、基準サイズと同一の高さ及び幅、又は、基準サイズから増減された高さ及び幅に決定される。高さ及び幅の最大の増減量は、予め、パラメータとして設定される。

続いて、各文字候補領域内の画像に対して文字認識処理が行われる（ステップＳ５２）。本実施形態では、文字認識処理が、テンプレートを用いたパターンマッチング（テンプレートマッチング法）によって行われ、文字認識処理においては、文字認識結果と、その評価値とが決定される。評価値としては、例えば、テンプレートマッチング法において算出される類似度を用いてもよい。

更に、評価値が最も高い文字候補領域と、その文字候補領域の画像の文字認識結果とが抽出される（ステップＳ５３）。例えば、文字中心候補領域が９画素である場合、９つの文字候補領域のうち、評価値が最も高い文字候補領域と、その文字候補領域の画像の文字認識結果とが抽出される。

評価値が、所定の基準値以上である場合（ステップＳ５４：Ｙｅｓ）、評価値が最も高い文字候補領域、及び、その文字認識結果が、処理対象の文字が存在する文字領域及び文字認識結果として確定される（ステップＳ５５）。そうでない場合（ステップＳ５４：Ｎｏ）、文字を含まない領域が文字候補領域として与えられたとして、文字認識結果は棄却される。

ステップＳ５１〜Ｓ５５の処理は、それらが全ての文字中心候補領域について実行されるまで繰り返して行われる（ステップＳ５６）。ステップＳ５１〜Ｓ５５の処理が行われていない文字中心候補領域が存在する場合、次文字に対応する文字中心候補領域が選択され（ステップＳ５７）、再度、ステップＳ５１〜Ｓ５５の処理が行われる。全ての文字中心候補領域についてステップＳ５１〜Ｓ５５の処理が行われると、全ての文字について、各文字が存在する文字領域及び文字認識結果が確定したことになる（ステップＳ５８）。確定した文字領域及び文字認識結果を示すデータが、プレート認識データ２２として、外部記憶装置４に保存される。

以上に述べられているように、本実施形態の文字認識処理においては、ｙ軸射影ヒストグラム及びｘ軸射影ヒストグラムに基づいて各文字について文字中心候補領域が決定され、その文字中心候補領域の内部の各点について文字候補領域が決定される。本実施形態では、各文字の中心にある程度の自由度が与えられた状態で文字候補領域が設定されることになり、誤認識を抑制することができる。その一方で、文字中心候補領域は、文字高さ方向範囲検出処理による文字高さ方向範囲の検出結果、及び、文字幅方向範囲検出処理による文字幅方向範囲の検出結果によってある程度制限されるので、設定する文字候補領域の数が、一定程度抑制される。このため、文字認識処理のデータ処理量を抑制し、処理時間を短縮することができる。

以上には、本発明の実施形態が具体的に述べられているが、本発明は上記の実施形態には限定されない。本発明が、様々な変更と共に実施可能であることは、当業者には自明的であろう。例えば、上述では、本発明がナンバープレート認識（ナンバープレートに記載された文字の認識）に適用された実施形態が記載されているが、本発明は、グレースケール画像である撮像画像に対する文字認識一般に適用可能である。

１ ：文字認識装置
２ ：画像処理ＩＣ
３ ：外部インターフェース
４ ：外部記憶装置
５ ：メモリ
６ ：ＲＯＭ
６ａ ：文字認識ソフトウェア
１１ ：演算モジュール
１２ ：画像入力インターフェース
１３ ：データ入出力インターフェース
１４ ：メモリコントローラ
１５ ：ＲＯＭコントローラ
１６ ：内部バス
２１ ：プレート領域画像データ
２２ ：プレート認識データ
３１ ：グラフ
３２ ：グラフ
３３ ：ピーク点
３４ ：上端
３５ ：下端
４１ ：グラフ
４２ ：グラフ
４６ ：下端
５１ ：文字列
５２ ：文字列
５３ ：地名
５４ ：分類番号
５５ ：一連指定番号
５６ ：平仮名
６２ ：文字候補領域
６３ ：対角線
６４ ：交点

Claims (7)

1. グレースケール画像であり、且つ、文字幅方向に並んだ複数の文字を含む文字列が映された画像である対象画像について、前記文字列が存在する、前記文字幅方向と垂直な文字高さ方向の範囲である文字高さ方向範囲を検出する文字高さ方向範囲検出手段と、
   前記対象画像について、前記文字列の各文字が存在する前記文字幅方向の範囲である文字幅方向範囲を前記文字列の各文字について検出する文字幅方向範囲検出手段と、
   前記対象画像について、前記文字列について検出された前記文字高さ方向における前記文字高さ方向範囲と前記文字列の各文字について検出された前記文字幅方向における前記文字幅方向範囲とに基づいて、前記文字高さ方向範囲の中心を含み、且つ、前記文字幅方向範囲の中心を含む領域として、前記文字列の各文字について文字中心候補領域を決定する文字中心候補領域決定手段と、
   前記文字中心候補領域の各点について、対角線の交点が前記各点に一致する複数の矩形の文字候補領域を設定する文字候補領域設定手段と、
   前記対象画像の前記複数の文字候補領域の部分のそれぞれに対して文字認識処理を行って、前記文字列の各文字について、前記複数の文字候補領域のそれぞれの文字認識結果を得る文字認識手段と、
   前記複数の文字候補領域それぞれの文字認識結果から、前記文字列の各文字についての文字識別結果を確定する文字識別結果確定手段
   とを具備し、
   前記複数の矩形の文字候補領域は、前記文字高さ方向における高さが互いに異なる複数の文字候補領域を含んでいる
   文字認識装置。
2. 請求項１に記載の文字認識装置であって、
   前記文字高さ方向範囲検出手段は、前記対象画像の前記文字高さ方向の各位置について算出された、前記文字幅方向に並んだ画素の輝度値の和の分布である第１射影ヒストグラムを生成し、前記第１射影ヒストグラムに対して平滑化処理を行って第１平滑化データを算出し、前記第１射影ヒストグラムと前記第１平滑化データとの差の符号が反転する位置として前記文字高さ方向範囲の上端と下端とを検出する
   文字認識装置。
3. 請求項１又は２に記載の文字認識装置であって、
   前記文字幅方向範囲検出手段は、前記対象画像の前記文字幅方向の各位置について算出された、前記文字高さ方向に並んだ画素の輝度値の和の分布である第２射影ヒストグラムを生成し、前記第２射影ヒストグラムに対して平滑化処理を行って第２平滑化データを算出し、前記第２射影ヒストグラムと前記第２平滑化データとの差の符号が反転する位置から始点候補と終点候補とを検出し、前記始点候補のうちから前記文字列の各文字の前記文字幅方向範囲の始点を選択し、前記終点候補のうちから前記文字列の各文字の前記文字幅方向範囲の終点を選択する
   文字認識装置。
4. 請求項１乃至３のいずれかに記載の文字認識装置であって、
   前記対象画像が、ナンバープレートが映されたプレート領域画像、又は、前記プレート領域画像に対して画像処理を行うことで得られる画像である
   文字認識装置。
5. 請求項１乃至３のいずれかに記載の文字認識装置であって、
   前記対象画像が、ナンバープレートが映されたプレート領域画像に対して前処理を行うことで得られる画像であり、
   前記前処理では、前記プレート領域画像に対して、高輝度になっている部分の輝度を抑制すると共に、画素の輝度の平均値と標準偏差とが、それぞれ、所定の値になるように線形変換を行う輝度補正処理が行われ、前記輝度補正処理によって得られた画像に対して微分フィルタによる処理が行われてエッジ画像が生成され、前記エッジ画像に含まれる文字輪郭線の内側を穴埋めする穴埋め処理が行われ、前記穴埋め処理で得られた画像に対して前記文字幅方向の低周波成分を除去する処理が行われる
   文字認識装置。
6. グレースケール画像であり、且つ、文字幅方向に並んだ複数の文字を含む文字列が映された画像である対象画像について、前記文字列が存在する、前記文字幅方向と垂直な文字高さ方向の範囲である文字高さ方向範囲を検出するステップと、
   前記対象画像について、前記文字列の各文字が存在する前記文字幅方向の範囲である文字幅方向範囲を前記文字列の各文字について検出するステップと、
   前記対象画像について、前記文字列について検出された前記文字高さ方向における前記文字高さ方向範囲と前記文字列の各文字について検出された前記文字幅方向における前記文字幅方向範囲とに基づいて、前記文字高さ方向範囲の中心を含み、且つ、前記文字幅方向範囲の中心を含む領域として、前記文字列の各文字について文字中心候補領域を決定するステップと、
   前記文字中心候補領域の各点について、対角線の交点が前記各点に一致する複数の矩形の文字候補領域を設定するステップと、
   前記対象画像の前記複数の文字候補領域の部分のそれぞれに対して文字認識処理を行って、前記文字列の各文字について、前記複数の文字候補領域のそれぞれの文字認識結果を得るステップと、
   前記複数の文字候補領域それぞれの文字認識結果から、前記文字列の各文字についての文字識別結果を確定するステップ
   とを具備し、
   前記複数の矩形の文字候補領域は、前記文字高さ方向における高さが互いに異なる複数の文字候補領域を含んでいる
   文字認識方法。
7. 演算装置を、
   グレースケール画像であり、且つ、文字幅方向に並んだ複数の文字を含む文字列が映された画像である対象画像について、前記文字列が存在する、前記文字幅方向と垂直な文字高さ方向の範囲である文字高さ方向範囲を検出する文字高さ方向範囲検出手段、
   前記対象画像について、前記文字列の各文字が存在する前記文字幅方向の範囲である文字幅方向範囲を前記文字列の各文字について検出する文字幅方向範囲検出手段、
   前記対象画像について、前記文字列について検出された前記文字高さ方向における前記文字高さ方向範囲と前記文字列の各文字について検出された前記文字幅方向における前記文字幅方向範囲とに基づいて、前記文字高さ方向範囲の中心を含み、且つ、前記文字幅方向範囲の中心を含む領域として、前記文字列の各文字について文字中心候補領域を決定する文字中心候補領域決定手段、
   前記文字中心候補領域の各点について、対角線の交点が前記各点に一致する複数の矩形の文字候補領域を設定する文字候補領域設定手段、
   前記対象画像の前記複数の文字候補領域のそれぞれに対して文字認識処理を行って、前記複数の文字候補領域のそれぞれの文字認識結果を得る文字認識手段、及び、
   前記複数の文字候補領域それぞれの文字認識結果から、前記文字列の各文字についての文字識別結果を確定する文字識別結果確定手段
   として機能させ、
   前記複数の矩形の文字候補領域は、前記文字高さ方向における高さが互いに異なる複数の文字候補領域を含んでいる
   プログラム。
   
   

Images