JP6599672B2 - 文字切り出し装置、文字認識装置、および文字切り出し方法 - Google Patents

Description

本発明は、紙やプラスチック等の媒体上の文字列を撮像して得られた多値のデジタル画像データを処理することによって文字列から各文字を切り出す文字認識技術に係り、特に、撮像された画像内の文字列の文字間の区切り位置を検索して文字を認識する文字切り出し装置、文字認識装置、および文字切り出し方法に関するものである。

多値のデジタル画像を用いて文字認識を行う様々な方法・装置が提案されているが、一般に、文字認識装置は二値画像を認識対象としており、多値画像の場合には、これを二値化して入力させる必要がある。文字認識装置の認識性能は、認識対象である文字と非認識対象である背景とを正確に分離することに左右される。
そこで、多値画像を二値化するための二値化しきい値を決定する手法として、たとえば、判別分析法を用いた文字認識装置が提案・発表されている（たとえば、特許文献１参照）。

特開２０１４−１３０４１５号公報

しかしながら、判別分析法は、画像全体の画素値をデータとするヒストグラムから最も分離性の高い値をしきい値に用いて２値化を行う手法である。このため、認識対象となる文字などの線画像の画素数に比べて背景の画素数が圧倒的に多い場合には、文字と背景とを区分けし（判別し）文字を切り出すための文字切り出し用二値化しきい値が背景側に偏る結果、二値化しきい値決定の精度が充分でなく、多値のデジタル画像によっては品質の悪い二値化画像しか得られないという問題がある。

本発明の目的は、二値化しきい値が背景側に偏ることを抑制し、ひいては文字認識性能の向上を図ることが可能な文字切り出し装置、文字認識装置、および文字切り出し方法を提供することにある。

本発明の文字切り出し装置は、記録媒体上の文字列を撮像して得られた画像データを処理することによって、前記文字列から各文字を切り出す文字切り出し装置であって、前記文字列を形成する文字の区切り位置を検出する文字区切り位置検出部を有し、前記文字区切り位置検出部は、前記文字の区切り位置を検出する領域を設定する領域設定部と、少なくとも前記領域設定部により設定される設定領域内において、文字が並んでいる文字並び方向に配列された画素に関する、文字並び方向に直交する方向への画素値の射影を生成する射影生成部と、前記射影の前記文字並び方向に直交する方向に配置された各画素に関する画素値のうち最小の画素値である最小画素値から生成された前記文字並び方向に対する最小画素曲線に基づき移動平均を求め、当該移動平均を設定領域の二値化しきい値とする二値化しきい値取得部と、前記二値化しきい値取得部で求めた前記二値化しきい値に基づき文字区切り位置を求める位置検出部と、を含む。

本発明において、画像二値化処理を行うに際し、文字認識対象とする文字列を含む設定領域について、文字並び方向に配列された画素に関する画素値の射影を求め、射影の最小画素値に基づき移動平均を求め、この移動平均を設定領域の二値化しきい値とすることから、二値化しきい値が背景側に偏ることを抑制することが可能となる。
また、特に、文字と背景との間の明瞭性が変動するような画像条件下においても精度の高い二値化処理結果を得ることが可能となり、結果として良好な二値化画像を得ることが可能となる。

好適には、前記二値化しきい値取得部は、前記射影の最小画素値に応じた最小画素曲線を移動平均処理して得られた平均画素曲線を文字並び方向の画素位置に対応する二値化しきい値とする。
このように、移動平均を二値化しきい値に用いることにより、注目画素近傍の画素の分布（輝度分布）に対する追従性が高められ、その結果、良好な二値化画像を得ることが可能となる。

好適には、前記二値化しきい値取得部は、前記射影の最小画素値を求めて最小画素曲線を生成し、当該最小画素曲線の移動平均を求めて平滑化して平均画素曲線を求め、当該平均画素曲線を文字並び方向の画素位置に対応する二値化しきい値とする。
このように、画像二値化処理は、認識対象とする文字列を含む設定領域について、最小画素曲線を移動平均処理して得られる平均画素曲線を二値化しきい値として用いるようにしたことにより、二値化しきい値の適正化を図れ、注目画素近傍の画素の分布（輝度分布）に対する追従性が高められ、その結果、良好な二値化画像を得ることが可能となる。

前記射影生成部は、前記文字並び方向に直交する方向に配列された画素に関する画素値の射影を生成する。
これにより、選択した行において、その行の文字が文字並び方向に直交する方向に占める位置を規定することが可能となる。

本発明の文字認識装置は、画像データから切り出された文字列から各文字を切り出して文字を認識する文字認識装置であって、記録媒体上の文字列を撮像して画像データとして読み取る画像読取部と、前記画像読取部による読み取り画像を格納する画像メモリと、前記画像メモリに格納された前記画像データから文字列を切り出し、当該文字列から文字を切り出して文字認識を行うデータ処理部と、を有し、前記データ処理部は、切り出された前記文字列を形成する文字の区切り位置を検出する文字区切り位置検出部を備えた文字切り出し部と、を含み、前記文字区切り位置検出部は、前記文字の区切り位置を検出する領域を設定する領域設定部と、少なくとも前記領域設定部により設定される設定領域内において、文字が並んでいる文字並び方向に配列された画素に関する、文字並び方向に直交する方向への画素値の射影を生成する射影生成部と、前記射影の前記文字並び方向に直交する方向に配置された各画素に関する画素値のうち最小の画素値である最小画素値から生成された前記文字並び方向に対する最小画素曲線に基づき移動平均を求め、当該移動平均を設定領域の二値化しきい値とする二値化しきい値取得部と、前記二値化しきい値取得部で求めた前記二値化しきい値に基づき文字区切り位置を求める位置検出部と、を含む。

本発明において、二値化しきい値が背景側に偏ることを抑制することが可能となる。
また、特に、文字と背景との間の明瞭性が変動するような画像条件下においても精度の高い二値化処理結果を得ることが可能となり、結果として良好な二値化画像を得ることが可能となる。その結果、文字認識性能の向上を図ることが可能となる。

また、本発明の文字切り出し方法は、記録媒体上の文字列を撮像して得られた画像データを処理することによって、前記文字列から各文字を切り出す文字切り出し方法であって、前記文字列を形成する文字の区切り位置を検出する文字区切り位置検出ステップを有し、前記文字区切り位置検出ステップは、前記文字の区切り位置を検出する領域を設定する領域設定ステップと、少なくとも前記領域設定部により設定される設定領域内において、文字が並んでいる文字並び方向に配列された画素に関する、文字並び方向に直交する方向への画素値の射影を生成する射影生成ステップと、前記射影の前記文字並び方向に直交する方向に配置された各画素に関する画素値のうち最小の画素値である最小画素値から生成された前記文字並び方向に対する最小画素曲線に基づき移動平均を求め、当該移動平均を設定領域の二値化しきい値とする二値化しきい値取得ステップと、前記二値化しきい値取得ステップで求めた前記二値化しきい値に基づき文字区切り位置を求める位置検出ステップと、を含む。

本発明において、画像二値化処理を行うに際し、文字認識対象とする文字列を含む設定領域について、文字並び方向に配列された画素に関する画素値の射影を求め、射影の最小画素値に基づき移動平均を求め、この移動平均を設定領域のしきい値とすることから、二値化しきい値が背景側に偏ることを抑制することが可能となる。
また、特に、文字と背景との間の明瞭性が変動するような画像条件下においても精度の高い二値化処理結果を得ることが可能となり、結果として良好な二値化画像を得ることが可能となる。

本発明によれば、二値化しきい値が背景側に偏ることを抑制することが可能となり、ひいては文字認識性能の向上を図ることが可能となる。
また、特に、文字と背景との間の明瞭性が変動するような画像条件下においても精度の高い二値化処理結果を得ることが可能となり、結果として良好な二値化画像を得ることが可能となる。

本発明の実施形態に係る文字認識装置の構成例を示す図である。 本実施形態に係る文字切り出し部における文字区切り位置検出部の構成例を示すブロック図である。 本実施形態に係る文字切り出し部における文字区切り位置検出部の処理フローを示すフローチャートである。 本実施形態に係る文字認識対象の画像の一例および領域設定部により画像の一部に設定される矩形領域の一例を示す図である。 本実施形態に係る射影生成部による射影プロファイルを矩形領域に対応付けて示す図である。 本実施形態に係る二値化しきい値取得部における第１射影の最小画素値の最小画素曲線の移動平均を求め、この移動平均を矩形領域（設定領域）のしきい値とする処理を説明するための図である。 本発明を適用して取得した二値化しきい値を用いて得られた二値化画像を示す図である。 本実施形態に係る文字認識装置の動作を説明するためのフローチャートである。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の実施形態に係る文字認識装置の構成例を示す図である。

本実施形態に係る文字認識装置１０は、紙やプラスチック等の記録媒体上の文字列を撮像して得られたデジタル画像データを処理することによって、画像データから切り出した文字列から各文字を切り出して認識する機能を有する。

文字認識装置１０は、画像認識技術に基づいて、撮像画像内の文字列における文字間の区切り位置を検出（検索）する際に、次のような特徴的な処理を行う。
文字認識装置１０は、認識対象（切り出し対象）となる２文字以上の複数文字を囲む暫定切り出し領域、たとえば矩形領域を設定し、その矩形領域（設定領域）において文字が並んでいる文字並び方向の画素値に関する第１射影およびこの文字並び方向に直交する方向の画素値に関する第２射影を生成（形成）する。

文字認識装置１０は、一例として、矩形領域（設定領域）内において、文字が並んでいる文字並び方向（Ｘ軸方向とする）に配列された画素に関する画素値の第１射影ＰＸおよび文字並び方向に直交する方向（Ｙ軸方向とする）に配列された画素に関する画素値の第２射影ＰＹを生成する。

文字認識装置１０において、第１射影ＰＸは画像二値化のための二値化しきい値を取得するために形成される。
第２射影ＰＹは、選択した行において、その行の文字が文字並び方向に直交する方向に占める位置を規定するために形成される。
本実施形態においては、第２射影ＰＹは、基本的に、画像二値化のための二値化しきい値を取得するためには用いられない。なお、第１射影ＰＸおよび第２射影ＰＹのそれぞれについて画像とみなして判別分析法を適用し、二値化しきい値を求めることも可能である。

本実施形態において、文字認識装置１０は、第１射影ＰＸの最小画素値、たとえば最小輝度値に基づき移動平均ＰＸＡを求め、この移動平均ＰＸＡを矩形領域（設定領域）のしきい値とする。
より具体的には、文字認識装置１０は、第１射影ＰＸの最小画素値（本実施形態では最小輝度値）を求めて最小画素曲線（最小輝度曲線）を生成し、この最小画素曲線（最小輝度曲線）の移動平均を求めて平滑化して平均画素曲線（平均輝度曲線）を求め、この平均画素曲線（平均輝度曲線）を矩形領域（設定領域）における文字並び方向の画素位置に対応するしきい値とする。
そして、文字認識装置１０は、求めた二値化しきい値に基づき文字区切り位置を求める。
二値化しきい値の取得の具体的な処理等については、後で詳述する。

なお、本実施形態において移動平均とは、第１射影ＰＸから求めた最小画素値に関する最小画素曲線の直近の連続するｎ個のデータの重み付けのないまたは重み付けした平均をいい、その移動平均に応じた曲線が平均画素曲線であり、本実施形態では、この平均画素曲線が画像二値化処理のしきい値として用いられる。

以下に、本文字認識装置１０の具体的な構成および撮像画像の文字認識処理機能について説明する。

文字認識装置１０は、図１に示すように、データ入力部としての密着型の（たとえば１次元）撮像素子（画像読取部）１１、画像メモリ１２、およびデータ処理部１３を有している。
また、データ処理部１３は、文字列切り出し部としての行切り出し部１３１、文字区切り位置検出部を含む文字切り出し部１３２、特徴抽出部１３３、特徴比較部１３４、特徴辞書格納部１３５、および類似文字認識部１３６を有している。
なお、これらの各部は、記録媒体２０上の文字列、たとえばＯＣＲ文字列を認識する文字認識装置の一例として機能する。
なお、図１において、記録媒体２０の搬送方向をＸ軸方向としている。このＸ軸方向に直交する方向をＹ軸方向とする。また、本実施形態では、説明を簡単にするために、図１に示すように、ＯＣＲ文字記録領域２１に形成されているＯＣＲ文字列の方向、すなわち、文字が並んでいる方向をＸ軸方向としている。そして、Ｘ軸方向に直交する方向をＹ軸方向としている。具体的には、文字が並んでいる方向と直交する方向はＹ軸方向である。

画像読取部としての撮像素子１１は、記録媒体２０上のＯＣＲ文字記録領域２１のＯＣＲ文字列を撮像し、そのＯＣＲ文字列の光電変換を行う。

画像メモリ１２は、撮像素子１１で撮像されたＯＣＲ文字列等のデジタル化された画像データを記憶（格納）する。画像メモリ１２に格納される原画像は、複数の画素がマトリクス状に配列されて形成され、具体的には、図示していないが、Ｘ軸方向にＭ行、Ｙ軸方向にＮ列の画素が配置されている。各画素はそれぞれ画素値（輝度値）を有する。
本実施形態では、各画素値は、たとえば８ビットで表現すると０〜２５５の間のいずれかの値をとり、画素値は黒に近いほど小さく、白に近いほど大きな値をとる。
なお、この画像メモリ１２は、ＲＡＭ，ＳＤＲＡＭ，ＤＤＲＳＤＲＡＭ，ＲＤＲＡＭなど、画像データを記憶しうるものであれば如何なるものであってもよい。

データ入力部においては、カードなどの記録媒体２０のＯＣＲ文字記録領域２１に印刷されたＯＣＲ文字列は、媒体搬送機構１１１の搬送ガイドに沿って記録媒体２０を動かすと撮像素子１１によってその文字パターンが撮像されて光電変換され、その画像データが画像メモリ１２に取り込まれる。
その後、データ処理部１３が、画像メモリ１２から画像データを読み出して、上述した各部において様々な処理を施し、最終的に、記録媒体２０上のＯＣＲ文字列から各文字を切り出して認識するように構成されている。

ここでは、撮像素子１１として密着型１次元撮像素子を採用して装置の小型化等を図っているが、撮像素子１１としては、読み取り対象の記録媒体２０の文字列を読み取り対象とする２次元のエリアセンサ等を採用することも可能である。
撮像素子１１は、たとえばＣＣＤやＣＭＯＳセンサにより形成される。

記録媒体２０は、ＪＩＳに準拠している一般的なカードであってもよく、たとえば、幅８６ｍｍ，高さ５４ｍｍ，厚み０．７６ｍｍというサイズのプラスチックカードでもよく、ＩＤカードやパスポートブック、あるいは運転免許証などでもよい。

［データ処理部１３の各部の構成および機能］
次に、データ処理部１３の各部の基本的な構成および機能について説明する。
データ処理部１３は、画像メモリ１２から多値化された画像データ（多階調の濃淡画像、たとえば、２５６階調）を読み出す。

文字列切り出し部としての行切り出し部１３１は、画像メモリ１２から読み出した２５６階調の濃淡画像データに対する２値化処理を行う。適当な方法によってしきい値を求め、元の多値の濃淡画像を白黒２値の画像に変換する。つぎに、行切り出し部１３１は、上下エッジの中心位置を、文字列の中心ラインと識別して行切り出しを行う。具体的には、２値化された画像データは、ＯＣＲ文字記録領域２１に形成されている文字列に対し、文字が並んでいる方向、すなわち、Ｘ軸方向に射影して、文字列の上下エッジを検出する。

文字切り出し部１３２は、行切り出し部１３１で切り出された行の文字列から文字列の文字が並んでいる方向（Ｘ軸方向）の文字間の区切り位置を検出して、文字の切り出し処理を行う。
より具体的には、文字切り出し部１３２は、認識対象（切り出し対象）となる２文字以上の複数文字を囲む暫定切り出し領域、たとえば矩形領域（ｍ行ｎ列、ｍ＜Ｍ、ｎ＜Ｎ）を設定し、その矩形領域（設定領域）において文字が並んでいる方向（Ｘ軸方向）の画素値に関する第１射影ＰＸを生成する。さらに、この文字並び方向に直交する方向（Ｙ軸方向）の画素値に関する第２射影ＰＹを生成（形成）する。

本実施形態では、Ｘ軸への第１射影ＰＸは、文字列の画像のＹ軸方向に１列に配置された画素について、この１列に配置された画素に関する画素値として最小画素値を求めたものである。
最小画素値とは、その１列に配置された画素に関する画素値のうちの最小の画素値である。換言すれば、各画素の画素情報としての多階調の（たとえば８ビット等で表せる値を持つ）輝度値の中で最小の輝度値を求め、その１列上での最小画素値とする。そして、設定した矩形領域（ｍ行ｎ列、ｍ＜Ｍ、ｎ＜Ｎ）（設定領域）において、文字が並んでいる方向（Ｘ軸方向）のｎ列について列ごとに、最小画素値に関する第１射影ＰＸを生成する。

文字切り出し部１３２は、次に同様に、この矩形領域について、Ｙ軸への第２射影ＰＹを得る。Ｙ軸の第２射影ＰＹは、文字列の画像のＸ軸方向に１行に配置された画素について、この１行に配置された画素に関する画素値として最小画素値を求めたものである。
最小画素値とは、その１行に配置された画素に関する画素値のうちの最小の画素値である。換言すれば、各画素の画素情報としての多階調の（たとえば８ビット等で表せる値を持つ）輝度値の中で最小の輝度値を求め、その１行上での最小画素値とする。そして、設定した矩形領域（ｍ行ｎ列、ｍ＜Ｍ、ｎ＜Ｎ）（設定領域）において、文字が並んでいる方向に直交する方向（Ｙ軸方向）のｍ行について行ごとに、最小画素値に関する第２射影ＰＹを生成する。

なお、本実施形態において、第２射影ＰＹは、選択した行において、その行の文字が文字並び方向に直交する方向に占める位置を規定するために形成され、基本的に、画像二値化のための二値化しきい値を取得するためには用いられない。

文字切り出し部１３２は、次に、第１射影ＰＸの最小画素値、本実施形態では最小輝度値に基づき移動平均ＰＸＡを求め、この移動平均ＰＸＡを矩形領域（設定領域）のしきい値とする。
より具体的には、文字切り出し部１３２は、第１射影ＰＸの最小画素値（本実施形態では最小輝度値）を求めて最小画素曲線（最小輝度曲線）を生成し、この最小画素曲線（最小輝度曲線）の移動平均を求めて平滑化して平均画素曲線（平均輝度曲線）を求め、この平均画素曲線（平均輝度曲線）を矩形領域（設定領域）における文字切り出し用二値化しきい値として取得する。

そして、文字切り出し部１３２は、求めた二値化しきい値に基づき文字区切り位置を求める。

なお、この文字切り出し部１３２における文字切り出し処理については、後でさらに詳述する。

データ処理部１３において、文字切り出し部１３２の文字切り出し処理が終了すると、認識対象となっている文字の外接矩形領域（上下左右の座標値）が求められる。

特徴抽出部１３３は、上述した外接矩形領域を任意のサブ領域に分割、たとえば１個の外接矩形領域を５×５の領域に分割し、そのうち１個の領域をサブ領域とし、各サブ領域において、サブ領域内の全画素数に占める黒画素数の割合を求め、それらを要素とする特徴ベクトルを生成する。

特徴比較部１３４は、特徴抽出部１３３で求められた特徴ベクトルを、あらかじめこの記録媒体で使用される全文字について求めておいた基準特徴ベクトルと比較して、類似度（たとえば正規化相関係数）が最も高いものをその文字が該当する候補文字に設定する。

なお、基準特徴ベクトルは、あらかじめ特徴辞書格納部１３５に格納されているものであって、特徴比較が行われる際に、特徴辞書格納部１３５から類似度が高い文字のデータが読み出され、特徴比較部１３４において特徴比較が行われる。

類似文字認識部１３６は、基本的に、特徴比較部１３４の特徴比較によって設定された候補文字を、記録媒体に用いられた文字として認識する。

［文字区切り位置検出部おける文字切り出し用二値化しきい値の取得等］
次に、本実施形態に係る文字認識装置１０における特徴的な機能を有する文字切り出し部１３２の文字区切り位置検出部おける文字切り出し用二値化しきい値の取得および文字の区切り位置の検出処理（文字切り出し処理）について説明する。

［文字切り出し部１３２のブロック構成］
図２は、本実施形態に係る文字切り出し部における文字区切り位置検出部の構成例を示すブロック図である。
本実施形態に係る文字切り出し部１３２における文字区切り位置検出部１３２０は、図２に示すように、領域設定部１３２１、射影生成部１３２２、二値化しきい値取得部１３２３、および位置検出部１３２４を含んで構成されている。

領域設定部１３２１は、行切り出し部１３１で切り出された行の文字列について、認識処理対象のうち隣接するあるいは連続して隣接する２文字以上の複数文字を囲む矩形の暫定切り出し領域(矩形領域)ＲＣＴＡを設ける。

射影生成部１３２２は、領域設定部１３２１で設定される矩形領域ＲＣＴＡ内において射影を生成する。具体的には、射影生成部１３２２は、領域設定部１３２１により設定される矩形領域ＲＣＴＡ内において、文字が並んでいるＸ軸方向に配列された画素に関する画素値のＸ軸への第１射影ＰＸおよびＹ軸方向に配列された画素に関する画素値のＹ軸への第２射影ＰＹを生成する。なお、ここで、各画素の画素値（輝度値）は、画像メモリ１２に格納されている濃淡画像の多値の画像データとして処理される。

より具体的には、射影生成部１３２２は、領域設定部１３２１により設定される矩形領域ＲＣＴＡ内において、Ｘ軸方向に配列された画素に関する最小画素値のＸ軸への第１射影ＰＸおよびＹ軸方向に配列された画素に関する最小画素値のＹ軸への第２射影ＰＹを生成する。
なお、前述したように、本実施形態において、第２射影ＰＹは、選択した行において、その行の文字が文字並び方向に直交する方向に占める位置を規定するために形成され、基本的に、二値化しきい値取得部１３２３において、画像二値化のための二値化しきい値を取得するためには用いられない。

二値化しきい値取得部１３２３は、射影生成部１３２２で生成された第１射影ＰＸの最小画素値、本実施形態では最小輝度値に基づき移動平均ＰＸＡを求め、この移動平均ＰＸＡを矩形領域（設定領域）ＲＣＴＡのしきい値とする。
より具体的には、二値化しきい値取得部１３２３は、射影生成部１３２２で生成された第１射影ＰＸの最小画素値（本実施形態では最小輝度値）を求めて最小画素曲線（最小輝度曲線）を生成し、この最小画素曲線（最小輝度曲線）の移動平均を求めて平滑化して平均画素曲線（平均輝度曲線）を求め、この平均画素曲線（平均輝度曲線）を矩形領域（設定領域）ＲＣＴＡにおける文字切り出し用二値化しきい値として取得する。

位置検出部１３２４は、二値化しきい値取得部１３２３で求めた二値化しきい値に基づき文字区切り位置を求める。
位置検出部１３２４は、二値化しきい値と射影プロファイルのレベル値との比較の結果、射影プロファイルにおいて二値化しきい値を超えている区間を文字と文字との間として文字区切り位置を求める。
位置検出部１３２４は、射影プロファイルにおいて二値化しきい値を超えている区間を文字と文字との間のスペースとして判定し、たとえばスペースの中点を境界位置とする。

なお、本実施形態において、射影生成部１３２２は、領域設定部１３２１で設定される矩形領域ＲＣＴＡ内において射影を生成するように構成されている。

以下に、本実施形態に係る文字切り出し部の処理を説明しつつ、本実施形態の文字切り出し部の構成を採用した理由等について説明する。
その後、本実施形態に係る文字切り出し部のより具体的な処理例について説明する。

図３は、本実施形態に係る文字切り出し部における文字区切り位置検出部の処理フローを示すフローチャートである。

上述したように、基本的に、文字切り出し部１３２は、文字列ラインごとに水平方向の文字の区切り位置を検出（検索）する。
そして、本実施形態においては、図２に示すような構成が採用されている。

［本実施形態の文字の区切り位置の検出］
図２の文字区切り位置検出部１３２０では、まず、図３に示すように、ステップＳＴ１１において、領域設定部１３２１により、認識処理対象のうち隣接する２文字以上の複数文字を囲む矩形の暫定切り出し領域（矩形領域）ＲＣＴＡが設定される。
次に、ステップＳＴ１２において、射影生成部１３２２により、領域設定部１３２１により設定される矩形領域ＲＣＴＡ内において、Ｘ軸方向に配列された画素に関する最小画素値の第１射影ＰＸおよびＹ軸方向に配列された画素に関する最小画素値の第２射影ＰＹが生成される。各画素に格納された２５６階調の濃淡画像データの中で、最小画素値が選択される。

次に、ステップＳＴ１３において、二値化しきい値取得部１３２３により、射影生成部１３２２で生成された第１射影ＰＸの最小画素値を求めて最小画素曲線が生成され、この最小画素曲線の移動平均を求めて平滑化して平均画素曲線が求められ、この平均画素曲線が矩形領域（設定領域）ＲＣＴＡにおける文字切り出し用二値化しきい値として取得される。

そして、ステップＳＴ１４において、位置検出部１３２４により、二値化しきい値取得部１３２３で求めた二値化しきい値に基づき文字区切り位置が求められる。
位置検出部１３２４においては、二値化しきい値と射影プロファイルのレベル値との比較の結果、射影プロファイルにおいて二値化しきい値を超えている区間を文字と文字との間として文字区切り位置が求められる。
位置検出部１３２４においては、射影プロファイルにおいて二値化しきい値を超えている区間を文字と文字との間のスペースとして判定し、たとえばスペースの中点が境界位置として求められる。

［本実施形態の文字切り出し処理の具体的な例］
次に、このような特徴を有する文字切り出し部１３２における文字区切り位置検出部１３２０の文字切り出し処理例について、図４から図８に関連付けてより具体的に説明する。

図４は、本実施形態に係る文字認識対象の画像の一例および領域設定部により画像の一部に設定される矩形領域の一例を示す図である。

図５は、本実施形態に係る射影生成部による射影プロファイルを矩形領域に対応付けて示す図である。図５（Ａ）が矩形領域ＲＣＴＡと文字列を示し、図５（Ｂ）はＸ軸への第１射影ＰＸのプロファイルを示し、図５（Ｃ）はＹ軸への第２射影ＰＹのプロファイルを示している。
図６は、本実施形態に係る二値化しきい値取得部における第１射影ＰＸの最小画素値の最小画素曲線の移動平均ＰＸＡを求め、この移動平均ＰＸＡを矩形領域（設定領域）のしきい値とする処理を説明するための図である。
図７は、本発明を適用して取得した二値化しきい値を用いて得られた二値化画像を示す図である。

なお、前述したように、画素に関する画素値としては、図５の例のように、垂直および水平ライン内の最小画素値を用いることができる。
この場合、画素に関する画素値としては、Ｙ軸方向およびＸ軸方向の列内の最小画素値を用いることが文字切り出し部１３２にあらかじめ指示される。文字切り出し部１３２は、射影を取得する処理系も指示された画素値の最小値を用いて処理するように構成される。

いま、文字認識を行おうとする画像ＩＭＧが図５のように与えられているとする。
図５に示されている画像は、文字列と背景の間の明瞭性が全体的にまたは部分的に著しく損なわれている例である。
図４に示されている画像は、背景が一様な基本的な画像の一例である。

図４の例では、文字「０」、「５」、「−」、「１」，「０」，「−」、「２」、「０」、「１」、「６」を含む文字列の画像が示されている。図５の画像は、図４の画像において文字列と背景の間の明瞭性が全体的にまたは部分的に著しく損なわれている例である。
この文字列は、一例として、記録媒体２０のＯＣＲ文字記録領域２１に印刷された文字を撮像したときの画像データに相当している。なお、図４の数字の配列は、たとえば記録媒体等の有効期限（０５月１０日２０１６年）等の数字のみを選択的に読み出した一例を示す。このような数字配列の他例としては、自動車運転免許の更新期限等をあげることができる。

この図４および図５の例では、文字並び方向（Ｘ軸方向）において、文字「０」と「５」が隣接し、文字「５」と「−」が隣接し、文字「−」と「１」が隣接し、文字「１」と「０」が隣接し、文字「０」と「−」が隣接し、文字「−」と「２」が隣接し、文字「２」と「０」が隣接し、文字「０」と「１」が隣接し、文字「１」と「６」が隣接している。

また、図４および図５の例では、各文字間、すなわち、文字「０」と「５」間、文字「−」と「１」間、文字「１」と「０」間、文字「０」と「−」間、文字「−」と「２」間、文字「２」と「０」間、文字「０」と「１」間、文字「１」と「６」間は余白（スペース）が広く、２文字の境界が明確となっている。これに対して、文字「５」と「−」の間は余白（スペース）が狭く、文字「５」と「−」の境界は上記した他の文字間に比べて明確ではない。

文字認識装置１０の文字切り出し部１３２の文字区切り位置検出部１３２０は、行切り出し後の文字列に対して、はじめに領域設定部１３２１が領域設定を行う（図３のステップＳＴ１１）。
すなわち、領域設定部１３２１が、認識対象とする複数文字の全体を含むように矩形領域ＲＣＴＡを設定する。
この場合、図５に示すように、数字列（文字列）「０５−１０−２０１６」を囲むように矩形領域ＲＣＴＡが設定される。ただし、図５の画像は、図４の画像と比較すると、文字列と背景の間の明瞭性が全体的にまたは部分的に著しく損なわれている。

領域設定部１３２１において、矩形領域ＲＣＴＡの高さＨ（Ｙ軸方向）は、この文字列の位置がわかっている場合には、その情報に基づいて決める。
文字列の位置がわからない場合には、適切な方法によって文字列のＹ軸方向の位置を決定し、その情報に基づいて矩形領域ＲＣＴＡの上辺と下辺の位置を決めればよい。

矩形領域ＲＣＴＡの幅Ｎは、その文字列の位置が一定の場合は、その標準的な位置情報に基づいて決める。
文字が並んでいる方向の位置が一定でない場合は、適切な方法によって文字列のＸ軸方向の位置を決定し、その情報に基づいて矩形領域の左辺と右辺の位置を決めればよい。
文字位置の誤差を考慮して、実際の文字の縁位置から適当な余白を設けるようにすることが望ましい。

次に、射影生成部１３２２が射影生成を行う（図３のステップＳＴ１２）。
射影は文字の画像をＸ軸およびＹ軸に投影したものである。
図５の数字列（文字列）「０５−１０−２０１６」の部分に対して最小画素値の第１および第２射影を求めた結果の射影ＰＸ、ＰＹの特性曲線（プロファイル）が、図５（Ｂ）、（Ｃ）に示されている。
すなわち、ステップＳＴ１２において、射影生成部１３２２により、領域設定部１３２１により設定される矩形領域ＲＣＴＡ内において、Ｘ軸方向に配列された画素に関する最小画素値のＸ軸への第１射影ＰＸおよびＹ軸方向に配列された画素に関する最小画素値のＹ軸への第２射影ＰＹが生成される。

次に、二値化しきい値取得部１３２３が二値化しきい値を取得する（図３のステップＳＴ１３）。
二値化しきい値取得部１３２３は、第１射影ＰＸの最小画素値、本実施形態では最小輝度値に基づき移動平均ＰＸＡを求め、この移動平均ＰＸＡを矩形領域（設定領域）のしきい値とする。

次に、位置検出部１３２４がこの最終の二値化しきい値に基づき文字区切り位置を求める（図３のステップＳＴ１４）。

ここで、二値化しきい値取得部の具体的な方法について説明する。

いま、第１射影をＰＸ（ｉ）とし、移動平均をＰＸＡとすると、移動平均ＰＸＡは図５（Ｂ）に示すような曲線となる。
いま、第１射影ＰＸのｎ番目の点をＰＸ（ｎ）とし、図６に示すように、平均区間幅を（２Ｗ＋１）とすると、点ｎにおける移動平均ＰＸＡ（ｎ）は次式で与えられる。

実際には、ｎ＋１番目の移動平均ＰＸＡ（ｎ＋１）は、ｎ番目の移動平均ＰＸＡ（ｎ）の計算結果を用いて次式で求められる。このような操作をｎ＝１・・・Ｎについて漸化的に実行することでしきい値曲線（移動平均ＰＸＡ）を効率よく求めることができる。

以上の処理は、二値化しきい値取得部１３２３が、射影生成部１３２２で生成された第１射影ＰＸの最小画素値（最小輝度値）を求めて最小画素曲線（最小輝度曲線）を生成し、この最小画素曲線（最小輝度曲線）の移動平均を求めて平滑化して平均画素曲線（平均輝度曲線）ＰＸＡを求める、処理に相当する。

そして、求めた移動平均ＰＸＡを二値化しきい値として、図５（Ａ）に示すような画像に対する二値化処理を行うと、図７に示すような二値化画像が得られる。
図７に示す画像は、二値化対象の画像が文字列と背景の間の明瞭性が全体的にまたは部分的に著しく損なわれている場合であっても、ノイズが少なく、良好な結果であることがわかる。
これは、移動平均を二値化しきい値の取得に用いると、注目画素近傍の画素の輝度分布に対する追従性に優れるからである。

［文字認識装置の全体の動作］
次に、本実施形態に係る文字認識装置１０の全体的な動作について図８に関連付けて説明する。
図８は、本実施形態に係る文字認識装置１０の全体の動作を説明するためのフローチャートである。

ステップＳＴ１０１：
カードなどの記録媒体２０のＯＣＲ文字記録領域２１に印刷されたＯＣＲ文字列は、媒体搬送機構１１１の搬送ガイドに沿って記録媒体を動かすと１次元撮像素子１１によってその文字パターンが読み取られて光電変換される（ステップＳＴ１０１）。

ステップＳＴ１０２：
光電変換で得られた信号は、増幅器で増幅され、Ａ／Ｄ変換器でデジタル信号に変換されて画像メモリ１２に取り込まれる（ステップＳＴ１０２）。

ステップＳＴ１０３：文字列切り出し部
次いで、行切り出し部１３１において、行切り出しが行われる（ステップＳＴ１０３）。
より具体的には、行切り出し部１３１において、画像メモリ１２から画像データを読み出して、文字列がＸ軸方向に射影されて、文字列の上下エッジが検出される。
そして、行切り出し部１３１においては、上下エッジの中心位置が、文字列の中心ラインと識別され行切り出しが行われる。

ステップＳＴ１０４：
次いで、文字区切り位置検出部１３２０を含む文字切り出し部１３２において、文字切り出しが行われる（ステップＳＴ１０４）。
より具体的には、文字切り出し部１３２の文字区切り位置検出部１３２０において、認識対象となる複数文字を囲む暫定切り出し矩形領域ＲＣＴＡが領域設定部１３２１により設定される。そして、射影生成部１３２２においてその矩形領域において射影が生成される。

たとえば、射影生成部１３２２において、領域設定部１３２１により設定される矩形領域ＲＣＴＡ内において、Ｘ軸方向に配列された画素に関する最小画素値のＸ軸への第１射影ＰＸおよびＹ軸方向に配列された画素に関する最小画素値のＹ軸への第２射影ＰＹが生成される。

次に、二値化しきい値取得部１３２３において、射影生成部１３２２で生成された第１射影ＰＸの最小画素値（本例では最小輝度値）に基づき移動平均ＰＸＡが求められ、この移動平均ＰＸＡが矩形領域（設定領域）の二値化しきい値として用いられる。
より具体的には、二値化しきい値取得部１３２３において、射影生成部１３２２で生成された第１射影ＰＸの最小輝度値を求めて最小輝度曲線が生成される。
そして、二値化しきい値取得部１３２３において、求めた最小輝度曲線の移動平均が求められて平滑化して平均輝度曲線が求められ、この平均輝度曲線が矩形領域（設定領域）における文字切り出し用二値化しきい値として用いられる。

次に、位置検出部１３２４において、取得されたしきい値を用いて文字の境界位置が検出され、これに基づき文字が切り出された二値化画像が得られる。
以降の処理は、この白黒二値化画像を用いて行われる。

ステップＳＴ１０４の処理が終了すると、認識対象となっている文字の外接矩形領域（上下左右の座標値）が求められる。

ステップＳＴ１０５：
次いで、特徴抽出部１３３において特徴抽出が行われる（ステップＳＴ１０５）。
より具体的には、特徴抽出部１３３においては、上述した外接矩形領域が任意のサブ領域に分割（たとえば１個の外接矩形領域を５×５の領域に分割され、そのうち１個の領域がサブ領域とされる）され、各サブ領域において、サブ領域内の全画素数に占める黒画素数の割合が求められ、それらを要素とする特徴ベクトルが生成される。

ステップＳＴ１０６：
次いで、特徴比較部１３４において、特徴比較が行われる（ステップＳＴ１０６）。
より具体的には、特徴比較部１３４においては、ステップＳＴ１０５で求めた特徴ベクトルが、あらかじめこの記録媒体で使用される全文字について求められてあらかじめ特徴辞書格納部１３５に格納されている基準特徴ベクトルと比較されて、類似度（たとえば正規化相関係数）が最も高いものをその文字が該当する候補文字に設定される。

ステップＳＴ１０７：
最後に、文字認識が行われる（ステップＳＴ１０７）。
より具体的には、ステップＳＴ１０６の特徴比較によって設定された候補文字が、記録媒体に用いられた文字として認識される。

以上のように、本実施形態によれば、文字認識装置１０は、認識対象となる複数文字を囲む暫定切り出し矩形領域ＲＣＴＡを設定し、その矩形領域ＲＣＴＡにおいて射影を生成する。文字認識装置１０は、射影生成に際し、矩形領域（設定領域）ＲＣＴＡ内において、文字が並んでいる文字並び方向に配列された画素に関する画素値のＸ軸への第１射影ＰＸ（および文字並び方向に直交する方向に配列された画素に関する画素値のＹ軸への第２射影ＰＹ）を生成する。
文字認識装置１０は、第１射影ＰＸの最小画素値、本実施形態では最小輝度値に基づき移動平均ＰＸＡを求め、この移動平均ＰＸＡを矩形領域（設定領域）の二値化しきい値とする。
より具体的には、文字認識装置１０は、第１射影ＰＸの最小画素値（本実施形態では最小輝度値）を求めて最小画素曲線（最小輝度曲線）を生成し、この最小画素曲線（最小輝度曲線）を移動平均を求めて平滑化して平均画素曲線（平均輝度曲線）を求め、この平均画素曲線（平均輝度曲線）を矩形領域（設定領域）における文字切り出し用二値化しきい値として取得する。
そして、文字認識装置１０は、求めた二値化しきい値に基づき文字区切り位置を求める。

（本実施形態の主な効果）
したがって、本実施形態によれば、以下の効果を得ることができる。
本実施形態においては、画像二値化処理を行うに際し、文字認識対象とする文字列を含む矩形領域（設定領域）ＲＣＴＡについて、文字並び方向（Ｘ軸方向）に配列された画素に関する画素値のＸ軸への第１射影ＰＸ（または射影ＰＹ）を求め、第１射影ＰＸの最小画素値、本実施形態では最小輝度値に基づき移動平均ＰＸＡを求め、この移動平均ＰＸＡを矩形領域（設定領域）の二値化しきい値とする。
その結果、本実施形態によれば、二値化しきい値が背景側に偏ることを抑制することが可能となる。その結果、二値化画像において文字線画が必要以上に太くなることを抑制することが可能となる。また、文字と背景との間の明瞭性が変動するような画像条件下においても精度の高い二値化処理結果を得ることが可能となり、結果として良好な二値化画像を得ることが可能となる。その結果として文字認識性能の向上を図ることが可能となる。

また、本実施形態において、二値化しきい値取得部１３２３は、射影の最小画素値に応じた最小画素曲線を移動平均処理して得られた平均画素曲線を文字並び方向の画素位置に対応するしきい値とする。
本実施形態によれば、移動平均をしきい値に用いることにより、注目画素近傍の画素の分布（輝度分布）に対する追従性が高められ、その結果、良好な二値化画像を得ることが可能となる。

また、本実施形態において、二値化しきい値取得部１３２３は、射影の最小画素値を求めて最小画素曲線を生成し、この最小画素曲線の移動平均を求めて平滑化して平均画素曲線を求め、この平均画素曲線を文字並び方向の画素位置に対応するしきい値とする。
本実施形態によれば、画像二値化処理は、認識対象とする文字列を含む矩形領域について、最小画素曲線を最適に二等分して得られる画素値をしきい値として用いるのではなく、最小画素曲線を移動平均処理して得られる平均画素曲線ＰＸＡをしきい値として用いるようにしたことにより、二値化しきい値の適正化を図れ、注目画素近傍の画素の分布（輝度分布）に対する追従性が高められ、その結果、良好な二値化画像を得ることが可能となる。

また、本実施形態において、射影生成部１３２２は、文字並び方向に直交する方向に配列された画素に関する画素値の第２射影ＰＹを生成する。
これにより、選択した行において、その行の文字が文字並び方向に直交する方向に占める位置を規定することが可能となる。

（他の実施形態）
本実施形態の文字認識装置１０は、認識対象としては活字文字だけでなく手書き文字にも適用可能である。また、文字認識に留まらず、１次元や２次元のバーコードの復号などにも、適正なバー幅の白黒比率の確保を狙いとした応用が可能である。
また、本実施形態の文字認識装置１０は、カードのみならず、パスポート、運転免許証など、あらゆる記録媒体への適用が可能である。

また、本実施形態によれば、文字の境界が明確なケースに本方式を適用しても同様の結果を得ることができる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

１０・・・文字認識装置、１１・・・撮像素子（画像読取部）、１２・・・画像メモリ、１３・・・データ処理部、１３１・・・行切り出し部（文字列切り出し部）、１３２・・・文字切り出し部、１３２０・・・文字区切り位置検出部、１３２１・・・領域設定部、１３２２・・・射影生成部、１３２３・・・二値化しきい値取得部、１３２４・・・位置検出部、１３３・・・特徴抽出部、１３４・・・特徴比較部、１３５・・・特徴辞書格納部、１３６・・・類似文字認識部、ＲＣＴＡ・・・矩形領域。

Claims (12)

1. 記録媒体上の文字列を撮像して得られた画像データを処理することによって、前記文字列から各文字を切り出す文字切り出し装置であって、
   前記文字列を形成する文字の区切り位置を検出する文字区切り位置検出部を有し、
   前記文字区切り位置検出部は、
   前記文字の区切り位置を検出する領域を設定する領域設定部と、
   少なくとも前記領域設定部により設定される設定領域内において、文字が並んでいる文字並び方向に配列された画素に関する、文字並び方向に直交する方向への画素値の射影を生成する射影生成部と、
   前記射影の前記文字並び方向に直交する方向に配置された各画素に関する画素値のうち最小の画素値である最小画素値から生成された前記文字並び方向に対する最小画素曲線に基づき移動平均を求め、当該移動平均を設定領域の二値化しきい値とする二値化しきい値取得部と、
   前記二値化しきい値取得部で求めた前記二値化しきい値に基づき文字区切り位置を求める位置検出部と、を含む
   ことを特徴とする文字切り出し装置。
2. 前記二値化しきい値取得部は、
   前記射影の最小画素値に応じた最小画素曲線を移動平均処理して得られた平均画素曲線を文字並び方向の画素位置に対応する二値化しきい値とする
   ことを特徴とする請求項１に記載の文字切り出し装置。
3. 前記二値化しきい値取得部は、
   前記射影の最小画素値を求めて最小画素曲線を生成し、当該最小画素曲線の移動平均を求めて平滑化して平均画素曲線を求め、当該平均画素曲線を文字並び方向の画素位置に対応する二値化しきい値とする
   ことを特徴とする請求項１または２に記載の文字切り出し装置。
4. 前記射影生成部は、
   前記文字並び方向に直交する方向に配列された画素に関する画素値の射影を生成する
   ことを特徴とする請求項１から３のいずれか一に記載の文字切り出し装置。
5. 画像データから切り出された文字列から各文字を切り出して文字を認識する文字認識装置であって、
   記録媒体上の文字列を撮像して画像データとして読み取る画像読取部と、
   前記画像読取部による読み取り画像を格納する画像メモリと、
   前記画像メモリに格納された前記画像データから文字列を切り出し、当該文字列から文字を切り出して文字認識を行うデータ処理部と、を有し、
   前記データ処理部は、
   切り出された前記文字列を形成する文字の区切り位置を検出する文字区切り位置検出部を備えた文字切り出し部を含み、
   前記文字区切り位置検出部は、
   前記文字の区切り位置を検出する領域を設定する領域設定部と、
   少なくとも前記領域設定部により設定される設定領域内において、文字が並んでいる文字並び方向に配列された画素に関する、文字並び方向に直交する方向への画素値の射影を生成する射影生成部と、
   前記射影の前記文字並び方向に直交する方向に配置された各画素に関する画素値のうち最小の画素値である最小画素値から生成された前記文字並び方向に対する最小画素曲線に基づき移動平均を求め、当該移動平均を設定領域の二値化しきい値とする二値化しきい値取得部と、
   前記二値化しきい値取得部で求めた前記二値化しきい値に基づき文字区切り位置を求める位置検出部と、を含む
   ことを特徴とする文字認識装置。
6. 前記二値化しきい値取得部は、
   前記射影の最小画素値に応じた最小画素曲線を移動平均処理して得られた平均画素曲線を文字並び方向の画素位置に対応する二値化しきい値とする
   ことを特徴とする請求項５に記載の文字認識装置。
7. 前記二値化しきい値取得部は、
   前記射影の最小画素値を求めて最小画素曲線を生成し、当該最小画素曲線の移動平均を求めて平滑化して平均画素曲線を求め、当該平均画素曲線を文字並び方向の画素位置に対応する二値化しきい値とする
   ことを特徴とする請求項５または６に記載の文字認識装置。
8. 前記射影生成部は、
   前記文字並び方向に直交する方向に配列された画素に関する画素値の射影を生成する
   ことを特徴とする請求項５から７のいずれか一に記載の文字認識装置。
9. 記録媒体上の文字列を撮像して得られた画像データを処理することによって、前記文字列から各文字を切り出す文字切り出し方法であって、
   前記文字列を形成する文字の区切り位置を検出する文字区切り位置検出ステップを有し、
   前記文字区切り位置検出ステップは、
   前記文字の区切り位置を検出する領域を設定する領域設定ステップと、
   少なくとも前記領域設定ステップにより設定される設定領域内において、文字が並んでいる文字並び方向に配列された画素に関する、文字並び方向に直交する方向への画素値の射影を生成する射影生成ステップと、
   前記射影の前記文字並び方向に直交する方向に配置された各画素に関する画素値のうち最小の画素値である最小画素値から生成された前記文字並び方向に対する最小画素曲線に基づき移動平均を求め、当該移動平均を設定領域の二値化しきい値とする二値化しきい値取得ステップと、
   前記二値化しきい値取得ステップで求めた前記二値化しきい値に基づき文字区切り位置を求める位置検出ステップと、を含む
   ことを特徴とする文字切り出し方法。
10. 前記二値化しきい値取得ステップでは、
    前記射影の最小画素値に応じた最小画素曲線を移動平均処理して得られた平均画素曲線を文字並び方向の画素位置に対応する二値化しきい値とする
    ことを特徴とする請求項９に記載の文字切り出し方法。
11. 前記二値化しきい値取得ステップでは、
    前記射影の最小画素値を求めて最小画素曲線を生成し、当該最小画素曲線の移動平均を求めて平滑化して平均画素曲線を求め、当該平均画素曲線を文字並び方向の画素位置に対応する二値化しきい値とする
    ことを特徴とする請求項９または１０に記載の文字切り出し方法。
12. 前記射影生成ステップでは、
    前記文字並び方向に直交する方向に配列された画素に関する画素値の射影を生成する
    ことを特徴とする請求項９から１１のいずれか一に記載の文字切り出し方法。

Images