JP4594952B2 - 文字認識装置及び文字認識方法 - Google Patents

Description

本発明は、例えば免許証などの身分証の画像から文字を認識する文字認識装置及び文字認識方法に関する。

携帯電話機の販売代理店などで、利用者が携帯電話機の利用契約を行う際には、利用者が記載した申込書の一部に、例えば免許証や保険証などの身分証のコピーを貼り付けて契約センターなどへＦＡＸ送信される。

契約センターでは、ＦＡＸで受信された申込書をスキャナーなどの光学的文字読取装置（以下ＯＣＲと称す）でモノクロ画像に電子化してＰＣなどに表示してそのモノクロ画像から利用者が記載した内容や身分証の内容を確認した上で、利用者（契約者）のデータをデータベースへ登録し管理する。

この際、ＦＡＸから出力、つまりプリントされたモノクロＦＡＸ文書の紙面を、ＯＣＲにかけてその画像を読み取り文字認識することで得られた文字認識結果のテキストデータとイメージデータとを対応させてデータベースへ登録する。

ところで、申込書内の所定の身分証貼付欄には、身分証が必ずしも原寸大でコピーされて、かつ正規の方向に貼り付けられているとは限らない。

申込書内の身分証の部分だけが、任意の倍率でコピーされていたり、または正規の方向に貼り付けられていない申込書の画像では、身分証の範囲の画像を正しく切り出して正しい文字認識結果が得られないため、オペレータは、認識できなかった文字をＰＣへ直接キー入力することで身分証の内容を登録することになる。

身分証を認識する技術としては、例えば免許証を専用スキャナーで読み取り、読み取った免許証の画像から罫線を検出しそれを頼りに免許証の文字を認識する技術が知られている。

また、画像の向きを判定して文字を読み取る技術としては、送信対象の帳票の４つのシート角のうち３つのシート角の所定部分に基準マークを印刷しておき、ファクシミリ装置を通じて得られた帳票の画像から基準マークを検出することで帳票画像の向きを検出および修正し、その修正した画像から文字を認識する技術が既にある（例えば特許文献１参照）。
特開平２−１２４７９号公報

上記先行技術の場合、帳票の画像をすべてスキャニングして文字の位置を割り出せば、身分証の位置を検出できるものの、例えば免許証などの免許証番号欄には、斜線を背景とした文字が印字されており、モノクロＦＡＸやそのＦＡＸ用紙をスキャナーで取り込んだモノクロ画像ではこの部分の文字認識がエラーとなる確率が高いという問題があった。

本発明はこのような課題を解決するためになされたもので、斜線を背景とした文字画像の文字認識率を向上することができる文字認識装置及び文字認識方法を提供することを目的としている。

上記した課題を解決するために、本発明の文字認識装置は、斜線を背景にした文字列が印字された印字面より画像を取得する画像情報取得手段と、前記画像情報取得手段により取得された画像の中から、前記斜線を背景にした文字列の画像を抽出し、各文字単位に切り出す文字画像切出手段と、前記文字画像切出手段により切り出された文字画像を、前記斜線がほぼ水平になる角度に回転する文字画像回転手段と、前記文字画像回転手段により回転された文字画像より水平方向に線を構成する黒画素成分を除去する射線処理手段と、前記射線処理手段により水平方向に線を構成する黒画素成分が除去された文字画像の特徴ベクトルを抽出する特徴ベクトル抽出手段と、予め前記斜線の角度と一致する角度で回転させた状態の基準文字画像の特徴ベクトルとテキストデータとを対応付けた辞書を記憶した辞書記憶部と、前記特徴ベクトル抽出手段により抽出された前記文字画像の特徴ベクトルと前記辞書記憶部に記憶された特徴ベクトルとを比較して一致また近似する特徴ベクトルを持つテキストデータを出力する文字認識手段とを具備したことを特徴とする。

本発明の文字認識方法は、斜線を背景にした文字列が印字された印字面より画像を画像情報取得手段が取得するステップと、前記画像情報取得手段により取得された画像の中から、文字画像切出手段が、前記斜線を背景にした文字列の画像を抽出し、各文字単位に切り出すステップと、前記文字画像切出手段により切り出された文字画像を、文字画像回転手段が、前記斜線がほぼ水平になる角度に回転するステップと、前記文字画像回転手段により回転された文字画像より水平方向に線を構成する黒画素成分を射線処理手段が除去するステップと、前記射線処理手段により水平方向に線を構成する黒画素成分が除去された文字画像の特徴ベクトルを特徴ベクトル抽出手段が抽出するステップと、予め前記斜線の角度と一致する角度で回転させた状態の基準文字画像の特徴ベクトルとテキストデータとを対応付けた辞書を辞書記憶部に記憶しておき、前記特徴ベクトル抽出手段により抽出された前記文字画像の特徴ベクトルと、前記辞書記憶部に記憶された特徴ベクトルとを文字認識手段が比較して一致また近似する特徴ベクトルを持つテキストデータを出力するステップとを有することを特徴とする。

以上説明したように本発明によれば、斜線を背景とした文字画像の文字認識率を向上することができる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は本発明に係る一つの実施の形態の身分証認識システムの構成を示す図、図２は申込書の一例を示す図である。
図１に示すように、この身分証認識システムは、帳票としての申込書１の表面を例えばＣＣＤなどで走査（スキャン）して画像情報（イメージデータ）を取得（生成）するイメージスキャナー２（以下スキャナー２と称す）と、このスキャナー２に接続され、申込書１から読み取った画像情報（イメージデータ）に対して免許証２３の画像の抽出処理及び文字認識処理を行うコンピュータ１０とから構成されている。

スキャナー２は、申込書１よりその表面をＣＣＤセンサにより走査してモノクロ画像（イメージデータ）を取得する。なお、ＦＡＸで送られてきたモノクロＦＡＸ紙をカラーでスキャンしても同じである。つまりスキャナー２は、申込書１よりモノクロ画像情報を取得する画像情報取得手段として機能する。

コンピュータ１０は、操作部１１、通信Ｉ／Ｆ１２、記憶手段としてのメモリ１３、表示部１４、ハードディスク装置１５、ＣＰＵ１６とを備えている。操作部１１は、キーボート、マウスなどのユーザーが操作を行う入力手段である。

メモリ１３には、文字を認識するための標準文字イメージ（登録パターンともいう）またはその特徴ベクトルとテキストデータとを対応付けた標準辞書１３ａ（以下「第１辞書１３ａ」と称す）と、免許証の所定の文字（免許書番号部分Ｍの斜線が入った文字）を認識するための斜線入り文字専用辞書１３ｂ（以下「第２辞書１３ｂ」と称す）とが記憶されている。

すなわち、メモリ１３は、予め所定の角度で回転（傾斜）させた状態の基準文字画像の特徴ベクトルとテキストデータとを対応付けた辞書（第１辞書１３ｂ）を記憶した辞書記憶部として機能する。所定の角度とは、斜線が入った認識対象の文字画像の斜線の角度と一致する角度である。

また、メモリ１３には、帳票画像内の免許証画像の位置や傾きなど検出し、検出した免許証画像内の文字画像を切り出すための免許証フォーマット１３ｃが記憶されている。
この免許証フォーマット１３ｃには、例えば免許証に予め複数印字されている特徴的な基準文字である「年」、「月」、「日」のうちのいずれか１種類、この例では「日」という文字種と、複数の基準文字「日」の位置関係のデータ（免許証２３のある点（左上角など）を基準（Ｘ座標０，Ｙ座標０）とした「日」という文字のＸ座標・Ｙ座標と各文字間の距離データなど）が記憶されている。

また免許証フォーマット１３ｃには、帳票内の免許証の画像から認識対象の文字列の画像を切り出すための領域情報が設定されている。領域情報は、上記「日」という文字と同様に、各文字のＸ座標・Ｙ座標と各文字間の距離データなどにより指定されている。なお、フォーマットや辞書などはハードディスク装置１５に記憶されていてもよい。

例えば免許証フォーマット１３ｃには、切り取る領域情報（免許証の左上角の位置座標をＸ座標０，Ｙ座標０）とした場合の各読み取り範囲の指定情報）の他、例えば免許証番号部分Ｍ（斜線を背景にした文字列が印字された印字面）の文字画像については、切り出し対象の文字画像が１２個ある中の１つ目から４つ目の文字画像については第１辞書１３ａ、５つ目から８つ目までの斜線入りの文字画像については第２辞書１３ｂ、９つ目から１２個目までの文字画像については第１辞書１３ａを利用するという辞書指定条件（辞書指定情報）が設定されている。
表示部１４は、スキャナー２が取り込んだ申込書１の画像や、抽出した免許証部分の画像から文字認識処理するための画面、文字認識結果のテキストデータなどを表示する。

ハードディスク装置１５には、オペレーティングシステム（以下ＯＳと称す）と、ＣＰＵ１６に各部の制御動作を行わせる制御ソフトウェアとがインストールされており、これらが協動して本システムの動作を実現する。動作説明ではコンピュータ起動後のＣＰＵ１６の動作として説明する。

すなわち、ＣＰＵ１６は、スキャナー２により取得された申込書１の画像の中から免許証にプリントされている特徴文字、例えば「年」、「月」、「日」などのうちの少なくとも１つの種類の複数の文字を検出する特徴文字検出手段と、この特徴文字検出手段により検出された複数の文字の位置関係と予め設定された免許証２３の文字の基準位置とに基づいて免許証画像の伸縮率および・または方向（縦・横・正規方向・上下反転方向など）を求め、申込書１の画像の中から免許証２３の画像を抽出する画像抽出手段、この画像抽出手段により抽出された免許証２３の部分の画像に対して文字認識を行う文字認識手段として機能する。

ＣＰＵ１６は、斜線を背景にした文字列が印字された印字面より画像を取得する画像情報取得手段として機能する。ＣＰＵ１６は、画像情報取得手段により取得された画像の中から、斜線を背景にした文字列の画像を抽出し、各文字単位に切り出す文字画像切出手段として機能する。ＣＰＵ１６は、文字画像切出手段により切り出された文字画像を、斜線がほぼ水平になる角度に回転する文字画像回転手段として機能する。

ＣＰＵ１６は、文字画像回転手段により回転された文字画像より水平方向に線を構成する黒画素成分を除去（消去）する射線処理手段として機能する。ＣＰＵ１６は、射線処理手段により水平方向に線を構成する黒画素成分が除去された文字画像の特徴ベクトルを抽出する特徴ベクトル抽出手段として機能する。

ＣＰＵ１６は、特徴ベクトル抽出手段により抽出された文字画像の特徴ベクトルとメモリ１３の第２辞書１３ｂの特徴ベクトルから斜線部分の特徴ベクトルを除いた特徴ベクトルとを比較して一致また近似する特徴ベクトルを持つテキストデータを出力する文字認識手段として機能する。

すなわち、ＣＰＵ１６は、メモリ１３に予め記憶されている免許証内の画像を読み取るための免許証フォーマット１３ｃに従って、免許証２３の部分の画像の中の所定の領域の文字列、例えば氏名、生年月日、本籍、住所、免許証番号、免許取得年月日などの画像を取得し、個々の領域の画像を各文字単位に切り出し、個々の文字画像に対して免許証フォーマット１３ｃにより個々の文字画像毎に指定された辞書（第１辞書１３ａまたは第２辞書１３ｂのいずれか）を参照して文字認識処理を実行する。

切り出した各文字画像を認識する際に、ＣＰＵ１６は、背景に斜線がある文字画像については、斜線がほぼ水平になる角度（この例では文字中心を右まわりに４５°回転）に文字画像を回転し、回転した文字画像より、水平方向の黒画素からなる線成分（斜線成分）を除去し、斜線成分を除去した文字画像の特徴ベクトルを抽出し、その部分専用の第２辞書１３ｂを用いて、斜線部分の個所を除いた特徴ベクトルの比較で文字認識する。

図２に示すように、帳票、例えば携帯電話機の利用契約のための申込書１などには、住所、氏名、申し込み内容などの記入欄２１と、本人確認物貼り付け欄２２が設けられている。記入欄２１には、申込者本人がボールペンなどにより自筆で該当事項が記入される。

本人確認物貼り付け欄２２には、予め添付のための注意事項などが印刷されており、その上に申込者本人の確認物として申込者本人から提示された例えば免許証２３や保険証などの身分証をコピーしたものを、その欄内に入るような大きさに拡大または縮小して貼り付け添付される。

申込書１は、ファクシミリ装置などにかけられ、通信網に伝送されて契約センターに受信されるので、契約センターでは、受信されたＦＡＸ用紙の画像、すなわち申込書１に身分証が貼り付けられた状態の画像は、免許証部分だけを傾きを直したりするような加工はできない。

つまり、ＦＡＸ用紙の画像上の免許証は、本人確認物貼り付け欄２２内においてその位置がバラバラであり、横向き、縦向き、縮尺率、拡大率など、さまざまな形に変形した状態となっていることがある。また、免許証２３の背景には申込書１に予め印刷されていた各種の文字がはみ出していることが多い。

申込書１に貼り付けられる免許証２３の方向としては、申込書１の免許証貼付欄に免許証を横長方向に貼り付けることを正規の方向とすると、免許証２３の上下を逆にして貼り付ける第１ケースと、免許証を縦長方向（正規方向と直交する方向）に貼り付ける第２ケースと、それぞれの方向について少し傾斜した状態で貼り付ける第３のケースが考えられる。少し傾斜した状態としては、人間の視覚的の感覚で言えば、例えば３度〜５度程度までである。

図２に示すように、免許証２３には、ほぼ同じ大きさの「日」という文字が最低５個（ｐ１…ｐ５）印刷されている。
そこで、本システムでは、免許証２３の貼り付け位置を検出するための基準となる５個の「日」という文字（ｐ１…ｐ５）の中心点の位置情報をメモリ１３に登録しておき、図３に示すような、認識対象の申込書の画像１ａから検出された「日」という文字（ｄ１…ｄｎ）の中心点の位置がそれぞれどれに対応するかを総当りで調べ、最も確からしい組み合わせを求める。

このように、組み合わせの中から最適な組み合わせを見つける問題のことを、「組み合わせ最適化問題」と呼び、その解決方法には幅優先探索法、深さ優先探索法、遺伝的アルゴリズム、シミュレーテッド・アニーリング法など、多くの方法が知られており、このシステムでは、いずれかの方法を利用する。

最も確からしい組み合わせが求められれば、その相対位置から、画像上のどの部分に、氏名・生年月日・住所・免許証番号などの記載項目があるのかを算出できる。本システムは、この算出結果に従って免許証２３の部分画像とその中の記載項目を切り出し、文字認識処理を実行する。

ここで、図４のフローチャートを参照してこの身分証認識システムの概要動作を説明する。
この身分証認識システムの場合、スキャナー２の読み取り台に申込書１がセットされ、走査開始の操作が行われると、スキャナー２は、申込書１の表面を走査してイメージデータを生成しコンピュータ１０へ送る。

コンピュータ１０では、ＣＰＵ１６は、スキャナー２から受信された申込書１のイメージデータを縦方向に走査して複数の特徴文字「日」を検出し（Ｓ１０１）、各特徴文字の位置関係から、検出した複数の「日」の組み合わせを最適化し（Ｓ１０２）、免許証部分の画像の伸縮率および方向を検出する。

ＣＰＵ１６は、検出した免許証部分の画像の伸縮率（大きさ）および方向（傾きや上下逆さなど）に基づいて免許証の部分画像を切り出し、さらに予め設定された免許証フォーマット１３ｃに従ってその免許証部分の画像から個々の記載項目の画像をさらに切り出して（Ｓ１０３）、個々の項目に対して文字認識処理を実行することで（Ｓ１０４）、申込書１に貼り付けられている免許証２３の内容をテキストデータに変換してメモリ１３に記憶すると共に、表示部１４に表示する。

その後、ユーザーにより操作部１１が保存操作あるいは出力操作されると、ＣＰＵ１６は、メモリ１３のテキストデータと免許証部分の画像とを対応付けて保存場所または出力先であるハードディスク装置１５（データベース）へ保存あるいは出力する。

以下、図５，図６を参照してこの身分証認識システムにおける免許証画像認識処理の詳細について説明する。
免許証画認識処理を行う場合、ＣＰＵ１６は、まず、スキャナー２により読み取られた申込書１の画像を一定方向（縦方向）に走査する（図５のＳ１１１）。

そして、ＣＰＵ１６は、画像を走査して得た白ピクセルと黒ピクセルの連続数を計数し（Ｓ１１２）、図４に示すように、その中である着目ライン３１において、白ピクセルと黒ピクセルの連続数の比がほぼ黒：白：黒：白：黒＝ａ：ｂ：ａ：ｂ：ａとなる場所を探索し（Ｓ１１３）、「日」という文字があるべき場所（画像領域）を検出する。

次に、ＣＰＵ１６は、検出した場所について、左右に黒ピクセルを追跡し、横方向に連続する黒ピクセルの範囲３２を検出する（Ｓ１１４）。
また、ＣＰＵ１６は、横方向に連続する黒ピクセルの範囲３２の端部の黒ピクセルから、上下に黒ピクセルを追跡し、縦方向に連続する黒ピクセルの範囲３３を検出する（Ｓ１１５）。

そして、ＣＰＵ１６は、検出した黒ピクセルの横方向の範囲３２および縦方向の範囲３３が、予めメモリ１３に設定されている基準文字のサイズである、横１ｍｍ×縦２ｍｍ以上、横５ｍｍ×縦５ｍｍ以下という条件を満たしているか否かを判定する（Ｓ１１６）。

この判定の結果、条件を満たしている場合（Ｓ１１６のＹｅｓ）、ＣＰＵ１６は、検出した横方向の範囲３２および縦方向の範囲３３内の画像に対して文字認識処理を行い、その文字認識結果が「日」である領域を選出する（Ｓ１１７）。

ＣＰＵ１６は、黒ピクセルと白ピクセルとが連続する数の比がａ：ｂ：ａ：ｂ：ａとなる場所がなくなるまで上記処理を繰り返し行う（Ｓ１１８）。つまり、ＣＰＵ１６は、黒ピクセルａと白ピクセルｂとの配置比がａ：ｂ：ａ：ｂ：ａとなる画像領域から特徴文字を検出する。黒ピクセルａと白ピクセルｂとの配置比とはピクセルの並び順とピクセルの数の比をいう。

このように画像から文字を認識する場合、従来は、画像全体の中から全て文字を認識することが一般的に行われていたが、画像全体の文字を全て認識すると、認識する文字が数百〜数千にも及ぶ場合があり、処理速度が著しく低下してしまう。

そこで、本実施形態では、特徴文字の「日」の字体が、線が均等間隔に並ぶことを利用して、白・黒のピクセルの並び方から予め「日」という文字があるらしい範囲を特定し、その特定した範囲だけを文字認識することで、免許証２３の特徴的な文字である「日」を極めて高速に検出できる。

ＣＰＵ１６は、上記処理を繰り返すことで、複数の「日」という文字を検出し、それぞれの文字間の距離（間隔）を計算により求め、予めメモリ１３に記憶されている各文字間の基準の距離（間隔）とを対比して免許証部分の画像の拡大率または縮小率などの伸縮率を求める。基準の距離は、免許証の実寸でもよく、ある倍率をかけた距離（間隔）でもよい。

ＣＰＵ１６は、免許証部分の画像の伸縮率を求めると、ＦＡＸ用紙の画像の中から伸縮率に応じた範囲を切り出して免許証部分の画像をメモリ１３に一時記憶する。

そして、ＣＰＵ１６は、メモリ１３の免許証部分の画像に対して免許証フォーマット１３ｃに従って文字画像を切り出して、個々の文字画像についてそれぞれの位置に応じて標準辞書である第１辞書１３ａまたは斜線入り文字専用辞書である第２辞書１３ｂを使い分けて文字認識処理を実行し、文字認識結果をメモリ１３に記憶する。
ＣＰＵ１６は、この文字認識処理の結果であるテキストデータとメモリ１３に一時記憶しておいた免許証２３の部分画像とを対応させて、ハードディスク装置１５に構築されたデータベースに登録する。

次に、図７を参照して上記免許証認識処理の応用例について説明する。
図７に示すように、「日」という文字は、厳密には、中央から上の部分と下の部分では形が異なっている。この微妙な違いを検出することで、処理をさらに高速化できる。

すなわち、ＣＰＵ１６は、免許証２３の特徴的な文字である「日」を認識（検出）した後、「日」という各文字についてそれぞれの上部または下部のパターンを調査し、はみ出し部３５を検知する。この処理では、ＣＰＵ１６は、文字の上半分の部分または下半分の部分のどちらに、はみ出し部３５があるかを判定する。

そして、ＣＰＵ１６は、文字の上部にはみ出し部３５がある「日」の数と、下部にはみ出し部３５がある「日」の数を計数し、多い方をもって免許証２３の方向（上下）を判定する。つまりＣＰＵ１６は、検出した「日」という特徴文字の上側部分と下側部分のうち、文字の一部が突出している側の数を計数して、免許証２３の画像の向きを判定する。
このように、はみ出し部３５の方向を検出して、予め文字の向き（上：正規方向または下：逆方向）を判定しておくことで、複数の「日」という文字を組み合わせ最適化処理で上下を判定する必要がなくなるので、免許証２３の認識をより高速に行うことができる。

従来、免許証を専用スキャナーで読み取り、読み取った免許証２３の画像から罫線を検出しそれを頼りに免許証を認識していたが、このように罫線を検出する技術の場合、申込書１のコピーやファクシミリ装置でＦＡＸ受信される帳票などの場合、罫線が途切れてしまうことが多く、免許証が認識できない場合がしばしば生じる問題があったが、本実施形態の免許証認識システムでは、罫線の代わりに、申込書に貼り付けられた免許証に太く印刷される複数の「日」を検出することで、免許証２３の画像をより安定して認識できる。

また、申込書１に免許証が正規方向または正規方向と上下逆の方向（ほぼ０度または１８０度）に配置された場合にも、免許証２３の画像部分についての認識が可能となる。

さらに、初めの縦方向の走査で特徴文字の「日」が検出されなかった場合、続いて、画像を９０度回転して、上記免許証画像認識処理を行うことで、正規方向と直交する方向（９０度もしくは２７０度）に配置された免許証２３の画像部分についても認識可能となる。

通常、文字認識機能は、文字の画像が±５度程度まで傾いていても、文字を認識することができる。従って、上記実施形態の免許証認識方法によれば、免許証２３が０度±５度、９０度±５度、１８０度±５度、２７０度±５度の範囲で置かれていた場合に認識することが可能となる。通常の申込書であれば、この範囲を対象とすれば、ほとんどの免許証画像を認識できる。

さらに、画像を０度と９０度だけでなく、１０度、２０度…１７０度のように１０度刻みで回転して上記免許証画像認識処理を行えば、１０度±５度、２０度±５度…１７０度±５度も対象とすることができ、さらに日が上下反転していても文字認識できる特徴により１９０度±５度、２００度±５度…３５０度±５度も対象とすることができるから、あらゆる方向に置かれた免許証を認識することが可能となる。

また、従来の方式では、罫線が均等間隔で並んでいることにより、ときどき１行ずれた認識結果が得られる場合があったが、本実施形態では、「日」という文字が画像上に均等に並んでいないため、ずれた認識結果が得られにくいという効果もある。

また、免許証上の特徴文字である「日」は、上下反転しても「日」と認識できるため、他の文字のように１８０度回転して認識しなくても「日」と検出でき、申込書１の画像から免許証部分の画像を切り出すまでの処理を極めて高速にできる。

続いて、図８乃至図１５を参照して免許証画像における記載項目の文字認識処理（ステップＳ１０４）の詳細について説明する。

図３に示した申込書の画像１ａの中の免許証部分の画像には、氏名、本籍、生年月日、住所、免許交付日、有効年月日などの他に、免許の条件の欄があり、その欄内には免許証番号Ｍがある。

この例では、例えば図８に示すように、「９０９８１１３５１０９０」という免許証番号Ｍが印字されているものとする。この免許証番号Ｍの部分を文字認識する場合、１２桁の番号のうちの中央付近の番号には斜線が入っており、文字認識する上での障害になる。

そこで、本実施形態の場合、ＣＰＵ１６は、１文字毎に切り出した文字画像のうち、背景が白色の文字画像「９」、「０」、「９」、「８」、「１」、「０」、「９」、「０」などと、背景に斜線が描かれている文字画像「１」、「１」、「３」、「５」などとで、異なる画像処理と異なる辞書とで文字認識処理を行う。

ＣＰＵ１６は、白色の文字画像「９」、「０」、「９」、「８」、「１」、「０」、「９」、「０」については、第１辞書１３ａを参照して文字認識処理を行う。第１辞書１３ａの作りについては、一般的な文字認識用の辞書と同じであり、ここではその説明は省略する。
また、ＣＰＵ１６は、背景に斜線が描かれている文字画像「１」、「１」、「３」、「５」については、第２辞書１３ｂを参照して文字認識処理を行う。
＜免許証番号斜線部専用の辞書＞

図９に示すように、第２辞書１３ｂには、予め、「０」から「９」までの数字を右に４５度回転させたパターンがテキストデータに対応して登録されている。この第２辞書１３ｂを作成するには、まず、最初に登録するパターンを一定の大きさになるよう縦横に拡大縮小し線形に正規化する。
次に正規化した画像を縦横に格子状に分割し、分割した各マスごとに濃度特徴などを算出して得た特徴量を辞書として登録する。

図９には、数字の例えば「３」を９×９の格子状に分割した場合の例を示す。この場合、特徴量は８１次元の特徴ベクトルで表される。ＣＰＵ１６は、切り出した斜線入りの文字画像についてこの第２辞書１３ｂの特徴ベクトルを用いて、複合類似度法などの文字認識手法を用いて文字認識を行う。
＜斜線が入った文字画像の処理＞
以下、具体的な処理について説明する。

図８で示したように、免許証番号は１２桁の数字からなり、真中の４桁部分には右上から左下へ４５度の角度で斜線が引かれている。また、免許証番号欄の数字は固定ピッチで印字されている。このようなことを考慮し、免許証フォーマット１３ｃには、文字画像の切り出し位置、範囲および使用辞書の情報が記憶されている。ＣＰＵ１６は、斜線が引かれていない部分から文字のピッチを求める。

これにより、ＣＰＵ１６は、文字ピッチを基に免許証番号部分Ｍの斜線部分の数字を１桁ずつ順に切り出し、免許証フォーマット１３ｃで指定された辞書を参照して文字認識処理を行う。

ＣＰＵ１６が免許証番号を１文字ずつ順に文字認識を行う中で、例えば図１１に示すように、４桁目の斜線入り文字画像「３」を切り出した場合、ＣＰＵ１６は、切り出した文字画像「３」を４５度右に回転し（図１０のＳ２０１）、斜線が水平線になるようにイメージを変換する（図１２参照）。

次に、ＣＰＵ１６は、回転した画像に対して斜線の位置を検出する（Ｓ２０２）。
ここで、斜線は回転した画像上でＸ軸とほぼ平行な黒画素成分の集まり、つまり水平線となっているため、ＣＰＵ１６は、黒画素の水平方向の射影をとるなどの方法で斜線の位置を検出する。

斜線の位置を検出すると、ＣＰＵ１６は、続いてその画像から斜線を除去することで（Ｓ２０３）、図１３に示すような間引き画像を得る。

次に、第２辞書１３ｂを作成したときと同じ要領で、斜線を消した文字パターンに対して正規化（画像の大きさを辞書の登録パターンに対比できるようにそろえること）を行った上で特徴ベクトルを求める（Ｓ２０４）。正規化とは辞書の登録パターンの大きさに拡大縮小し線形にすることである。この例のように画像を９×９の格子状に分割した場合、特徴ベクトルは８１次元となる。
ここで、斜線が引かれていたマスの特徴は、標準辞書である第１辞書１３ａの特徴と大きく異なるため、斜線部分の特徴は文字認識の結果に悪影響を与えてしまう。

そこで、ＣＰＵ１６は、第２辞書１３ｂの登録パターンと、整形した画像の入力パターンそれぞれの特徴ベクトルから、斜線が入ったマスを除いたベクトルで第２辞書１３ｂとの比較を行う。

つまり、ＣＰＵ１６は、斜線部分を除去した文字画像の特徴ベクトルと第２辞書１３ｂの特徴ベクトルとを斜線が入ったマスを除いた特徴ベクトルで比較する。
図１４に斜線部分を取り除いた特徴ベクトルの例を示す。この図１４に示す例では、斜線が入っていたマスは、２、４、７行目の各行Ｐ（一行ずつ）であるため、８１次元の特徴ベクトルから、３×９マス分の特徴ベクトル、つまり２７次元分が取り除かれるため、比較対象が５４次元の特徴ベクトルとなる。

このように斜線が入った部分の特徴ベクトルを除去して、それ以外の部分の特徴ベクトルを用いて文字認識を行うことにより（Ｓ２０５）、斜線の影響を排除して文字認識処理を実行できる。

また、文字を回転せずに斜線部分に該当するマスを特徴ベクトルからすべて除去した場合、斜線がかかる領域が多くなり、特徴量のほとんどが認識に使用できなくなる可能性がある。

しかし、４５度回転して斜線が水平になるようにしたことで、取り除かれるマスは水平線ごとに横１列、または2列とすることができ、特徴ベクトルの次元数を一定数確保することが可能になるという利点もある。
図１５に回転せずに斜線部分の特徴量を除去した例を示す。この図１５の例では、斜線で塗りつぶしたマスで示される４２マスが、数字の背景の斜線による影響を受けており、文字認識に使用できる特徴量は３９次元となってしまい、比較のための情報量が明らかに減るため、認識精度が低下することになる。

このようにこの実施形態の身分証認識システムによれば、予め４５度に回転させた文字パターンで斜線入り文字専用の認識辞書（第２辞書３ｂ）を作成および登録しておき、入力パターンを４５度回転させ斜線を除去した入力画像から特徴ベクトルを求め、その特徴ベクトルと、第２辞書３ｂから、斜線位置にある特徴ベクトルを除外した特徴ベクトルとを比較して文字認識を行うことで、免許証番号の斜線が引かれた部分について、その部分がモノクロ画像であったとしてもその部分の文字を認識することができる。

すなわち、斜線入り文字画像に対してはそれ専用の第２辞書１３ｂを参照し、得られた入力画像パターンと第２辞書１３ｂの登録パターンとの両方から、斜線がかかる部分の成分を除いた特徴ベクトルで文字認識を行うことで、斜線が引かれた文字であっても文字認識を行うことができる。

なお、本発明は、上記実施形態のみに限定されるものではない。上記実施形態では、免許証の「日」という文字で説明したが、この他、例えば保険証やパスポートなどでも同様の方法で認識できる。文字は、「日」だけでなく、認識対象の身分証の中に複数存在すれば、例えば「年」、「月」、「号」などを用いても良い。

また、上記実施形態では、文字画像の斜線部分を除去しただけであったが、文字画像内の黒画素成分に数ピクセルずつ肉付けすること、つまり文字を太らせることで特徴ベクトルが減ることを若干でも改善できる。

また上記実施形態では、第２辞書１３ｂには、予め４５度に回転させた文字パターンの特徴ベクトルとテキストデータとを対応付けて記憶していたが、斜線部分の特徴ベクトルを除いた状態で特徴ベクトルを記憶しておくことで、文字認識の際に、斜線部分の特徴ベクトルを除く処理を行わずに済む。

この実施形態の身分証認識システムの構成を示す図。 申込書を示す図。 申込書の画像を示す図。 図１の身分証認識システムの概要動作を示すフローチャート。 免許証画像認識処理の詳細を示すフローチャート。 「日」という文字の検出方法を説明するための図。 「日」という文字の上部と下部の形の違いで免許証の向きを判定することを示す図。 免許書番号部分の画像を拡大した図。 免許証番号斜線部専用の第２辞書の登録内容を示す図。 免許証番号の斜線入り文字画像に対する文字認識処理を示すフローチャート。 免許証番号部分より切り出された斜線入りの文字画像「３」を示す図。 文字画像「３」を４５°回転させた様子を示す図。 回転させた文字画像「３」から斜線を除去した様子を示す図。 斜線部分を取り除いた特徴ベクトルの例を示す図。 回転せずに斜線部分の特徴ベクトルを除去した場合に特徴ベクトルの情報量が減ってしまう様子を示す図。

符号の説明

１…申込書、２…スキャナー、１０…コンピュータ、１１…操作部、１２…通信Ｉ／Ｆ、１３…メモリ、１３ａ…第１辞書、１３ｂ…第２辞書、１３ｃ…免許証フォーマット、１４…表示部、１５…ハードディスク装置、１６…ＣＰＵ。

Claims (4)

1. 斜線を背景にした文字列が印字された印字面より画像を取得する画像情報取得手段と、
   前記画像情報取得手段により取得された画像の中から、前記斜線を背景にした文字列の
   画像を抽出し、各文字単位に切り出す文字画像切出手段と、
   前記文字画像切出手段により切り出された文字画像を、前記斜線がほぼ水平になる角度に回転する文字画像回転手段と、
   前記文字画像回転手段により回転された文字画像より水平方向に線を構成する黒画素成分を除去する射線処理手段と、
   前記射線処理手段により水平方向に線を構成する黒画素成分が除去された文字画像の特徴ベクトルを抽出する特徴ベクトル抽出手段と、
   予め前記斜線の角度と一致する角度で回転させた状態の基準文字画像の特徴ベクトルとテキストデータとを対応付けた辞書を記憶した辞書記憶部と、
   前記特徴ベクトル抽出手段により抽出された前記文字画像の特徴ベクトルと前記辞書記憶部に記憶された特徴ベクトルとを比較して一致また近似する特徴ベクトルを持つテキストデータを出力する文字認識手段とを具備したことを特徴とする文字認識装置。
2. 請求項１記載の文字認識装置において、
   前記画像情報取得手段が、
   帳票より画像を取得する帳票画像情報取得手段と、
   前記帳票画像情報取得手段により取得された帳票の画像の中から「年」、「月」、「日」の少なくとも１つの種類の複数の文字を検出する特徴文字検出手段と、
   前記特徴文字検出手段により検出された複数の文字の位置関係と予め設定された身分証の文字の基準位置とに基づいて身分証の画像の伸縮率および・または方向を求め、前記帳票の画像の中から身分証の画像を抽出する画像抽出手段と
   を具備したことを特徴とする請求項１記載の文字認識装置。
3. 斜線を背景にした文字列が印字された印字面より画像を画像情報取得手段が取得するステップと、
   前記画像情報取得手段により取得された画像の中から、文字画像切出手段が、前記斜線を背景にした文字列の画像を抽出し、各文字単位に切り出すステップと、
   前記文字画像切出手段により切り出された文字画像を、文字画像回転手段が、前記斜線がほぼ水平になる角度に回転するステップと、
   前記文字画像回転手段により回転された文字画像より水平方向に線を構成する黒画素成分を射線処理手段が除去するステップと、
   前記射線処理手段により水平方向に線を構成する黒画素成分が除去された文字画像の特徴ベクトルを特徴ベクトル抽出手段が抽出するステップと、
   予め前記斜線の角度と一致する角度で回転させた状態の基準文字画像の特徴ベクトルとテキストデータとを対応付けた辞書を辞書記憶部に記憶しておき、前記特徴ベクトル抽出手段により抽出された前記文字画像の特徴ベクトルと、前記辞書記憶部に記憶された特徴ベクトルとを文字認識手段が比較して一致また近似する特徴ベクトルを持つテキストデータを出力するステップと
   を有することを特徴とする文字認識方法。
4. 請求項３記載の文字認識方法において、
   帳票より画像を帳票画像情報取得手段が取得するステップと、
   前記帳票画像情報取得手段により取得された帳票の画像の中から「年」、「月」、「日」の少なくとも１つの種類の複数の文字を特徴文字検出手段が検出するステップと、
   前記特徴文字検出手段により検出された複数の文字の位置関係と予め設定された身分証の文字の基準位置とに基づいて画像抽出手段が身分証の画像の伸縮率および・または方向を求め、前記帳票の画像の中から身分証の画像を抽出するステップと
   を有することを特徴とする請求項３記載の文字認識方法。

Images