JP2019128602A - 光学的文字認識装置、プログラム - Google Patents

Abstract

【課題】ホログラム処理が施されている媒体の文字認識を行う際に、白飛びの影響を軽減でき、以って認識精度を向上させる。【解決手段】イメージＲＧＢ分離処理部２２は、媒体を撮影したカラー画像から、各画素に、ＲＧＢ（赤緑青）の各色成分を抽出して、赤分離イメージ、緑分離イメージ、青分離イメージを生成する。ＲＧＢイメージ統合部２４は、上記赤分離イメージ、緑分離イメージ、青分離イメージの３つの分離イメージを重ね合わせて、各画素それぞれについて、３つの中で最も階調値が小さいもの（最も暗いもの）を採用することで、統合イメージを生成する。この統合イメージを用いて、２値化、文字認識を行う。【選択図】図２

Description

本発明は、光学的文字認識装置に関する。

昨今、金融機関等から、口座開設時の氏名、住所等のエントリ補助、法令化された経済制裁対象者との突き合わせ等の目的で、本人確認証の券面の記載事項をＯＣＲ（Optical Character Recognition/Reader；光学的文字認識）によって認識したいという要望が挙がっている。尚、ＯＣＲは、手書きや印刷された文字を、イメージスキャナやデジタルカメラによって読み取って、コンピュータが利用できるデジタルの文字コードに変換する技術である。

ＯＣＲでは、２値化処理（文字を黒、その他を白）を行う。これは、１画素毎に所定の閾値より暗ければ黒、明るければ白と判定している。２値化の結果、黒い部分を文字と見做して文字認識を行っている。

また、特許文献１、２に開示の従来技術が知られている。
特許文献１には、ＲＧＢ３色のグレースケールについて開示されている。

特許文献２には、文字認識の前処理に関して、入力画像のグレースケール化を行うことが開示されている。

特開２０１４−１９２８５９号公報 特開２０１６−９１１８９号公報

上述したように、金融機関等から本人確認証券面の記載内容のＯＣＲ読取りを要望されているが、本人確認証の一例である在留カード等には、偽造防止を目的に、券面にホログラム処理が施されている。

ＯＣＲを行うには、イメージスキャナ（光学式読み取り装置）で読み取りを行うが、イメージスキャナは光を当てて読み取ることから、ホログラム部分に光が反射する。このため、読み取ったイメージ上で白飛びを起こし、券面に印刷された文字が消えてしまい、ＯＣＲに必要な文字等の有意情報が消失する。

本発明の課題は、ホログラム処理が施されている媒体の文字認識を行う際に、白飛びの影響を軽減でき、以って認識精度を向上させることができる光学的文字認識装置等を提供することである。

本発明の光学的文字認識装置は、下記の各構成を有する。
・取得した画像イメージから、その各画素に３原色の各色成分を抽出して成る３つの分離イメージを生成する分離イメージ生成部；
・各画素に、その画素に係わる前記３つの分離イメージの各階調値の中で最も小さい階調値を採用することで、統合イメージを生成する統合イメージ生成部；
・該統合イメージを２値化した２値化イメージを生成する２値化イメージ生成部；
・該２値化イメージを用いて文字認識する文字認識部。

本発明の光学的文字認識装置等によれば、ホログラム処理が施されている媒体の文字認識を行う際に、白飛びの影響を軽減でき、以って認識精度を向上させることができる。

本例のＯＣＲ（光学的文字認識装置）の概略構成図である。 本例の光学的文字認識装置の機能ブロック図である。 （ａ）はカラー画像の一例、（ｂ）は従来の２値化結果を示す図である。 （ａ）は赤分離イメージ、（ｂ）は緑分離イメージの具体例である。 （ａ）は青分離イメージ、（ｂ）は統合イメージの具体例である。 ２値化イメージの具体例である。 情報処理装置の全体処理フローチャート図である。 ステップＳ１１の詳細フローチャート図である。 ステップＳ１２の詳細フローチャート図である。 情報処理装置のハードウェア構成図である。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本例のＯＣＲ（光学的文字認識装置）の概略構成図である。

図示の例のＯＣＲ１は、イメージ読取装置１０と情報処理装置２を有する。イメージ読取装置１０と情報処理装置２は通信線３により接続されており、イメージ読取装置１０で読み取った画像情報は、通信線３を介して情報処理装置２に転送される。なお、この例に限らず、情報処理装置２単体をＯＣＲ（光学的文字認識装置）と見做しても構わない。

イメージ読取装置１０は、台座１１と撮像部１２を有し、台座１１上に置かれた認識対象物の画像イメージを、撮像部１２により光学的に読取る。認識対象物は、本例ではホログラム処理が施されている媒体（特にホログラム付き本人確認証（在留カードなど））を想定する。撮像部１２は、例えばデジタルカメラやイメージスキャナ等である。

上記のように撮像部１２で読み取った画像イメージは、通信線３を介して情報処理装置２に転送される。情報処理装置２は、この画像イメージに基づいて文字認識を行うことで、認識対象物の記載事項を示す文字コードを生成する。上記画像イメージには、上記ホログラムの影響により、一部に白飛びが生じている可能性があるが、本例の情報処理装置２は、この様な画像データであっても正常に文字認識することができる。
尚、上記画像イメージは、カラー画像（ＲＧＢ画像）であるものとする。

ここで、情報処理装置２は、例えば不図示のＣＰＵ等の演算プロセッサ、メモリ等の記憶部、ディスプレイ等の表示部、キーボード／マウス等の操作部、インタフェース等を有する一般的なコンピュータ装置である。記憶部に予め記憶されている所定のアプリケーションプログラムを、演算プロセッサが実行することで、例えば以下に説明する図２の各種処理機能部が実現される。

図２は、情報処理装置２（その制御部）の機能ブロック図である。
情報処理装置２は、図示の制御部２０を有する。制御部２０は、例えば上記不図示の演算プロセッサと記憶部から成る。

情報処理装置２（その制御部２０）は、イメージ読取制御部２１、イメージＲＧＢ分離処理部２２、ＲＧＢ濃度判定部２３、ＲＧＢイメージ統合部２４、２値化イメージ作成処理部２５、文字認識処理部２６の各種処理機能部を有する。これら処理機能部のうち、イメージ読取制御部２１、２値化イメージ作成処理部２５、文字認識処理部２６は、既存の一般的な処理機能部であり、その説明は簡略化するものとする。

イメージ読取制御部２１は、イメージ読取装置１０（その撮像部１２）で読み取った上記認識対象物の画像イメージを取得して、所定の記憶領域（イメージ格納メモリ２７）に一時的に格納する。

イメージＲＧＢ分離処理部２２は、上記イメージ格納メモリ２７に格納された画像イメージ（カラー画像）を、ＲＧＢ（赤緑青）の色チャネル毎に分離してグレースケール化した３つの画像イメージを生成する。つまり、カラー画像の赤成分を抽出した赤画像のグレースケール画像（赤分離イメージと呼ぶものとする）を生成する。同様にして、カラー画像の緑成分を抽出した緑画像のグレースケール画像（緑分離イメージと呼ぶものとする）を生成する。カラー画像の青成分を抽出した青画像のグレースケール画像（青分離イメージと呼ぶものとする）を生成する。

生成した上記赤分離イメージ、緑分離イメージ、青分離イメージは、それぞれの所定の記憶領域（分離イメージ格納メモリ（Ｒ）２８、分離イメージ格納メモリ（Ｇ）２９、分離イメージ格納メモリ（Ｂ）３０）に、一時的に格納する。

ＲＧＢ濃度判定部２３は、上記赤分離イメージ、緑分離イメージ、青分離イメージそれぞれについて、その全ての画素それぞれの濃度を示す階調値を認識・記録する。

ＲＧＢイメージ統合部２４は、上記赤分離イメージ、緑分離イメージ、青分離イメージの３つの分離イメージを重ね合わせて、各画素それぞれについて、３つの中で最も階調値が小さいもの（最も暗いもの）を採用することで、統合イメージを生成する。生成した統合イメージは、所定の記憶領域（統合後イメージ格納メモリ３１）に一時的に格納する。

２値化イメージ作成処理部２５は、上記統合イメージから２値化イメージを生成する。これは、統合イメージの各画素それぞれについて、その階調値を所定の閾値と比較して、階調値が閾値未満であれば黒、閾値以上であれば白と判定することで、２値化イメージを生成する。

文字認識処理部２６は、上記２値化イメージに基づいて文字認識を行う。これについては既存の一般的な技術であるので、特に説明しない。尚、文字認識処理部２６による文字認識結果は、文字認識結果格納メモリ３２に格納される。

ここで、上記撮像部１２で読み取った認識対象物の画像イメージ（カラー画像）は、白飛びが発生していた場合、この白飛びが文字の一部に影響して、２値化の結果に問題が生じて、その結果として誤認識する場合がある。一例を図３に示す。

図３（ａ）にはカラー画像の一例を示し、その２値化結果（従来技術の場合）を図３（ｂ）に示す。

図３（ａ）には文字「Ｍ」が示されると共に、ホログラムの影響によりこの文字「Ｍ」の中央付近に白飛びが発生した例を示している。この白飛びにより中央付近は白色となっており、更にこの白飛びの影響により付近の文字「Ｍ」の一部（真ん中の谷部分から右側の山部分に掛けて）が、図では分からないが赤み掛かった色に変化している（本来は黒色である）。但し、これは一例であり、ホログラムの影響は、周囲環境等に応じて、様々な形となり、ここでは赤み掛かった色に変化するものとしたが、青み掛かった色や緑掛かった色に変化することもある。また、周囲環境が変化することで、例えば午前中は赤み掛かったが、夕方になると青み掛かるようになることも起こり得る。

そして、従来技術であれば、場合によっては、上記赤み掛かった部分が２値化において白と判定される場合がある。この為、従来では、この様な場合、上記図３（ａ）のカラー画像の２値化結果は、例えば図３（ｂ）に示すようになる。図示のように、文字「Ｍ」の一部（真ん中の谷部分から右側の山部分に掛けて）が、黒ではなく白と判定されている。この様に文字の一部が欠けている為、従来では、文字認識結果が異常となる（Ｍ以外の文字と認識される）場合がある。

これに対して、上記本手法によれば、上記赤み掛かった箇所の各画素に関して、上記赤分離イメージ、緑分離イメージ、青分離イメージの中で最も階調値が小さい（黒に近い）ものが採用される。赤み掛かっているので、赤分離イメージに関しては階調値が比較的大きくなる（閾値よりも白に近くなる）可能性が高いが、緑分離イメージと青分離イメージの何れか一方または両方が、階調値が比較的小さくなる（閾値よりも黒に近くなる）ことが期待できる。従って、赤分離イメージ、緑分離イメージ、青分離イメージの中で最も階調値が小さいものを採用することで、上記２値化イメージ作成処理部２５において黒と判定される可能性が高くなる。これより、２値化が正常に行われ、以って文字認識結果が正常となる可能性が高くなることが期待できる。

図４〜図６に、上記図３（ａ）の例に応じた赤分離イメージ、緑分離イメージ、青分離イメージ、統合イメージ、２値化イメージの具体例を示す。

尚、図４、図５において、０〜２５５の範囲内の様々な数値が多数示されているが、これらは各画素の濃度を示す階調値である。階調値は、２５５が白、０が黒である。更に、階調値が比較的低い画素（２値化で黒と判定されるべき画素）は、黒や濃いグレーにして示している。

図４（ａ）には図３（ａ）の例に応じた赤分離イメージを示す。図４（ｂ）には図３（ａ）の例に応じた緑分離イメージを示す。図５（ａ）には図３（ａ）の例に応じた青分離イメージを示す。これらの３つの図面において、斜線部分は、階調値が２５５である画素を示す。ここでは、白飛びの影響により階調値が２５５となるものとする。また、白飛びの影響により、文字部分（黒部分）が本例では赤み掛かる為に、特に赤分離イメージに関しては、文字「Ｍ」の一部（真ん中の谷部分から右側の山部分に掛けて）の画素が、階調値が比較的大きくなっている（よって、２値化で白と誤判定される可能性が高い）。尚、図５（ａ）には斜線部分は無い（階調値が２５５である画素は無い）。

上記のことから、この例の場合、赤分離イメージは白飛びの影響を比較的大きく受けており、青分離イメージは白飛びの影響が比較的小さいものと言うことができる。これは、上記のように、この例の場合、文字部分（黒部分）に対する白飛びの影響の仕方が、赤み掛かったものとなる為である。

図５（ｂ）には、上記図４（ａ）（ｂ）、図５（ａ）に応じた上記統合イメージの具体例を示す。上記のように、各画素位置に、上記赤分離イメージ、緑分離イメージ、青分離イメージの中で最も階調値が小さいものを採用する。仮に、左上角の画素位置を例にして、赤は‘２１４’、緑は‘２２７’、青は‘２０８’であるとした場合、青が最も小さいので、図５（ｂ）の統合イメージの左上角の画素の階調値は‘２０８’となる。例えばこのようにして、統合イメージの全ての画素の階調値が決定される。

図６に、図５（ｂ）の統合イメージを２値化した２値化データの具体例を示す。
図示のように、特に文字「Ｍ」の一部（真ん中の谷部分から右側の山部分に掛けて）の画素群について、白飛びの影響を受けても黒と判定される可能性を高めることができる。

以下、図７、図８、図９のフローチャート図について説明する。
図７は、情報処理装置２の制御部２０の全体処理フローチャート図である。

図７の処理では、まず、イメージ読取制御部２１によって上記認識対象物の画像イメージがイメージ格納メモリ２７に一時的に格納された後、この画像イメージ（カラー画像）から、ＲＧＢ（赤緑青）３色の各色成分を抽出して成る、３種類のグレースケール画像を生成する（ステップＳ１１）。つまり、入力カラー画像の赤成分を抽出したグレースケール画像（上記赤分離イメージ）、入力カラー画像の緑成分を抽出したグレースケール画像（上記緑分離イメージ）、入力カラー画像の青成分を抽出したグレースケール画像（上記青分離イメージ）を作成する。

続いて、上記３つのグレースケール画像を重ね合わせて各画素に最も階調値が小さいものを採用したグレースケール画像（上記統合イメージ）を作成する（ステップＳ１２）。

最後に、ステップＳ１２で生成した上記統合イメージに対して２値化を行って成る２値化イメージを生成し、この２値化イメージを用いて文字認識を実行する（ステップＳ１３）。

上記処理によれば、特に、ホログラム処理を施された媒体に対するＯＣＲ処理において、カラー画像では白飛びの影響を受けていた画素が、色成分に分解することで再現可能となり（２値化で黒と判定されるようになり）、以って誤認識を防止／抑止できるようになる。

図８は、上記ステップＳ１１のＲＧＢイメージ分離処理の詳細フローチャート図である。

図示の例では、まず、イメージ読取装置１０（その撮像部１２）によって、認識対象物（本例では特にホログラム付き本人確認証（在留カードなど）を想定する）の画像イメージを読取らせる（ステップＳ２１）。そして、イメージ読取制御部２１が、この画像イメージ（カラー画像）を取得してイメージ格納メモリ２７に一時的に格納する（ステップＳ２２）。

その後は、この画像イメージの各画素を順次処理対象として、処理対象画素についてステップＳ２５の処理を実行することを、全ての画素を処理対象とするまで繰り返し実行する。処理対象画素の決定方法は、例えば、画像イメージの上から順に１ライン（１行）ずる処理対象ラインとし（ステップＳ２３）、処理対象ラインの各画素について左端の画素から右端の画素まで順に処理対象画素（参照画素）とする（ステップＳ２４）。

そして、ステップＳ２５では、下記の処理を行う。
・処理対象画素の赤色（Ｒ）成分の濃度値（階調値）を、分離イメージ格納メモリ（Ｒ）２８の該当格納アドレスに格納する。尚、該当格納アドレスは例えばシリアル（例えばA000、A001、A002、・・・等）に決める。尚、この処理は、上記赤分離イメージを生成して分離イメージ格納メモリ（Ｒ）２８に格納する処理に相当する。

・処理対象画素の緑色（Ｇ）成分の濃度値（階調値）を、分離イメージ格納メモリ（Ｇ）２９の該当格納アドレスに格納する。尚、該当格納アドレスは例えばシリアル（例えばB000、B001、B002、・・・等）に決める。尚、この処理は、上記緑分離イメージを生成して分離イメージ格納メモリ（Ｇ）２９に格納する処理に相当する。

・処理対象画素の青色（Ｂ）成分の濃度値（階調値）を、分離イメージ格納メモリ（Ｂ）３０の該当格納アドレスに格納する。尚、該当格納アドレスは例えばシリアル（例えばC000、C001、C002、・・・等）に決める。尚、この処理は、上記青分離イメージを生成して分離イメージ格納メモリ（Ｂ）３０に格納する処理に相当する。

尚、図示のＳ２４Ｒ、Ｓ２３Ｒは、ステップＳ２４−Ｓ２４Ｒ間のループ処理、ステップＳ２３−Ｓ２３Ｒ間のループ処理を意味する。ステップＳ２４−Ｓ２４Ｒ間のループを抜ける条件は、右端の画素までステップＳ２５の処理を実行したことである。ステップＳ２４−Ｓ２４Ｒ間のループを抜ける毎に、ステップＳ２３−Ｓ２３Ｒの処理によって次の処理対象ラインを決定し、当該次の処理対象ラインについてステップＳ２４−Ｓ２４Ｒ間のループ処理を実行する。ステップＳ２３−Ｓ２３Ｒ間のループを抜ける条件（本処理の終了条件にもなる）は、全ての画素についてステップＳ２５の処理を実行したことである。

図９は、上記ステップＳ１２のＲＧＢイメージ統合処理の詳細フローチャート図である。

図示の処理例では、赤分離イメージ、緑分離イメージ、青分離イメージの３つについて順次、処理対象画素（参照画素）を決めて、３つの参照画素を用いてステップＳ３４の処理を実行する。これを、全ての画素を参照画素としてステップＳ３４の処理を実行するまで繰り返す。

参照画素の決定方法は、例えば、赤分離イメージ、緑分離イメージ、青分離イメージそれぞれについて、そのイメージの上から順に１ライン（１行）ずつ処理対象ラインとし（ステップＳ３１）、更に、現在の処理対象ラインの各画素について左端の画素から右端の画素まで順に参照画像とする（ステップＳ３２）。そして、ＲＧＢそれぞれの現在の参照画素の濃度値（階調値）を、例えばバッファ等に一次的に記憶する（ステップＳ３３）。

そして、ステップＳ３４では、下記の処理を行う。
上記バッファ等に一時的に記憶された上記ＲＧＢそれぞれの現在の参照画素の濃度値を取り出して、この３つの濃度値同士を比較して最も値が小さい（暗い）ものを取得して、この濃度値を統合後イメージ格納メモリ３１の該当アドレスに格納する。尚、該当格納アドレスは例えばシリアル（例えばD000、D001、D002、・・・等）に決める。

尚、参照画素の決定方法は、図示の例に限るものではなく、例えば分離イメージ格納メモリ（Ｒ）２８、分離イメージ格納メモリ（Ｇ）２９、分離イメージ格納メモリ（Ｂ）３０それぞれについて、先頭アドレスから順に処理対象アドレスとして、現在の処理対象アドレスの格納データ（濃度値）を、例えば上記バッファ等に一次的に記憶するようにしてもよい。例えば、上記アドレスA000,B000,C000の各格納データ（濃度値；階調値）が、バッファに記憶されて、上記ステップＳ３４によりこれら各濃度値同士が比較されることになる。同様にして、例えば、上記アドレスA001,B001,C001の各格納データ（濃度値）が、バッファに記憶されて、上記ステップＳ３４によりこれら各濃度値同士が比較されることになる。

尚、図示のＳ３２Ｒ、Ｓ３１Ｒは、ステップＳ３２−Ｓ３２Ｒ間のループ処理、ステップＳ３１−Ｓ３１Ｒ間のループ処理を意味する。ステップＳ３２−Ｓ３２Ｒ間のループを抜ける条件は、右端の画素までステップＳ３３，Ｓ３４の処理を実行したことである。ステップＳ３２−Ｓ３２Ｒ間のループを抜ける毎に、ステップＳ３１−Ｓ３１Ｒの処理によって次の処理対象ラインを決定し、当該次の処理対象ラインについてステップＳ３２−Ｓ３２Ｒ間のループ処理を実行する。ステップＳ３１−Ｓ３１Ｒ間のループを抜ける条件（本処理の終了条件にもなる）は、全ての画素についてステップＳ３３，Ｓ３４の処理を実行したことである。

図１０は、上記情報処理装置２のハードウェア構成図である。
図示の例では、情報処理装置２は、ＣＰＵ４１等の演算プロセッサ、記憶部４２、Ｉ／Ｆ部４３、入力装置４４、出力装置４５等を有し、これらがバス４６に接続されている。

ＣＰＵ４１は、情報処理装置２全体を制御する中央処理装置である。記憶部４２は、例えばＨＤＤ（ハードディスクドライブ）、ＲＯＭ、ＲＡＭ等である。Ｉ／Ｆ部４３は、例えば通信線３に接続して、イメージ読取装置１０とのデータ送受信を行う為のインタフェースである。入力装置４４は、例えばキーボード、マウス等であり、例えばユーザは入力装置４４を操作して任意の指示（例えば文字認識実行指示）等を入力する。出力装置４５は例えばディスプレイ等であり、例えば文字認識結果等を表示する。

記憶部４２（ＨＤＤやＲＯＭ等）には、予め所定のアプリケーションプログラムが記憶されている。ＣＰＵ４１が、このアプリケーションプログラムを読出し・実行することで、例えば図２に示す各種処理機能部２１〜２６や図７、図８、図９のフローチャート図の処理が実現される。

以上説明したように、本例のＯＣＲ（光学的文字認識装置）によれば、特に任意のホログラム付き媒体を撮影したカラー画像に基づいて、この媒体上の記載事項を文字認識する場合において、白飛びの影響を軽減でき、以って認識精度を向上させることができる。

１ ＯＣＲ（光学的文字認識装置）
２ 情報処理装置
３ 通信線
１０ イメージ読取装置
１１ 台座
１２ 撮像部
２０ 制御部
２１ イメージ読取制御部
２２ イメージＲＧＢ分離処理部
２３ ＲＧＢ濃度判定部
２４ ＲＧＢイメージ統合部
２５ ２値化イメージ作成処理部
２６ 文字認識処理部
２７ イメージ格納メモリ
２８ 分離イメージ格納メモリ（Ｒ）
２９ 分離イメージ格納メモリ（Ｇ）
３０ 分離イメージ格納メモリ（Ｂ）
３１ 統合後イメージ格納メモリ
３２ 文字認識結果格納メモリ
４１ ＣＰＵ
４２ 記憶部
４３ Ｉ／Ｆ部
４４ 入力装置
４５ 出力装置
４６ バス

Claims (4)

1. 取得した画像イメージから、その各画素に３原色の各色成分を抽出して成る３つの分離イメージを生成する分離イメージ生成部と、
   各画素に、その画素に係わる前記３つの分離イメージの各階調値の中で最も小さい階調値を採用することで、統合イメージを生成する統合イメージ生成部と、
   該統合イメージを２値化した２値化イメージを生成する２値化イメージ生成部と、
   該２値化イメージを用いて文字認識する文字認識部と、
   を有することを特徴とする光学的文字認識装置。
2. 前記画像イメージは、任意のホログラム付き媒体を撮影したカラー画像であることを特徴とする請求項１記載の光学的文字認識装置。
3. 前記３つの分離イメージは、取得した画像イメージから赤、緑、青の各色成分を抽出した各グレースケール画像である赤分離イメージ、緑分離イメージ、青分離イメージであることを特徴とする請求項１または２記載の光学的文字認識装置。
4. コンピュータを、
   取得した画像イメージから、その各画素に３原色の各色成分を抽出して成る３つの分離イメージを生成する分離イメージ生成部と、
   各画素に、その画素に係わる前記３つの分離イメージの各階調値の中で最も小さい階調値を採用することで、統合イメージを生成する統合イメージ生成部と、
   該統合イメージを２値化した２値化イメージを生成する２値化イメージ生成部と、
   該２値化イメージを用いて文字認識する文字認識部、
   として機能させる為のプログラム。