JP2023046687A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】文字領域の特定精度を向上させること。【解決手段】情報処理装置において、文書画像データ内から文字列領域を抽出し、単位文字領域ごとにそこに含まれる文字が手書き文字であるか、活字であるかを判定する。判定結果に応じて手書き文字用の認識辞書を用いたＯＣＲ（手書き文字ＯＣＲ）又は活字用の認識辞書を用いたＯＣＲ（活字ＯＣＲ）を実行する。文字領域再生成の対象となる文字領域（以下、補正対象領域）を特定、および、単位文字領域の再生成で必要となる活字の単位文字領域である基準文字領域の選択を行い、選択された基準文字領域から探索のサイズを決定する。基準文字領域によって決定された探索サイズに基づいて、補正対象領域において活字の探索を行い、単位文字領域を再生成する。【選択図】図７

Description

本発明は、画像から文字を抽出する文字認識技術に関する。

従来、文字を含む原稿をスキャンして得られたスキャン画像に対して文字認識処理を行い、コンピュータが利用可能な文字コードに変換する技術である、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理が広く知られている。ＯＣＲ処理を用いることで、一般的なオフィスで実施されている経費精算業務に代表される紙媒体の帳票をデジタルデータに変換する作業を自動化することが可能になり、データ入力業務における生産性の向上が期待されている。

経費精算業務において取り扱われる領収書においては、印字された定型のフォーマットに手書き文字が記入されることが多く、活字と手書き文字とが混在するものが多い。例えば店舗で発行される領収書は、予め印刷された金額、日付、但し書きなどの記入欄に対して手書きで文字が記入される。

一般に、活字と手書き文字とでは文字認識の処理が異なるため、活字と手書き文字とが混在する文書画像に対しては、活字と手書き文字とを正しく判別し、それぞれに対し適切な文字認識処理を実施する必要がある。

特許文献１では、まず文字の形状によって手書き活字判定を行い、活字と判定された文字については活字認識が行われ、手書き文字と判定された文字については手書き文字認識が行われる。そして、そのそれぞれの文字認識の信頼度が所定の閾値よりも高ければその結果を採用し、信頼度が所定の閾値よりも低ければ、もう一方の文字認識手段を用いて文字認識を行い、２つの文字認識結果のうち信頼度の高い方を選択する。これにより、活字と手書き文字を含む文書画像に対する文字認識処理結果の信頼度を高めている。

特開２００１－１４３０２０号公報 特開２０１０－２１８１０６号公報

しかしながら、特許文献１の方法では、文字領域の特定、すなわち文字切りが失敗した場合、一文字ごとに正しく手書き活字判定ができず、文字認識精度が低下するという課題がある。例えば、図８に示す「発行日 年 月 日」の活字と、「２０２４」、「６」、「２１」の手書き文字とが記載された文字列では、距離が近い手書き文字の「４」と活字の「年」とを一文字とする間違った文字切りがなされる場合がある。このように文字領域の特定に失敗すると、特許文献１の方法では、「４年」に対応する文字領域に対して手書き活字判定を行うことになり、手書きと判定しても、活字と判定しても、その後の文字認識処理は失敗することになる。

そこで本発明は、文字領域の特定精度を向上させることを目的とする。

本発明は、情報処理装置であって、文書を読み取って得られた読み取り画像に含まれる複数の文字からなる文字列領域から前記複数の文字のそれぞれに対応する単位文字領域の候補を抽出する抽出手段と、前記単位文字領域の候補に対して手書き文字用又は活字用の文字認識処理を行い、文字認識結果およびその信頼度を得る認識手段と、前記単位文字領域のうち、前記文字認識結果の信頼度が所定の閾値以上の単位文字領域の候補を除く単位文字領域の候補を、基準となる単位文字領域の候補を用いて補正する補正手段と、を備え、前記基準となる単位文字領域の候補は、前記認識手段が行った前記活字用の文字認識処理により得られた文字認識結果の信頼度が所定の閾値以上である単位文字領域の候補である、ことを特徴とする。

本発明によれば、文字領域の特定精度を向上させることが出来る。

文字認識装置を含むシステム構成を示す図である。 情報処理装置のＵＩを実現する操作パネルの一例を示す図である。 第１の実施形態の文字認識装置を実現するためのソフトウエア構成を示す図である。 文字認識処理を含むシステムの処理プロセスを説明する図である。 処理対象とする文書の一例を示す図である。 文書画像からの項目抽出を実現する画面の一例を示す図である。 文字認識のプロセスを説明する図である。 手書き活字混在文字列における文字切り出しの結果を示す図である。 文字領域再生成のプロセスを説明する図である。 （ａ）は文字領域再生成の対象領域内で、活字領域を探索する様子を示す図であり、（ｂ）は文字領域再生成の結果の示す図である。 （ａ）は第２の実施形態における手書き活字判定の結果を示す図であり、（ｂ）は、第２の実施形態における文字領域再生成の対象領域を生成する様子を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。なお、実施形態は本発明を限定するものではなく、また、実施形態で説明されている全ての構成が本発明の課題を解決するため必須の手段であるとは限らない。

＜第１の実施形態＞
［システム構成］
図１は、第１の実施形態に係る情報処理システムを示す図である。情報処理システムは、読み取り装置１００と、情報処理装置１１０とを有している。読み取り装置１００は、スキャナ１０１と、読み取り装置側通信部１０２とを有している。スキャナ１０１は、文書の読み取りを行い、スキャンした文書画像データを生成する。読み取り装置側通信部１０２は、ネットワークを介して外部装置と通信を行う。

情報処理装置１１０は、システム制御部１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、ＨＤＤ１１４と、表示部１１５と、入力部１１６と、情報処理装置側通信部１１７とを有している。システム制御部１１１は、ＲＯＭ１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、システム制御部１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、各種データや各種プログラム等を記憶する。なお、後述する情報処理装置１１０の機能や処理は、システム制御部１１１がＲＯＭ１１２またはＨＤＤ１１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

情報処理装置側通信部１１７は、ネットワークを介して外部装置との通信処理を行う。

表示部１１５は、情報処理装置１１０上で処理される各種情報を表示する。表示部１１５としては、複合機（ＭＦＰ：Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）に搭載される図２に示すような操作パネル２０１、もしくはＰＣのディスプレイ等であってもよい。なお表示部１１５は情報処理装置１１０に内蔵されていなくてもよく、情報処理装置１１０に接続された外部ディスプレイでもよい。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、表示部１１５と入力部１１６は、タッチパネルのように一体に設けられてもよい。また、表示部１１５は、プロジェクタによる投影を行うものであってもよく、入力部１１６は、投影された画像に対する指先の位置を、カメラで認識するものであってもよい。

本実施形態においては、読み取り装置１００のスキャナ１０１が帳票等の紙文書を読み取り、スキャン画像データを生成する。スキャン画像データは、読み取り装置側通信部１０２により情報処理装置１１０に送信される。情報処理装置１１０では、情報処理装置側通信部１１７がスキャンした文書画像データを受信し、当該画像をＨＤＤ１１４などの記憶装置に記憶する。なお、表示部１１５と入力部１１６の一部機能が読み取り装置１００にあってもよい。

［ＵＩ］
図２は、本実施形態における情報処理装置１１０の表示部１１５に表示されるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を示す図である。操作パネル２０１は、ＭＦＰ等において表示部１１５を実現する構成例である。操作パネル２０１は、タッチパネル２０２及び物理キーからなるテンキー２０３を備える。図２では、タッチパネル２０２の左上にログイン中のユーザＩＤ、メインメニューなどが表示される。

本実施形態におけるＵＩは、図６に示すような処理対象の文書画像データからの情報抽出結果をユーザに提供するための一手段としても機能するものであり、タッチパネル２０２上で提供される。文書画像データからの情報抽出結果の表示は、タッチパネル２０２に限定されず、ＰＣのディスプレイを用いて実行しても良い。

［ソフトウエア構成］
図３は、情報処理装置１１０上で文字認識装置３００を実現するソフトウエア構成を示す図である。文字認識装置３００は、処理結果提供部３０１の有する各手段（３０３）と文字認識結果生成部３０２の有する各手段（３０４～３１２）から構成される。

処理結果提供部３０１は、文字認識結果生成部３０２の処理結果をユーザに提示する表示制御部であって、例えば前述のタッチパネル２０２やＰＣのディスプレイに表示するユーザインターフェースを制御する。処理結果提供部３０１は、文字認識結果生成部３０２が有する項目抽出手段３０７によって得られた文字認識結果を表示部１１５に表示させる認識結果表示手段３０３を含む。

文字認識結果生成部３０２は、情報処理装置１１０に入力された文書画像データを対象として文字認識を実行し、文字認識結果を生成、さらには抽出対象の項目名に対応する項目値を処理対象の文書画像データから抽出する装置である。文字認識結果生成部３０２は、画像処理手段３０４、手書き文字認識手段３０５、活字認識手段３０６、項目抽出手段３０７、文字列領域抽出手段３０８、および文字領域切り出し手段３０９を含む。さらに文字認識結果生成部３０２は、文字認識の精度を向上させるための手段として、手書き活字判定手段３１０、基準文字選択手段３１１、文字領域再生手段３１２を含む。

画像処理手段３０４は、入力された文書画像データに対して文字認識処理が実行できるように前処理を行う。文字列領域抽出手段３０８は、文書画像データから文字列文字領域を抽出する。文字領域切り出し手段３０９は、抽出された文字列領域から認識対象の一文字ごとの単位文字領域を切り出す。

手書き文字認識手段３０５は、切り出された単位文字領域について手書き文字用の認識辞書を用いて文字コードに変換（文字認識処理）を行う。活字認識手段３０６は、切り出された単位文字領域について活字用の認識辞書を用いて文字コードに変換（文字認識処理）を行う。項目抽出手段３０７は、文字認識結果として得られた文字列からユーザが必要とする項目を特定する。

手書き活字判別手段３１０は、文字領域切り出し手段３０９によって切り出された単位文字領域ごとにその領域に存在する文字が手書き文字か活字かを判別する手段である。基準文字選択手段３１１は、各文字領域において、切り出された単位文字領域の中から基準文字領域を選択する手段である。この基準文字領域は、手書き活字判別手段３１０によって手書き文字もしくは活字と確定的に判定できなかった単位文字領域から、活字領域を特定するのに用いられる。この活字領域特定の詳細な処理のステップについては、図７～図１０を用いて後述する。文字領域再生成手段３１２は、手書き活字判別手段３１０によって手書き文字もしくは活字と確定的に判定できなかった単位文字領域を対象として、基準文字領域に基づき単位文字領域を再生成する手段である。この再生成の具体的なステップについては後に図９を用いて説明する。

［処理フロー］
図４は、読み取り装置１００によって文書を読み取ることで得られた文書画像データが情報処理装置１１０に入力され、文書画像データに対する文字認識処理の結果をユーザが確認および修正し、確定した文字列を登録する処理を示したフローチャートである。

まずＳ４００において、情報処理装置１１０が、読み取り装置１００によって文書を読み取ることで得られた文書画像データを取得する。読み取り対象の文書は例えば、図５に示すような領収書５００である。

Ｓ４０１において、画像処理手段３０４が、文書画像データに含まれる文字列の記述方向を検知することによって文字領域の傾きを補正する。

Ｓ４０２において、画像処理手段３０４が、グレースケールの文書画像データに対してある閾値を持って二値化を行う。

Ｓ４０３において、画像処理手段３０４が、文書画像データから文字認識に不要な罫線を除去する。これらＳ４０１～Ｓ４０３までのステップで行われる処理は、Ｓ４０４の文字認識を正確に実行するための前処理となる。

Ｓ４０４において、これらの前処理が適用された文書画像データに対して文字認識処理が行われる。ここでは、まず文字列領域抽出手段３０８による文字列領域の抽出、文字領域切り出し手段３０９による単位文字ごとの領域切り出し、手書き活字判別手段３１０による文字領域ごとの手書き活字判定を行う。そして、手書き文字認識手段３０５、活字認識手段３０６による文字認識処理、基準文字選択手段３１１による基準文字領域の選択および文字領域再生成手段３１２による単位文字領域の再生成を含む。最終的には文書画像データに含まれる文字領域に対する文字認識結果として文字コードが得られる。

Ｓ４０５において、項目抽出手段３０７が、ユーザが必要とする項目値を文字認識結果として得られた文字列内から抽出する。図５に示す領収書を例に取ると、項目値とは例えば「電話番号」や「金額」といった、予め設定された後のＳ４０７でシステムに登録する項目を指す。図６は、該項目抽出の際にユーザに提示されるＵＩ画面の一例を示したものである。ＵＩ画面６００は、処理対象の文書画像データのプレビュー表示領域６０１、抽出対象となる項目名６０２、プレビュー表示領域６０１に表示された文書画像データから抽出された項目値６０３である。項目値の抽出処理は、例えばユーザがプレビュー表示領域６０１に表示された文書画像データ６０１に対して、抽出対象の項目値が記載されている位置を指示することによって実現される。もしくは、項目名６０２に設定された項目に関連する項目値に相当する文字列を文書画像データから抽出された文字列内で検索し、予め定義された項目名と項目値の位置関係に基づき、検索された項目名に対応する位置から必要な項目値を抽出する。これによりユーザの指示なしに自動で抽出することも可能である。例えば、項目名６０２が「金額」の項目値“￥１１，２８６”を抽出する場合、処理対象の文書の種別（この場合は領収書）が「領収金額」であった場合、そこに含まれる“金額”などの文字列を文書画像データにおいて検索する。その結果、文書画像データにおいて“金額”と文字認識された文字領域が見つかると、情報処理装置１１０において予め定義された“金額”の文字領域とそれに対応する項目値が記載された文字領域との位置関係に基づき、項目値に相当する文字列を検索する。この場合は、「“金額”文字列の右側に領収金額の項目値が存在する」というルールに基づいて、“￥１１，２８６”の文字列が項目値として抽出される。以上に示した項目値抽出の方法はあくまで一例であり、ユーザが所望する情報が抽出される方法であれば他の方法を用いてもよい。

Ｓ４０５において、項目値６０３として抽出された文字認識結果である文字列は、認識結果表示手段３０３によって表示部に１１５に表示される。図６に示すように、項目名６０２のそれぞれに対し、対応する１つの文字列を項目値６０３として表示する。その後、ユーザは抽出された項目値６０３として抽出された文字列について確認および修正を行い、確認修正が完了したことを示すチェックボックス６０４にチェックを入れる。

Ｓ４０６において、認識結果表示手段３０３が、全ての項目にチェックが入ったことが検知されると、「次へ」ボタン６０５が有効化されたＵＩ画面を表示させる。ユーザが「次へ」ボタンを押下する、つまり全ての項目の確認修正が終了すると（Ｓ４０６が真）、Ｓ４０７に移行する。

Ｓ４０７において、システムへのデータ登録が行われて全ての処理が終了する。

［文字認識処理］
図４のＳ４０４における文字認識処理の詳細について、図７に示す処理ステップおよび図８の具体例を参照しながら説明する。

まずＳ７００において、文字列領域抽出手段３０８が、文書画像データ内から文字列領域を抽出する。文字列領域の抽出は公知の技術を用いて実現される。例えば、文字部を構成する黒画素の文字列の記載方向と垂直な方向への射影ヒストグラムを求め、その形状や変化量から分割位置を決めて文字列領域とすることができる。この結果、図５に示すような文書からは、図８に示すような「２０２４年６月２４日」という文字列領域が得られる。

Ｓ７０１において、文字領域切り出し手段３０９が、単位文字領域の候補（以降、単に単位文字領域という）の切り出しを行う。これは公知の技術によるもので、例えば、文字部を構成する黒画素の水平方向、または垂直方法への射影ヒストグラムを求め、その形状や変化量から文字列パターンを線形に分割する。その後、切り出したパターンを矩形で囲み、その矩形の面積や縦横比から判断して切り出す方法である。また、文字同士が繋がった接触部分(Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔｓ)に着目して、その形状や接続状態から分割する手法などである。以上のような手法を用いて、一文字であると判定した領域ごとに矩形で分割し、それぞれを単位文字領域とする。図８に示す破線で描かれた矩形は、単位文字領域の切り出しを行った結果の一例である。この文字列は、図５に示す領収書の右上に記載されている「発行日」に対応する項目値を示す文字列である。８０１では、手書き文字である「４」と活字である「年」が近接しており、Ｓ７０１の単位文字領域の切り出しに失敗し、２つの文字が１つの文字領域に含まれてしまった例を示している。

Ｓ７０２において、手書き活字判別手段３１０が、単位文字領域ごとにそこに含まれる文字が手書き文字であるか、活字であるかを判定する。この手書き活字判定に関しても公知の技術を使用すればよく、例えば、文字の画像特徴と幾何特徴からスコアリングを行い、Ｓ７０１で切り出した単位文字領域ごとに手書き文字か活字かを判定する方法がある。なお、単位文字行ごとに手書き文字で構成される文字行か活字で構成される文字行かを判定する公知技術が存在する。しかし本発明では、単位文字領域ごとに手書き文字か活字かを判定することを目的としているので、Ｓ７０２においてこの手法を用いることが出来ない。ただし、ここでの手書き活字判定方法は単位文字領域ごとに手書き文字か活字かを判定する手法であれば他の手法を用いても構わない。図８に示す例では、上記手書き活字判定により、文字列の左側から「２」、「０」、「２」、「６」、「２」、「１」が手書き文字と判定され、「月」、「日」が活字と判定されている。手書き文字と活字を含んだ矩形８０１内の「４年」については、手書き文字、活字、不明のいずれかに判定される。

Ｓ７０３において、手書き文字認識手段３０５が、Ｓ７０２において手書き文字と判定された文字領域に対して手書き文字用の認識辞書を用いたＯＣＲ（手書き文字ＯＣＲ）を実行する。

Ｓ７０４において、活字認識手段３０６が、Ｓ７０２において活字と判定された文字領域に対して活字用の認識辞書を用いたＯＣＲ（活字ＯＣＲ）を実行する。

Ｓ７０３、Ｓ７０４の結果、各単位文字領域の文字画像に対する認識結果として、単位文字領域ごとの文字コードおよび認識結果の信頼度を取得する。図８に示す例では、「２」、「０」、「２」、「６」、「２」、「１」に対して手書き文字ＯＣＲが実行され、「月」、「日」に対して活字ＯＣＲが実行される。「４年」を含む矩形８０１に対しては、Ｓ７０２で手書き文字と判定された場合は手書き文字ＯＣＲ、活字と判定された場合は活字ＯＣＲが実行される。一方「不明」と判定された場合は、この領域に対するＯＣＲ処理をスキップする、もしくは手書き文字ＯＣＲと活字ＯＣＲの両方を実行する。

Ｓ７０５において、文字領域再生成手段３１２が、単位文字領域の再生成の対象となる文字領域（以下、補正対象領域）を特定する。ここでは、Ｓ７０２で手書き文字とも活字とも判定されなかった文字領域、すなわち手書き活字判定が「不明」となった文字領域、またはＳ７０３およびＳ７０４におけるＯＣＲ結果の信頼度が所定の閾値よりも低い文字領域を補正対象領域として特定する。すなわち、ここで特定される文字領域は、手書き文字らしくもなく活字らしくもない文字領域である。図８に示す例では、矩形８０１の文字領域がＳ７０２において「不明」と判定されるか、Ｓ７０３またはＳ７０４で認識結果の信頼度が所定の閾値よりも低くなるため、補正対象領域として特定される。なお、手書き文字ＯＣＲおよび活字ＯＣＲの信頼度の傾向は異なるため、それぞれ別の閾値を設定する。

Ｓ７０６において、文字領域再生成手段３１２が補正対象領域を特定しなかった場合、つまり全ての単位文字領域の認識結果の信頼度が所定の閾値以上と判定された場合は、文字切りに誤りがないと判定し、Ｓ７１１に移行する。

一方、Ｓ７０６において、文字領域再生成手段３１２が補正対象領域を特定した場合、その補正対象領域に対して単位文字領域の再生成処理を行うために、Ｓ７０７に移行する。

Ｓ７０７において、基準文字選択手段３１１が、文字領域の再生成で必要となる基準文字領域の選択を行う。ここでの基準文字領域とは、補正対象領域内で活字を探索するサイズ(以下、探索サイズ)を設定する際の基準となる文字領域であり、Ｓ７０４における活字ＯＣＲにおいて信頼度が高かった文字領域（以下、基準文字領域候補）の中から選択される。基準文字領域は、例えば、補正対象領域を含む同じ文字列に存在する基準文字領域候補の中から選択してもよい。図８に示す例では、基準文字領域候補は、「月」、「日」である。補正対象領域を含む文字列は、文字列領域抽出手段３０８によって抽出された文字列領域であり、図７におけるＳ７００で抽出された文字列領域である。

Ｓ７０８において、文字領域再生成手段３１２が、選択された基準文字領域から探索のサイズを決定する。探索サイズは例えば、基準文字領域の幅と高さのそれぞれの最大値および最小値に基づいて決定する。活字でも文字コードによって文字の幅や高さに幅があることを考慮して、最大値と最小値の間で幅と高さを変化させた複数の探索サイズを決定する。最大値と最小値の差が大きい場合、例えば小文字のアルファベットのような文字高さのレベルが文字コードによって大きく異なる場合は、その最大値と最小値それぞれの周辺で幅と高さを変化させた複数の探索サイズを決定する。

Ｓ７０９において、文字領域再生成手段３１２が、基準文字領域によって決定された探索サイズに基づいて、補正対象領域において活字の探索を行い、単位文字領域を再生成する。この補正対象領域における活字探索処理の詳細については後述する。

Ｓ７１０において、手書き文字認識手段３０５および活字認識手段３０６が、Ｓ７０９で再生成された単位文字領域に対してＯＣＲを行う。ただし、Ｓ７０９において活字領域とされた文字領域１００２については、活字ＯＣＲを行うか、活字領域に対して行ったＳ７０９での活字ＯＣＲ結果を再利用する。一方、補正対象領域のうち活字領域以外の文字領域１００３については、手書き文字である可能性が高いとし、手書き文字ＯＣＲを実行する。Ｓ７０９の結果、補正対象領域において再生成された単位文字領域ごとのＯＣＲ結果である文字コードを得ることが出来る。

Ｓ７１１において、項目抽出手段３０７は、Ｓ７０３、Ｓ７０４、およびＳ７１０の手書き文字ＯＣＲ結果、活字ＯＣＲ結果をそれぞれの単位文字領域の座標の序列に基づいて統合し、Ｓ４０４の文字認識処理を終了する。このＯＣＲ結果の統合は、手書き文字ＯＣＲおよび活字ＯＣＲそれぞれの認識結果と文字領域の座標に基づいて行う。

ここでＳ７０９の補正対象領域における活字探索処理の詳細について説明する。図９に、本実施形態における活字探索処理を説明するフローチャートを示す。図１０（ａ）に図８に示す例における活字探索処理中の様子を示し、図１０（ｂ）にその活字探索処理の結果を示す。探索範囲の初期位置は、周辺の基準文字領域と同一高さ、かつ、単位文字領域を再生成する補正対象領域の右端または左端であり、図１０（ａ）では探索範囲１０００は補正対象領域の右端を初期探索範囲とした例を示している。

まずＳ９００において、Ｓ７０８で定めた探索サイズで補正対象領域内に設定した探索範囲に対して活字ＯＣＲを行い、文字コードおよび認識の信頼度を得る。

Ｓ９０１において、活字ＯＣＲの認識の信頼度が所定の閾値以上であるか否かを判定する。活字ＯＣＲの信頼度が所定の閾値より低い場合、その探索範囲には活字が含まれていないと判定し、Ｓ９０２に移行し、信頼度が所定の閾値以上の場合、Ｓ９０４に移行する。

Ｓ９０２において、補正対象領域内で探索範囲を水平方向に移動（シフト）させる余地が存在するか否かを判定する。補正対象領域内に探索範囲をシフトさせる余地が存在する場合、Ｓ９０３に移行し、シフトさせる余地が存在しない場合、活字探索処理を終了する。

Ｓ９０３において、探索範囲のシフトを行う。探索範囲のシフトは、予め定めた固定幅（例えば５ピクセル）ごとに行う。図１０（ａ）に示す探索範囲１００１は、探索範囲１０００を水平方向左側に数ピクセル移動させた後の様子を示している。探索範囲の位置を移動後、Ｓ９００に戻る。

このように補正対象領域内に探索範囲をシフトさせる余地がなくなる（Ｓ９０２でＮＯ）、または活字ＯＣＲの信頼度が所定の閾値以上となる（Ｓ９０１でＹＥＳ）まで、探索範囲のシフト（Ｓ９０３）、探索範囲に対する活字ＯＣＲ（Ｓ９００）を繰り返す。

またこの探索処理に時間を要するため、探索範囲のピクセル単位のシフトを行わず、探索範囲を補正対象領域の右端と左端とに限定してもよい。

Ｓ９０４において、活字ＯＣＲの信頼度が高いと判定した探索範囲で囲まれる文字領域を新たな活字の単位文字領域であるとし、補正対象領域をこの新たな活字の単位文字領域とそれ以外の領域とに分割する。図１０（ｂ）は、活字探索分割の結果を示したものである。活字ＯＣＲの信頼度が所定の閾値以上である探索範囲１００２を活字の単位文字領域として切り出し、その領域の画素をマスクした状態で残りの文字領域１００３を別の単位文字領域とする。すなわち、補正対象領域を、活字の単位文字領域とその他の残りの領域からなる別の単位文字領域に分割することで、新たな２つの単位文字領域を再生成し、活字探索処理を終了する。

なお、本実施形態では、Ｓ９００～Ｓ９０３のサイクルにおいて、探索範囲をシフトさせて、その都度、探索範囲に対して活字ＯＣＲを行い、活字ＯＣＲの結果の信頼度が所定の閾値以上になるまで繰り返す構成としたが、この方法に限定されない。例えば、探索範囲の候補領域を補正対象領域内から一括で取得し、それら候補領域に対して活字ＯＣＲを一括で実行し、最も信頼度の高い領域を新たな活字の単位文字領域とするようにしてもよい。

以上により、本実施形態における文字認識処理が実現される。上記のように、手書き活字判定、手書き文字ＯＣＲおよび活字ＯＣＲの結果の信頼度が所定の閾値未満の単位文字領域を、新たな単位文字領域を再生成する補正対象領域として特定する。活字ＯＣＲの結果の信頼度が所定の閾値以上である活字の単位文字領域である基準文字領域からサイズを決定した探索範囲ごとに補正対象領域内に対して活字ＯＣＲを行い、その活字ＯＣＲの結果の信頼度を参照しながら新たな活字の単位文字領域を探索する。活字探索処理の結果に基づき、補正対象領域から新たな活字の単位文字領域とその他の残りの領域からなる別の単位文字領域を再生成する。これにより、文字領域の特定精度が向上し、文字認識精度も向上させることが出来る。

＜第２の実施形態＞
第１の実施形態では、文書画像データから抽出された文字列領域に関して単位文字ごとの切り出しを行い、切り出された単位文字領域ごとに手書き文字か活字かを判定した。一方、本実施形態では、細線部ごとに手書き活字判定を行う方法を用いる。手書き文字と活字が混在した画像から細線部を抽出し、抽出した細線部を文字ストロークに分解し、文字ストローク内の画素値のヒストグラムに基づき、その文字ストロークが手書き文字の一部か活字の一部かを判定する（特許文献２参照）。この文字ストロークごとの手書き活字判定を用いる場合は、手書き活字判定の後に文字切りを行い、手書き文字の文字ストロークを含む単位文字領域には手書き文字ＯＣＲを実行し、活字文字の文字ストロークを含む単位文字領域には活字ＯＣＲを実行する。つまり、本実施形態では実施形態１におけるＳ７０１とＳ７０２の順序が逆で、手書き活字判定の後に単位文字領域の切り出しを行うフローとなる。

図１１（ａ）は、活字の一部を手書きの一部と誤判定した際の様態を示したものであり、「年」の一部の文字ストロークが手書き文字の一部と誤判定されている。ここで、矩形１１００には手書き文字の一部と判定された画素が含まれ、矩形１１０１には活字の一部と判定された画素が含まれている。この場合、矩形１１００に対する手書き文字ＯＣＲの結果も、矩形１１０１に対する活字ＯＣＲの結果もともに信頼度の低いものになる。第１の実施形態ではＳ７０５において文字切り後の単位文字領域に対して手書き活字判定を行い、その判定結果が「不明」もしくは手書き文字ＯＣＲおよび活字ＯＣＲの信頼度が低い場合、その単位文字領域を補正対象領域とした。本実施形態では、手書き文字ＯＣＲ結果または活字ＯＣＲ結果の信頼度が低い単位文字領域の中で、単位文字領域間の距離が閾値以下または重なっている単位文字領域を特定し、それら単位文字領域に存在する画素を囲む矩形を補正対象領域とする。図１１（ｂ）に補正対象領域となる矩形１１０３を示す。図１１（ａ）に示す矩形１１００、１１０１、つまり手書き文字の一部と判定された画素を含む単位文字領域および活字の一部と判定された画素を含む単位文字領域は、ともにＯＣＲ結果の信頼度は低く、かつ、図１１（ｂ）に示すように重なっている。そのため、これら矩形１１００、１１０１に外接する矩形１１０３を補正対象領域とする。

以上が本実施形態における単位文字領域を再生成する補正対象領域の特定である。その後は実施形態１と同様、基準文字領域を決定し、基準文字領域から計算された探索サイズに基づいて補正対象領域から活字を探索し、単位文字領域を再生成する。

以上の処理によって、文字ストローク単位の手書き活字判定を行う場合でも、文字領域の特定精度が向上し、文字認識精度を向上させることが出来る。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ 情報処理装置
３００ 文字認識装置
３０１ 処理結果提供装置
３０２ 文字認識結果生成装置

Claims (14)

1. 文書を読み取って得られた読み取り画像に含まれる複数の文字からなる文字列領域から前記複数の文字のそれぞれに対応する単位文字領域の候補を抽出する抽出手段と、
   前記単位文字領域の候補に対して手書き文字用又は活字用の文字認識処理を行い、文字認識結果およびその信頼度を得る認識手段と、
   前記単位文字領域のうち、前記文字認識結果の信頼度が所定の閾値以上の単位文字領域の候補を除く単位文字領域の候補を、基準となる単位文字領域の候補を用いて補正する補正手段と、
   を備え、
   前記基準となる単位文字領域の候補は、前記認識手段が行った前記活字用の文字認識処理により得られた文字認識結果の信頼度が所定の閾値以上である単位文字領域の候補である、
   ことを特徴とする情報処理装置。
2. 前記補正手段は、前記基準となる単位文字領域の候補を用いて、前記補正の対象となる単位文字領域の候補に対して前記活字用の文字認識処理を行って得られる文字認識結果の信頼度に基づき、前記補正の対象となる単位文字領域を新たな活字の単位文字領域の候補を含む新たな複数の単位文字領域の候補に補正する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記補正手段は、前記基準となる単位文字領域の候補の大きさに応じて探索範囲を設定し、前記補正の対象となる単位文字領域の候補に対して前記探索範囲ごとに前記活字用の文字認識処理を行って得られた文字認識結果の信頼度に基づき、前記新たな活字の単位文字領域の候補を決定する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記補正手段は、前記補正の対象となる単位文字領域の候補に対して、前記探索範囲を前記基準となる単位文字領域の候補と同じ高さで水平方向に移動させながら前記活字用の文字認識処理を行う、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記補正手段は、前記基準となる単位文字領域の候補の幅および高さの最大値および最小値に基づき前記探索範囲を決定する、
   ことを特徴とする請求項３又は４に記載の情報処理装置。
6. 前記補正手段は、前記探索範囲ごとに活字用の文字認識処理を行って得られた文字認識結果の信頼度が最も高い探索範囲を前記新たな活字の単位文字領域の候補とする、
   ことを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
7. 前記補正手段は、前記探索範囲ごとに行った活字用の文字認識処理の結果の信頼度が所定の閾値以上である探索範囲を前記新たな活字の単位文字領域の候補とする、
   ことを特徴とする請求項３乃至５のいずれか１項に記載の情報処理装置。
8. 前記補正の対象となる単位文字領域の候補および前記基準となる単位文字領域の候補は、同じ前記文字列領域に含まれる、
   ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記補正の対象となる単位文字領域の候補は、１つの単位文字領域の候補である、
   ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記抽出手段は、
    前記文字列領域から前記単位文字領域の候補を切り出す文字切り手段と、
    前記単位文字領域の候補が表す文字が手書き文字か活字かを判定する判定手段と、
    を含み、
    前記認識手段は、手書き文字と判定された単位文字領域の候補に対しては前記手書き文字用の文字認識処理を行い、活字と判定された単位文字領域の候補に対しては前記活字用の文字認識処理を行う、
    ことを特徴とする請求項９に記載の情報処理装置。
11. 前記補正の対象となる単位文字領域の候補は、前記文字認識結果の信頼度が所定の閾値以上の単位文字領域の候補を除く単位文字領域の候補のうち、当該複数の単位文字領域の候補の間の距離が所定の閾値以下である複数の単位文字領域の候補である、
    ことを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
12. 前記抽出手段は、
    前記文字列領域において文字を構成する部分ごとに手書き文字か活字かを判定する判定手段と、
    前記部分の判定結果に基づき前記文字列領域から前記単位文字領域の候補を切り出す文字切り手段と、
    を含み、
    前記認識手段は、手書き文字と判定された単位文字領域の候補に対しては前記手書き文字用の文字認識処理を行い、活字と判定された単位文字領域の候補に対しては前記活字用の文字認識処理を行う、
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 文書を読み取って得られた読み取り画像に含まれる複数の文字からなる文字列領域から前記複数の文字のそれぞれに対応する単位文字領域の候補を抽出するステップと、
    前記単位文字領域の候補に対して手書き文字用又は活字用の文字認識処理を行い、文字認識結果およびその信頼度を得るステップと、
    前記単位文字領域のうち、前記文字認識結果の信頼度が所定の閾値以上の単位文字領域の候補を除く単位文字領域の候補を、基準となる単位文字領域の候補を用いて補正するステップと、
    を備え、
    前記基準となる単位文字領域の候補は、前記認識手段が行った前記活字用の文字認識処理により得られた文字認識結果の信頼度が所定の閾値以上である単位文字領域の候補である、
    ことを特徴とする情報処理方法。
14. コンピュータを請求項１乃至１１のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images