JP2021043775A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】第１文書において抽出対象の項目値が含まれる項目値取得領域の周辺から得られる情報を活用しない場合に比して、第１文書と同一種類の第２文書から抽出対象の項目値をより確実に抽出できるようにする。【解決手段】情報処理装置１０は、プリセット設定に従うと第１文書の読取画像から正しい項目値が抽出できない場合、読取画像に正しい項目値が抽出できる項目値取得領域２１をユーザが指定すると、項目値取得領域２１の周辺に存在する情報から周辺情報を生成する周辺情報生成部１４と、第１文書と同一種類の第２文書において、項目値取得領域２１の位置に対応する領域から正しい項目値が抽出できない場合、周辺情報と一致する周辺の情報が得られる領域に含まれる文字列を、当該項目の正しい項目値として抽出する項目値抽出部１３と、を有する。【選択図】図１

Description

本発明は、情報処理装置及びプログラムに関する。

帳票などの読取画像に文字認識処理を施して文字列を抽出し、その文字列の中から所望の項目の項目値を自動的に抽出することによってデータ管理作業を効率化したいというニーズがある。項目値は、帳票に含まれている項目名を事前に指定したり、パターンマッチングなどを実施したりして抽出することができる。ただ、帳票上の間違った場所の文字列を項目値として抽出してしまう場合がある。

この場合、従来では、項目値の読取場所をユーザに指定させて、正しい項目値を抽出できるようにする技術が知られている（例えば、特許文献１）。そして、ユーザに指定された読取場所を記録しておくことで、それ以降に読取場所が訂正された帳票と同一種類の帳票が読み取られた場合、ユーザにより指定された読取場所から文字列を抽出することによって正しい項目値を抽出することができるようになる。

特開２００１−２０２４６６号公報 特開２０１３−１４２９５５号公報

ところで、抽出対象の項目値を抽出する領域が指定された第１文書と同一種類の第２文書であっても、例えば第２文書に記載すべき事項の数が第１文書より増加するなどに伴い、第２文書における抽出対象の項目値の位置が第１文書とずれる場合がある。この場合、第１文書においては正しい項目値が抽出できた領域に対応する第２文書における領域から抽出できなくなる。

本発明は、第１文書において抽出対象の項目値が含まれる項目値取得領域の周辺から得られる情報を活用しない場合に比して、第１文書と同一種類の第２文書から抽出対象の項目値をより確実に抽出できるようにすることを目的とする。

本発明に係る情報処理装置は、プロセッサを備え、前記プロセッサは、第１文書と同一種類の第２文書の読取画像を取得すると、前記第２文書の読取画像内において、前記第１文書の読取画像内の抽出対象の項目値が含まれている項目値取得領域の周辺に存在する画像から得られる周辺情報に一致すると判定するための一致条件を満たすことから前記周辺情報と一致する周辺の情報が得られる領域に含まれる文字列を、前記第２文書の読取画像内の抽出対象の項目値として抽出することを特徴とする。

また、前記プロセッサは、前記第２文書の読取画像内において周辺から得られる情報が前記周辺情報に一致すると判定するための一致条件を満たす領域が存在しない場合、前記周辺情報との一致度が最も高い周辺の情報が得られる領域から抽出できた文字列を項目値として抽出することを特徴とする。

また、前記プロセッサは、前記項目値取得領域の位置に対応する前記第２文書の読取画像内の抽出領域の周辺から得られる情報が前記一致条件を満たす場合、前記抽出領域から抽出した文字列を項目値として抽出することを特徴とする。

また、前記周辺情報は、項目と関連性のない罫線、表あるいは写真の各画像、又は文字列の少なくとも１つで表されることを特徴とする。

また、前記項目値取得領域は、ユーザにより指定されることを特徴とする。

また、前記項目値取得領域は、所定の規則に従って設定されている領域から前記抽出対象の項目値が抽出できなかった場合にユーザにより領域が指定されることで設定されることを特徴とする。

本発明に係るプログラムは、コンピュータに、第１文書と同一種類の第２文書の読取画像を取得すると、前記第２文書の読取画像内において、前記第１文書の読取画像内の抽出対象の項目値が含まれている項目値取得領域の周辺に存在する画像から得られる周辺情報に一致すると判定するための一致条件を満たすことから前記周辺情報と一致する周辺の情報が得られる領域に含まれる文字列を、前記第２文書の読取画像内の抽出対象の項目値として抽出する機能を実現させる。

請求項１に記載の発明によれば、第１文書において抽出対象の項目値が含まれる項目値取得領域の周辺から得られる情報を活用しない場合に比して、第１文書と同一種類の第２文書から抽出対象の項目値をより確実に抽出することができる。

請求項２に記載の発明によれば、第２文書の形式が同一種類の第１の文書の形式と異なっている場合でも第２文書に記載されているはずの項目値を抽出することができる。

請求項３に記載の発明によれば、第１文書の読取画像における項目値取得領域の位置に対応する第２文書の読取画像内の抽出領域から抽出した文字列を項目値して抽出することができる。

請求項４に記載の発明によれば、項目に紐付かない情報を参照して項目値を抽出することができる。

請求項５に記載の発明によれば、ユーザが第１文書に項目値が含まれると明示的に指定した領域を項目値取得領域とすることができる。

請求項６に記載の発明によれば、抽出対象の項目値を抽出する領域が誤って設定されている場合にユーザにより訂正された領域を項目値取得領域とすることができる。

請求項７に記載の発明によれば、第１文書において抽出対象の項目値が含まれる項目値取得領域の周辺から得られる情報を活用しない場合に比して、第１文書と同一種類の第２文書から抽出対象の項目値をより確実に抽出することができる。

本発明に係る情報処理装置の一実施の形態を示すブロック構成図である。 本実施の形態における情報処理装置のハードウェア構成図である。 本実施の形態において処理対象とする文書の一例を示す図である。 図３に示す文書から抽出した項目値を示す図である。 本実施の形態において周辺情報の生成について説明するために用いる文書の一例を示す図である。 本実施の形態における項目値抽出処理を示すフローチャートである。 図６Ａに続くフローチャートである。 本実施の形態において処理対象とする文書の他の例を示す図である。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

図１は、本発明に係る情報処理装置の一実施の形態を示すブロック構成図である。図１には、本実施の形態における情報処理装置１０と、文書をスキャンして生成された読取画像を情報処理装置１０に渡す複合機８とが示されている。

本実施の形態における情報処理装置１０は、パーソナルコンピュータ（ＰＣ）等の従前から存在する汎用的なハードウェア構成で実現できる。従って、本実施の形態における情報処理装置１０は、図２に示すように、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、記憶手段としてのハードディスクドライブ（ＨＤＤ）４、複合機８から文書の読取画像を受信する通信手段としてのネットワークインタフェース（ＩＦ）５及びユーザインタフェース（ＵＩ）６を内部バス７に接続して構成される。ユーザインタフェース６は、入力手段としてマウスとキーボードを、また表示手段としてディスプレイを設けて構成してもよい。あるいは、入力手段及び表示手段を兼用するタッチパネル式の液晶パネル等で構成してもよい。

複合機８は、コピー機能、スキャナ機能等各種機能を搭載する画像形成装置の一形態であり、コンピュータを内蔵した装置である。複合機８は、情報処理装置１０と同様に従前から存在する汎用的なハードウェア構成で実現できる。

図１に戻り、本実施の形態における情報処理装置１０は、読取画像取得部１１、文書種類判別部１２、項目値抽出部１３、周辺情報生成部１４、抽出情報提供部１５、プリセット設定記憶部１６、誤り訂正情報記憶部１７、周辺情報記憶部１８及び抽出情報記憶部１９を有している。なお、本実施の形態の説明に用いない構成要素については、図から省略している。

読取画像取得部１１は、複合機８が文書をスキャンして生成した文書の読取画像を取得する。文書種類判別部１２は、文書の読取画像を解析することによって文書の種類を判別する。項目値抽出部１３は、文書の読取画像から、当該文書の種類において抽出対象として予め設定されている項目の項目値を抽出し、抽出した結果を抽出情報記憶部１９に保存する。周辺情報生成部１４は、項目値抽出部１３がプリセット設定に従って項目値を抽出しようとした結果、正しい項目値を抽出できなかった場合に周辺情報を生成する。周辺情報の詳細については後述する。抽出情報提供部１５は、項目値抽出部１３による項目値の抽出結果をユーザに提供する。各記憶部１６〜１９については、動作の説明と合わせて説明する。

情報処理装置１０における各構成要素１１〜１５は、情報処理装置１０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ１で動作するプログラムとの協調動作により実現される。また、各記憶部１６〜１９は、情報処理装置１０に搭載されたＨＤＤ４にて実現される。あるいは、ＲＡＭ３又は外部にある記憶手段をネットワーク経由で利用してもよい。

本実施の形態では、１台の情報処理装置１０が本実施の形態に必要な構成要素１１〜１９を有しているものとして説明するが、複数の情報処理装置に分散して構成してもよい。また、複合機８に搭載されているコンピュータを本実施の形態における情報処理装置１０として用いてもよい。

また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭやＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵ１がプログラムを順次実行することで各種処理が実現される。

次に、本実施の形態における動作について説明する。

本実施の形態における情報処理装置１０は、文書の読取画像から予め設定されている項目の項目値を抽出する。本実施の形態では、項目値を抽出する方法としてパターンマッチングを採用する。すなわち、項目値は、原則、文書上のどの位置に存在するのか特定しておらず、項目値抽出部１３は、プリセット設定記憶部１６に記憶されているプリセット設定、すなわち抽出対象として予め設定されている項目又は当該項目の項目値の特徴に合致する文字列を文書の読取画像から探し出し、その探し出した文字列を当該項目の項目値として抽出する。項目の特徴というのは、例えば文書上における位置等である。項目値の特徴というのは、例えば抽出する項目値が企業名の場合は、「株式会社」等の文字列を含む文字列とするなどである。なお、項目値を抽出する方法は、パターンマッチングに限定する必要はなく、例えば、文書上における項目値の位置が定義されている場合や項目名が定義されている場合は、その定義されている情報を利用して項目値を抽出してもよい。

なお、プリセット設定に抽出対象として予め設定されているのは項目名であり、文書の読取画像から実際に抽出対象として抽出するのは当該項目名により特定される項目の項目値である。従って、本実施の形態では、説明の便宜上、抽出対象を「項目」として説明する場合もあり、「項目名」として説明する場合もある。

図３は、本実施の形態において処理対象とする文書の一例を示す図である。図３には、文書の一例として請求書という種別の帳票が示されている。また、図４は、図３に示す帳票から抽出した項目値を表形式にて示す図である。図４には、当該帳票から抽出すべきものとして予め設定されている項目の名称と、抽出された当該項目の項目値とが組にして示されている。

図４に示す設定例によると、項目値抽出部１３は、株式会社Ｘ研究所から発行された請求書から、「送付先」、「送付元」、「支払期日」及び「合計金額」という各項目の項目値を抽出する必要がある。図３に示す帳票の内容例を参照すると明らかなように、「送付先」、「送付元」及び「合計金額」は、正しい項目値を抽出できているが、「支払期日」は、正しい項目値を抽出できていないことがわかる。

この場合、ユーザは、図３に示す文書（以下、「第１文書」とも称する）の読取画像を画面に表示させて、その読取画像において抽出対象の項目（この例では「支払期日」）に対応する正しい項目値の表示位置を指定する。表示位置として正しい項目値の表示範囲を指定する。本実施の形態では、第１文書の読取画像内の抽出対象の項目値が含まれる範囲を「項目値取得領域」と称することにする。図３に示す帳票の例によると、「支払期日」は、“２０１８年１０月３１日”であることが明らかなので、ユーザは、“２０１８年１０月３１日”を囲む範囲を指定することで項目値取得領域２１を第１文書の読取画像に設定する。

項目値取得領域２１が設定されると、項目値抽出部１３は、帳票の種類を識別する識別情報（例えば、「帳票種類ＩＤ」）と、項目（この例では、「支払期日」）と、第１文書における項目値取得領域２１の範囲を示す情報、例えば第１文書の所定位置（例えば、第１文書の左上の角）を原点とする座標系における範囲を示す座標情報と、を対応付けて誤り訂正情報を生成し、誤り訂正情報記憶部１７に登録する。また、この登録と共に、図４に示す抽出情報に含まれる「支払期日」の項目値を“２０１８年１０月１日”から“２０１８年１０月３１日”に訂正する。そして、項目値抽出部１３は、株式会社Ｘ研究所から発行された図３に示す請求書から得られた図４に示す抽出情報に、当該請求書を識別する識別情報（例えば、「帳票ＩＤ」）を紐付けて抽出情報記憶部１９に保存する。なお、項目「支払期日」は、日付の表記に従う文字列であることは明らかなので、日付型の文字列であるという情報を誤り訂正情報に付加することで項目値のデータ型を限定してもよい。

なお、データ型としては、英数字、数字などがある。また、システム（つまり、情報処理装置１０）で所望のデータ型（例えば、３文字から成る文字列を“○○−×”のようにハイフンで２文字と１文字に分けるなど）を設定できるようにしてもよい。

これにより、以降の処理において、読取画像取得部１１が第１文書の取得後、第１文書と同一種類の文書（以下、「第２文書」とも称する）の読取画像を取得した場合、項目値抽出部１３は、誤り訂正情報が生成された項目（上記例においては「支払期日」）に対しては、プリセット設定ではなく当該誤り訂正情報を参照することで、項目値取得領域２１の位置に対応する領域（以下、「抽出領域」とも称する）に含まれている文字列を、当該項目（すなわち「支払期日」）の項目値として抽出する。なお、その他の「送付先」、「送付元」及び「合計金額」の各項目に対しては、プリセット設定を継続して利用して各項目値を抽出する。項目値取得領域２１から抽出される文字列は、第１文書上の項目値取得領域２１から正しく抽出できたように、基本的には第２文書においても正しい項目値になると考えられる。

また、本実施の形態では、項目値取得領域２１が設定されると、周辺情報生成部１４は、項目値取得領域２１の周辺に存在する画像から次のようにして周辺情報を生成し、周辺情報記憶部１８に登録する。この周辺情報の生成について、図５を用いて説明する。

図５は、図３と同じ帳票を示す図である。まず、周辺情報生成部１４は、帳票上、項目値取得領域２１の周辺として四方に存在する画像の抽出を試みる。まず、周辺情報生成部１４は、帳票の読取画像を解析することによって、項目値取得領域２１の上方には、“合計金額”という文字列２２ａを検出する。文字として認識するためには、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術を利用して文字認識をしておく必要がある。なお、「文字列」は、文字の集合のことを意味するが、集合の中に１文字のみが含まれる場合もある。周辺情報生成部１４は、このようにして検出した文字列２２ａを周辺情報に含める。

また、周辺情報生成部１４は、項目値取得領域２１の右側には、“お支払い”という文字列２２ｂを検出する。なお、文字列２２ａは、項目値取得領域２１の直上に位置するが、必ずしも直近の文字列（項目値取得領域２１の右側においては“までに”）を周辺情報として取り扱わなくてもよく、特徴的な語句や名詞等を周辺情報として取り扱うようにしてもよい。

また、周辺情報生成部１４は、項目値取得領域２１の下方には、“振込先”という文字列２２ｃを検出する。前述したように、必ずしも項目値取得領域２１の直下の文字列“よろしく” を周辺情報として取り扱わなくてもよい。

そして、項目値取得領域２１の左側には、何の画像も存在しない。この場合、周辺情報生成部１４は、項目値取得領域２１の左側に位置する帳票の縁２２ｄを検出する。具体的には、座標値で表される帳票の縁２２ｄまでの距離を周辺情報として取り扱うようにしてもよい。

以上のようにして、周辺情報生成部１４は、帳票上、項目値取得領域２１の四方に存在する画像（上記例では、文字列２２ａ〜２２ｃ）を抽出する。また、存在しない場合には帳票の縁２２ｄまでの距離を得る。このようにして、周辺情報生成部１４は、項目値取得領域２１の周辺から得られる情報から周辺情報を生成して周辺情報記憶部１８に登録する。具体的には、周辺情報を生成する帳票の種類を識別する帳票種類ＩＤに、周辺情報を取得した方向と当該方向に存在する文字列等の情報２２ａ〜２２ｄを紐付けて生成する。

なお、本実施の形態では、取得した文字列２２ａ〜２２ｃを周辺情報に含めるようにしたが、縁２２ｄと同様に、項目値取得領域２１からの距離の情報も合わせて含めるようにしてもよい。また、周辺情報に含める帳票上の情報は、例えば、項目値取得領域２１の周辺に存在する罫線、表（若しくは表内の文字列等の情報）あるいは写真等の画像を周辺情報の対象としてもよい。また存在する罫線、表、写真等の特徴を周辺情報に含めるようにしてもよい。

文書から項目値を抽出する場合、一般にその項目値に関連する情報、例えば対応する項目名等の文書上における位置を参照して、項目値の存在する位置を検出するようにしている。具体的には、帳票上の項目名の右側や直下に存在すると推定して項目名を抽出する。もちろん、項目名などの項目値に関連する情報を周辺情報として取り扱ってもよいが、本実施の形態においては、上記説明から明らかなように、項目値取得領域２１に対応する項目と関連性のない文字列等２２ａ〜２２ｄによって周辺情報を生成する。

なお、上記説明では、項目値取得領域２１の上下（ｙ軸方向）と左右（ｘ軸方向）の四方から得られる情報に基づき周辺情報を生成するようにしたが、項目値取得領域２１の周辺であればよく、四方に限る必要はない。例えば、少なくとも一方向でもよいし、４方向以上でもよい。

ところで、文書の種類によっては、文書内において項目値の位置がずれる場合がある。例えば、図３と図７は共に、株式会社Ｘ研究所から発行された同じ形式の請求書の例であるが、プライベートクラウド利用料の件数が異なると、レイアウトが異なってくる場合がル。例えば、項目値取得領域２１が設定された図１に示す第１文書に対して、第２文書では、図７に例示するようにプライベートクラウド利用料の件数が増加することに伴い項目「支払期日」の項目値の位置が下方にずれる場合がある。

このように、第１文書と第２文書が同一種類の文書であっても、図３と図７に示す各帳票のレイアウトの違いから明らかなように、第１文書の読取画像で設定した項目値取得領域２１の位置に対応する第２文書の読取画像内の領域（すなわち、「抽出領域」）２３から項目「支払期日」の項目値を正しく抽出することができない。なお、文書の用紙サイズは同じであることから、項目値取得領域２１と抽出領域２３の各領域を特定する座標値は同じとなる。

ここで、文書の種類について説明する。ここでは、帳票を文書の例として説明する。

帳票の種類は、帳票の提供元（「発行元」ともいう）及び提供先（「宛先」ともいう）及び帳票の種別から特定される。帳票の種別（以下、「帳票種別」）は、一般に帳票の種類とも呼ばれる場合があるが、各帳票を種類によって分類する各グループを示している。帳票の場合、請求書、見積書、発注書、契約書等が帳票種別に該当する。図３に示す株式会社Ｘ研究所から発行された請求書は、請求書という帳票種別に分類される。「同一種類の帳票」には、発行元及び帳票種別が同一である帳票が該当する。図３に示す帳票と図７に示す帳票とは、発行元（「株式会社Ｘ研究所」）と帳票種別（「請求書」）の双方が同一であることから同一種類の帳票に該当する。

また、一企業が作成する帳票は、異なる種類であっても基本的に形式が類似している場合が少なくない。例えば、帳票名、発行日付、送付先、送付元等の各項目の帳票上における配置は、異なる種類であってもほぼ同じである場合が少なくない。従って、帳票種別が異なるものの発行元が同一である帳票を「同一種類の帳票」に含めてもよい。また、ある帳票への記載事項はほぼ同じである。例えば、請求書には、送付元、送付先、支払期日、請求金額等が記載されていることから、異なる企業から発行される場合でも、基本的に形式が類似してくる。従って、発行元が異なるものの帳票種別が同一である帳票を「同一種類の帳票」に含めてもよい。このように、形式や記載事項等の特徴が類似している帳票を同一種類と認定してもよい。

前述したように、第１文書からプリセット設定では正しい項目値が抽出できない場合、項目値抽出部１３は、ユーザ操作に応じて正しい項目値を抽出できるように項目値取得領域２１を設定する。しかしながら、第１文書と第２文書の各帳票のレイアウトのずれから第１文書の項目値取得領域２１の位置に対応する第２文書の抽出領域２３から正しい項目値が抽出できない場合がある。本実施の形態では、このような場合でも第２文書の読取画像から正しい項目値を抽出できるようにしたことを特徴としている。

以下、本実施の形態における項目値抽出処理について図６Ａ及び図６Ｂに示すフローチャートを用いて説明する。なお、ここでは、第１文書に対する処理は、すでに終了しているものとする。従って、誤り訂正情報及び周辺情報は、必要により生成されている場合がある。

読取画像取得部１１が、前述した第２文書に相当する帳票（以下、「第２帳票」ともいう）を取得すると（ステップ１０１）、文書種類判別部１２は、当該帳票の種類を判別する（ステップ１０２）。これは、例えば、ＯＣＲ技術を利用して第２帳票に記載されている帳票名を取得したり、帳票の種類を特定しうるコード情報（例えば、バーコードやＱＲコード（登録商標））が第２帳票に付加されている場合には、そのコード情報を読み取ったりして判別する。

続いて、項目値抽出部１３は、第２帳票から予め設定されている項目に対応する項目値を抽出することになるが、その前に文書種類判別部１２が判別した帳票の種類において誤り訂正がされているかどうかを確認する。誤り訂正がされているかどうかは、その帳票の種類に対応する誤り訂正情報が誤り訂正情報記憶部１７に登録されているかどうかで確認できる。

ここで、第２帳票が誤り訂正されている種類の帳票でない場合（ステップ１０３でＮ）、項目値抽出部１３は、プリセット設定記憶部１６に設定されている第２帳票の種類に対応するプリセット設定に従って第２帳票の読取画像から当該帳票の種類において抽出対象となっている各項目の項目値を抽出する（ステップ１０４）。そして、項目値抽出部１３は、第２帳票の帳票ＩＤに、図４に示すように抽出対象の項目に、当該項目値を対応付けて抽出情報を生成し、抽出情報記憶部１９に保存する（ステップ１０９）。

一方、第２帳票が誤り訂正されている種類の帳票の場合（ステップ１０３でＹ）、項目値抽出部１３は、第２帳票において抽出対象の項目毎に以下の処理を行う。まず、抽出対象の項目の中から以下に説明する処理を実施していない項目を１つ選出する（ステップ１０５）。そして、その項目に対応する誤り訂正情報が生成されていない場合（ステップ１０６でＮ）、項目値抽出部１３は、プリセット設定記憶部１６に設定されている第２帳票の種類に対応するプリセット設定に従って第２帳票の読取画像から当該項目の項目値を抽出する（ステップ１０７）。そして、第２帳票において抽出対象の全ての項目に対して上記処理が終了していない場合（ステップ１０８でＮ）、ステップ１０５に移行する。一方、抽出対象の全ての項目に対して上記処理が終了した場合（ステップ１０８でＹ）、項目値抽出部１３は、上記のように抽出情報を生成し、抽出情報記憶部１９に保存する（ステップ１０９）。

項目値抽出部１３は、選出した項目に対応する誤り訂正情報が生成されている場合（ステップ１０６でＹ）、項目値抽出部１３は、その項目に対応する項目値取得領域２１を含む誤り訂正情報及び周辺情報を各記憶部１７，１８から取得する（ステップ１１０）。

続いて、項目値抽出部１３は、取得した項目値取得領域２１の位置に対応する第２帳票上の領域（上記「抽出領域」）から文字列の抽出を試行する。ここで、文字列が抽出できた場合（ステップ１１２でＹ）、項目値抽出部１３は、前述した周辺情報の生成と同様にして抽出領域の周辺から画像を取得する。そして、取得した画像が、ステップ１１０において取得した周辺情報と一致する場合（ステップ１１２でＹ）、項目値抽出部１３は、試行により抽出した文字列を、当該項目の項目値として選択する（ステップ１１３）。そして、ステップ１０８に移行する。

図７は、図３に示す帳票（以下、「第１帳票」ともいう）と同じ帳票の種類に該当する帳票であるが、プライベートクラウド利用料の件数が増加することに伴い項目「支払期日」の項目値の位置が下方にずれている帳票のレイアウトの例を示す図である。仮に、第２帳票が図３に示す帳票（以下、「第１帳票」ともいう）と同じレイアウトの帳票だとすると、第２帳票の抽出領域の周辺から得られる情報は、第１帳票に基づき生成された周辺情報と同じはずである。従って、項目値取得領域２１の位置に対応する抽出領域から項目「支払期日」の正しい項目値を抽出できる。これに対し、図７に示す帳票が第２帳票の場合、第２帳票と第１帳票とが同一種類の帳票であっても、第２帳票の抽出領域２３の周辺から得られる情報は、図３に示す第１帳票に基づき生成された周辺情報と一致しない。この場合（ステップ１１２でＮ）、項目値抽出部１３は、第２帳票を解析することによって別の項目値の候補となる文字列の抽出を試行する（ステップ１１４）。

例えば、項目「支払期日」の項目値は、日付を表す文字列なので、日付の形式にて構成されている文字列を第２帳票の中から抽出する。なお、抽出対象が項目「送付元」、「送付先」の場合、その項目値には、“株式会社”、“（株）”、“有限会社”等の文字列が含まれているのが一般的なので、これらの文字列を含む文字列の抽出を試みる。また、抽出対象が項目「合計金額」の場合、その項目値には、数字から成る文字列が含まれ、また文字列の先頭に“￥”又は文字列の後尾に“円”が付加されているので、これらの規則に従った文字列の抽出を試みる。

このように、システム（つまり、情報処理装置１０）に予め設定されている項目に該当する文字列の抽出規則に従って、項目値抽出部１３は、文字列の抽出を試行する。

ここで、別の項目値の候補となる文字列が抽出できた場合（ステップ１１５でＹ）、項目値抽出部１３は、取得した文字列が存在する領域の周辺から、前述した周辺情報の生成と同様にして画像を取得する。そして、取得した画像が、ステップ１１０において取得した周辺情報と一致するかどうかを判定する。その後の処理については、すでに説明したので省略する。なお、図７に示す第２帳票の例では、項目「支払期日」と同じ日付型の文字列が数多く含まれているので、項目「支払期日」の項目値を含む領域が選択されるまで、ステップ１１２，１１４，１１５が繰り返し実行されることになる。

一方、別の項目値の候補となる文字列が抽出できなくなった場合（ステップ１１５でＮ）、項目値抽出部１３は、処理をステップ１０７に移行し、プリセット設定に従って第２帳票の読取画像から当該項目の項目値を抽出する（ステップ１０７）。この場合、プリセット設定に従うことによって正しい項目値が抽出できる可能性もある。正しい項目値が抽出できなかった場合、ユーザは、上記と同様に抽出情報を訂正することで対応する。また、必要により項目値取得領域２１を再設定してもよい。

図７に例示するように抽出領域２３に含まれる文字列が日付型の場合、具体的には“２０１９年７月／１日”を項目「支払期日」の項目値として抽出してしまう可能性がある。しかしながら、本実施の形態においては、抽出領域２３の周辺から得られる情報を、項目値取得領域２１に対応する周辺情報と照合するようにしている。図７に示す抽出領域２３の左側には、周辺情報と同様に帳票の縁が存在するかもしれない。しかしながら、それ以外の方向の画像は、周辺情報とは一致しないことから、“２０１９年７月／１日”が項目「支払期日」の項目値として抽出されることはない。ステップ１１４が繰り返し実行されることによって、いずれ領域２４が選出されることになる。図７に示す帳票の例では、領域２４の周辺から得られる情報が周辺情報と一致することから、“２０１９年８月３１日”を項目「支払期日」の正しい項目値として抽出することができる。

ところで、本実施の形態においては、ステップ１１４において文字列が抽出できた領域（以下、「候補抽出領域」という）の周辺から得た情報が周辺情報と一致するかしないかで、候補抽出領域に正しい項目値が存在するかどうかを判定していた。本実施の形態においては、項目値取得領域２１の上下左右の４方向の画像に基づき周辺情報を生成しているので、４方向とも周辺情報と一致する周辺の情報が得られる第２文書の領域から項目値を抽出している。

ただ、例えば、記載事項が増えたため文書上、改行が入り、第２文書においては、周辺情報に含まれている文字列の位置が第１文書とずれてしまう場合がある。また、周辺情報として設定された第１文書上の文字列が項目値であった場合、第２文書において当該項目の項目値が第１文書と異なる可能性が多分にある。項目値が異なる場合、抽出領域２３の周辺から得た情報が周辺情報と一致しなくなる。また、項目値取得領域２１と抽出領域２３（又は候補抽出領域）とが同じ位置であっても、文書の読取精度によっては、抽出領域２３から文書の縁までの距離（つまり、座標値）が周辺情報と一致しなくなる場合がある。

従って、項目値取得領域２１の周辺から得た周辺情報と抽出領域２３（又は候補抽出領域）の周辺から得た情報とが一致するかどうかを判定する際、ある程度の許容範囲を持たせて判定するのが好適である。例えば、周辺情報において項目値取得領域２１から文書の縁までの距離が２．０ｃｍと設定されていた場合、許容範囲を設定して、例えば抽出領域２３（又は候補抽出領域）から文書の縁までの距離が１．７〜２．３ｃｍであれば一致すると判定してもよい。このように、項目値取得領域２１の周辺から得た周辺情報と抽出領域２３（又は候補抽出領域）の周辺から得た情報とが一致するかどうかを判定するための一致条件を予め設定しておき、この一致条件を満たす場合を一致すると判定するようにしてもよい。例えば、周辺情報が距離で表される場合、±０．３ｃｍであれば一致と判定するという一致条件を予め設定しておく。このようにして、項目値取得領域２１の位置に対応する第２文書の読取画像内の抽出領域（又は候補抽出領域）の周辺から得られる情報が一致条件を満たす場合、抽出領域から抽出した文字列を項目値として抽出する。

ただ、帳票の種類によっては、レイアウトの変化が少なくなく、周辺情報に含める方向（上記例では上下左右の４方向）の全てにおいて抽出領域２３（又は候補抽出領域）の周辺から得た情報が一致するとは限らない。この場合、周辺情報との一致度が最も高い周辺の情報が得られる領域から抽出できた文字列を項目値として抽出する。例えば、４方向全てにおいて周辺情報と一致する周辺の情報が得られる領域が存在しない場合、一致する方向の数が最も多い領域から抽出した文字列を項目値として選択する。

本実施の形態によれば、第１帳票と第２帳票が同一種類の帳票の場合において、第２帳票のレイアウトが第１帳票と異なるようになっても、項目に対応する正しい項目値を抽出することができる。

上記実施の形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス等）を含むものである。

また上記実施の形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記実施の形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

１ ＣＰＵ、２ ＲＯＭ、３ ＲＡＭ、４ ハードディスクドライブ（ＨＤＤ）、５ ネットワークインタフェース（ＩＦ）、６ ユーザインタフェース（ＵＩ）、７ 内部バス、１０ 情報処理装置、１１ 読取画像取得部、１２ 文書種類判別部、１３ 項目値抽出部、１４ 周辺情報生成部、１５ 抽出情報提供部、１６ プリセット設定記憶部、１７ 誤り訂正情報記憶部、１８ 周辺情報記憶部、１９ 抽出情報記憶部。

Claims (7)

1. プロセッサを備え、
   前記プロセッサは、
   第１文書と同一種類の第２文書の読取画像を取得すると、前記第２文書の読取画像内において、前記第１文書の読取画像内の抽出対象の項目値が含まれている項目値取得領域の周辺に存在する画像から得られる周辺情報に一致すると判定するための一致条件を満たすことから前記周辺情報と一致する周辺の情報が得られる領域に含まれる文字列を、前記第２文書の読取画像内の抽出対象の項目値として抽出する、
   ことを特徴とする情報処理装置。
2. 前記プロセッサは、
   前記第２文書の読取画像内において周辺から得られる情報が前記周辺情報に一致すると判定するための一致条件を満たす領域が存在しない場合、前記周辺情報との一致度が最も高い周辺の情報が得られる領域から抽出できた文字列を項目値として抽出する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記項目値取得領域の位置に対応する前記第２文書の読取画像内の抽出領域の周辺から得られる情報が前記一致条件を満たす場合、前記抽出領域から抽出した文字列を項目値として抽出する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記周辺情報は、項目と関連性のない罫線、表あるいは写真の各画像、又は文字列の少なくとも１つで表される、
   ことを特徴とする請求項1から３のいずれか１項に記載の情報処理装置。
5. 前記項目値取得領域は、ユーザにより指定される、
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記項目値取得領域は、所定の規則に従って設定されている領域から前記抽出対象の項目値が抽出できなかった場合にユーザにより領域が指定されることで設定される、
   ことを特徴とする請求項５に記載の情報処理装置。
7. コンピュータに、
   第１文書と同一種類の第２文書の読取画像を取得すると、前記第２文書の読取画像内において、前記第１文書の読取画像内の抽出対象の項目値が含まれている項目値取得領域の周辺に存在する画像から得られる周辺情報に一致すると判定するための一致条件を満たすことから前記周辺情報と一致する周辺の情報が得られる領域に含まれる文字列を、前記第２文書の読取画像内の抽出対象の項目値として抽出する機能、
   を実現させるためのプログラム。
   

Images