JP7282257B2 - 画像処理装置、制御方法及び制御プログラム - Google Patents

Description

本開示は、画像処理装置、制御方法及び制御プログラムに関し、特に、印鑑又はロゴが含まれる画像を処理する画像処理装置、制御方法及び制御プログラムに関する。

請求書等の帳票を担当者が手作業によりデータ化している会社では、膨大な数の帳票のデータ化が必要である場合に担当者の業務負担が大きくなるため、帳票のデータ化作業の効率化に対する要望が高まっている。一般に、担当者は、各帳票に記載された取引先に対して所定の業務を行う必要があるため、帳票のデータ化を行う画像処理装置には、担当者が取引先の名称をより精度良く特定できることが望まれている。

印影の近傍に存在する文字列をデータベースと照合することにより、印影と重なった文字列を推定する業務文書処理装置が開示されている（特許文献１）。この業務文書処理装置は、印影領域の近傍に存在し且つ一部の文字が印影領域によって不明確となっている文字情報を印影関連情報として抽出する。業務文書処理装置は、印影関連情報の属性を特定し、文字列候補を格納する取引先の情報を格納する取引先データベースを参照して、属性毎に分類された印影関連情報を基に、印影領域と重複して不明確となっている文字列を推定する。

特開２０１０－１５７１０７号公報

画像処理装置では、入力画像から取引先の名称が含まれる領域をより精度良く特定することが求められている。

画像処理装置、制御方法及び制御プログラムの目的は、入力画像から取引先の名称が含まれる領域をより精度良く特定することを可能とすることにある。

実施形態の一側面に係る画像処理装置は、取引先の名称に関するキーワードを記憶する記憶部と、入力画像を取得する取得部と、入力画像内で印鑑又はロゴが含まれる画像領域を検出する画像領域検出部と、入力画像から文字列領域を検出する文字列領域検出部と、キーワードに基づいて、文字列領域の中から、取引先の名称が含まれる候補領域を検出する候補領域検出部と、候補領域検出部により複数の候補領域が検出された場合に、画像領域からの距離に基づいて、複数の候補領域の中から一つの取引先領域を特定する取引先領域特定部と、取引先領域に関する情報を出力する出力制御部と、を有する。

また、実施形態の一側面に係る制御方法は、記憶部を有する画像処理装置の制御方法であって、画像処理装置が、取引先の名称に関するキーワードを記憶部に記憶し、入力画像を取得し、入力画像内で印鑑又はロゴが含まれる画像領域を検出し、入力画像から文字列領域を検出し、キーワードに基づいて、文字列領域の中から、取引先の名称が含まれる候補領域を検出し、複数の候補領域が検出された場合に、画像領域からの距離に基づいて、複数の候補領域の中から一つの取引先領域を特定し、取引先領域に関する情報を出力する。

また、実施形態の一側面に係る制御プログラムは、記憶部を有するコンピュータの制御プログラムであって、取引先の名称に関するキーワードを記憶部に記憶し、入力画像を取得し、入力画像内で印鑑又はロゴが含まれる画像領域を検出し、入力画像から文字列領域を検出し、キーワードに基づいて、文字列領域の中から、取引先の名称が含まれる候補領域を検出し、複数の候補領域が検出された場合に、画像領域からの距離に基づいて、複数の候補領域の中から一つの取引先領域を特定し、取引先領域に関する情報を出力することをコンピュータに実行させる。

本実施形態によれば、画像処理装置、制御方法及び制御プログラムは、入力画像から取引先の名称が含まれる領域をより精度良く特定することが可能となる。

本発明の目的及び効果は、特に請求項において指摘される構成要素及び組み合わせを用いることによって認識され且つ得られるだろう。前述の一般的な説明及び後述の詳細な説明の両方は、例示的及び説明的なものであり、特許請求の範囲に記載されている本発明を制限するものではない。

実施形態に従った画像処理システム１の概略構成を示す図である。 項目テーブルのデータ構造の一例を示す図である。 第２記憶装置２１０及び第２処理回路２２０の概略構成を示す図である。 画像読取処理の動作を示すフローチャートである。 認識処理の動作を示すフローチャートである。 入力画像６００の一例を示す模式図である。 領域特定処理の動作の例を示すフローチャートである。 入力画像８００の一例を示す模式図である。 入力画像９００の一例を示す模式図である。 第１特定処理の動作の例を示すフローチャートである。 第２特定処理の動作の例を示すフローチャートである。 入力画像１２００の一例を示す模式図である。 入力画像１３００の他の例を示す模式図である。 他の第２処理回路２３０の概略構成を示すブロック図である。

以下、本開示の一側面に係る画像処理装置、制御方法及び制御プログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に従った画像処理システム１の概略構成を示す図である。図１に示すように、画像処理システム１は、画像読取装置１００と、情報処理装置２００とを有する。

画像読取装置１００は、例えばスキャナ装置等である。画像読取装置１００は、情報処理装置２００に接続されている。情報処理装置２００は、画像処理装置の一例であり、例えばパーソナルコンピュータ等である。

画像読取装置１００は、第１インタフェース装置１０１と、撮像装置１０２と、第１記憶装置１１０と、第１処理回路１２０とを有する。

第１インタフェース装置１０１は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインタフェース回路を有し、情報処理装置２００と電気的に接続して画像データ及び各種の情報を送受信する。また、第１インタフェース装置１０１の代わりに、無線信号を送受信するアンテナと、所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。所定の通信プロトコルは、例えば無線ＬＡＮ（Local Area Network）である。

撮像装置１０２は、主走査方向に直線状に配列されたＣＣＤ（Charge Coupled Device）による撮像素子を備える縮小光学系タイプの撮像センサを有する。さらに、撮像装置１０２は、光を照射する光源と、撮像素子上に像を結ぶレンズと、撮像素子から出力された電気信号を増幅してアナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮像装置１０２において、撮像センサは、搬送される媒体を撮像してアナログの画像信号を生成して出力し、Ａ／Ｄ変換器は、このアナログの画像信号をＡ／Ｄ変換してデジタルの入力画像を生成して出力する。入力画像は、各画素データが、例えばＲＧＢ各色毎に８ｂｉｔで表される計２４ｂｉｔのＲ（赤色）値、Ｇ（緑色）値、Ｂ（青色）値からなるカラー多値画像である。なお、ＣＣＤの代わりにＣＭＯＳ（Complementary Metal Oxide Semiconductor）による撮像素子を備える等倍光学系タイプのＣＩＳ（Contact Image Sensor）が用いられてもよい。

第１記憶装置１１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、第１記憶装置１１０には、画像読取装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて第１記憶装置１１０にインストールされてもよい。可搬型記録媒体は、例えばＣＤ－ＲＯＭ（compact disk read only memory）、ＤＶＤ－ＲＯＭ（digital versatile disk read only memory）等である。また、第１記憶装置１１０は、撮像装置１０２により生成された入力画像等を記憶する。

第１処理回路１２０は、予め第１記憶装置１１０に記憶されているプログラムに基づいて動作する。第１処理回路１２０は、例えばＣＰＵ（Control Processing Unit）である。なお、第１処理回路１２０として、ＤＳＰ（digital signal processor）、ＬＳＩ（large scale integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programming Gate Array）等が用いられてもよい。

第１処理回路１２０は、第１インタフェース装置１０１、撮像装置１０２及び第１記憶装置１１０等と接続され、これらの各部を制御する。第１処理回路１２０は、撮像装置１０２の媒体読取制御、第１インタフェース装置１０１を介した情報処理装置２００とのデータ送受信制御等を行う。

情報処理装置２００は、第２インタフェース装置２０１と、入力装置２０２と、表示装置２０３と、第２記憶装置２１０と、第２処理回路２２０とを有する。以下、情報処理装置２００の各部について詳細に説明する。

第２インタフェース装置２０１は、画像読取装置１００の第１インタフェース装置１０１と同様のインタフェース回路を有し、情報処理装置２００と画像読取装置１００とを接続する。また、第２インタフェース装置２０１の代わりに、無線信号を送受信するアンテナと、無線ＬＡＮ等の所定の通信プロトコルに従って、無線通信回線を通じて信号の送受信を行うための無線通信インタフェース回路とを有する通信装置が用いられてもよい。

入力装置２０２は、キーボード、マウス等の入力装置及び入力装置から信号を取得するインタフェース回路を有し、利用者の操作に応じた信号を第２処理回路２２０に出力する。

表示装置２０３は、出力部の一例である。表示装置２０３は、液晶、有機ＥＬ（Electro-Luminescence）等から構成されるディスプレイ及びディスプレイに画像データを出力するインタフェース回路を有する。表示装置２０３は、第２処理回路２２０からの指示に従って、各種の情報をディスプレイに表示する。

第２記憶装置２１０は、記憶部の一例であり、画像読取装置１００の第１記憶装置１１０と同様のメモリ装置、固定ディスク装置、可搬用の記憶装置等を有する。第２記憶装置２１０には、情報処理装置２００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が格納される。コンピュータプログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて第２記憶装置２１０にインストールされてもよい。

また、第２記憶装置２１０には、データとして、取引先の名称に関するキーワード、及び、項目テーブル等が予め記憶される。取引先の名称に関するキーワードは、取引先の名称に含まれ得る文字であり、例えば株式会社、有限会社等である。項目テーブルの詳細については後述する。

第２処理回路２２０は、予め第２記憶装置２１０に記憶されているプログラムに基づいて動作する。第２処理回路２２０は、例えばＣＰＵである。なお、第２処理回路２２０として、ＤＳＰ、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等が用いられてもよい。

第２処理回路２２０は、第２インタフェース装置２０１、入力装置２０２、表示装置２０３及び第２記憶装置２１０等と接続され、これらの各部を制御する。第２処理回路２２０は、第２インタフェース装置２０１を介した画像読取装置１００とのデータ送受信制御、入力装置２０２の入力制御、表示装置２０３の表示制御等を行う。

図２は、項目テーブルのデータ構造の一例を示す図である。

項目テーブルには、帳票に含まれる複数の項目毎に、各項目に関するキーワード及び／又はフォーマット等が関連付けて記憶される。複数の項目には、郵便番号、住所、電話番号、担当者、メールアドレス、銀行口座、日付及び文書番号等の、取引先の名称以外の項目が含まれる。キーワードは、各項目を示す文字列に含まれ得る文字である。各項目に関するキーワードは、第２キーワードの一例である。フォーマットは、各項目を示す文字列の書式である。例えば、項目が郵便番号である場合、フォーマットとして「〒」、「数字３桁」、「－」、「数字４桁」の組合せが設定され、項目が電話番号である場合、フォーマットとして「数字２桁」、「－」、「数字４桁」、「－」、「数字４桁」の組合せ等が設定される。

図３は、第２記憶装置２１０及び第２処理回路２２０の概略構成を示す図である。

図３に示すように第２記憶装置２１０には、取得プログラム２１１、画像領域検出プログラム２１２、文字列領域検出プログラム２１３、候補領域検出プログラム２１４、第１領域検出プログラム２１５、第２領域特定プログラム２１６、取引先領域特定プログラム２１７及び出力制御プログラム２１８等の各プログラムが記憶される。これらの各プログラムは、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。第２処理回路２２０は、第２記憶装置２１０に記憶された各プログラムを読み取り、読み取った各プログラムに従って動作する。これにより、第２処理回路２２０は、取得部２２１、画像領域検出部２２２、文字列領域検出部２２３、候補領域検出部２２４、第１領域検出部２２５、第２領域特定部２２６、取引先領域特定部２２７及び出力制御部２２８として機能する。

図４は、画像読取装置１００による画像読取処理の動作を示すフローチャートである。以下、図４に示したフローチャートを参照しつつ、画像読取処理の動作を説明する。なお、以下に説明する動作のフローは、予め第１記憶装置１１０に記憶されているプログラムに基づき主に第１処理回路１２０により画像読取装置１００の各要素と協働して実行される。

最初に、撮像装置１０２は、原稿として、印鑑又はロゴが含まれる請求書、通知書又は証明書等の帳票を撮像して入力画像を生成し、第１記憶装置１１０に保存する（ステップＳ１０１）。

次に、第１処理回路１２０は、第１記憶装置１１０に保存された入力画像を、第１インタフェース装置１０１を介して情報処理装置２００に送信し（ステップＳ１０２）、一連のステップを終了する。

図５は、情報処理装置２００による認識処理の動作を示すフローチャートである。以下、図５に示したフローチャートを参照しつつ、認識処理の動作を説明する。なお、以下に説明する動作のフローは、予め第２記憶装置２１０に記憶されているプログラムに基づき主に第２処理回路２２０により情報処理装置２００の各要素と協同して実行される。

最初に、取得部２２１は、入力画像を、第２インタフェース装置２０１を介して画像読取装置１００から取得し、第２記憶装置２１０に保存する（ステップＳ２０１）。

図６は、入力画像６００の一例を示す模式図である。

図６に示すように、入力画像６００には、印鑑６０５、郵便番号６０６、住所６０７、自社の名称６０８、電話番号６０９、取引先の名称６１０、住所６１１、銀行口座６１２及び銀行口座６１３等が含まれている。

次に、画像領域検出部２２２は、入力画像を複数の部分領域に分割する（ステップＳ２０２）。画像領域検出部２２２は、例えば入力画像を垂直方向及び／又は水平方向にそれぞれ所定数ずつに分割し、複数の部分領域に分割する。

図６に示す例では、入力画像６００は、垂直方向及び水平方向にそれぞれ二つずつに分割され、四つの部分領域６０１～６０４に分割されている。情報処理装置２００は、帳票が撮像された入力画像内で印鑑又はロゴが含まれる画像領域との位置関係に基づいて、取引先の名称を検出する。一般的な帳票において、取引先の名称は、左上部、右上部、左下部又は右下部の何れかに記載され、その近傍には、印鑑又はロゴが記載されている。したがって、情報処理装置２００は、入力画像を垂直方向及び水平方向に二つずつに分割することにより、取引先の名称と印鑑又はロゴとが同一の部分領域に含まれるように、入力画像を分割することができる。

次に、画像領域検出部２２２は、入力画像内で、印鑑が含まれる印鑑領域、又は、ロゴが含まれるロゴ領域を検出する（ステップＳ２０３）。以下では、印鑑領域及びロゴ領域を総じて図形領域と称する場合がある。図形領域は、印鑑又はロゴが含まれる画像領域の一例である。画像領域検出部２２２は、入力画像内の複数の部分領域毎に、所定図形領域を検出する。印鑑領域には、赤色の印鑑が含まれる赤色印鑑領域、及び／又は、黒色の印鑑が含まれる黒色印鑑領域が含まれる。

画像領域検出部２２２は、赤色印鑑領域を検出するために、まず、入力画像内の各画素のＲＧＢ（赤色、緑色、青色）値をＨＳＬ（色相、彩度、輝度）値に変換する。次に、画像領域検出部２２２は、色相値が第１閾値（例えば３０）未満である画素と、色相値が第２閾値（例えば３３０）より大きい画素（即ち、オレンジ色から赤紫色を有する画素）を抽出する。次に、画像領域検出部２２２は、抽出した各画素について、Ｒ値からＧ値を減算した値と、Ｒ値からＢ値を減算した値との合計値を赤色強度として算出する。なお、画像領域検出部２２２は、抽出した各画素について、各画素のＳ（彩度）値を赤色強度として使用してもよい。

次に、画像領域検出部２２２は、算出した赤色強度が第３閾値（例えば３２）以上である画素を印鑑画素に決定する。次に、入力画像内で、抽出した印鑑画素が連結する領域を含む領域を、印鑑が写っている赤色印鑑領域として検出する。画像領域検出部２２２は、相互に隣接する印鑑画素で囲まれる領域をラベリングにより一つのグループとしてまとめて印鑑が写っている赤色印鑑領域とする。なお、画像領域検出部２２２は、各グループの内、サイズ（面積）が所定範囲内であるグループのみを赤色印鑑領域として検出してもよい。所定範囲は、一般的な印鑑が取り得る範囲に予め設定される。また、画像領域検出部２２２は、各グループの内、所定形状を有するグループのみを赤色印鑑領域として検出してもよい。所定形状は、丸、四角等、一般的な印鑑が取り得る形状に予め設定される。例えば、画像領域検出部２２２は、各グループと所定形状との正規化相互相関値を算出し、算出した正規化相互相関値が所定値以上である場合に限り、そのグループを赤色印鑑領域として検出する。また、画像領域検出部２２２は、各グループの外接矩形を赤色印鑑領域として検出してもよい。

また、画像領域検出部２２２は、ロゴ領域、又は、文字列と重なっていない黒色印鑑領域を検出するために、まず、入力画像内の各画素のＲＧＢ値をＹＵＶ（輝度、色差）値に変換する。次に、画像領域検出部２２２は、輝度値が第４閾値（例えば１２８）未満である画素を黒色画素として抽出する。次に、画像領域検出部２２２は、相互に隣接する黒色画素で囲まれる領域をラベリングにより一つのグループとしてまとめ、各グループの内、所定形状を有するグループをロゴ領域又は黒色印鑑領域として検出する。なお、画像領域検出部２２２は、各グループの内、サイズが所定範囲内であるグループのみをロゴ領域又は黒色印鑑領域として検出してもよい。また、画像領域検出部２２２は、各グループの外接矩形をロゴ領域又は黒色印鑑領域として検出してもよい。

また、画像領域検出部２２２は、文字列と重なっている黒色印鑑領域を検出するために、入力画像内の垂直方向の画素位置を階級とし、垂直方向の各画素位置における黒色画素の画素数を度数とするヒストグラムを生成する。画像領域検出部２２２は、度数が第５閾値（例えば１０）以上である階級が連続する連続数が所定範囲内（例えば１５ｍｍに相当する画素数以上であり且つ３０ｍｍに相当する画素数以下）である垂直方向の領域を印鑑候補行として検出する。一般に、横書きの帳票では、文字は横方向に並ぶため、文字が記載されている行間には余白が存在する。しかしながら、印鑑が押下された領域では、行間に印鑑が存在するため、余白が除去される。したがって、ヒストグラム内で度数がある程度の大きさを有する階級がある程度連続している領域には印鑑が存在する可能性が高い。

次に、画像領域検出部２２２は、印鑑候補行内で、相互に隣接する黒色画素で囲まれる領域をラベリングにより一つのグループとしてまとめる。画像領域検出部２２２は、各グループの内、サイズが所定範囲内であり且つアスペクト比が所定のアスペクト比範囲内であるグループを黒色印鑑領域として検出する。所定範囲は、例えば１５ｍｍに相当する画素数以上であり且つ３０ｍｍに相当する画素数以下の範囲に設定される。アスペクト比範囲は、例えば２／３以上且つ３／２以下に設定される。また、画像領域検出部２２２は、各グループの外接矩形を黒色印鑑領域として検出してもよい。

図６に示す例では、部分領域６０１内で印鑑６０５を含む領域が図形領域として検出される。

次に、画像領域検出部２２２は、入力画像内で図形領域が検出されたか否かを判定する（ステップＳ２０４）。

入力画像内で図形領域が検出されなかった場合、取引先領域特定部２２７は、入力画像に含まれる、取引先の名称に対応する項目名及びその項目名に対する位置関係に基づいて、入力画像から取引先領域を検出する（ステップＳ２０５）。取引先領域は、入力画像内で取引先の名称を示す文字列が含まれる領域である。取引先領域特定部２２７は、公知のＯＣＲ（Optical Character Recognition）技術を利用して、入力画像から文字を検出し、第１位置関係を有する複数の文字を文字列として検出する。第１位置関係を有する複数の文字は、例えば垂直方向において相互に重複し、且つ、水平方向において一定範囲内で隣り合いつつ連続する文字である。一定範囲は、例えば余白に相当する画素数に設定される。取引先領域特定部２２７は、検出した文字列の内、取引先の名称に対応する項目名を含む文字列を抽出する。取引先の名称に対応する項目名は、例えば「会社名」等である。

取引先領域特定部２２７は、抽出した文字列に対して第２位置関係を有する文字列を、取引先の名称を示す文字列として検出する。第２位置関係は、方向（例えば右側、下側、右下側）及び距離（例えば３０ｍｍに相当する画素内）を含み、事前に設定される。取引先領域特定部２２７は、検出した文字列を含む領域を取引先領域として検出する。取引先領域特定部２２７は、例えば検出した文字列の外接矩形を取引先領域として検出する。次に、取引先領域特定部２２７は、処理をステップＳ２０８に移行する。

一方、入力画像内で図形領域が検出された場合、文字列領域検出部２２３は、入力画像から印鑑成分又はロゴ成分を除去する（ステップＳ２０６）。

入力画像内で赤色印鑑領域が検出された場合、文字列領域検出部２２３は、まず、入力画像に対して白色成分を膨張させた膨張画像を生成し、膨張画像内の各画素の画素値（Ｒ値、Ｇ値、Ｂ値）を、対応する入力画像内の各画素の背景情報として決定する。即ち、入力画像内の注目画素に対応する背景情報は、注目画素の周辺画素の中で輝度が最も高い画素の画素値に設定される。次に、文字列領域検出部２２３は、赤色印鑑領域内の各画素のＲ値Ｓ_r、Ｇ値Ｓ_g、Ｂ値Ｓ_bを、それぞれ以下の式（１）～（３）に従って算出されるＤ_r、Ｄ_g、Ｄ_bに変換する。
Ｄ_r＝（Ｂ_r－Ｓ_r）×（赤色割合）＋Ｓ_r （１）
Ｄ_g＝（Ｂ_g－Ｓ_g）×（赤色割合）＋Ｓ_g （２）
Ｄ_b＝（Ｂ_b－Ｓ_b）×（赤色割合）＋Ｓ_b （３）

赤色割合は、例えば以下の式（４）により算出される。
（赤色割合）＝｛（注目画素の赤色強度）－β｝／α （４）
ここで、αは係数（例えば９６）であり、赤色強度の値域幅に基づいて、予め設定される。また、βはオフセット値（例えば３２）であり、赤色強度の値域に基づいて、予め設定される。赤色割合は、０以上であり且つ１以下である範囲内に設定される。即ち、式（４）により算出された値が０以下である場合、赤色割合は０に補正され、式（４）により算出された値が１以上である場合、赤色割合は１に補正される。

文字列領域検出部２２３は、赤色印鑑領域内の各画素の画素値を、各画素の赤色割合に応じて各画素の背景情報と合成させることにより、赤色印鑑領域において、文字の成分を残しつつ赤色印鑑の成分のみを良好に除去することができる。

入力画像内でロゴ領域、又は、文字列と重なっていない黒色印鑑領域が検出された場合、文字列領域検出部２２３は、まず、そのロゴ領域又は黒色印鑑領域の周辺に存在し且つ白色に近い画素を特定する。文字列領域検出部２２３は、そのロゴ領域又は黒色印鑑領域から一定範囲内であり且つ画素値（Ｒ値、Ｇ値、Ｂ値）が閾値（例えば２００）以上である画素を特定する。文字列領域検出部２２３は、そのロゴ領域又は黒色印鑑領域内の各画素の画素値を特定した画素の画素値に置換することにより、印鑑成分又はロゴ成分を除去する。

また、文字列領域検出部２２３は、入力画像内で文字列と重なっている黒色印鑑領域については黒色印鑑の成分を除去しない。

次に、第２処理回路２２０は、領域特定処理を実行する（ステップＳ２０７）。領域特定処理において、第２処理回路２２０は、図形領域との位置関係に基づいて、入力画像から取引先領域を特定する。領域特定処理の詳細については後述する。

次に、出力制御部２２８は、ステップＳ２０５で検出された取引先領域、又は、ステップＳ２０７の領域特定処理で特定された取引先領域に関する情報を出力し（ステップＳ２０８）、一連のステップを終了する。出力制御部２２８は、取引先領域に関する情報を表示装置２０３に表示することにより出力する。なお、出力制御部２２８は、取引先領域に関する情報を、第２インタフェース装置２０１を介して他の情報処理装置に送信することにより出力してもよい。出力制御部２２８は、取引先領域に関する情報として、例えば取引先領域に含まれる、入力画像内で取引先の名称を示す文字列を出力する。なお、出力制御部２２８は、取引先領域に関する情報として、入力画像及び入力画像内の取引先領域の座標を示す位置情報を出力してもよい。また、出力制御部２２８は、取引先領域に関する情報として、取引先領域を切り出した画像等を出力してもよい。

なお、ステップＳ２０６の処理が省略され、第２処理回路２２０は、入力画像から印鑑成分又はロゴ成分を除去せずに、取引先領域を特定してもよい。

図７は、領域特定処理の動作の例を示すフローチャートである。図７に示す動作のフローは、図５に示すフローチャートのステップＳ２０７において実行される。

図７のフローチャートに示すステップＳ３０１～Ｓ３１０の処理は、複数の部分領域の内、図形領域が検出された部分領域毎に実行される。

図６に示す例では、印鑑６０５を含む図形領域が検出された部分領域６０１に対してのみ、ステップＳ３０１～Ｓ３１０の処理が実行される。

最初に、文字列領域検出部２２３は、入力画像の処理対象の部分領域から文字列領域を検出する（ステップＳ３０１）。文字列領域検出部２２３は、公知のＯＣＲ技術を利用して、入力画像から文字を検出し、第１位置関係を有する複数の文字を文字列として検出する。文字列領域検出部２２３は、検出した文字列を含む領域を文字列領域として検出する。文字列領域検出部２２３は、例えば検出した文字列の外接矩形を文字列領域として検出する。

図６に示す例では、部分領域６０１内で郵便番号６０６、住所６０７、自社の名称６０８、電話番号６０９、取引先の名称６１０、住所６１１、銀行口座６１２及び銀行口座６１３をそれぞれ含む領域が文字列領域として検出される。

次に、候補領域検出部２２４は、第２記憶装置２１０に記憶された取引先の名称に関するキーワードに基づいて、文字列領域検出部２２３により検出された文字列領域の中から、取引先の名称が含まれる候補領域を検出する（ステップＳ３０２）。候補領域検出部２２４は、検出された文字列領域の内、取引先の名称に関するキーワードが含まれる文字列領域を候補領域として検出する。

図６に示す例では、自社の名称６０８及び取引先の名称６１０にキーワード「株式会社」が含まれており、自社の名称６０８及び取引先の名称６１０をそれぞれ含む文字列領域が候補領域として検出される。

次に、第１領域検出部２２５は、項目テーブルに記憶された各項目に関するキーワード又はフォーマットに基づいて、文字列領域検出部２２３により検出された文字列領域の中から第１領域を検出する（ステップＳ３０３）。第１領域は、項目テーブルに記憶された複数の項目の内の何れかの項目が含まれる領域である。第１領域検出部２２５は、検出された文字列領域の内、何れかの項目に関するキーワードが含まれる文字列領域、又は、何れかの項目に関するフォーマットを満たす文字列領域を第１領域として検出する。

図６に示す例では、郵便番号６０６、住所６０７、電話番号６０９、住所６１１、銀行口座６１２及び銀行口座６１３をそれぞれ含む文字列領域が第１領域として検出される。

次に、第２領域特定部２２６は、文字列領域検出部２２３により検出された文字列領域の中から、候補領域又は第１領域として検出されなかった第２領域を特定する（ステップＳ３０４）。第２領域特定部２２６は、検出された文字列領域の内、候補領域として検出されず且つ第１領域として検出されなかった文字列領域を第２領域として特定する。

図６に示す例では、全ての文字列領域が候補領域又は第１領域として検出されており、第２領域は特定されない。

図８は、第２領域が含まれる入力画像８００の一例を示す模式図である。

図８に示すように、入力画像８００には、印鑑８０５、日付８０６、文書番号８０７、取引先の名称８０８、担当者８０９、メールアドレス８１０、郵便番号８１１、住所８１２及び電話番号８１３等が含まれている。入力画像８００は四つの部分領域８０１～８０４に分割され、部分領域８０２内で印鑑８０５を含む領域が図形領域として検出される。また、部分領域８０２内で日付８０６、文書番号８０７、取引先の名称８０８、担当者８０９、メールアドレス８１０、郵便番号８１１、住所８１２及び電話番号８１３をそれぞれ含む領域が文字列領域として検出される。取引先の名称８０８にはキーワード「株式会社」が含まれておらず、部分領域８０１から候補領域は検出されない。また、部分領域８０１内で日付８０６、文書番号８０７、担当者８０９、メールアドレス８１０、郵便番号８１１、住所８１２及び電話番号８１３それぞれ含む文字列領域が第１領域として検出される。したがって、候補領域として検出されず且つ第１領域として検出されなかった取引先の名称８０８を含む文字列領域が、第２領域として特定される。

次に、取引先領域特定部２２７は、候補領域検出部２２４により候補領域が検出されたか否かを判定する（ステップＳ３０５）。

候補領域検出部２２４により候補領域が検出されなかった場合、取引先領域特定部２２７は、第１特定処理を実行する（ステップＳ３０６）。第１特定処理において、取引先領域特定部２２７は、第２領域に基づいて、部分領域内で最も有力な候補領域である最有力候補領域を特定する。第１特定処理の詳細については後述する。

一方、候補領域が検出された場合、取引先領域特定部２２７は、候補領域検出部２２４により複数の候補領域が検出されたか否かを判定する（ステップＳ３０７）。

複数の候補領域が検出されなかった場合、即ち検出された候補領域の数が一つである場合、取引先領域特定部２２７は、第２特定処理を実行する（ステップＳ３０８）。第２特定処理において、取引先領域特定部２２７は、候補領域と第２領域の位置関係に基づいて最有力候補領域を特定する。第２特定処理の詳細については後述する。

一方、複数の候補領域が検出された場合、即ち検出された候補領域の数が複数である場合、取引先領域特定部２２７は、図形領域からの距離に基づいて、複数の候補領域の中から一つの最有力候補領域を特定する（ステップＳ３０９）。

取引先領域特定部２２７は、複数の候補領域毎に、部分領域内の全ての図形領域のそれぞれとの間の距離を算出する。取引先領域特定部２２７は、候補領域と図形領域において、入力画像内で相互に最も近くに位置する端部位置（左上、左下、右上又は右下）の組合せを特定し、特定した端部位置間のユークリッド距離（直線距離に相当する画素数）を領域間の距離として算出する。なお、取引先領域特定部２２７は、領域間の距離として、特定した端部位置間のマンハッタン距離（水平方向の座標の差の絶対値と垂直方向の座標の差の絶対値の合計）を算出してもよい。また、取引先領域特定部２２７は、領域間の距離として、各領域の重心位置間のユークリッド距離又はマンハッタン距離を算出してもよい。また、取引先領域特定部２２７は、候補領域と図形領域が重複している場合（重複する画素数が所定数以上である場合）、領域間の距離を０としてもよい。

取引先領域特定部２２７は、複数の候補領域毎に、距離が最も小さい図形領域を各候補領域の最も近くに位置する図形領域として特定し、その領域間の距離を特定する。取引先領域特定部２２７は、特定した候補領域と図形領域の組合せの内、領域間の距離が最も小さい候補領域と図形領域の組合せを特定し、特定した組合せに係る候補領域を最有力候補領域として特定する。

図６に示す例では、自社の名称６０８を含む候補領域と取引先の名称６１０を含む候補領域とが検出されており、印鑑６０５を含む図形領域からの距離が小さい取引先の名称６１０を含む候補領域が最有力候補領域として特定される。

画像処理システム１が、取引先から受け取った請求書等の帳票をデータ化する企業で利用される場合、画像処理システム１は、その取引先の名称を特定して管理する必要がある。そのような請求書には、会社名として、自社の名称と、取引先の名称とが含まれる可能性が高い。但し、帳票の発行元である取引先の名称の近傍には、取引先の印鑑又はロゴが含まれ、帳票の送信先である自社の名称の近傍には、印鑑又はロゴが含まれていない可能性が高い。したがって、画像処理システム１は、複数の候補領域が検出された場合、図形領域に近い方の候補領域を最有力候補領域として特定することにより、取引先の名称が含まれる領域を精度良く検出することができる。これにより、画像処理システム１は、取引先以外の名称を取引先の名称として誤って検出することを抑制できる。

次に、取引先領域特定部２２７は、図形領域が検出された全ての部分領域についてステップＳ３０１～Ｓ３０９の処理が完了したか否かを判定する（ステップＳ３１０）。図形領域が検出され且つまだ処理されていない部分領域が残っている場合、取引先領域特定部２２７は、処理をステップＳ３０１に戻し、ステップＳ３０１～Ｓ３０９の処理を繰り返す。

一方、全ての部分領域について処理が完了した場合、取引先領域特定部２２７は、何れかの部分領域から最有力候補領域が特定されたか否かを判定する（ステップＳ３１１）。

何れの部分領域からも最有力候補領域が特定されなかった場合、取引先領域特定部２２７は、取引先の名称に対応する項目名及びその項目名からの位置関係に基づいて、入力画像から取引先領域を検出し（ステップＳ３１２）、一連のステップを終了する。取引先領域特定部２２７は、図５のステップＳ２０５の処理と同様にして、入力画像から取引先領域を検出する。

一方、何れかの部分領域から最有力候補領域が特定された場合、取引先領域特定部２２７は、特定した最有力候補領域の中から、取引先領域を特定し（ステップＳ３１３）、一連のステップを終了する。取引先領域特定部２２７は、図形領域が検出された部分領域毎に特定した各最有力候補領域と、各最有力候補領域に対応する図形領域との間の距離に基づいて、取引先領域を特定する。各最有力候補領域に対応する図形領域は、各最有力候補領域が含まれる部分領域に含まれ、且つ、その部分領域内で各最有力候補領域の最も近くに位置する図形領域である。取引先領域特定部２２７は、ステップＳ３０９の処理と同様にして、最有力候補領域毎に、部分領域内の全ての図形領域のそれぞれとの間の距離を算出する。取引先領域特定部２２７は、最有力候補領域毎に、距離が最も小さい図形領域を各最有力候補領域の最も近くに位置する図形領域として特定し、その領域間の距離を特定する。取引先領域特定部２２７は、特定した最有力候補領域と図形領域の組合せの内、領域間の距離が最も小さい最有力候補領域と図形領域の組合せを特定し、特定した組合せに係る最有力候補領域を取引先領域として特定する。

このように、取引先領域特定部２２７は、図形領域が検出された部分領域毎に特定した最有力候補領域の内、対応する図形領域からの距離が最も小さい最有力候補領域を取引先領域として特定する。

図６に示す例では、部分領域６０１内で取引先の名称６１０を含む最有力候補領域が検出されており、他の部分領域６０２～６０４では最有力候補領域が検出されていない。したがって、取引先の名称６１０を含む最有力候補領域が取引先領域として特定される。

図９は、複数の最有力候補領域が含まれる入力画像９００の一例を示す模式図である。

図９に示すように、入力画像９００には、取引先のロゴ９０５、自社の名称９０６、取引先の印鑑９０７及び取引先の名称９０８等が含まれている。入力画像９００は四つの部分領域９０１～９０４に分割される。そして、部分領域９０１内で、取引先のロゴ９０５を含む領域が図形領域として検出され、自社の名称９０６を含む領域が最有力候補領域として検出される。また、部分領域９０２内で、取引先の印鑑９０７を含む領域が図形領域として検出される。取引先の名称９０８を含む領域が最有力候補領域として検出される。取引先の名称９０８を含む最有力候補領域と取引先の印鑑９０７を含む図形領域との間の距離は、自社の名称９０６を含む最有力候補領域と取引先のロゴ９０５を含む図形領域との間の距離より小さい。そのため、取引先の名称９０８を含む最有力候補領域が取引先領域として特定される。

帳票によっては、取引先のロゴ又は取引先の担当者の印鑑等が、自社の名称と同じ部分領域に含まれる場合がある。そのような場合でも、取引先の印鑑は取引先の名称の近傍に押印される可能性が高く、取引先の名称と取引先の印鑑との間の距離は、自社の名称と取引先のロゴ又は取引先の担当者の印鑑との間の距離より小さい可能性が高い。画像処理システム１は、二以上の部分領域で最有力候補領域が検出された場合、対応する図形領域に近い最有力候補領域を取引先領域として特定することにより、取引先の名称が含まれる領域を精度良く検出することができる。これにより、画像処理システム１は、取引先以外の名称を取引先の名称として誤って検出することを抑制できる。

図１０は、第１特定処理の動作の例を示すフローチャートである。図１０に示す動作のフローは、図７に示すフローチャートのステップＳ３０６において実行される。

最初に、取引先領域特定部２２７は、第２領域特定部２２６により第２領域が特定されたか否かを判定する（ステップＳ４０１）。

第２領域が特定されなかった場合、取引先領域特定部２２７は、その部分領域から最有力候補領域を特定せず（ステップＳ４０２）、一連のステップを終了する。

一方、第２領域が特定された場合、取引先領域特定部２２７は、第２領域特定部２２６により複数の第２領域が特定されたか否かを判定する（ステップＳ４０３）。

複数の第２領域が特定されなかった場合、即ち特定された第２領域の数が一つである場合、取引先領域特定部２２７は、その第２領域を最有力候補領域として特定し（ステップＳ４０４）、一連のステップを終了する。

図８に示す例では、候補領域が検出されず、且つ、取引先の名称８０８を含む第２領域が特定されており、この第２領域が最有力候補領域として特定される。

一般に、「株式会社」、「有限会社」等の一般的なキーワードが含まれない会社の名称が存在するため、キーワードのみに基づいて取引先の名称を完全に検出することは困難である。情報処理装置２００は、キーワードに基づいて取引先の名称を検出できなかった場合に、一般的な帳票に含まれる住所、電話番号等の項目に対応しない文字列を、取引先の名称と推定する。これにより、情報処理装置２００は、キーワードを含まない取引先の名称を精度良く特定することができる。

一方、複数の第２領域が特定された場合、即ち特定された第２領域の数が複数である場合、取引先領域特定部２２７は、図形領域からの距離に基づいて、複数の第２領域の中から一つの最有力候補領域を特定し（ステップＳ４０５）、一連のステップを終了する。取引先領域特定部２２７は、図７のステップＳ３０９の処理と同様にして、複数の第２領域毎に、部分領域内の全ての図形領域のそれぞれとの間の距離を算出する。取引先領域特定部２２７は、複数の第２領域毎に、距離が最も小さい図形領域を各第２領域の最も近くに位置する図形領域として特定し、その領域間の距離を特定する。取引先領域特定部２２７は、特定した第２領域と図形領域の組合せの内、領域間の距離が最も小さい第２領域と図形領域の組合せを特定し、特定した組合せに係る第２領域を最有力候補領域として特定する。

上記したように、取引先から受け取った請求書に自社の名称と取引先の名称とが含まれている場合、取引先の名称の近傍には取引先の印鑑又はロゴが含まれ、自社の名称の近傍には印鑑又はロゴが含まれていない可能性が高い。したがって、画像処理システム１は、複数の第２領域が特定された場合、図形領域に近い方の第２領域を最有力候補領域として特定することにより、取引先の名称が含まれる領域を精度良く検出することができる。これにより、画像処理システム１は、取引先以外の名称を取引先の名称として誤って検出することを抑制できる。

なお、全ての部分領域において候補領域検出部２２４により候補領域が検出されなかった場合、第２領域特定部２２６によって特定された第２領域のみが最有力候補領域として特定される。したがって、図７のステップＳ３１３において、取引先領域特定部２２７は、第２領域特定部２２６によって特定された第２領域の中から取引先領域を特定する。特に、第２領域特定部２２６により、画像領域が検出された部分領域毎に複数の第２領域が特定された場合、取引先領域特定部２２７は、特定された第２領域の内、対応する図形領域からの距離が最も小さい第２領域を取引先領域として特定する。

上記したように、帳票によっては、取引先のロゴ又は取引先の担当者の印鑑等が、自社の名称と同じ部分領域に含まれる場合がある。画像処理システム１は、二以上の部分領域において複数の第２領域が最有力候補領域として特定された場合、対応する図形領域に近い第２領域を取引先領域として特定することにより、取引先の名称が含まれる領域を精度良く検出することができる。これにより、画像処理システム１は、取引先以外の名称を取引先の名称として誤って検出することを抑制できる。

図１１は、第２特定処理の動作の例を示すフローチャートである。図１１に示す動作のフローは、図７に示すフローチャートのステップＳ３０８において実行される。

最初に、取引先領域特定部２２７は、候補領域検出部２２４によって検出された候補領域と、その候補領域の最も近くに位置する図形領域との間の距離が距離閾値以下であるか否かを判定する（ステップＳ５０１）。取引先領域特定部２２７は、図７のステップＳ３０９の処理と同様にして、候補領域と、部分領域内の全ての図形領域のそれぞれとの間の距離を算出する。取引先領域特定部２２７は、距離が最も小さい図形領域を候補領域の最も近くに位置する図形領域として特定し、その領域間の距離を特定する。距離閾値は、例えば所定行数（例えば５行）に相当する画素数に設定される。

候補領域と、対応する図形領域との間の距離が距離閾値以下である場合、取引先領域特定部２２７は、その候補領域を最有力候補領域として特定し（ステップＳ５０２）、一連のステップを終了する。即ち、帳票内で、キーワードが含まれる取引先の名称の近傍に印鑑又はロゴが存在する場合、その取引先の名称を含む領域が最有力候補領域として特定される。

一方、候補領域と、対応する図形領域との間の距離が距離閾値より大きい場合、取引先領域特定部２２７は、その候補領域より図形領域からの距離が小さい第２領域が存在するか否かを判定する（ステップＳ５０３）。取引先領域特定部２２７は、図１０のステップＳ４０５の処理と同様にして、第２領域特定部２２６によって特定された第２領域毎に、各第２領域の最も近くに位置する図形領域、及び、各第２領域と各図形領域の間の距離を特定する。取引先領域特定部２２７は、ステップＳ５０１で候補領域について算出した距離より、何れかの第２領域について算出した距離が小さい場合、その候補領域より図形領域からの距離が小さい第２領域が存在すると判定する。一方、取引先領域特定部２２７は、ステップＳ５０１で候補領域について算出した距離が、全ての第２領域について算出した距離以下である場合、その候補領域より図形領域からの距離が小さい第２領域が存在しないと判定する。

候補領域より図形領域からの距離が小さい第２領域が存在しない場合、取引先領域特定部２２７は、その候補領域を最有力候補領域として特定し（ステップＳ５０２）、一連のステップを終了する。

図１２は、候補領域が図形領域から離れている入力画像１２００の一例を示す模式図である。

図１２に示すように、入力画像１２００には、取引先の印鑑１２０５及び取引先の名称１２０６等が含まれている。入力画像１２００は四つの部分領域１２０１～１２０４に分割され、部分領域１２０２内で取引先の印鑑１２０５を含む領域が図形領域として検出され、取引先の名称１２０６を含む領域が候補領域として検出される。但し、部分領域１２０２には、項目テーブルに記憶された項目以外の項目は含まれておらず、部分領域１２０２内で第２領域は特定されていない。取引先の名称１２０６を含む候補領域と取引先の印鑑１２０５を含む図形領域との間の距離は距離閾値より大きい。しかしながら、部分領域１２０２内で第２領域は特定されないため、取引先の名称１２０６を含む候補領域が最有力候補領域として特定される。

このように、帳票内で、印鑑又はロゴと会社名とが離れている場合でも、印鑑又はロゴの最も近くに位置する会社名にキーワードが含まれる場合には、その会社名を含む領域が最有力候補領域として特定される。

一方、候補領域より図形領域からの距離が小さい第２領域が存在する場合、取引先領域特定部２２７は、第２領域と図形領域の間の距離が所定距離以下であるか否かを判定する（ステップＳ５０４）。取引先領域特定部２２７は、部分領域内の第２領域の中で、最も近くに位置する図形領域からの距離が最も小さい第２領域、及び、その第２領域とその第２領域の最も近くに位置する図形領域との間の距離を特定する。取引先領域特定部２２７は、特定した距離が所定距離以下である場合、第２領域と図形領域の間の距離が所定距離以下であると判定し、特定した距離が所定距離より大きい場合、第２領域と図形領域の間の距離が所定距離より大きいと判定する。

第２領域と図形領域の間の距離が所定距離より大きい場合、取引先領域特定部２２７は、候補領域を最有力候補領域として特定し（ステップＳ５０２）、一連のステップを終了する。即ち、帳票内で、キーワードを含まない会社名が、キーワードを含む会社名よりも印鑑又はロゴの近くに存在する場合でも、キーワードを含まない会社名が印鑑又はロゴから離れている場合は、キーワードを含む会社名を含む領域が最有力候補領域として特定される。

一方、第２領域と図形領域の間の距離が所定距離以下である場合、取引先領域特定部２２７は、第２領域を最有力候補領域として特定し（ステップＳ５０５）、一連のステップを終了する。取引先領域特定部２２７は、部分領域内の第２領域の中で、最も近くに位置する図形領域からの距離が最も小さい第２領域を最有力候補領域として特定する。

図１３は、候補領域が図形領域から離れている入力画像１３００の一例を示す模式図である。

図１３に示すように、入力画像１３００には、取引先の印鑑１３０５、自社の名称１３０６及び取引先の名称１３０７等が含まれている。入力画像１３００は四つの部分領域１３０１～１３０４に分割される。そして、部分領域１３０１内で取引先の印鑑１３０５を含む領域が図形領域として検出され、自社の名称１３０６を含む領域が候補領域として特定され、取引先の名称１３０７を含む領域が第２領域として検出される。自社の名称１３０６を含む候補領域と取引先の印鑑１３０５を含む図形領域との間の距離は距離閾値より大きい。一方、取引先の名称１３０７を含む第２領域と印鑑１３０５を含む図形領域との間の距離は、自社の名称１３０６を含む候補領域と印鑑１３０５を含む図形領域との間の距離より小さく、且つ、所定距離以下である。そのため、取引先の名称１３０７を含む第２領域が最有力候補領域として特定される。

このように、帳票内で、印鑑又はロゴと、キーワードを含む会社名とが離れており、その会社名より印鑑又はロゴからの距離が小さい、キーワードを含まない会社名が存在する場合、キーワードを含まない会社名を含む領域が最有力候補領域として特定される。したがって、画像処理システム１は、取引先の名称にキーワードが含まれず、且つ、自社の名称にキーワードが含まれている場合でも、取引先の名称が含まれる領域を精度良く検出することができる。これにより、画像処理システム１は、取引先以外の名称を取引先の名称として誤って検出することを抑制できる。

なお、ステップＳ５０１の処理は省略されてもよい。その場合、取引先領域特定部２２７は、候補領域と図形領域の間の距離にかかわらず、図形領域からの距離が候補領域と図形領域の間の距離より小さく且つ所定距離以下である第２領域を取引先領域として特定する。

また、第２特定処理と同様に、図７のステップＳ３０９においても、取引先領域特定部２２７は、図形領域からの距離が候補領域と図形領域との間の距離より小さく且つ所定距離以下である第２領域を最有力候補領域として特定してもよい。取引先領域特定部２２７は、複数の候補領域が検出された場合、複数の候補領域の中で、最も近くに位置する図形領域からの距離が最も小さい候補領域を特定する。取引先領域特定部２２７は、特定した候補領域より図形領域からの距離が小さい第２領域が存在し、且つ、その第２領域と図形領域の間の距離が所定距離以下である場合、その第２領域を最有力候補として特定する。なお、図形領域からの距離が、特定した候補領域と図形領域との間の距離より小さく且つ所定距離以下である第２領域が複数存在する場合、取引先領域特定部２２７は、その距離が最も小さい第２領域を最有力候補領域として特定する。

なお、情報処理装置２００は、入力画像を複数の部分領域に分割せずに、まとめて認識処理及び領域特定処理を実行してもよい。その場合、図５の認識処理において、ステップＳ２０２の処理が省略され、ステップＳ２０３において、画像領域検出部２２２は、入力画像全体から図形領域を検出する。また、図７の領域特定処理において、ステップＳ３０１～Ｓ３０９の処理は入力画像全体に対して実行され、ステップＳ３１０の処理は省略される。図７のステップＳ３１３において、取引先領域特定部２２７は、図７のステップＳ３０９、図１０のステップＳ４０４、Ｓ４０５、又は、図１１のステップＳ５０２、Ｓ５０５で特定した最有力候補領域を取引先領域として特定する。

また、情報処理装置２００は、第１領域の検出及び第２領域の特定を実行することなく取引先領域を特定してもよい。その場合、図７のステップＳ３０３～Ｓ３０４の処理が省略される。ステップＳ３０５において、候補領域が検出されなかった場合、取引先領域特定部２２７は、処理をステップＳ３１２へ移行し、取引先の名称に対応する項目名及びその項目名からの位置関係に基づいて、入力画像から取引先領域を検出する。ステップＳ３０７において、検出された候補領域の数が一つである場合、取引先領域特定部２２７は、その検出された候補領域を最有力候補領域として特定する。この場合、ステップＳ３１３において、取引先領域特定部２２７は、図形領域が検出された部分領域毎に特定した候補領域の内、対応する図形領域からの距離が最も小さい候補領域を取引先領域として特定する。

また、ステップＳ３１３において、取引先領域特定部２２７は、候補領域として検出された最有力候補領域を優先して、取引先領域として特定してもよい。その場合、取引先領域特定部２２７は、候補領域として検出された最有力候補領域が存在するか否かを判定する。候補領域として検出された最有力候補領域が存在する場合、取引先領域特定部２２７は、候補領域として検出された最有力候補領域の内、対応する図形領域からの距離が最も小さい最有力候補領域を取引先領域として特定する。一方、候補領域として検出された最有力候補領域が存在しない場合、取引先領域特定部２２７は、第２領域として特定された最有力候補領域の内、対応する図形領域からの距離が最も小さい最有力候補領域を取引先領域として特定する。

以上の通り、取引先領域特定部２２７は、複数の図形領域が検出され且つ各図形領域に対応する複数の候補領域が検出された場合、複数の候補領域の内、対応する図形領域からの距離が最も小さい候補領域を取引先領域として特定する。また、取引先領域特定部２２７は、複数の図形領域が検出され、各図形領域に対応する候補領域が検出されず且つ何れかの図形領域に対応する第２領域が特定された場合、その特定された第２領域を取引先領域として特定する。特に、取引先領域特定部２２７は、各図形領域に対応する複数の第２領域が特定された場合、複数の第２領域の内、対応する図形領域からの距離が最も小さい第２領域を取引先領域として特定する。

以上詳述したように、情報処理装置２００は、キーワードに基づいて取引先の名称の候補領域が複数検出された場合に、印鑑又はロゴが含まれる図形領域からの距離に基づいて一つの取引先領域を特定する。これにより、情報処理装置２００は、入力画像から取引先の名称が含まれる領域をより精度良く特定することが可能となった。

その結果、情報処理装置２００は、入力装置２０２を用いて利用者から取引先の名称の修正を受け付けることがなくなり、入力画像を扱う処理におけるプロセッサの処理負荷を低減させることが可能となった。また、情報処理装置２００は、他の情報処理装置に取引先の名称に関する情報を送信する場合、他の情報処理装置から取引先の名称の修正要求を受信することがなくなり、情報処理装置２００と他の情報処理装置の間の通信量を低減させることが可能となった。

画像処理システム１は、ＯＣＲ及びＲＰＡ（Robotic Process Automation）技術を利用して帳票入力業務を自動化する企業において、担当者の業務負担を軽減させることが可能となった。特に、画像処理システム１は、請求書等の帳票を電子化して支払い依頼等の業務を自動化する際に、取引先の名称を精度良く特定することが可能となり、利用者の利便性を向上させることが可能となった。

図１４は、他の実施形態に係る情報処理装置における第２処理回路２３０の概略構成を示すブロック図である。

第２処理回路２３０は、第２処理回路２２０の代わりに、認識処理を実行する。第２処理回路２３０は、取得回路２３１、画像領域検出回路２３２、文字列領域検出回路２３３、候補領域検出回路２３４、第１領域検出回路２３５、第２領域特定回路２３６、取引先領域特定回路２３７及び出力制御回路２３８等を有する。

取得回路２３１は、取得部の一例であり、取得部２２１と同様の機能を有する。取得回路２３１は、入力画像を、第２インタフェース装置２０１を介して画像読取装置１００から取得し、第２記憶装置２１０に保存する。

画像領域検出回路２３２は、画像領域検出部の一例であり、画像領域検出部２２２と同様の機能を有する。画像領域検出回路２３２は、第２記憶装置２１０から入力画像を読み出し、入力画像内で図形領域を検出し、検出結果を第２記憶装置２１０に保存する。

文字列領域検出回路２３３は、文字列領域検出部の一例であり、文字列領域検出部２２３と同様の機能を有する。文字列領域検出回路２３３は、第２記憶装置２１０から入力画像を読み出し、入力画像から文字列領域を検出し、検出結果を第２記憶装置２１０に保存する。

候補領域検出回路２３４は、候補領域検出部の一例であり、候補領域検出部２２４と同様の機能を有する。候補領域検出回路２３４は、第２記憶装置２１０から文字列領域の検出結果及び取引先の名称に関するキーワードを読み出し、文字列領域の中から候補領域を検出し、検出結果を第２記憶装置２１０に保存する。

第１領域検出回路２３５は、第１領域検出部の一例であり、第１領域検出部２２５と同様の機能を有する。第１領域検出回路２３５は、第２記憶装置２１０から文字列領域の検出結果及び項目テーブルを読み出し、文字列領域の中から第１領域を検出し、検出結果を第２記憶装置２１０に保存する。

第２領域特定回路２３６は、第２領域特定部の一例であり、第２領域特定部２２６と同様の機能を有する。第２領域特定回路２３６は、第２記憶装置２１０から文字列領域の検出結果及び第１領域の検出結果を読み出し、文字列領域の中から第２領域を特定し、特定結果を第２記憶装置２１０に保存する。

取引先領域特定回路２３７は、取引先領域特定部の一例であり、取引先領域特定部２２７と同様の機能を有する。取引先領域特定回路２３７は、第２記憶装置２１０から候補領域の検出結果、第１領域の検出結果、及び、第２領域の特定結果を読み出し、取引先領域を特定し、特定結果を第２記憶装置２１０に保存する。

出力制御回路２３８は、出力制御部の一例であり、出力制御部２２８と同様の機能を有する。出力制御回路２３８は、第２記憶装置２１０から取引先領域の特定結果を読み出し、取引先領域に関する情報を表示装置２０３に出力する。

以上詳述したように、情報処理装置は、第２処理回路２３０を用いる場合も、入力画像から取引先の名称が含まれる領域をより精度良く特定することが可能となった。

以上、好適な実施形態について説明してきたが、実施形態はこれらに限定されない。例えば、画像読取装置１００と情報処理装置２００の機能分担は、図１に示す画像処理システム１の例に限られず、画像読取装置１００及び情報処理装置２００の各部を画像読取装置１００と情報処理装置２００の何れに配置するかは適宜変更可能である。または、画像読取装置１００と情報処理装置２００を一つの装置で構成してもよい。

例えば、画像読取装置１００の第１記憶装置１１０が、情報処理装置２００の第２記憶装置２１０に記憶された各プログラム及び各データを記憶してもよい。また、画像読取装置１００の第１処理回路１２０が、情報処理装置２００の第２処理回路２２０により実現される各部として動作してもよい。また、画像読取装置１００が、情報処理装置２００の第２処理回路２３０と同様の処理回路を有してもよい。

その場合、画像読取装置１００は表示装置２０３と同様の表示装置を有する。認識処理は画像読取装置１００で実行されるため、ステップＳ１０２、Ｓ２０１の入力画像の送受信処理は省略される。ステップＳ２０２～Ｓ２０８の各処理は、画像読取装置１００の第１処理回路１２０によって実行される。これらの処理の動作は、情報処理装置２００の第２処理回路２２０又は第２処理回路２３０によって実行される場合と同様である。この場合、画像読取装置１００が画像処理装置として動作する。

また、画像処理システム１において、第１インタフェース装置１０１と第２インタフェース装置２０１は、インターネット、電話回線網（携帯端末回線網、一般電話回線網を含む）、イントラネット等のネットワークを介して接続してもよい。その場合、第１インタフェース装置１０１及び第２インタフェース装置２０１に、接続するネットワークの通信インタフェース回路を備える。また、その場合、クラウドコンピューティングの形態で画像処理のサービスを提供できるように、ネットワーク上に複数の情報処理装置を分散して配置し、各情報処理装置が協働して、認識処理等を分担するようにしてもよい。これにより、画像処理システム１は、複数の画像読取装置が読み取った入力画像について、効率よく認識処理を実行できる。

２００ 情報処理装置
２１０ 第２記憶装置
２２１ 取得部
２２２ 画像領域検出部
２２３ 文字列領域検出部
２２４ 候補領域検出部
２２５ 第１領域検出部
２２６ 第２領域特定部
２２７ 取引先領域特定部
２２８ 出力制御部

Claims (9)

1. 取引先の名称に関するキーワードを記憶するとともに、帳票に含まれる複数の項目毎に、各項目に関する第２キーワード又はフォーマットを記憶する記憶部と、
   入力画像を取得する取得部と、
   前記入力画像内で印鑑又はロゴが含まれる画像領域を検出する画像領域検出部と、
   前記入力画像から文字列領域を検出する文字列領域検出部と、
   前記キーワードに基づいて、前記文字列領域の中から、取引先の名称が含まれる候補領域を検出する候補領域検出部と、
   前記第２キーワード又は前記フォーマットに基づいて、前記文字列領域の中から、前記複数の項目の内の何れかの項目が含まれる第１領域を検出する第１領域検出部と、
   前記文字列領域の中から、前記候補領域又は前記第１領域として検出されなかった第２領域を特定する第２領域特定部と、
   前記候補領域検出部により複数の候補領域が検出された場合に、前記画像領域からの距離に基づいて、前記複数の候補領域の中から一つの取引先領域を特定し、前記候補領域検出部により候補領域が検出されなかった場合、前記第２領域特定部により特定された第２領域を前記取引先領域として特定する取引先領域特定部と、
   前記取引先領域に関する情報を出力する出力制御部と、
   を有することを特徴とする画像処理装置。
2. 前記取引先領域特定部は、前記候補領域検出部により検出された候補領域より前記画像領域からの距離が小さい第２領域が存在し、且つ、当該第２領域と前記画像領域の間の距離が所定距離以下である場合、当該第２領域を前記取引先領域として特定する、請求項１に記載の画像処理装置。
3. 前記取引先領域特定部は、前記第２領域特定部により複数の第２領域が特定された場合に、前記画像領域からの距離に基づいて、前記複数の第２領域の中から一つの取引先領域を特定する、請求項１または２に記載の画像処理装置。
4. 取引先の名称に関するキーワードを記憶する記憶部と、
   入力画像を取得する取得部と、
   前記入力画像内の複数の部分領域毎に、印鑑又はロゴが含まれる画像領域を検出する画像領域検出部と、
   前記画像領域が検出された部分領域毎に、文字列領域を検出する文字列領域検出部と、
   前記画像領域が検出された部分領域毎に、前記キーワードに基づいて、前記文字列領域の中から、取引先の名称が含まれる候補領域を検出する候補領域検出部と、
   前記候補領域検出部により複数の候補領域が検出された場合に、前記画像領域が検出された部分領域毎に検出された候補領域の内、対応する画像領域からの距離が最も小さい候補領域を取引先領域として特定する取引先領域特定部と、
   前記取引先領域に関する情報を出力する出力制御部と、
   を有することを特徴とする画像処理装置。
5. 前記記憶部は、帳票に含まれる複数の項目毎に、各項目に関する第２キーワード又はフォーマットをさらに記憶し、
   前記画像領域が検出された部分領域毎に、前記第２キーワード又は前記フォーマットに基づいて、前記文字列領域の中から、前記複数の項目の内の何れかの項目が含まれる第１領域を検出する第１領域検出部と、
   前記画像領域が検出された部分領域毎に、前記文字列領域の中から、前記候補領域又は前記第１領域として検出されなかった第２領域を特定する第２領域特定部と、を有し、
   前記取引先領域特定部は、前記候補領域検出部により候補領域が検出されなかった場合、前記第２領域特定部により前記画像領域が検出された部分領域毎に特定された第２領域の内、対応する画像領域からの距離が最も小さい第２領域を前記取引先領域として特定する、請求項４に記載の画像処理装置。
6. 記憶部を有する画像処理装置の制御方法であって、前記画像処理装置が、
   取引先の名称に関するキーワードを前記記憶部に記憶するとともに、帳票に含まれる複数の項目毎に、各項目に関する第２キーワード又はフォーマットを前記記憶部に記憶し、
   入力画像を取得し、
   前記入力画像内で印鑑又はロゴが含まれる画像領域を検出し、
   前記入力画像から文字列領域を検出し、
   前記キーワードに基づいて、前記文字列領域の中から、取引先の名称が含まれる候補領域を検出し、
   前記第２キーワード又は前記フォーマットに基づいて、前記文字列領域の中から、前記複数の項目の内の何れかの項目が含まれる第１領域を検出し、
   前記文字列領域の中から、前記候補領域又は前記第１領域として検出されなかった第２領域を特定し、
   複数の候補領域が検出された場合に、前記画像領域からの距離に基づいて、前記複数の候補領域の中から一つの取引先領域を特定し、候補領域が検出されなかった場合、前記特定された第２領域を前記取引先領域として特定し、
   前記取引先領域に関する情報を出力する、
   ことを特徴とする制御方法。
7. 記憶部を有する画像処理装置の制御方法であって、前記画像処理装置が、
   取引先の名称に関するキーワードを前記記憶部に記憶し、
   入力画像を取得し、
   前記入力画像内の複数の部分領域毎に、印鑑又はロゴが含まれる画像領域を検出し、
   前記画像領域が検出された部分領域毎に、文字列領域を検出し、
   前記画像領域が検出された部分領域毎に、前記キーワードに基づいて、前記文字列領域の中から、取引先の名称が含まれる候補領域を検出し、
   複数の候補領域が検出された場合に、前記画像領域が検出された部分領域毎に検出された候補領域の内、対応する画像領域からの距離が最も小さい候補領域を取引先領域として特定し、
   前記取引先領域に関する情報を出力する、
   ことを特徴とする制御方法。
8. 記憶部を有するコンピュータの制御プログラムであって、
   取引先の名称に関するキーワードを前記記憶部に記憶するとともに、帳票に含まれる複数の項目毎に、各項目に関する第２キーワード又はフォーマットを前記記憶部に記憶し、
   入力画像を取得し、
   前記入力画像内で印鑑又はロゴが含まれる画像領域を検出し、
   前記入力画像から文字列領域を検出し、
   前記キーワードに基づいて、前記文字列領域の中から、取引先の名称が含まれる候補領域を検出し、
   前記第２キーワード又は前記フォーマットに基づいて、前記文字列領域の中から、前記複数の項目の内の何れかの項目が含まれる第１領域を検出し、
   前記文字列領域の中から、前記候補領域又は前記第１領域として検出されなかった第２領域を特定し、
   複数の候補領域が検出された場合に、前記画像領域からの距離に基づいて、前記複数の候補領域の中から一つの取引先領域を特定し、候補領域が検出されなかった場合、前記特定された第２領域を前記取引先領域として特定し、
   前記取引先領域に関する情報を出力する、
   ことを前記コンピュータに実行させることを特徴とする制御プログラム。
9. 記憶部を有するコンピュータの制御プログラムであって、
   取引先の名称に関するキーワードを前記記憶部に記憶し、
   入力画像を取得し、
   前記入力画像内の複数の部分領域毎に、印鑑又はロゴが含まれる画像領域を検出し、
   前記画像領域が検出された部分領域毎に、文字列領域を検出し、
   前記画像領域が検出された部分領域毎に、前記キーワードに基づいて、前記文字列領域の中から、取引先の名称が含まれる候補領域を検出し、
   複数の候補領域が検出された場合に、前記画像領域が検出された部分領域毎に検出された候補領域の内、対応する画像領域からの距離が最も小さい候補領域を取引先領域として特定し、
   前記取引先領域に関する情報を出力する、
   ことを前記コンピュータに実行させることを特徴とする制御プログラム。

Images