JP7268764B1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】本開示は、審査効率を向上させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。【解決手段】画像処理装置（情報処理装置１００）は、申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び該申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データを取得する申請情報取得部１１と、該申請画像データが示す該申請用書類の該属性を判定し、該属性に応じて該申請画像データに対して画像処理を行い、該申請情報の内容の審査に用いる審査用画像データを生成する画像処理部３０と、を備える。【選択図】図２

Description

本開示は、画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、例えば自治体に対する申請の際に、自治体において申請者からの申請用書類の受け付け及び申請用書類等の内容に不備があるか否かの審査が行われている。自治体は、例えば一申請者から申請書とともに本人確認書類の写しや申請内容の確認のための証明書類等の複数種類の書類を受け取り、これら複数の書類を対比して申請内容に不備がないかどうかの審査を行っている。同様の処理は、民間企業に対するサービス等の申し込みにおいても行われている。このとき、これら複数種類の申請用書類は紙媒体であることから、申請情報の確認作業や確認結果の入力作業の効率が悪くなる場合がある。そこで、例えば審査の前処理として、申請用書類をスキャナ等で読み取り、記入された文字を自動でデータ化して記憶装置に記憶することが行われる場合がある（例えば、特許文献１）。

特開２０１８－１０１３２７号公報

しかしながら、審査の対象となる申請用書類には申請書や本人確認書類などが含まれ、書類によって書式や紙面への印刷態様は相違し得る。このため、申請用書類を単に画像データ化しても、確認事項ごとに必要な申請用書類データを表示させる手間がかかり、審査効率が向上しない場合がある。
そこで、本開示は、審査効率を向上させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本開示の一態様に係る画像処理装置は、申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び前記申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データを取得する画像取得部と、前記申請画像データが示す前記申請用書類の前記属性が前記申請書又は前記証明書類のいずれであるかを判定し、該属性に応じて前記申請画像データに対して画像処理を行い、前記申請情報の内容の審査に用いる審査用画像データを生成する画像処理部と、を備え、前記画像処理部は、前記画像処理として、前記申請画像データの画像領域から特定の画像領域を抽出し当該特定の画像領域を含む新たな画像データを前記審査用画像データとして生成する処理を実行可能であり、前記属性の判定結果に基づいて前記画像処理を実行するか否かを決定し、さらに前記画像処理部は、前記申請画像データが示す前記申請用書類の前記属性が前記証明書類である場合に、前記申請画像データの画像領域から前記証明書類を示す証明書画像領域を前記特定の画像領域として切り出し、前記審査用画像データとなる前記新たな画像データとして該証明書画像領域内の画像情報を含む証明書画像データを生成し、前記証明書画像データに含まれる画像情報に基づいて前記証明書類の種別を分類し、分類した前記証明書類の種別又は前記申請用書類の前記属性に基づいて、前記審査用画像データの画像領域内において、前記審査の対象となる画像情報を含む審査画像領域の位置情報を抽出し、所定の記憶領域に記憶された設定ファイルから、前記審査の対象となる画像情報の項目を示す項目領域と該画像情報の内容を示す内容領域とを紐づける紐づけ情報を取得し、前記紐づけ情報に基づいて前記項目領域および前記内容領域を含む領域の位置情報を一次抽出情報として抽出し、前記一次抽出情報から前記項目領域の位置情報を除いた前記内容領域の位置情報を前記審査画像領域の位置情報として抽出し、前記紐づけ情報には、前記項目領域を基準とした前記内容領域の上下左右の位置と前記内容領域のサイズとが含まれることを特徴とする。

また、上記目的を達成するために、本開示の一態様に係る画像処理方法は、コンピュータが実行する画像処理方法であって、申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び前記申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データを取得し、前記申請画像データが示す前記申請用書類の前記属性が前記申請書又は前記証明書類のいずれであるかを判定し、該属性に応じて前記申請画像データに対して画像処理を行って前記申請情報の内容の審査に用いる審査用画像データを生成し、前記画像処理として、前記申請画像データの画像領域から特定の画像領域を抽出し当該特定の画像領域を含む新たな画像データを前記審査用画像データとして生成する処理を実行可能であり、前記属性の判定結果に基づいて前記画像処理を実行するか否かを決定し、さらに前記画像処理として、前記申請画像データが示す前記申請用書類の前記属性が前記証明書類である場合に、前記申請画像データの画像領域から前記証明書類を示す証明書画像領域を前記特定の画像領域として切り出し、前記審査用画像データとなる前記新たな画像データとして該証明書画像領域内の画像情報を含む証明書画像データを生成し、前記証明書画像データに含まれる画像情報に基づいて前記証明書類の種別を分類し、分類した前記証明書類の種別又は前記申請用書類の前記属性に基づいて、前記審査用画像データの画像領域内において、前記審査の対象となる画像情報を含む審査画像領域の位置情報を抽出し、所定の記憶領域に記憶された設定ファイルから、前記審査の対象となる画像情報の項目を示す項目領域と該画像情報の内容を示す内容領域とを紐づける紐づけ情報を取得し、前記紐づけ情報に基づいて前記項目領域および前記内容領域を含む領域の位置情報を一次抽出情報として抽出し、前記一次抽出情報から前記項目領域の位置情報を除いた前記内容領域の位置情報を前記審査画像領域の位置情報として抽出し、前記紐づけ情報には、前記項目領域を基準とした前記内容領域の上下左右の位置と前記内容領域のサイズとが含まれることを特徴とする。

また、上記目的を達成するために、本開示の一態様に係る画像処理プログラムは、申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び前記申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データを取得することと、前記申請画像データが示す前記申請用書類の前記属性が前記申請書又は前記証明書類のいずれであるかを判定することと、前記属性に応じて前記申請画像データに対して画像処理を行い前記申請情報の内容の審査に用いる審査用画像データを生成することと、前記画像処理として、前記申請画像データの画像領域から特定の画像領域を抽出し当該特定の画像領域を含む新たな画像データを前記審査用画像データとして生成する処理を実行可能であり、前記属性の判定結果に基づいて前記画像処理を実行するか否かを決定することと、さらに前記画像処理として、前記申請画像データが示す前記申請用書類の前記属性が前記証明書類である場合に、前記申請画像データの画像領域から前記証明書類を示す証明書画像領域を前記特定の画像領域として切り出し、前記審査用画像データとなる前記新たな画像データとして該証明書画像領域内の画像情報を含む証明書画像データを生成することと、前記証明書画像データに含まれる画像情報に基づいて前記証明書類の種別を分類し、分類した前記証明書類の種別又は前記申請用書類の前記属性に基づいて、前記審査用画像データの画像領域内において、前記審査の対象となる画像情報を含む審査画像領域の位置情報を抽出することと、所定の記憶領域に記憶された設定ファイルから、前記審査の対象となる画像情報の項目を示す項目領域と該画像情報の内容を示す内容領域とを紐づける紐づけ情報を取得し、前記紐づけ情報に基づいて前記項目領域および前記内容領域を含む領域の位置情報を一次抽出情報として抽出し、前記一次抽出情報から前記項目領域の位置情報を除いた前記内容領域の位置情報を前記審査画像領域の位置情報として抽出することと、をコンピュータに実行させ、前記紐づけ情報には、前記項目領域を基準とした前記内容領域の上下左右の位置と前記内容領域のサイズとが含まれることを特徴とする。

本開示によれば、審査効率を向上させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本開示の一実施形態に係る画像処理装置を含む情報処理システムの一構成例を示す模式図である。 本開示の一実施形態に係る画像処理装置を含む情報処理システムの機能構成の一例を示す概略的な機能ブロック図である。 本開示の一実施形態における申請画像データのうち申請書を示す画像データの一例を示す模式図である。 本開示の一実施形態における申請画像データのうち証明書類を示す画像データの一例を示す模式図である。 本開示の一実施形態に係る画像処理装置による画像分割処理の一例を示す模式図である。 本開示の一実施形態に係る画像処理装置において、証明書画像データから抽出された審査画像領域の一例を示す図である。 本開示の一実施形態に係る画像処理装置において、申請書を示す申請画像データから抽出された審査画像領域の一例を示す図である。 本開示の一実施形態において画像分割処理によって生成された証明書画像データの一例を示す模式図である。 本開示の一実施形態において、表示装置の表示画面に表示される審査画面及び審査用画像データの一例を示す図である。 本開示の一実施形態において、表示装置の表示画面に表示される審査画面及び複数の審査用画像データの一例を示す図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成の一例を示す概略図である。 本開示の一実施形態に係る画像処理装置で実行される画像処理方法を説明するフローチャートである。

以下、図面を参照して本開示の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本開示は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。

また、以下の画像処理装置は、汎用のコンピュータなどの情報処理端末装置であるハードウェアと、コンピュータプログラムであるソフトウェアとの協働によって実現される。コンピュータプログラムは、画像処理装置が備える一又は複数のプロセッサによって読み取り可能であり、ハードディスクにインストールされることによりプロセッサが画像処理装置の各部として機能する。

以下、本実施形態に係る画像処理装置と、画像処理装置で実行される画像処理方法及び画像処理プログラムについて、図１から図１２を参照して説明する。

１．情報処理システムの全体構成
図１に示すように、情報処理システム１は、申請者から申請された申請情報を取得し、申請内容の審査を行うための申請情報処理システムとして用いられる。図１では、情報処理システム１の一例として、自治体の内部システムとして申請者からの申請手続きを受け付け、審査担当者による審査の結果を得る申請情報処理システムを図示している。なお、この情報処理システム１は、自治体から依頼を受けた企業等のシステムであっても良いし、サービスの申込者からの申請手続（申込手続）を受け付ける企業の内部システムであっても良い。
情報処理システム１は、自治体内部又は外部の印刷部門のシステムと接続され、印刷装置によって情報処理システム１からの出力に応じた通知状等の印刷物を作成することができる。また、情報処理システム１は、銀行のシステムと接続され、審査に応じた振込等を行ってもよい。

図２は、情報処理システム１の機能構成の一例を示す概略的な機能ブロック図である。
図２に示すように、申請情報処理システムである情報処理システム１は、情報処理装置１００を含んで構成される。情報処理装置１００は、申請者から申請された申請情報を取得し、申請内容の審査を行うための申請情報処理装置として機能する。本実施形態において情報処理装置１００は画像処理部３０を備えている。これにより、紙媒体の申請用書類を画像データ化して画像処理を行い、審査に適した画像データを生成する画像処理装置として機能する。すなわち、情報処理装置１００は、本実施形態に係る画像処理装置に相当する。

申請者からの申請手続きを受け付ける場合、審査機関である自治体や企業は、申請者が郵送や当該審査機関に訪問する等の方法により紙媒体の申請用書類を受け付けたり、インターネットを介して申請者から申請用書類を受け付けることができる。本実施形態では、一例として、申請者が郵送や自治体に訪問する等の方法により紙媒体の申請用書類を提出した場合のシステム構成および情報処理装置１００について説明する。

２．情報処理装置の機能構成
図２に示すように、情報処理装置１００（画像処理装置の一例）は、例えばコンピュータである。図２に示す各機能ブロックは、後に図９で説明する演算装置１０のプロセッサ１０１が必要なプログラムを実行し、情報処理装置１００の各部の動作を制御することにより実現される。

本実施形態に係る画像処理装置である情報処理装置１００は、申請情報取得部１１、記憶部１２、審査部１３、表示データ出力部１４、データ出力部１５、画像処理部３０、審査画像記憶部３１を有している。また、情報処理装置１００は、外部装置であるスキャナ等の読取装置５１、キーボードやマウス等の入力装置５２、液晶ディスプレイ等の表示装置５３及びＯＣＲ審査サーバ５４と接続されている。ＯＣＲ審査サーバ５４は、情報処理装置１００（特に、画像処理部３０）が生成した画像データに対するＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理の結果に基づいて申請内容の審査を行うサーバ装置である。なお、読取装置５１、入力装置５２及び表示装置５３は、情報処理装置１００の一部として設けられていても良い。また、ＯＣＲ審査サーバ５４の機能が、情報処理装置１００の機能ブロックとして実現されてもよい。

またＯＣＲ審査サーバ５４におけるＯＣＲエンジンは、ＡＩ技術を適用したＡＩ－ＯＣＲエンジンであってもよい。ＡＩ－ＯＣＲエンジンは、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）によって文字認識精度や画像データのレイアウト解析（認識範囲の特定）の精度の向上を図ることができる。なお、ＡＩ－ＯＣＲエンジンを用いる場合、ＯＣＲ審査サーバ５４は開放されたネットワーク環境（クラウド環境）に設けられたクラウドサーバであることが好ましい。これにより、ＡＩ－ＯＣＲエンジンが多くのデータから学習することができ、ＯＣＲ処理結果の精度を向上させることができる。
以下、各機能ブロックについて説明する。

［申請情報取得部］
申請情報取得部（画像取得部の一例）１１は、申請者からの申請用書類を電子データ化した申請画像データを取得するインタフェースである。情報処理装置１００は、図２に示すように、申請情報が記入された申請用書類を読み取って申請用書類を電子データ化し、申請画像データを作成するスキャナ等の読取装置５１と接続されている。

申請画像データは、申請者が提出した紙媒体による申請用書類（申請書や証明書類等）の画像データであり、申請者の申請情報を含んでいる。
申請者から提出される申請用書類は、複数種類の属性に分類される。本実施形態における申請用書類の属性としては、例えば申請者の情報を含む（申請情報が記入された）申請書や、申請書に添付された証明書類が挙げられる。ここで、申請者には申請者本人だけでなく、申請者の家族等が含まれる場合もある。証明書類は、例えば申請者（申請者及び申請者の家族等）の本人確認書類の写しや申請内容の確認のための証明書類等である。
なお、証明書類は、申請書の添付書類として扱われる。添付書類には、上述の証明書類の他に、例えば請求書や注文書のような各種帳票が含まれる場合がある。

申請用書類がスキャナ等の読取装置５１によって読み取られることで申請画像データが生成される場合、申請画像データは、画像情報として申請者の申請情報を含んでいる。
このように、本実施形態において申請情報取得部１１は、申請画像データは、申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び前記申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データを取得する。

図３及び図４は、申請情報取得部１１が取得する申請画像データの一例を示す図である。具体的には、図３は申請画像データのうち読取装置５１で読取られた申請書の画像データである申請書読取画像データの一例である。申請書読取画像データ７１は、申請書自体を読取装置５１（スキャナ等）で読み取った画像データであり、申請書の内容を画像情報として示す申請書画像領域７１０で形成されている。

本例において申請書画像領域７１０には、申請者や申請内容に関する各種情報の種類を示す画像情報を含む申請項目領域と、当該各種情報の内容を示す画像情報を含む申請内容領域とが含まれる。例えば図３において、申請項目領域の一例である申請項目領域７１１には申請者に関する情報の種類を示す「氏名」という文字列の画像情報が含まれている。また、申請内容領域の一例である申請内容領域７１２には申請者に関する情報の内容であって、申請項目領域７１１に対応する情報の内容を示す「日本 太郎」という文字列の画像情報が含まれている。本例において申請項目領域は、一以上の申請内容領域と対応付けられている。

また、図４は申請画像データのうち読取装置５１で読取られた証明書類の画像データである証明書読取画像データの一例である。証明書読取画像データ７２は、申請者が紙媒体として提出した証明書類の写し（印刷物）を読取装置５１（スキャナ等）で読み取った画像データである。このため、証明書読取画像データ７２には、証明書類の内容を画像情報として示す証明書画像領域７２０と、背景画像領域７２１とを含んで形成されている。背景画像領域７２１は、所定の印刷装置（プリンタ、コピー機等）での証明書類の印刷時において、証明書類が配置されていない余白部分を示す画像領域である。

また、申請者が申請書の添付書類として提出する証明書類は、１種類に限られず、複数種類の場合がある。このとき申請者は、印刷装置によって複数種類の証明書類を一枚の印刷用紙に印刷する場合がある。つまり、一の証明書読取画像データ７２には、複数の証明書画像領域７２０が含まれる場合がある。本例では、証明書読取画像データ７２が複数の証明書画像領域７２０（証明書画像領域７２０ａ，７２０ｂ）を含む例を図示している。図４において、証明書画像領域７２０ａは、保険証の内容を画像情報として示す証明画像領域であり、証明書画像領域７２０ｂは、運転免許証の内容を画像情報として示す証明画像領域である。

本例において証明書画像領域７２０には、証明書類の種別を示す画像情報を含む種別領域と、申請者や証明内容に関する各種情報の種類を示す画像情報を含む証明項目領域と、当該各種情報の内容を示す画像情報を含む証明内容領域とが含まれる。例えば図４において、種別領域の一例である種別領域７２２には、証明書類の種別を示す「保険証」や「運転免許証」という文字列の画像情報が含まれている。また、証明項目領域の一例である証明項目領域７２３には申請者に関する情報の種類を示す「氏名」という文字列の画像情報が含まれている。また、証明内容領域の一例である証明内容領域７２４には申請者に関する情報の内容であって、証明項目領域７２３に対応する情報（本例では申請者の「氏名」を示す情報）の内容を示す「日本 太郎」という文字列の画像情報が含まれている。本例において証明項目領域は、一以上の申請内容領域と対応付けられている。

なお、実際には、証明書画像領域７２０には多種多様な証明項目領域およびこれに対応する証明内容領域が含まれている。本例では理解を容易にするため、多くの照明項目領域および証明内容領域のうちの一部である証明項目領域７２３および証明内容領域７２４のみを図示し、他の証明項目領域および証明内容領域の図示は省略している。

以上、本実施形態における申請画像データについて具体例を挙げて説明した。
なお、以下の説明では、申請書画像領域７１０における申請項目領域（例えば申請項目領域７１１）および証明書画像領域７２０における証明項目領域（例えば証明項目領域７２３）を総称して、単に「項目領域」と記載する場合がある。また、申請書画像領域７１０における申請内容領域（例えば申請内容領域７１２）および証明書画像領域７２０における証明内容領域（例えば証明内容領域７２４）を総称して、単に「内容領域」と記載する場合がある。

図２に戻って、読取装置５１において申請画像データが生成されると、生成された申請画像データを申請情報取得部１１に出力する。申請情報取得部１１は、読取装置５１から入力された申請画像データを取得すると、記憶部１２に出力する。これにより、記憶部１２に申請画像データ（例えば申請書読取画像データ７１、証明書読取画像データ７２）が記憶される。

なお、申請情報取得部１１が取得する申請画像データは、読取装置５１から出力されたものに限られない。例えば、読取装置５１は記憶部１２に申請画像データを出力し、記憶部１２に記憶された申請画像データを申請情報取得部１１が取得する構成でもよい。
また申請画像データは、例えば情報処理装置１００に接続された画像データ取得用のコンピュータ装置（不図示）から出力され、申請情報取得部１１が取得したものでもよい。画像取得用のコンピュータ装置は、読取装置５１と同様に申請用書類を読み取って申請画像データを作成して出力する、スキャナ等の読取装置と接続されていればよい。画像取得用のコンピュータ装置は当該読取装置から出力された申請画像データを取得すると、取得した申請画像データを情報処理装置１００に出力する。これにより、申請情報取得部１１は、画像取得用のコンピュータ装置から申請画像データを取得することができる。なお、画像取得用のコンピュータ装置が出力した申請画像データは、記憶部１２に記憶され、申請情報取得部１１が記憶部１２から申請画像データを読み込んでもよい。
このように、情報処理装置１００（特に申請情報取得部１１）は、読取装置５１と接続されていない構成（読取装置５１と一体でなく独立した構成）であってもよい。

［記憶部］
記憶部１２は、申請情報取得部１１が取得した申請画像データと、申請者を示す申請者情報とを関連付けて記憶する。
また、記憶部１２は、申請用書類の審査を行う審査担当者等によって、キーボード等の入力装置５２を介して入力された情報を記憶する。例えば、後述するように、審査部１３は、例えば「本人確認書類の氏名を確認して入力してください」「本人確認書類の氏名が申請書と一致しているか確認してください」等の審査項目が表示された審査画面６１を表示装置５３に表示し、審査担当者に文字入力やチェックリストの選択等による審査結果を入力させる。記憶部１２は、入力装置５２を介して審査担当者により入力された審査結果を示す情報を記憶する。また、記憶部１２は、入力装置５２を介して入力された、各申請データに対応する属性情報（例えば、申請者を示す情報等）を記憶する。
また、記憶部１２は、画像処理部３０における画像処理において参照される種々の情報を記憶する。また記憶部１２は、申請画像データや申請者を示す申請者情報と、画像処理部３０が生成した審査用画像データとを関連付けて記憶する。これにより、情報処理装置１００において、審査用画像データがいずれの申請者の審査案件に関連するデータであるか、また審査用画像データがいずれの申請画像データから生成されたものであるか、を特定することができる。

［審査部］
審査部１３は、申請画像データの内容、すなわち申請用書類の内容を審査するための審査項目が表示された審査画面を生成し、審査画面と申請画像データに基づく審査用画像データとを表示装置５３に並べて表示させ、審査結果を取得して記憶部１２に記憶させる機能を有している。申請用書類の内容の確認は、審査担当者による審査画面及び審査用画像データの目視によって行われるため、当該機能による審査を目視審査ともいう。
より具体的に、審査部１３は、審査画面６１の電子データ（審査画面データ）を生成し、審査の際に、審査担当者によって入力装置５２から入力された情報（例えば、審査担当者が入力した審査結果）を取得する入力データを取得する。

また、審査部１３は、審査画面の電子データと、入力された審査結果に対応する入力データとを合成して、表示装置５３に表示させる。審査部１３は、例えばマウスを用いてラジオボタンがチェックされた際のカーソルの位置に応じて、審査画面において対応するラジオボタンが選択表示された状態の審査画面の表示画面データを生成する。同様に、審査部１３は、チェックボックスにチェックマークが表示されたり、テキストボックスに文字や数字が入力表示された状態の審査画面の表示画面データを生成してもよい。
審査部１３は、各審査項目に対する審査結果に対応する入力データ（入力装置５２から入力された情報）を取得する。審査部１３は、一の審査用画像データに対する全審査項目に対する審査結果に対応する入力データを取得し、一の審査用画像データ（すなわち一申請者）に対する審査データを生成する。
審査部１３は、審査データを各申請画像データ（各申請者）と紐づけて記憶部１２に出力して記憶させる。

［画像処理部］
画像処理部３０は、申請画像データに対して画像処理を行い、審査部１３における申請情報（申請画像データ）の内容の審査に用いる審査用画像データを生成する。例えば画像処理部３０は、審査用画像データとして、審査部１３が審査画面と並べて表示装置５３に表示する画像データ（目視審査向けの審査用画像データ）を申請画像データから生成する。また、画像処理部３０は、ＯＣＲ審査サーバ５４に出力される画像データ（後述する自動審査向けの審査用画像データ）を申請画像データから生成可能である。
画像処理部３０は、生成した審査用画像データを審査画像記憶部３１に出力して保存する。画像処理部３０の構成および審査用画像データの詳細は、後述する。
なお、画像処理部３０における審査用画像データの生成は、上述のように申請画像データに基づく新たな画像データの生成に限られない。例えば、申請画像データに対し、当該申請画像データが示す申請用書類に応じた情報を付与して審査画像記憶部３１に保存することも審査用画像データの生成にあたる。つまり、当該情報を付与した申請画像データを審査用画像データとして扱ってもよい。

［審査画像記憶部］
審査画像記憶部３１は、画像処理部３０が生成した審査用画像データを記憶する。具体的には、審査画像記憶部３１は、審査用画像データをファイル形式で記憶する所定の記憶領域である。画像処理部３０は、審査用画像データを生成すると審査画像記憶部３１に審査用画像データを出力して記憶させる。
またこのとき画像処理部３０は、審査画像記憶部３１内における審査用画像データの保存先（例えばディレクトリ、フォルダ）を示す保存先データを生成し、申請情報取得部１１が取得した申請画像データおよび申請者情報の少なくとも一方と関連付けて記憶部１２に記憶する。保存先データは、例えばファイルパスやＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）であってもよい。これにより、例えば審査部１３は、審査画面の生成時において、申請画像データに対応する審査用画像データを取得し、審査画面と審査用画像データとを並べて表示装置５３に表示することができる。

［表示データ出力部］
表示データ出力部１４は、審査部１３が生成した表示データおよび画像処理部３０が生成した審査用画像データを表示装置５３に出力する。

［データ出力部］
データ出力部１５は、入力装置５２からの指示に応じて、記憶部１２に記憶された申請画像データに対応する審査データを情報処理装置１００の外部に出力する。審査データは、例えば、申請者が申請を行った手続き（例えば給付金等の受給手続き）の内容と、各申請者の申請内容の審査結果（例えば可決又は否決）の一覧が含まれる。データ出力部１５は、指定された一又は複数の申請者に対する審査データを出力してもよく、記憶部１２に記憶されたすべての審査データを一括して出力しても良い。
また、データ出力部１５は、画像処理部３０から審査用画像データが入力されたことに応じて、入力された審査用画像を情報処理装置１００の外部に出力する。なお、データ出力部１５は、審査画像記憶部３１に記憶された審査用画像データを読み込んで、情報処理装置１００の外部に出力してもよい。

データ出力部１５は、通信インタフェース又は外部インタフェースとして機能して、インターネット又はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク９を介して接続されたコンピュータ、その他の外部記憶装置又は外部記憶媒体に審査データを出力する。
データ出力部１５は、例えばＬＡＮを介して接続された自治体内の所定のコンピュータ等に審査データを出力することができる。また、データ出力部１５は、インターネットを介して接続された外部の所定のコンピュータ等に審査データを出力することもできる。このため、情報処理システム１は、自治体の内部で運用されてもよく、自治体から審査を請け負った外部企業において運用されても良い。情報処理システム１が外部企業において運用される場合、当該企業は、申請書の受付、申請データの作成、審査、審査データの作成等を行い、審査データ、又は申請データ及び審査データの双方をインターネットを介して自治体に送信することができる。

またデータ出力部１５は、例えばインターネットを介して接続されたサーバ装置であるＯＣＲ審査サーバ５４に審査用画像データを出力することができる。これにより、ＯＣＲ審査サーバ５４において、ＯＣＲ技術を用いて審査用画像データの画像情報（申請書や証明書類の内容）の文字情報を読み取り、審査担当者の目視によらない申請用書類（申請書、証明書類等）の内容の審査、すなわち自動審査を実施することができる。
つまり、情報処理装置１００は、申請用書類の内容の審査として、上述の目視審査と自動審査との２種類の種別の審査を実施することができる。

なお、本実施形態において情報処理装置１００とＯＣＲ審査サーバ５４との接続は必須ではなく、情報処理装置１００はＯＣＲ審査サーバ５４と接続されていてもよいし、接続されていなくてもよい。つまり、情報処理装置１００は自動審査を実行せずに目視審査のみを実行可能に構成されていてもよい。したがって、画像処理部３０は少なくとも目視審査向けの審査用画像データを生成すればよい。また、情報処理装置１００とＯＣＲ審査サーバ５４とが接続されている場合、申請者からの申請内容に係るすべての審査をＯＣＲ審査サーバ５４による自動審査としてもよい。また、申請内容に係る審査の一部をＯＣＲ審査サーバ５４による自動審査とし、残余の審査を審査部１３の機能による目視審査としてもよい。また、情報処理装置１００が目視審査と自動審査の双方を実行可能である場合、例えば記憶部１２に目視審査または自動審査のいずれを実行するかを示す審査種別データが記憶され、当該審査種別データに基づいて目視審査と自動審査とを切り替え可能に構成されてもよい。

（１．１）画像処理部における画像処理
次に、本実施形態に係る画像処理装置である情報処理装置１００において、画像処理部３０が実行する画像処理の詳細及び画像処理を実行する機能構成について、図２から図８を用いて詳細に説明する。
図２に示すように、画像処理部３０は、申請画像データが示す申請用書類の属性を判定する書類判定部３０１と、申請画像データが示す申請用書類の属性に応じて申請画像データを分割する書類分割部３０２と、申請画像データに含まれる画像情報のうち審査の対象となる画像情報を含む領域を抽出する領域抽出部３０３と、抽出された当該領域を申請画像データ又は申請画像データから生成された画像データから分割する領域分割部３０４と、を有している。なお詳しくは後述するが、情報処理装置１００において領域分割部３０４は必須の構成ではなく、画像処理部３０は領域分割部３０４を有していなくてもよい。

（書類判定部）
書類判定部３０１は、記憶部１２から申請画像データを読み出し、読出した申請画像データに対して画像認識を行うことで、申請画像データが示す申請用書類の属性を判定する。ここで、書類判定部３０１が実行する画像認識処理の一例を説明する。
書類判定部３０１は、例えば申請画像データと申請用書類のひな型（テンプレート）の画像データ（判定用画像データ）とを用いた画像認識処理を行う。判定用画像データとしては、申請用書類として提出されることが想定される複数種類の申請用書類（例えば申請書、保険証、運転免許証等）のひな型の画像データが用いられる。書類判定部３０１は、申請画像データと判定用画像データとを比較し、申請画像データが示す申請用書類と類似したひな型を導出する。これにより、申請画像データが示す申請用書類の属性を判定することができる。

書類判定部３０１は、画像認識処理において、申請画像データ（例えば申請書読取画像データ７１）が示す申請用書類に類似したひな型として申請書のひな型を導出すると、申請用書類の属性が「申請書」であると判定する。また、書類判定部３０１は、申請画像データ（例えば証明書読取画像データ７２）が示す申請用書類に類似したひな型として運転免許証又は保険証のひな型を導出すると、申請用書類の属性が「証明書類」であると判定する。申請画像データが申請用書類として複数の証明書類の画像を含む場合も、書類判定部３０１は、画像認識処理によって属性（「証明書類」）を判定することができる。

判定用画像データには、証明書類以外の添付書類（請求書や注文書等）のひな型の画像データが含まれてもよい。これにより、書類判定部３０１は、申請画像データが示す申請用書類が証明書類以外の添付書類である場合にも、当該申請用書類の属性を判定することができる。なお、書類判定部３０１が申請用書類の属性の判定として実行する画像認識処理は、上述の処理に限られない。書類判定部３０１は、公知の画像認識技術（例えばパターン認識技術等）を用いて申請画像データ内の画像から画像情報（文字や絵柄、記号等）の特徴を認識、検出し、申請画像データが示す申請用書類の属性を判定することができる。

詳しくは後述するが、申請画像データの態様は申請用書類の属性によって異なっている。このため、画像処理部３０において審査用画像データを生成する場合には、申請用書類の属性に応じた画像処理を行うことが重要となる。
例えば、申請書読取画像データ７１（図３参照）は、上述のように、申請者が提出した申請書の原本を画像データ化して生成される。このため、申請書読取画像データ７１には、申請用書類以外の画像領域がほぼ含まれない。一方、証明書読取画像データ７２（図４参照）は、申請者が提出した本人確認書類の写しを画像データ化して生成される。

このため、証明書読取画像データ７２には、当該写しを作成する印刷時において余白部分（背景画像領域７２１）が含まれたり、画像情報である申請用書類に傾きが生じたりする。また証明書読取画像データには、画像情報として複数の証明書類が含まれる場合もある。
例えば審査時において、審査画面６１と並べて申請書読取画像データ７１や証明書読取画像データ７２が表示装置５３に表示されると、審査担当者は審査画面６１における審査項目に対応する画像領域（例えば、申請者の「氏名」に関する画像情報を含む画像領域）を参照するために、マウスなどの入力装置５２の操作によって画像の位置や傾きを調整することが必要となる。また証明書読取画像データに複数の証明書類が含まれる場合、いずれの証明書類を参照するか分かりづらいという問題も生じ得る。このようなことに起因して、審査効率が低減してしまう場合がある。したがって、情報処理装置１００では、申請画像データが示す申請用書類の属性に応じて適切な画像処理の実行を決定する制御が必要となる。

本実施形態において書類判定部３０１は、申請画像データが示す申請用書類の属性を判定する。つまり画像処理部３０は、書類判定部３０１において申請画像データが示す申請用書類の属性を判定し、判定した属性に応じて申請画像データに対して画像処理を行い、審査用画像データを生成する。これにより、画像処理部３０は、申請用書類の属性に基づいて後段の画像処理を行うことができる。したがって、本実施形態に係る画像処理装置である情報処理装置１００は、書式や紙面への印刷態様が異なる種々の申請用書類を示す申請画像データに対して、申請用書類の属性に応じた適切な画像処理を実行する制御を行うことができ、結果として、確認事項ごとに必要な申請用書類データを表示させる手間を低減して審査効率を向上することができる。
具体的には、申請画像データに対し、書類判定部３０１が判定した属性に応じた画像処理を行うことにより、申請画像データから申請内容の審査（目視審査、自動審査）に適した審査用画像データを生成したり、表示装置５３における審査用画像データの視認性や、ＯＣＲ審査サーバ５４での文字情報の読み取り精度を向上するための情報（後述する審査用の画像領域の位置情報）を抽出したりすることが可能となる。このため、確認事項ごとに必要な申請用書類データを表示させる手間が低減して審査効率を向上することができる。

例えば本実施形態において、書類判定部３０１は、判定した属性に基づいて申請画像データを分割するか否かを決定する。例えば書類判定部３０１は、判定した属性の種類に応じて、申請画像データを分割するか否かを決する。つまり、書類判定部３０１は、申請用書類の属性に基づいて、後段の画像処理（画像分割処理）の有無を決定する。これにより、本実施形態に係る画像処理装置である情報処理装置１００は、申請用書類の属性に応じて適切な画像処理を決定する制御を行い、審査効率を確実に向上することができる。具体的には、書類判定部３０１は、申請画像データが示す申請用書類の属性が証明書類である場合（申請画像データが証明書読取画像データである場合）に、申請画像データを分割すると決定する。これにより、情報処理装置１００は、証明書読取画像データに対して画像分割処理（後述する証明書画像領域７２０の切り出し、傾き補正等）を行い、審査画面６１と並べて表示装置５３に表示するのに適した審査用画像データを生成することができる。書類判定部３０１は、申請画像データが示す申請用書類の属性が証明書類（証明書読取画像データ）である場合、申請画像データを書類分割部３０２に出力する。

また、書類判定部３０１は、申請画像データが示す申請用書類の属性が証明書類（証明書読取画像データ）である場合、申請画像データ、すなわち証明書読取画像データ自体を審査画像記憶部３１に出力して審査用画像データとして記憶させてもよい。このとき、書類判定部３０１は、証明書読取画像データと、証明書読取画像データに応じた申請用書類の属性（証明書類）を示す情報とを、対応付けて審査画像記憶部３１に記憶してもよい。これにより、申請用書類の属性を付与した証明書読取画像データを、審査部１３が表示装置５３に表示可能な審査用画像データとして扱うことができる。
また、書類判定部３０１は、申請画像データが示す申請用書類の属性が証明書類でなく申請書（申請書読取画像データ）である場合、申請画像データ、すなわち申請書読取画像データ自体を審査画像記憶部３１に出力して審査用画像データとして記憶させてもよい。このとき、書類判定部３０１は、申請書読取画像データと、申請書読取画像データに応じた申請用書類の属性（申請書）を示す情報とを、対応付けて審査画像記憶部３１に記憶してもよい。これにより、画像分割処理を要しない申請画像データ、つまり申請用書類の属性を付与した申請書読取画像データを、審査部１３が表示装置５３に表示可能な審査用画像データとして扱うことができる。

つまり書類判定部３０１は、例えば申請画像データ（申請書読取画像データ、証明書読取画像データ）に申請画像データに含まれる申請用書類の属性（申請書または証明書類）を示す情報を付与して、審査画像記憶部３１に記憶してもよい。例えば、申請用書類の属性を示す情報は、申請画像データが示す申請用書類の属性（申請書、証明書類）を示す識別コード（数字や文字列）であってもよいし、当該属性を示すファイル名であってもよい。

このように、書類判定部３０１は、申請画像データが示す申請用書類の属性を判定すると、申請画像データに上記属性を示す情報（識別コードやファイル名）を付与して（対応付けて）、審査画像記憶部３１に記憶してもよい。これにより、審査部１３は、申請画像データに付与された上記属性を示す情報に基づいて、審査画像記憶部３１から審査用画像データとしての申請画像データを取得することが可能となり、審査効率を向上することができる。また画像処理部３０において、書類判定部３０１による上記属性判定の後続の画像処理を行う書類分割部３０２、領域抽出部３０３は、審査画像記憶部３１から上記属性を示す情報が付与された申請画像データ（審査用画像データ）を取得し、当該申請画像データが示す上記属性に応じた適切な画像処理を行うことができる。

また、書類判定部３０１は、申請画像データに付与された上記属性を表す情報（識別コードやファイル名）を記憶部１２に出力し、当該属性を示す情報を、申請情報取得部１１が取得した申請画像データおよび申請者を示す申請者情報に関連付けて記憶部１２に記憶してもよい。つまり、情報処理装置１００において、記憶領域（記憶部１２、審査画像記憶部３１）に記憶され、上記属性を示す情報が付与された申請画像データを、審査用画像データとして扱ってもよい。

（書類分割部）
図２に戻って、書類分割部３０２は、書類判定部３０１から入力された申請画像データを分割して、審査用画像データを生成する。具体的には、書類分割部３０２は、証明書読取画像データに対して画像分割処理を実行して、証明書読取画像データ７２内の画像領域を、証明書類を示す証明書画像領域７２０とそれ以外の画像領域とに分割する。これにより書類分割部３０２は、審査用画像データとして、証明書画像領域７２０で形成された証明書画像データ（後述する証明書画像データ８）を審査用画像データとして生成する。

ここで、書類分割部３０２が実行する画像処理である画像分割処理の一例について、図５を用いて説明する。図５は、本実施形態に係る画像処理装置である情報処理装置１００における証明書画像データの生成の一例を示す模式図である。本例では、証明書読取画像データ７２に対する画像分割処理によって証明書画像データを生成する方法を説明する。

まず、画像分割処理における切出し処理について説明する。書類分割部３０２は、属性が「証明書類」である申請画像データ（証明書読取画像データ７２）の画像領域から証明書類を示す証明書画像領域７２０（証明書画像領域７２０ａ，７２０ｂ）を切出し、審査用画像データとして証明書画像領域７２０内の画像情報を含む証明書画像データ８を生成する。

つまり、書類分割部３０２は、審査用画像データとして、審査に関係のない画像領域（例えば背景画像領域７２１）を除いた画像データを生成することができる。このため、審査担当者による画像調整の作業（画像の位置などを調整するマウス操作等）の負荷を軽減することができる。したがって、本実施形態に係る画像処理装置である情報処理装置１００は、審査効率を向上することができる。

書類分割部３０２は、証明書読取画像データ７２に対して画像認識を行うことにより、証明書画像領域７２０とそれ以外の領域（例えば、背景画像領域７２１）とを判別して証明書読取画像データ７２内の領域における証明書画像領域７２０の位置を特定する。

書類分割部３０２は、例えば画像認識としてエッジ検出を実施することで証明書画像領域７２０の外周（輪郭）を抽出し、申請画像データである証明書読取画像データ７２内の画像領域を証明書画像領域７２０と背景画像領域７２１とを分割することで、証明書画像領域７２０を抽出してもよい。なお、ここでいう「分割」は、画像データの物理的な分離（切出し）ではなく、「境界を認識する」ことを示す。

なお、証明書画像領域７２０の判別（位置特定）のための画像認識処理はエッジ検出に限られない。書類分割部３０２は、例えば証明書読取画像データ７２内の画像領域について前景／背景の判断を行い、前景の画像領域を証明書画像領域７２０、背景の画像領域を余白部分である背景画像領域７２１として判別してもよい。またこれ以外にも、書類分割部３０２は、公知の種々の画像認識技術によって、証明書画像領域７２０の判別を行うことができる。

書類分割部３０２は、証明書画像データ８を生成すると、審査画像記憶部３１に生成した証明書画像データ８を出力して記憶させる。これにより、審査部１３は審査画面６１と証明書画像データ８とを並べて表示装置５３に表示させることができる。

また、書類分割部３０２は、証明書読取画像データの画像領域に含まれる複数の証明書画像領域７２０を別個に切り出して複数の証明書画像データ８を生成する。これにより、一の証明書読取画像データ内に含まれる複数の証明書類の画像を、それぞれ別個の審査用画像データとして表示装置５３に表示させることができる。このため、複数の証明書類の画像情報を一の証明書読取画像データとして表示装置５３に表示する場合に比べて、審査担当者による画像調整の作業の負荷を軽減することができる。したがって、本実施形態に係る画像処理装置である情報処理装置１００は、審査効率を向上することができる。

本例では、証明書読取画像データ７２内の画像領域に、２つの証明書画像領域７２０（証明書画像領域７２０ａ，７２０ｂ）が含まれている。書類分割部３０２は、切出し処理において証明書読取画像データ７２内の画像領域から証明書画像領域７２０ａ，７２０ｂをそれぞれ別個に切り出す。これにより、一の証明書読取画像データ内に含まれる複数の証明書類から別個の証明書画像データ８ａ，８ｂを生成することができる。書類分割部３０２は、例えば上述の画像認識による証明書画像領域７２０の判別を繰り返し実行することで、証明書読取画像データ７２内の画像領域に含まれる複数の証明書画像領域７２０全ての位置を抽出（特定）し、証明書読取画像データ７２から切り出すことができる。

このように、また証明書読取画像データの画像領域に複数の証明書画像領域７２０が含まれる場合、書類分割部３０２は、証明書読取画像データの画像領域に含まれる複数の証明書画像領域７２０を別個に切り出して複数の証明書画像データを生成することができる。またこれに限られず、書類分割部３０２は、証明書読取画像データの画像領域に含まれる複数の証明書画像領域７２０を別個に切り出して、切り出した複数の証明書画像領域７２０のうち一の（特定の）証明書画像領域７２０について証明書画像データを生成してもよい。
つまり、書類分割部３０２は、申請画像データの画像領域に含まれる複数の前記証明書画像領域を別個に切り出して単数または複数の証明書画像データを生成することができる。

また証明書読取画像データの画像領域に複数の証明書画像領域７２０が含まれる場合、書類分割部３０２は、複数の証明書画像領域７２０のうち特定（例えば一つ）の証明書画像領域７２０（例えば、証明書画像領域７２０ａ）を切り出して、証明書画像データ８ａを生成してもよい。つまり、証明書読取画像データの画像領域に含まれる複数の証明書画像領域７２０の全てを切り出さなくてもよい。
また本例では証明書読取画像データの画像領域に複数の証明書画像領域７２０が含まれる場合を例にとって説明したが、証明書読取画像データの画像領域に一（単数）の証明書画像領域７２０が含まれる場合（例えば証明書画像領域７２０ａのみが含まれる場合）、書類分割部３０２は、証明書読取画像データの画像領域から当該一の証明書画像領域７２０を切り出して証明書画像データ８ａを生成すればよい。

次に、画像分割処理における傾き補正処理について説明する。例えば、印刷時において証明書類が傾いた状態（例えば、証明書類の原本が印刷機の原稿配置面（原稿セット部）の外周に対して水平方向に回転した状態）で印刷機に供給（配置）される場合がある。このとき、図５に示すように証明書類を示す証明書画像領域７２０（本例では、証明書画像領域７２０ｂ）に傾きが生じる。そこで、書類分割部３０２は、生成した証明書画像データ８の傾き補正を行う。これにより、審査用画像データ（証明書画像データ８）を表示装置５３に表示した際に、証明書画像データ８が示す証明書類が審査対象者と正対した状態となる。このため、証明書画像データ８に含まれる証明書類の画像情報の視認性が向上する。したがって、本実施形態に係る画像処理装置である情報処理装置１００は、審査効率を向上することができる。

書類分割部３０２は、例えば画像認識により証明書画像データ８内の画像情報を読取り、当該画像情報について傾きが検出された場合に、画像情報を正対化させるように証明書画像データを回転補正してもよい。
なお、書類分割部３０２は、証明書画像領域７２０を証明書読取画像データ７２から切り出す前に傾き補正処理を実行し、傾きが補正されてもよいし、証明書読取画像データ７２から生成した証明書画像データ８に対して傾き補正を行ってもよい。
証明書画像領域７２０に対して傾き補正を行う場合、書類分割部３０２は、証明書読取画像データ７２内における証明書画像領域７２０の傾きを検出し、傾きが生じている場合には傾きを補正して、証明書読取画像データ７２内の画像領域からの切り出しを行う。例えば、書類分割部３０２は、証明書読取画像データ７２内の画像領域の外縁部（例えば、印刷機の原稿配置面の外縁）に対する証明書画像領域７２０の外縁部７２０ｃの傾斜角を導出し、当該傾斜角に基づいて証明書画像領域７２０を回転させてもよい。これにより、証明書画像領域７２０の傾きを補正することができる。

また書類分割部３０２は、証明書画像領域７２０内の画像領域から文字列を検出し、当該文字列の傾きから、証明書画像領域７２０の傾斜角を算出してもよい。検出する文字列は、複数の文字でもよいし、一文字でもよい。なお書類分割部３０２は、証明書読取画像データ７２から切り出して生成した証明書画像データ８に対して当該文字列の傾きによる傾斜角の算出を行い、当該傾斜角に基づいて証明書画像データ８の傾き補正を行ってもよい。

また、書類分割部３０２は、生成した証明書画像データ８が示す証明書類の種別（例えば、保険証、運転免許証等）を分類する。これにより、後段の処理において証明書類の種別に応じた画像処理を行うことができる。例えば、書類分割部３０２は、証明書画像データ８における種別領域７２２に基づいて、証明書類の種別を分類する。
書類分割部３０２は、例えば画像認識によって証明書画像データ８内の種別領域７２２の位置を特定し、証明書類の種別を示す画像情報（例えば文字情報）を抽出してもよい。種別領域７２２の位置の特定には、書類判定部３０１による申請用書類の属性の判定に用いた判定用画像データ（申請用書類のテンプレート画像）が用いられてもよい。

書類分割部３０２は、種別領域７２２に含まれる画像情報（「保険証」、「運転免許証」）に基づいて、証明書画像データ８ａが示す証明書類の種別を「保険証」に分類し、証明書画像データ８ｂが示す証明書類の種別を「運転免許証」に分類すればよい。

書類分割部３０２は、証明書画像データ８が示す証明書類の種別を分類すると、当該証明書類の種別を記憶部１２に出力する。これにより、記憶部１２において、申請情報取得部１１が取得した申請画像データ及び申請者を示す申請者情報の少なくとも一方と関連付けて、証明書画像データ８が示す証明書類の種別が記憶される。また、書類分割部３０２は、分類した証明書画像データ８が示す証明書類の種別を、後段の画像処理（領域抽出処理）を行う領域抽出部３０３に出力してもよい。

（領域抽出部）
図２に戻って、領域抽出部３０３は、審査用画像データの画像領域内において、申請用書類の内容に関する審査の対象となる画像情報を含む画像領域（審査画像領域）の位置情報を抽出する。本実施形態では、審査用画像データ内の画像情報のうち審査の対象となる画像情報（審査画像情報）は、審査内容（申請者の申請内容）に応じて異なる。
本実施形態に係る画像処理装置である情報処理装置１００は、画像処理部３０において、予め審査用画像データ内における項目領域や項目領域に対応する内容領域の位置を抽出する領域抽出処理を行う。これにより、目視審査や自動審査の実行時において審査対象となる画像領域を容易に特定でき、審査効率を向上することができる。

本実施形態において、領域抽出部３０３は、審査画像領域の位置を抽出する領域抽出処理として、一次抽出処理と二次抽出処理とを実行可能である。ここで、図３および図５を参照しつつ、図６から図８を用いて、領域抽出処理（一次抽出処理、二次抽出処理）の一例について説明する。図６は、一次抽出処理において抽出された審査画像領域の一例を示す図である。また図７は二次抽出処理において抽出された審査画像領域の一例を示す図である。また、図８は証明書画像データ８ｂに含まれる画像情報をより詳細に示す図である。

（一次抽出処理）
審査画面６１の表示による目視審査では、審査画面に表示される審査項目（申請用書類の内容を審査するための設問）に対応する審査用画像データの画像情報（目視審査画像情報）を審査担当者が目視で確認する。
そこで領域抽出部３０３は、目視審査画像情報を含む目視審査画像領域の位置情報として、目視審査画像情報の項目を示す項目領域の位置情報および目視審査画像情報の内容を示す目視内容領域の位置情報を抽出する。これにより、目視審査時において審査部１３は、審査項目に対応する審査画像領域の視認が容易な態様で審査用画像データを表示装置５３に表示可能となる。また、審査画像領域に項目領域が含まれることにより、審査担当者は審査項目と目視審査画像情報とを容易に対応付けることができる。このため、審査効率を向上することができる。

また領域抽出部３０３は、目視審査画像領域の位置情報として、審査用画像データの画像領域内における目視審査画像領域の座標を含む情報を抽出する。これにより、審査用画像データ内においてより高精度に目視審査画像領域の位置が特定され、表示装置５３において、目視審査画像領域の視認性をより向上させることができる。

ここで、目視審査画像領域の位置情報の抽出について、具体的に説明する。まず、証明書画像データ８において目視審査画像領域の位置情報を抽出する例を説明する。
図６（ａ）は、図５に示す証明書画像データ８ａの画像領域の一部を抜粋して示す図である。例えば領域抽出部３０３は、審査用画像データである証明書画像データ８ａの画像領域内において、目視審査画像情報（ここでは、申請者の本人確認書類である保険証が示す氏名）を含む目視審査画像領域８０ａの位置情報を抽出する。具体的には、領域抽出部３０３は、一次抽出処理において、目視審査画像領域８０ａの位置情報として証明書画像データ８ａの画像領域内における証明項目領域７２３の位置情報および証明内容領域７２４の位置情報を抽出する。

また、図６（ｂ）は、図５に示す証明書画像データ８ｂの画像領域の一部を抜粋して示す図である。例えば領域抽出部３０３は、審査用画像データである証明書画像データ８ｂの画像領域内において、目視審査画像情報（ここでは、申請者の本人確認書類である運転免許証が示す氏名）を含む目視審査画像領域８０ｂの位置情報を抽出する。具体的には、領域抽出部３０３は、一次抽出処理において、目視審査画像領域８０ｂの位置情報として証明書画像データ８ｂの画像領域内における証明項目領域７２３の位置情報および証明内容領域７２４の位置情報を抽出する。

審査用画像データが示す申請用書類は、記載項目の配置（書式）の規則性により、定型書類、準定型書類、非定型書類に区分される。定型書類は書式が一定である書類であり、準定型書類は書式が一定ではないものの規則性の高い書式を有する書類であり、非定型書類は書式の規則性が低い書類である。

証明書画像データ８ａは、書類分割部３０２によって書類の種別が「保険証」であると分類されており、準定型書類に相当する。領域抽出部３０３は、一次抽出処理において準定型書類に応じた処理によって、証明書画像データ８ａの画像領域内における目視審査画像領域８０ａの座標を抽出する。

具体的には、領域抽出部３０３は、公知の画像認識技術により証明書画像データ８ａの特徴量を抽出し、特徴量に基づいて証明書画像データ８ａ内における証明項目領域７２３の座標情報を抽出する。また、領域抽出部３０３は、証明項目領域７２３と証明内容領域７２４との紐づけ情報を設定ファイルから取得する。設定ファイルは例えば審査画像記憶部３１に保存されており、紐づけ情報には、証明項目領域７２３を基準とした内容領域の位置（上下、左右）と内容領域のサイズ（幅方向および高さ方向のピクセル数）が含まれている。領域抽出部３０３は、紐づけ情報に基づいて、証明内容領域７２４の座標を抽出する。これにより、領域抽出部３０３は、証明書画像データ８ａ内における目視審査画像領域８０ａの座標を抽出することができる。領域抽出部３０３は、抽出した目視審査画像領域８０ａの座標を記憶部１２に記憶させる。

また証明書画像データ８ｂは、書類分割部３０２によって書類の種別が「運転免許証」であると分類されており、定型書類に相当する。領域抽出部３０３は、一次抽出処理において定型書類に応じた処理によって、証明書画像データ８ｂの画像領域内における目視審査画像領域８０ｂの座標を抽出する。

定型書類は、上述のように書式が一定であることから、証明書画像データ８ｂの証明項目領域および証明内容領域の座標情報は予め記憶部１２に記憶されている。領域抽出部３０３は、書類分割部３０２から入力された書類の種別が「運転免許証」である場合に、記憶部１２から証明項目領域７２３および証明内容領域７２４の座標情報を抽出する。これにより、領域抽出部３０３は、目視審査画像領域８０ｂの座標情報を抽出することができる。領域抽出部３０３は、抽出した目視審査画像領域８０ｂの座標を記憶部１２に記憶させる。なお、領域抽出部３０３は、定型書類に対して公知の画像認識処理を行うことで、目視審査画像領域８０ｂの座標を抽出してもよい。

次に、審査用画像データのうち申請書読取画像データ７１において目視審査画像領域の位置情報を抽出する例を説明する。
図６（ｃ）は、図３に示す申請書読取画像データ７１の画像領域の一部を抜粋して示す図である。例えば領域抽出部３０３は、審査用画像データである申請書読取画像データ７１の画像領域内において、目視審査画像情報（ここでは、申請者が記載した氏名）を含む目視審査画像領域８０ｃの位置情報を抽出する。具体的には、領域抽出部３０３は、一次抽出処理において、目視審査画像領域８０ｃの位置情報として申請書読取画像データ７１の画像領域内における申請項目領域７１１の位置情報および申請内容領域７１２の位置情報を抽出する。

申請書読取画像データ７１は、書類判定部３０１によって書類の属性が「申請書」であると判定されており、非定型書類に相当する。領域抽出部３０３は、一次抽出処理において非定型書類に応じた処理によって、申請書読取画像データ７１の画像領域内における目視審査画像領域８０ｃの座標を抽出する。
具体的には、領域抽出部３０３は、画像データに対する文字認識技術（例えば、ＯＣＲ）によって申請書読取画像データ７１の画像情報を文字情報として読取り、当該文字情報と予め定められた条件（項目領域に対する内容領域の繰り返し数や、申請書読取画像データ７１内において項目領域が存在し得る位置情報のパターン等）に基づいて申請項目領域７１１および申請内容領域７１２の座標を抽出する。これにより、領域抽出部３０３は、目視審査画像領域８０ｃの座標情報を抽出することができる。領域抽出部３０３は、抽出した目視審査画像領域８０ｃの座標を記憶部１２に記憶させる。なお、申請書読取画像データ７１が示す申請書は、書式が一定の定型書類であってもよい。この場合、上述の定型書類に応じた処理によって、申請書読取画像データ７１の画像領域内における目視審査画像領域８０ｃの座標を抽出することができる。

このように、領域抽出部３０３は一次抽出処理において、審査用画像データ（証明書画像データ８、申請書読取画像データ７１）の画像領域内において、審査の対象となる目視画像情報を含む目視審査画像領域８０の位置情報を抽出する。また、領域抽出部３０３は、目視審査画像領域８０の位置情報として、目視画像情報の項目を示す項目領域（証明項目領域７２３、申請項目領域７１１）の位置情報および該画像情報の内容を示す内容領域（証明内容領域７２４、申請内容領域７１２）の位置情報を抽出する。
また領域抽出部３０３は、目視審査画像領域８０の位置情報として、審査用画像データの画像領域内における目視審査画像領域８０の座標を含む情報を抽出する。
これにより、本実施形態に係る画像処理装置である情報処理装置１００は、表示装置５３において審査画面６１の審査項目に対応する目視審査画像領域８０の視認性を向上し、審査効率を向上することができる。

（二次抽出処理）
二次抽出処理において領域抽出部３０３は、審査用画像データの画像領域内において、自動審査の対象となる画像情報を含む自動審査画像領域の位置情報を抽出する。
ＯＣＲ審査サーバ５４における自動審査では、審査用画像データのうち内容領域の画像情報に対してＯＣＲ処理を実行し、処理結果をデジタルデータ（例えばテキストデータ）として出力して当該デジタルデータを用いて自動審査プログラムによる審査を行う。例えば、ＯＣＲ審査サーバ５４では、証明書画像データ８ｂにおける証明内容領域７２４の画像情報「日本 太郎」と申請書読取画像データ７１における申請内容領域７１２の画像情報「日本 太郎」をＯＣＲ処理によってテキストデータに変換する。また例えば自動審査プログラムでは、証明内容領域７２４、申請内容領域７１２それぞれのテキストデータを比較して、両者が一致するか否かを判定し、申請書に記載の氏名と運転免許証が示す氏名との一致を判定する。

二次抽出処理において領域抽出部３０３は、審査用画像データ内における自動審査画像領域の位置情報として、自動審査の対象となる自動審査画像情報の内容を示す内容領域の位置情報を抽出する。これにより、自動審査の対象でない画像領域（項目領域）が取り除かれ、ＯＣＲ審査サーバ５４において自動審査の対象となる画像領域（内容領域）のみをＯＣＲ審査サーバ５４に出力することができる。このため、申請書読取画像データ７１や証明書画像データ８といった審査用画像データ全体に対してＯＣＲ処理を行う場合に比べて、ＯＣＲ処理での文字情報の読み取り精度が向上され、自動審査の効率および精度を向上することができる。

また領域抽出部３０３は、自動審査画像領域の位置情報として、審査用画像データの画像領域内における自動審査画像領域の座標を含む情報を抽出する。これにより、審査用画像データ内においてより高精度に自動審査画像領域の位置が特定され、ＯＣＲ審査サーバ５４において、ＯＣＲ処理での文字情報の読み取り精度がさらに向上され、自動審査の効率および精度をさらに向上することができる。

二次抽出処理において領域抽出部３０３は、一次抽出処理において抽出した目視審査画像領域８０から、項目領域の位置情報を除いた内容領域の位置情報を自動審査画像領域の位置情報として抽出する。なお、ここでは内容領域の位置情報を抽出する処理の一例として二次抽出処理を説明するが、審査用画像データが示す申請用書類に項目領域が含まれない場合は、後述するように内容領域を直接抽出する処理を行えばよい。また例えば、後述のようにＡＩ技術を用いた画像認識処理（ＡＩ画像処理）によって審査用画像データから内容領域を抽出する場合も、内容領域を直接抽出する処理を行うことができる。ＡＩ画像処理の特性等により、審査用画像データから内容領域を直接抽出することで抽出精度が向上される場合がある。このように、本開示において画像処理部３０（領域抽出部３０３）が審査画像領域の位置を抽出する領域抽出処理は、上述のように一次抽出処理と二次抽出処理とで構成される処理でもよいし、審査用画像データから内容領域を直接抽出する処理でもよい。
ここでは、以下において二次抽出処理について具体的に説明する。

例えば、領域抽出部３０３は、図６（ａ）に示す目視審査画像領域８０ａから証明項目領域７２３の位置情報を除いた位置情報を抽出する。これにより、図７（ａ）に示すように証明書画像データ８ａの証明内容領域７２４で形成される自動審査画像領域８１ａの座標を含む位置情報を抽出することができる。また領域抽出部３０３は、図６（ｂ）に示す目視審査画像領域８０ｂから証明項目領域７２３の位置情報を除いた位置情報を抽出する。これにより、図７（ｂ）に示すように証明書画像データ８ｂの証明内容領域７２４で形成される自動審査画像領域８１ｂの座標を含む位置情報を抽出することができる。

また、領域抽出部３０３は、図６（ｃ）に示す目視審査画像領域８０ｃから申請項目領域７１１の位置情報を除いた位置情報を抽出する。これにより、図７（ｃ）に示すように申請書読取画像データ７１の申請内容領域７１２で形成される自動審査画像領域８１ｃの座標を含む位置情報を抽出することができる。

このように、二次抽出処理において領域抽出部３０３は、審査用画像データ内における自動審査画像領域８１の位置情報として、自動審査の対象となる自動審査画像情報の内容を示す内容領域（証明内容領域７２４、申請内容領域７１２）の位置情報を抽出する。これにより、ＯＣＲ処理での文字情報の読み取り精度が向上され、自動審査の効率および精度を向上することができる。
なお、情報処理装置１００がＯＣＲ審査サーバ５４と接続されていない場合には、領域抽出部３０３は、二次抽出処理を実行しなくてよい。つまり、情報処理装置１００において、領域抽出部３０３は、少なくとも一次抽出処理を実行可能な構成であればよい。

なお、領域抽出部３０３が抽出する審査画像領域（目視審査画像領域８０、自動審査画像領域８１）の座標情報は、審査画像領域の各角部（本例では、四角）それぞれの座標情報（Ｘ，Ｙ）であってもよい。また、審査画像領域の一の角部（例えば、左上の角部）の座標情報（Ｘ，Ｙ）と、当該角部を基準とした審査画像領域のサイズ情報で構成されてもよい。サイズ情報は幅Ｗ（幅方向の画素数）および高さＨ（高さ方向の画素数）を含んでいればよい。

図８は、証明書画像データ８ｂの画像領域をより詳細に示す模式図である。運転免許証を示す証明書画像データ８ｂの画像領域内には、申請者や証明内容に関する各種情報の種類を示す画像情報を含む証明項目領域として、複数の証明項目領域７２３（証明項目領域７２３ａ～７２３ｆ）が含まれている。また、証明書画像データ８ｂの画像領域内には、証明項目領域が示す種類の情報の内容を示す画像情報を含む証明内容領域として、複数の証明内容領域７２４（証明内容領域７２４ａ～７２４ｆ）が含まれる。証明項目領域７２３ａ，７２３ｂ，７２３ｃ，７２３ｄ，７２３ｅ，７２３ｆのそれぞれは、証明内容領域７２４ａ，７２４ｂ，７２４ｃ，７２４ｄ，７２４ｅ，７２４ｆのそれぞれと対応している。

領域抽出部３０３は、領域抽出処理において、証明書画像データ８ｂの画像領域内において、証明項目領域７２３（証明項目領域７２３ａ～７２３ｆ）と証明内容領域７２４（証明内容領域７２４ａ～７２４ｆ）とを含む領域を目視審査画像領域として抽出することができる。つまり領域抽出部３０３は、上述の座標情報の抽出処理を繰り返し実行することにより、審査用画像データから複数の目視審査画像領域の位置情報を抽出することができる。これにより、目視審査における表示装置５３での表示時において、審査の進行に伴って審査画面６１に表示される複数の審査項目のそれぞれについて、対応する目視審査画像領域の視認性を向上させることができる。

（領域分割部）
領域分割部３０４は、領域抽出部３０３が抽出した審査画像領域の位置情報（座標情報）に基づいて、審査用画像データの画像領域内から審査画像領域を切り出し、新たな審査用画像データとして当該審査画像領域で形成される領域分割画像データを生成する。
例えば、領域分割部３０４は、領域抽出部３０３が抽出した自動審査画像領域８１の位置情報（座標情報）に基づいて、審査用画像データの画像領域内から自動審査画像領域８１を切り出し、新たな審査用画像データとして自動審査画像領域８１で形成される領域分割画像データを生成する。領域分割部３０４は、生成した領域分割画像を審査画像記憶部３１に保存する。
これにより、データ出力部１５が領域分割画像をＯＣＲ審査サーバ５４に出力する。この場合、ＯＣＲ審査サーバ５４は自動審査画像領域８１を含む領域分割画像をＯＣＲ処理の対象とすればよく、審査用画像データから自動審査画像領域８１を抽出する必要がない。これにより、ＯＣＲ処理での文字情報の読み取り精度が向上され、自動審査の効率および精度がより向上する。

また、領域分割部３０４は、領域抽出部３０３が抽出した目視審査画像領域８０の位置情報（座標情報）に基づいて、審査用画像データの画像領域内から目視審査画像領域８０を切り出し、新たな審査用画像データとして目視審査画像領域８０で形成される領域分割画像データを生成してもよい。この場合、審査部１３は、審査画面とともに、審査用画像データのうち目視審査画像領域８０のみを表示装置５３に表示させることができる。これにより、審査対象となる画像情報の視認性がさらに向上し、審査効率をさらに向上することができる。

なお、情報処理装置１００がＯＣＲ審査サーバと接続されているか否かに関わらず、画像処理部３０において領域分割部３０４は必須の構成ではない。つまり領域分割画像データの生成は必須ではない。例えば情報処理装置１００は、審査用画像データ（例えば、申請書読取画像データ７１、証明書画像データ８）と、領域抽出部３０３が抽出した自動審査画像領域８１の位置情報（座標）との組み合わせをＯＣＲ審査サーバ５４に出力することで、高効率且つ高精度での自動審査を行うことができる。
なお、画像処理部３０が領域分割部３０４を有する場合、目視審査画像領域８０の切り出しのみを実行し、切り出した目視審査画像領域８０を審査画像記憶部３１に記憶させてもよい。この場合、審査部１３は切り出された目視審査画像領域８０を表示装置５３に表示する構成であってもよい。

以上説明したように、画像処理部３０は、画像処理を行って申請画像データに基づいて少なくとも目視審査に用いる審査用画像データ（証明書画像データ８、自動審査画像領域８１による領域分割画像）を生成し、審査画像記憶部３１に記憶する。これにより、審査部１３は審査画面とともに表示装置５３に審査用画像データを表示させることができる。なお、書類判定部３０１が審査画像記憶部３１に申請書を示す申請画像データを保存（記憶）する処理も審査用画像データの生成に相当する。

図９は、表示装置５３の表示画面に表示される審査画面６１の一例を示している。表示装置５３の表示画面には、目視審査の際に、審査画面６１と審査用画像データとが表示される。審査画面６１には、審査用画像データに対する審査項目（設問）が表示されている。本例では、審査項目（本人確認書類の氏名）に対応する審査用画像データとして、証明書画像データ８ｂが表示されている。上述のように、画像処理部３０（特に領域抽出部３０３）は、一次抽出処理によって目視審査画像領域８０（本例では、目視審査画像領域８０ｂ）の位置情報を抽出し、記憶部１２に記憶する。具体的には、記憶部１２において、目視審査画像領域８０の位置情報は、審査用画像データの保存先を示すデータ及び審査項目と紐づけて記憶されている。このため、審査部１３は、審査画面６１の表示時において審査用画像データ内における目視審査画像領域８０の位置を特定して、目視審査画像領域８０を視認性の高い態様で表示させることができる。これにより、本実施形態に係る画像処理装置である情報処理装置１００は、審査効率を向上することができる。

本例では、審査部１３は審査画面６１における審査項目に対応する画像情報を含む目視審査画像領域８０を表示装置５３において拡大表示させている。なお、目視審査画像領域８０の表示態様としては拡大表示に限られず、強調表示（表示態様（色やフォント、外枠等）を他の画像領域と異なる態様とする表示）であってもよい。

また図１０に示すように、審査部１３は、表示装置５３において複数の申請用書類に関する審査項目（本人確認書類の氏名及び申請書の氏名）に対応する審査用画像データとして、複数種類の審査用画像データを表示することができる。本例では、審査項目に対応する審査用画像データとして、証明書画像データ８ｂおよび申請書読取画像データ７１が表示されている。またこの場合も、目視審査画像領域８０（本例では、目視審査画像領域８０ｂ，８０ｃ）を視認性の高い態様（例えば、拡大表示）で表示させることができる。これにより、本実施形態に係る画像処理装置である情報処理装置１００は、審査効率をより向上することができる。

（１．２）情報処理装置のハードウェア構成
図１１は、情報処理装置１００の機能部におけるハードウェア構成の一例を示す概略図である。図１１に示すように、情報処理システム１は、演算装置１０により実現される。演算装置１０は、プロセッサ１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１０３及び補助記憶装置（メモリ）１０４を備える情報処理装置（コンピュータ）である。
演算装置１０には、例えば外部インタフェース（Ｉ／Ｆ）１０５を介して読取装置５１、入力装置５２及び表示装置５３、並びに外部記憶媒体５７が接続されている。外部インタフェース（Ｉ／Ｆ）１０５は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート等である。

演算装置１０には、例えば通信インタフェース（Ｉ／Ｆ）１０６及びネットワーク１０８を介して他のコンピュータ５５が接続されていてもよい。通信インタフェース（Ｉ／Ｆ）１０６は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ポート、無線ＬＡＮインタフェース等である。
ここで、読取装置５１、入力装置５２及び表示装置５３は、図２に示す情報処理装置１００に接続された読取装置５１、入力装置５２及び表示装置５３である。また、読取装置５１、入力装置５２、表示装置５３及びコンピュータ５５は、演算装置１０と接続するためのユーザインタフェース（不図示）を備えている。ここで、演算装置１０の各部のハードウェア資源が所定のプログラムと協働することにより、情報処理装置１００の申請情報取得部１１、記憶部１２、審査部１３、画像処理部３０、審査画像記憶部３１及び表示データ出力部１４及びデータ出力部１５の各機能が構築される。

プロセッサ１０１は、情報処理装置１００を全体的に制御するプロセッサである。プロセッサ１０１は、バス１０７を介してＲＯＭ１０２に格納されたプログラムを読み出し、プログラムに従って情報処理装置１００を制御する。プロセッサ１０１は、情報処理装置１００があらかじめ定められた審査画面を出力する等の審査処理を行うように情報処理装置１００を制御する。
ＲＯＭ１０２は、審査用画像データを生成する画像処理を実行する画像処理プログラムと、申請手続きを受け付け、審査担当者による審査の結果を得る申請情報処理方法を実行するプログラムとを格納している。
ＲＡＭ１０３は、計算データ、入力装置５２を介して審査担当者により入力された各種データ等が一時的に格納されている。

補助記憶装置１０４は、例えば図示しないバッテリでバックアップされており、情報処理システム１の電源がオフされても記憶状態が保持される。補助記憶装置１０４には、外部インタフェース１０５を介して読取装置５１から入力された申請用書類の画像データが記憶される。また、補助記憶装置１０４には、入力装置５２から審査担当者によって入力された入力データの他、外部インタフェース１０５、通信インタフェース１０６を介して入力された各種データが記憶される。

読取装置５１は、申請用書類を電子データ（画像データ）化し、外部インタフェース１０５を介して画像データを演算装置１０に入力する。読取装置５１による読み取りの制御は、情報処理システム１の演算装置１０がプログラムを実行することにより行うようにしてもよいし、他の装置からの制御により行うようにしても良い。

入力装置５２は、キーボード、カードリーダ、ポインティングデバイス又はマイク等の音声入力装置等であり、外部インタフェース１０５を介して審査担当者の操作に基づく指令や入力データを演算装置１０に入力する。
表示装置５３は、例えば液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）であり、外部インタフェース１０５を介して演算装置１０から各種データを受信して表示する。表示装置５３は、例えば演算装置１０のメモリ上に読み込まれた各データ、プログラム等が実行された結果として得られたデータ、読取装置５１がスキャンして得られた申請用書類の画像データに基づく審査用画像データ、審査部１３での審査の過程で出力されたデータ等を表示する。

外部記憶媒体５７は、例えばＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）又はＢｌｕ－ｒａｙ Ｄｉｓｃ（登録商標）等の光ディスク、フラッシュメモリ等の半導体メモリ、ポータブルハードディスクドライブである。外部記憶媒体５７は、情報処理装置１００から出力された審査データを記憶してもよい。

コンピュータ５５は、通信インタフェース１０６を介してネットワーク１０８経由で演算装置１０と接続されている。コンピュータ５５は、図示しない表示装置および入力装置を備え、ネットワーク１０８経由で入力装置を介して作業者の操作に基づく指令や入力データを演算装置１０に入力したり、演算装置１０から各種データを受信して表示装置に表示させることができる。ネットワーク１０８は、有線ネットワーク又は無線ネットワークのいずれであってもよい。ネットワーク１０８が無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、モバイル通信ネットワーク等の無線ネットワークである場合、情報処理装置１００は、遠隔地にいる審査担当者からリアルタイムで指令を受け付けたり、遠隔地にいる審査担当者に対してプログラム等の実行状態や取得データの表示を行うことができる。例えばコンピュータ５５が自治体のコンピュータであり、情報処理装置１００が自治体から審査を委託された企業のコンピュータで実行されている場合、情報処理システム１から審査データが出力され、ネットワーク１０８を介して自治体のコンピュータ５５に送信される。

（１．３）画像処理方法
以下、本実施形態に係る情報処理方法の一例について、図１２を用いて説明する。図１２は、本実施形態に係る画像処理方法の一例を説明するフローチャートである。
申請情報取得部１１が読取装置５１から申請画像データを取得して記憶部１２に記憶すると、画像処理部３０の書類判定部３０１は記憶部１２から申請画像データを読み出す（ステップＳ１０１）。例えば、書類判定部３０１は、審査用画像データの保存先を示す保存先データが紐づいていない申請画像データ（対応する審査用画像データが未生成の申請画像データ）を読み出す。
次に、書類判定部３０１は、読み出した申請画像データが示す申請用書類の属性を判定する（ステップＳ１０２）。
続いて、書類判定部３０１はステップＳ１０２で判定した属性に基づいて申請画像データを分割するか否かを判定する（ステップＳ１０３）。書類判定部３０１は、判定した属性が「証明書類」である場合に申請画像データを分割すると判定して書類分割部３０２に申請画像データを出力する。また、書類判定部３０１は、判定した属性が「証明書類」でない、つまり「申請書」である場合に、申請画像データを審査画像記憶部３１にし、さらに領域抽出部３０３に出力する。

申請画像データの入力に基づいて、画像処理部３０の書類分割部３０２は、申請画像データからの証明書画像データ８の切り出しを実行する（ステップＳ１０４）。
続いて、書類分割部３０２は、証明書画像データ８の傾きを補正し（ステップＳ１０５）、次いで証明書画像データ８が示す証明書類の種別を分類する（ステップＳ１０６）し、画像処理部３０の領域抽出部３０３に証明書画像データの属性を出力する。

領域抽出部３０３は、書類分割部３０２からの証明書類の種別の入力、または書類判定部３０１からの申請画像データの入力（ステップＳ１０３のＮＯ）に基づいて、審査用画像データの画像領域内における審査画像領域（目視審査画像領域８０、自動審査画像領域８１）の位置情報を抽出する（ステップＳ１０７）。領域抽出部３０３は、審査画像領域の位置情報の記憶部１２への記憶時において、当該審査画像領域の位置情報を領域分割部３０４に出力する。これに基づいて、領域分割部３０４は審査画像領域を審査用画像データから切り出して、審査画像記憶部３１に記憶する。

このように、本実施形態に係る画像処理方法では、申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び前記申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データを取得し（ステップＳ１０１）、申請画像データが示す申請用書類の属性を判定し（ステップＳ１０２）、当該属性に応じて申請画像データに対して画像処理を行って前記申請情報の内容の審査に用いる審査用画像データを生成する（ステップＳ１０３、ステップＳ１０４、ステップＳ１０８）。これにより、例えば、申請画像データが示す申請用書類の前記属性に基づいて申請画像データを分割するか否かを判定する（ステップＳ１０４）といった画像処理の制御が可能となり、申請画像データの態様に応じた画像処理により審査用画像データを生成することができ、審査効率を向上することができる。

（１．４）画像処理プログラム
本実施形態に係る画像処理装置である情報処理装置１００により実行される画像処理プログラムについて説明する。情報処理装置１００は、少なくとも以下の（ａ）～（ｃ）の各動作をコンピュータに実行させるプログラムに従って、画像処理を行う。以下のプログラムは、例えばハードディスクドライブ、メモリ等の記録媒体やＤＶＤディスク又はＢｌｕ－ｒａｙ（登録商標）等の光ディスクに非一時的に記録される。以下のプログラムは、インターネットを介して配布されても良い。さらに、以下のプログラムは、クラウドサーバに記録され、インターネットを介して実行されても良い。

（ａ）申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び前記申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データ（申請書読取画像データ７１、証明書読取画像データ７２）を取得すること
（ｂ）申請画像データが示す申請用書類の属性に基づいて申請画像データを分割するか否かを判定すること
（ｃ）申請用書類の属性に応じて申請画像データに対して画像処理を行い申請情報の内容の審査に用いる審査用画像データを生成する（例えば、申請書読取画像データ７１の審査画像記憶部３１への保存、証明書画像領域７２０の切り出し、審査画像領域（目視審査画像領域８０、自動審査画像領域８１）の切り出しの少なくともいずれかを行う）こと

（１．５）変形例
上述した情報処理装置１００では、画像処理部３０における画像処理を、ＡＩ技術を用いて実行してもよい。例えば、画像処理部３０は、申請画像データで示される申請用書類の属性を、申請書と証明書類とのいずれかに分類可能な学習済みモデルを有していてもよい。これにより、画像処理部３０は、当該学習モデルに申請画像データを入力し、分類結果に基づいて申請画像データが示す書類の属性を判定することができる。これにより、属性の判定精度を向上することができる。

また、画像処理部３０は、証明書類を示す申請画像データに基づいて証明書画像データ８を切り出し、補正し、証明書類の種別を分類可能な学習済みモデルを有していてもよい。これにより、画像処理部３０は、当該学習モデルに証明書類を示す申請画像データを入力し、出力結果として、証明書画像データ８を取得することができる。これにより、証明書画像データ８の生成、種別分類の精度を向上することができる。

また、画像処理部３０は審査用画像データから審査画像領域の位置情報（座標情報）を抽出可能な学習済みモデルを有していてもよい。これにより、画像処理部３０は、当該学習モデルに審査用画像データを入力し、出力結果として、審査画像領域の位置情報（座標情報）を取得することができる。これにより、当該位置情報の抽出の精度を向上することができる。また、学習済みモデルにより当該位置情報の抽出を行う場合は、目視審査画像領域８０を抽出する手順なしに（一次抽出処理を実行せずに）、自動審査画像領域８１の位置情報を抽出することができる。つまり、画像処理部３０は、自動審査画像領域８１の位置情報として、審査の対象となる画像情報（自動審査画像情報）の内容を示す内容領域（申請内容領域７１２、証明内容領域７２４）の位置情報を抽出することができる。
このように、画像処理部３０は、ＡＩ技術を用いることにより、画像処理の精度を向上し、結果として審査の効率を向上することができる。

なお画像処理部３０は、学習済みモデルを用いずに審査用画像データ（例えば申請書読取画像データ７１、証明書画像データ８）から内容領域（申請内容領域７１２、証明内容領域７２４）の位置情報を直接抽出（一次抽出処理を実行することなく抽出）してもよい。例えば申請画像データが示す申請用書類（証明書類、申請用書類）が定型書類である場合、領域抽出部３０３は、予め記憶部１２に記憶されている内容領域の座標情報のみを抽出すればよい。また、申請画像データが示す申請用書類が準定型書類である場合、設定ファイルに内容領域の座標情報を設定し、領域抽出部３０３が設定ファイルから内容領域の座標情報を抽出すればよい。また、領域抽出部３０３は、画像認識処理によって審査用画像データから内容領域を抽出してもよい。例えば領域抽出部３０３は、審査用画像データ（例えば申請書読取画像データ７１、証明書画像データ８）と申請用書類のひな型（テンプレート）の画像データ（判定用画像データ）とを比較し、テンプレート画像における内容領域と対応する審査用画像データの画像領域の座標を取得して、審査用画像データにおける内容領域の位置情報として抽出してもよい。

また上述した情報処理装置１００において画像処理部３０（領域抽出部３０３）は、審査用画像データとして申請用書類の属性判定後の申請書読取画像データ７１、証明書読取画像データ７２から生成した証明書画像データ８からを用いて、審査用の画像領域（少なくとも目視審査画像領域８０）の位置情報（座標）を抽出していたが、本開示はこれに限られない。
例えば、画像処理部３０（領域抽出部３０３）は申請用書類の属性判定後の申請画像データ（申請書読取画像データ７１、証明書読取画像データ７２）を用いて、審査用の画像領域の位置情報を抽出してもよい。つまり、本開示の情報処理装置１００では、申請画像データから新たな画像データとして審査用画像データ（証明書画像データ８）を生成せずに、申請用書類の属性を付与した申請画像データを審査用画像データとし、当該審査用画像データを用いて、審査用の画像領域の位置情報を抽出してもよい。
このように、本開示の情報処理装置１００は、少なくとも申請画像データが示す申請用書類の属性を判定可能であればよく、さらに、申請用書類の属性を示す情報が付与された申請画像データについて審査用の画像領域（少なくとも目視審査画像領域８０）の位置情報を抽出してもよい。つまり、情報処理装置１００における画像処理部３０は、少なくとも、申請画像データの読み出し（上記ステップＳ１０１）、申請画像データが示す申請用書類の属性判定（上記ステップＳ１０２）を実行可能であればよく、さらに審査用の画像領域の抽出（上記ステップＳ１０７）を実行可能に構成されてもよい。また、申請用書類の属性を示す情報を付与した申請画像データと、審査用の画像領域の位置情報との組み合わせを審査用画像データとして扱ってもよい。

この場合、例えば画像処理部３０の領域抽出部３０３は、証明書読取画像データ７２内の証明書画像領域７２０における目視審査画像領域８０の座標を取得すればよい。領域抽出部３０３は、例えば公知の種々の画像認識技術によって証明書読取画像データ７２の画像領域から矩形状の目視審査領域における４つの各角部の座標を抽出し、当該座標を申請画像データ（証明書読取画像データ７２）と関連付けて記憶部１２に記憶すればよい。また、申請書読取画像データ７１については上述のとおり目視審査画像領域８０の座標を取得すればよい。この場合も、審査部１３は、目視審査画像領域８０の位置情報に基づいて、申請画像データ（申請書読取画像データ７１、証明書読取画像データ７２）内における目視審査画像領域８０の位置（座標）を特定し、目視審査画像領域を視認性の高い態様で表示装置５３に表示させることができる。したがって、審査効率を向上することができる。
また同様にして、画像処理部３０は、申請用書類の属性を示す情報が付与された申請画像データについて、自動審査画像領域８１の位置情報（座標）を抽出してもよいし、さらに領域分割画像データを生成してもよい。この場合も、ＯＣＲ審査サーバ５４は、情報処理装置１００から出力された申請画像データと自動審査画像領域８１の位置情報との組み合わせ、または領域分割画像データを用いて、高効率且つ高精度での自動審査を行うことができる。

以上、各実施形態により本開示を説明したが、本開示の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本開示が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本開示の範囲は、請求項により画される発明の特徴の組み合わせに限定されるものではなく、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。

１ 情報処理システム
９ ネットワーク
１１ 申請情報取得部
１２ 記憶部
１３ 審査部
１４ 表示データ出力部
１５ データ出力部
３０ 画像処理部
３１ 審査画像記憶部
５１ 読取装置
５２ 入力装置
５３ 表示装置
５４ ＯＣＲ審査サーバ
１００ 情報処理装置
３０１ 書類判定部
３０２ 書類分割部
３０３ 領域抽出部
３０４ 領域分割部

Claims (10)

1. 申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び前記申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データを取得する画像取得部と、
   前記申請画像データが示す前記申請用書類の前記属性が前記申請書又は前記証明書類のいずれであるかを判定し、該属性に応じて前記申請画像データに対して画像処理を行い、前記申請情報の内容の審査に用いる審査用画像データを生成する画像処理部と、を備え、
   前記画像処理部は、
   前記画像処理として、前記申請画像データの画像領域から特定の画像領域を抽出し当該特定の画像領域を含む新たな画像データを前記審査用画像データとして生成する処理を実行可能であり、前記属性の判定結果に基づいて前記画像処理を実行するか否かを決定し、
   さらに前記画像処理部は、
   前記申請画像データが示す前記申請用書類の前記属性が前記証明書類である場合に、前記申請画像データの画像領域から前記証明書類を示す証明書画像領域を前記特定の画像領域として切り出し、前記審査用画像データとなる前記新たな画像データとして該証明書画像領域内の画像情報を含む証明書画像データを生成し、
   前記証明書画像データに含まれる画像情報に基づいて前記証明書類の種別を分類し、分類した前記証明書類の種別又は前記申請用書類の前記属性に基づいて、前記審査用画像データの画像領域内において、前記審査の対象となる画像情報を含む審査画像領域の位置情報を抽出し、
   所定の記憶領域に記憶された設定ファイルから、前記審査の対象となる画像情報の項目を示す項目領域と該画像情報の内容を示す内容領域とを紐づける紐づけ情報を取得し、前記紐づけ情報に基づいて前記項目領域および前記内容領域を含む領域の位置情報を一次抽出情報として抽出し、前記一次抽出情報から前記項目領域の位置情報を除いた前記内容領域の位置情報を前記審査画像領域の位置情報として抽出し、
   前記紐づけ情報には、前記項目領域を基準とした前記内容領域の上下左右の位置と前記内容領域のサイズとが含まれる
   ことを特徴とする画像処理装置。
2. 前記画像処理には、前記申請画像データの画像領域における前記証明書画像領域と該証明書画像領域以外の画像領域との境界を認識する境界認識処理が含まれ、
   前記画像処理部は、前記申請画像データが示す前記申請用書類の前記属性の判定結果に基づいて、前記境界認識処理を実行するか否かを決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   前記申請画像データが示す前記申請用書類の前記属性が前記証明書類である場合に、前記境界認識処理を実行して前記申請画像データの画像領域から前記証明書画像領域を前記特定の画像領域として切り出し、前記審査用画像データとなる前記新たな画像データとして前記証明書画像データを生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理部は、
   前記申請画像データの画像領域に含まれる複数の前記証明書画像領域を別個に切り出して単数または複数の前記証明書画像データを生成する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記画像処理部は、前記証明書画像データの傾きを補正する
   ことを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記画像処理部は、
   前記審査画像領域の位置情報として、前記審査用画像データの画像領域内における前記審査画像領域の座標を含む情報を抽出する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記画像処理部は、
   抽出した前記位置情報に基づいて、前記審査用画像データの画像領域内から前記審査画像領域を切り出し、新たな前記審査用画像データとして該審査画像領域で形成される領域分割画像データを生成する
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記審査用画像データを記憶する審査用画像データ記憶部を備え、
   前記画像処理部は、生成した前記審査用画像データを前記審査用画像データ記憶部に記憶させる
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. コンピュータが実行する画像処理方法であって、
   申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び前記申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データを取得し、
   前記申請画像データが示す前記申請用書類の前記属性が前記申請書又は前記証明書類のいずれであるかを判定し、該属性に応じて前記申請画像データに対して画像処理を行って
   前記申請情報の内容の審査に用いる審査用画像データを生成し、
   前記画像処理として、前記申請画像データの画像領域から特定の画像領域を抽出し当該特定の画像領域を含む新たな画像データを前記審査用画像データとして生成する処理を実行可能であり、前記属性の判定結果に基づいて前記画像処理を実行するか否かを決定し、
   さらに前記画像処理として、
   前記申請画像データが示す前記申請用書類の前記属性が前記証明書類である場合に、前記申請画像データの画像領域から前記証明書類を示す証明書画像領域を前記特定の画像領域として切り出し、前記審査用画像データとなる前記新たな画像データとして該証明書画像領域内の画像情報を含む証明書画像データを生成し、
   前記証明書画像データに含まれる画像情報に基づいて前記証明書類の種別を分類し、分類した前記証明書類の種別又は前記申請用書類の前記属性に基づいて、前記審査用画像データの画像領域内において、前記審査の対象となる画像情報を含む審査画像領域の位置情報を抽出し、
   所定の記憶領域に記憶された設定ファイルから、前記審査の対象となる画像情報の項目を示す項目領域と該画像情報の内容を示す内容領域とを紐づける紐づけ情報を取得し、前記紐づけ情報に基づいて前記項目領域および前記内容領域を含む領域の位置情報を一次抽出情報として抽出し、前記一次抽出情報から前記項目領域の位置情報を除いた前記内容領域の位置情報を前記審査画像領域の位置情報として抽出し、
   前記紐づけ情報には、前記項目領域を基準とした前記内容領域の上下左右の位置と前記内容領域のサイズとが含まれる
   ことを特徴とする画像処理方法。
10. 申請者が提出した申請用書類のうち申請者の申請情報を含む申請書及び前記申請者の証明書類の少なくとも一方の属性の申請用書類の画像データである申請画像データを取得することと、
    前記申請画像データが示す前記申請用書類の前記属性が前記申請書又は前記証明書類のいずれであるかを判定することと、
    前記属性に応じて前記申請画像データに対して画像処理を行い前記申請情報の内容の審査に用いる審査用画像データを生成することと、
    前記画像処理として、前記申請画像データの画像領域から特定の画像領域を抽出し当該特定の画像領域を含む新たな画像データを前記審査用画像データとして生成する処理を実行可能であり、前記属性の判定結果に基づいて前記画像処理を実行するか否かを決定することと、
    さらに前記画像処理として、
    前記申請画像データが示す前記申請用書類の前記属性が前記証明書類である場合に、前記申請画像データの画像領域から前記証明書類を示す証明書画像領域を前記特定の画像領域として切り出し、前記審査用画像データとなる前記新たな画像データとして該証明書画像領域内の画像情報を含む証明書画像データを生成することと、
    前記証明書画像データに含まれる画像情報に基づいて前記証明書類の種別を分類し、分類した前記証明書類の種別又は前記申請用書類の前記属性に基づいて、前記審査用画像データの画像領域内において、前記審査の対象となる画像情報を含む審査画像領域の位置情報を抽出することと、
    所定の記憶領域に記憶された設定ファイルから、前記審査の対象となる画像情報の項目を示す項目領域と該画像情報の内容を示す内容領域とを紐づける紐づけ情報を取得し、前記紐づけ情報に基づいて前記項目領域および前記内容領域を含む領域の位置情報を一次抽出情報として抽出し、前記一次抽出情報から前記項目領域の位置情報を除いた前記内容領域の位置情報を前記審査画像領域の位置情報として抽出することと、
    をコンピュータに実行させ、
    前記紐づけ情報には、前記項目領域を基準とした前記内容領域の上下左右の位置と前記内容領域のサイズとが含まれる
    ことを特徴とする画像処理プログラム。

Images