JP7301596B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

画像データ内に記述された文書を解析し文書情報を取得するための装置、方法、プログラムに関する。

従来、帳票などの紙文書をスキャンして電子化し、文字認識処理（ＯＣＲ処理）をして文字情報を抽出することで、紙文書に記述された内容を取得する方法がある。この方法を用いて、例えばレシートや領収証、請求書などから項目名（Ｋｅｙ）とその値（Ｖａｌｕｅ）を取得する技術が広く知られている。またそのような技術において、チェックボックスのような選択式の項目に対してユーザが選択した値を取得する方法が提案されている（特許文献１参照）。特許文献１に記載の方法では、帳票のスキャン画像と、事前に保持しておいた帳票のフォーマットとを照らし合わせて、チェックボックスの領域を特定し、チェックボックスに記入された値を取得する。

特開２００５－２３４７９０号公報

しかし、「１：男 ２：女」のような凡例が用意されている選択式の項目では、ユーザが選択した値は、凡例が記載されている領域とは異なる領域に記入される。そのため、特許文献１に記載の方法を用いて凡例が記載されている領域を特定できない。仮に凡例の位置を特定できたとしても、凡例に対してユーザが選択した値（上記の“１”や“２”）を取得することができなかった。

そこで、本発明は、文書に記入された値を文書のスキャン画像から抽出する場面において、凡例が用意された選択式の項目に対してユーザが選択した値を正確に取得可能とすることを目的とする。

本開示の技術は、文書画像から項目名を抽出する第１の抽出手段と、前記文書画像からユーザにより入力された入力情報を抽出する第２の抽出手段と、前記文書画像から凡例を抽出する第３の抽出手段と、前記入力情報が前記項目名に対応する値として適さない場合に、前記凡例から前記入力情報に対応する値を抽出し、該抽出した値を前記項目名に対応する値として取得する取得手段と、を備えることを特徴とする画像処理装置である。

本発明によれば、文書に記入された値を文書のスキャン画像から抽出する場面において、凡例が用意された選択式の項目に対してユーザが選択した値を正確に取得することができる。

第１実施形態に係る画像処理システムの全体構成の一例を示すブロック図。 ＭＦＰのハードウェア構成の一例を示すブロック図。 ファイルサーバのハードウェア構成の一例を示すブロック図。 ＭＦＰのソフトウェア構成の一例を示すブロック図。 ＭＦＰが実行する文字認識処理を説明するための図。 スキャン設定画面の一例を示す図。 文書画像の一例を示す図。

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

［第１の実施形態］
まず、第１実施形態に係る画像処理装置を備える画像処理システムの構成を説明する。次に、第１実施形態に係る画像処理装置の主要部である画像解析部の構成及び動作を説明する。

＜画像処理システムの構成＞
図１は、第１実施形態に係る画像処理システムの全体構成の一例を示すブロック図である。画像処理システムは、ＭＦＰ１０１とファイルサーバ１０２とを備える。ＭＦＰ１１０とファイルサーバ１０２は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して互いに通信可能に接続されている。

ＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１１０は、スキャナやプリンタといった複数の機能を有する複合機であり、画像処理装置の一例である。ファイルサーバ１０２は、電子化された文書ファイルの保存や管理をする外部サーバの一例である。本実施形態の画像処理システムは、ＭＦＰ１１０とファイルサーバ１０２とを備える構成としているがこれに限定されない。例えば、ＭＦＰ１１０がファイルサーバ１０２の役割を兼ね備えてもよい。また例えば、ＬＡＮに代えてインターネットなどを介してＭＦＰ１１０とファイルサーバ１０２とが接続されていてもよい。また、ＭＦＰ１１０は、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を介して、ファクシミリ装置（不図示）との間で画像データをファクシミリ通信することができる。

図２は、ＭＦＰ１１０のハードウェア構成の一例を示すブロック図である。ＭＦＰ１１０は、制御部２１０、操作部２２０、プリンタ部２２１、スキャナ部２２２、及びモデム２２３を有する。制御部２１０は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、ＨＤＤ２１４、操作部Ｉ／Ｆ２１５、プリンタ部Ｉ／Ｆ２１６、スキャナ部Ｉ／Ｆ２１７、モデムＩ／Ｆ２１８、及びネットワークＩ／Ｆ２１９を有し、ＭＦＰ１１０全体の動作を制御する。

ＣＰＵ２１１は、ＲＯＭ２１２に記憶された制御プログラムを読み出して、スキャン機能やプリント機能、通信機能などＭＦＰ１１０が有する各種機能を実行するとともに、それら各種機能を制御する。ＲＡＭ２１３は、ＣＰＵ２１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、本実施形態では１つのＣＰＵ２１１が１つのメモリ（ＲＡＭ２１３またはＨＤＤ２１４）を用いて後述のフローチャートに示す各処理を実行するものとするが、これに限定されない。例えば、複数のＣＰＵや複数のＲＡＭまたはＨＤＤを協働させて各処理を実行させてもよい。ＨＤＤ２１４は、画像データや各種プログラムを記憶するハードディスクドライブである。操作部Ｉ／Ｆ２１５は、操作部２２０と制御部２１０とを接続するインタフェースである。操作部２２０には、タッチパネルやキーボードなどが備えられており、ユーザによる操作や入力、指示などを受け付ける。プリンタ部Ｉ／Ｆ２１６は、プリンタ部２２１と制御部２１０とを接続するインタフェースである。印刷用の画像データはプリンタ部Ｉ／Ｆ２１６を介して制御部２１０からプリンタ部２２１へ転送され、記録媒体上に印刷される。スキャナ部Ｉ／Ｆ２１７は、スキャナ部２２２と制御部２１０とを接続するインタフェースである。スキャナ部２２２は、不図示の原稿台やＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ）にセットされた原稿を読み取って画像データを生成し、スキャナ部Ｉ／Ｆ２１７を介して制御部２１０に入力する。ＭＦＰ１１０は、スキャナ部２２２で生成された画像データをプリンタ部２２１から印刷出力（コピー）する他、ファイル送信またはメール送信することができる。モデムＩ／Ｆ２１８は、モデム２２３と制御部２１０とを接続するインタフェースである。モデム２２３は、ＰＳＴＮ上のファクシミリ装置との間で画像データをファクシミリ通信する。ネットワークＩ／Ｆ２１９は、制御部２１０（ＭＦＰ１１０）をＬＡＮに接続するインタフェースである。ＭＦＰ１１０は、ネットワークＩ／Ｆ２１９を用いてＬＡＮ１０上の外部装置（ファイルサーバ１０２など）に画像データや情報を送信したり、各種情報を受信したりする。

図３は、ファイルサーバ１０２のハードウェア構成の一例を示すブロック図である。ファイルサーバ１０２は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、ＨＤＤ３１４及びネットワークＩ／Ｆ３１５を有する。ＣＰＵ３１１は、ＲＯＭ３１２に記憶された制御プログラムを読み出して各種処理を実行することで、ファイルサーバ１０２全体の動作を制御する。ＲＡＭ３１３は、ＣＰＵ３１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３１４は、画像データや各種プログラムを記憶するハードディスクドライブである。ネットワークＩ／Ｆ３１５は、ファイルサーバ１０２をＬＡＮに接続するインタフェースである。ファイルサーバ１０２は、ネットワークＩ／Ｆ３１５を用いてＬＡＮ上の他の装置（ＭＦＰ１１０など）との間で各種情報を送受信する。

図４は、ＭＦＰ１１０のソフトウェア構成の一例を示すブロック図である。ＭＦＰ１１０は、ネイティブ機能モジュール４１０とアディショナル機能モジュール４２０とを有する。ネイティブ機能モジュール４１０に含まれる各部はＭＦＰ１１０に標準的に備えられたものであるのに対し、アディショナル機能モジュール４２０の各部はＭＦＰ１１０に追加インストールされたアプリケーションである。アディショナル機能モジュール４２０は、Ｊａｖａ（登録商標）をベースとしたアプリケーションであり、ＭＦＰ１１０への機能追加を容易に実現できる。なお、ＭＦＰ１１０には図示しない他のアディショナル機能モジュール（追加アプリケーション）がインストールされていても良い。

表示制御部４２３は、ＭＦＰ１１０の操作部２２０の液晶表示部に、ユーザによる操作や入力、指示などを受け付けるためのＵＩ（ユーザインタフェース）画面を表示する。なお、本実施形態における操作部２２０の液晶表示部は、タッチパネル機能を有する。したがって、以下において、操作部２２０の液晶表示部を単にタッチパネルと表現する場合がある。

スキャン指示部４２１は、表示制御部４２３を介して入力されるユーザ指示に従い、スキャン実行部４１１に対して、ユーザ指示に含まれるスキャン設定や転送設定の情報を送信するとともに、スキャン処理を要求する。

スキャン実行部４１１は、スキャン指示部４２１からスキャン設定を含んだスキャン要求を受け取ると、スキャン処理を実行する。より詳細にはスキャン実行部４１１は、スキャナ部Ｉ／Ｆ２１７を介してスキャナ部２２２にスキャン処理を実行させる。それにより、原稿台（不図示）に載置された原稿上の画像が読み取られ、スキャン画像データが生成される。スキャン実行部４１１は、スキャナ部２２２で生成されたスキャン画像データをデータ転送部４１２に送る。データ転送部４１２は、スキャン実行部４１１から受け取ったスキャン画像データを、スキャン実行部４１１から受け取った転送設定に従って転送する。画像データの転送先としては、ファイルサーバ１０２、ＬＡＮ上のパーソナルコンピュータ（ＰＣ）（不図示）等を設定可能である。しかし、ここではスキャン実行部４１１が生成したスキャン画像データが一旦全てアディショナル機能モジュール４２０に転送されるように設定されているものとする。データ転送部４１２は、ＦＴＰクライアント機能を有していて、ＦＴＰサーバ機能を有するデータ受信部４２２に対してＦＴＰでスキャン画像データを転送する。

データ受信部４２２は、データ転送部４１２から転送されたスキャン画像データを受信し、アップロード実行部４２４に渡す。アップロード実行部４２４は、受信したスキャン画像データを画像解析部４２５に渡す。画像解析部４２５は、スキャン画像データに対して画像解析（領域特定処理やＯＣＲ処理（文字列認識処理））を行い、解析して得られた情報（領域情報と文字列情報）をアップロード実行部４２４に渡す。アップロード実行部４２４は、データ受信部４２２から受け取ったスキャン画像データと、画像解析部４２５から受け取った領域情報及び文字列情報とを表示制御部４２３に渡す。

表示制御部４２３は、操作部２２０のタッチパネルに、スキャン設定の入力を受け付けるためのＵＩ画面（例えば、後述する図６に示すＵＩ画面）や、フォルダパス設定やファイル名設定の入力を受け付けるためのＵＩ画面（図示せず）を表示する。また、表示制御部４２３は、操作部２２０のタッチパネルに、データ受信部４２２から受け取ったスキャン画像データや、画像解析部４２５から受け取った領域情報及び文字列情報を表示可能である。

アップロード実行部４２４は、操作部２２０のタッチパネルを介して受け付けたフォルダパス設定とファイル名設定とに従ってファイルサーバ１０２に接続し、ファイルサーバ１０２にスキャン画像データをアップロードする。アップロード実行部４２４は、アップロードが完了すると、表示制御部４２３にアップロードが完了したことを通知する。表示制御部４２３は、アップロード実行部４２４からの通知に従って表示内容を更新する。

また、アップロード実行部４２４は、ＳＭＢ（Ｓｅｒｖｅｒ Ｍｅｓｓａｇｅ Ｂｌｏｃｋ）クライアント機能を有する。これにより、アップロード実行部４２４は、ＳＭＢサーバ機能を有するファイルサーバ１０２に対してＳＭＢを用いてファイル及びフォルダ操作を行うことができる。なお、ＳＭＢの他に、ＷｅｂＤＡＶ（Ｄｉｓｔｒｉｂｕｔｅｄ Ａｕｔｈｏｒｉｎｇ ａｎｄ Ｖｅｒｓｉｏｎｉｎｇ ｐｒｏｔｏｃｏｌ ｆｏｒ ｔｈｅ ＷＷＷ）、ＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）が使用可能である。また、ＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）等も使用可能である。また、それ以外にファイル送信目的以外のＳＯＡＰやＲＥＳＴ（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ）等も使用可能である。

図５（ａ）は、ＭＦＰ１０１がスキャンした画像データに対して文字認識処理を実行し、認識結果を得るまでの動作の一例を示すフローチャートである。図５（ａ）に示す一連の動作（ステップ）は、ＭＦＰ１０１のＣＰＵ２１１がＨＤＤ２１４に記憶された制御プログラムを実行することにより実現される。

Ｓ５０１において、表示制御部４２３は、操作部２２０のタッチパネルにスキャン設定画面を表示する。図６は、スキャン設定画面の一例を示す図である。図６に示すスキャン設定画面６００を介してユーザがスキャンの開始指示を入力すると、スキャン実行部４１１においてスキャン処理が実行される。図７は、スキャン処理して得られたスキャン画像データによって表される画像（スキャン画像）を示す図である。図７には、文書画像の一例であって、帳票をスキャンして得られたスキャン画像が示されている。

ＭＦＰ１０１のユーザはスキャン設定画面６００を介して、スキャン実行部４１１に実行させるスキャン処理のための設定を、設定キー６０１～６０５を介して入力する。［カラー設定］キー６０１は、原稿をスキャンする際のカラーまたはモノクロを設定するためのキーである。［解像度設定］キー６０２は、原稿をスキャンする際の解像度を設定するためのキーである。［両面読み取り設定］キー６０３は、両面読み取りの設定をするためのキーである。［原稿混載設定］キー６０４は、原稿混載の有無を設定するためのキーである。［画像形式設定］キー６０５は、スキャン画像データの保存形式を指定するためのキーである。これら設定キー６０１～６０５には、ＭＦＰ１１０においてサポートされている範囲で設定可能な候補（選択肢）が表示され、ユーザは表示された候補から望むものを選択する。なお、上述した設定キーは一例であって、これらすべての設定項目が存在しなくても良いし、これら以外の設定項目が存在しても良い。ユーザは、このようなスキャン設定画面６００を介してスキャン処理について詳細な設定を行う。［キャンセル］ボタン６２０は、スキャン設定を中止する場合に用いるボタンである。［スキャン開始］ボタン６２１は、原稿台等にセットした原稿に対するスキャン処理の開始を指示するためのボタンである。

Ｓ５０２において、画像解析部４２５は、Ｓ５０１で得られたスキャン画像データに対してＯＣＲ処理を実行する。ここでは、図７に示す帳票のスキャン画像を示すスキャン画像データがＳ５０１で得られているものとする。またここでは、ＯＣＲ処理として、公知である一般的な文字列抽出処理が実行されるものとする。さらに、ＯＣＲ処理には、文字列を抽出する処理以外に、例えば表の罫線を取得する処理や、罫線同士を繋ぎ合わせて１つのセルとして認識する処理が含まれるものとする。

Ｓ５０３において画像解析部４２５は、Ｓ５０２のＯＣＲ処理により得られたＯＣＲ結果から、取得対象となる項目名を抽出する。ここで、項目名の例としては例えば「性別」や「身長」などが考えられる。取得対象となる項目名の決定方法としては、事前にデータベースなどに取得対象となる項目名を入力しておき、それに合致するものを選択する方法が考えられる。しかし、例えばＳ５０２のＯＣＲ処理により得られたＯＣＲ結果に出現する単語（文字列）やその出現位置から推測して、項目名を含むと推認される文字列領域を特定するなどしても良い。ここでは、領域７０１の「性別」が得られたものとする。

Ｓ５０４において画像解析部４２５は、Ｓ５０３で抽出した項目名に対応する入力情報（値（Ｖａｌｕｅ））が記載されている領域を特定し、該領域内から値を抽出する。ここで、値を抽出する方法としては、「項目名から一定距離以内の右方向（図７における右方向）に存在する値」のようなルールを事前に設定し、そのルールに従って値を抽出する方法が考えられる。また、図７で示すような帳票の形式の原稿に対しては「隣り合うセルの値」のようなルールを設定しても良い。図７に示す例では、領域７０１の「性別」に対応する値として、領域７０４の「１」が抽出される。

Ｓ５０５において画像解析部４２５は、後段の処理（Ｓ５０６の処理）を行うかどうかの判定を行う。具体的には、Ｓ５０４で抽出した値（文字列）が、Ｓ５０３で抽出した項目名に適しているかを判定する。つまり、図７における領域７０１のように項目名が「性別」であった場合、項目名に対応する適切な値は、「男」や「女」、「Ｍａｌｅ」「Ｆｅｍａｌｅ」といったように性別を特定できる文字列となる。一方で、値の位置としては領域７０４が特定されたが、領域７０４に実際に記載されている値は凡例に従って記述された「１」という値であり、「性別」を示す値としては不適切である。なお、項目名に対応する適切な値の例などは項目名の登録時に合わせて登録するようにしても良いし、事前に画像処理システムが既知の項目名とその値の候補一覧とを保持しておいても良い。以上のようにして、Ｓ５０４で抽出した値が項目名に適しているかどうかが判定される。適切であると判断した場合は（Ｓ５０５ ＹＥＳ）、Ｓ５０７において画像解析部４２５は、Ｓ５０４で抽出した値をそのまま項目名に対応する値として採用し、処理を終了する。

適切でないと判断した場合は（Ｓ５０５ ＮＯ）、Ｓ５０６において画像解析部４２５は、Ｓ５０４で抽出した値に対応する凡例の値を抽出する処理（以下、判定抽出処理と呼ぶ）を行う。ここで、Ｓ５０６の凡例抽出処理について図５（ｂ）を用いて説明する。図５（ｂ）には、Ｓ５０６の凡例抽出処理のフローの一例が示されている。

Ｓ５１０において画像解析部４２５は、項目に対応する凡例が記載されている位置を、値が記載されている位置から相対的に探索する。ここで一般的に凡例が記載される位置は、値が記載されている位置に対して「同じセル内」「左右のセル」「上方向のセル」「下方向のセル」のように、値が記載されている位置と同じ位置か、値が記載されている位置に対して直線方向の位置であると考えられる。または「項目名が記載されたセル内」に凡例が記載されると考えられる。そこで、これらのセルに凡例候補が存在するか否かを探索していく。本実施形態においては、上述したセルを順に探索して、凡例の書式に合致したものを凡例候補として抽出する。ここで、Ｓ５１０の処理について、図７に示す帳票のスキャン画像７００を用いて具体的に説明する。

まず画像解析部４２５は、Ｓ５０４で値が記載されている位置として特定された領域７０４のセル内及び領域７０４の周辺の領域を探索する。本実施形態では、領域７０４のセル内と領域７０４の隣接セルである領域７０１，７０７，７０５とが順に探索される。なお、それらの領域よりも優先度を低くして他の領域（例えば、領域７０６や領域７０８）を探索対象に含めるようにしても良い。

次に画像解析部４２５は、探索した各領域に記載されている文字列が凡例の書式を満たしているかどうかを確認する。一般的に、凡例は「１：ＸＸＸ、２：ＹＹＹ、…」のように値の選択候補を含む情報であり、識別子（ここでは数字）と実際の値とが併記して列挙される書式を有する。画像解析部４２５は、このような凡例の書式を文字列のフォーマットとして定義し、そのフォーマットに合致する文字列を凡例候補であると判断する。なお、ここでは上記のようなフォーマットを例示したが、例えば数字の部分がアルファベットであってもよいし、「：」の部分が「；」や「．」などの別の記号であっても良い。また、凡例の書式として複数のフォーマットを登録しておき、それらのいずれかに合致した文字列を凡例候補として採用するようにしても良い。つまり、定義したフォーマットに従った文字列を凡例候補として判断することができれば、凡例の書式や、凡例の書式の登録方法等は限定されない。このような凡例候補の判定方法により、図７に示す例では、領域７０７内の文字列「１：男 ２：女 ３：他」が凡例候補として抽出される。なお、凡例に含まれる識別子は、連番の数字や、昇順に並んだアルファベットが利用されるケースが多い。したがって、連番の数字や昇順に並んだアルファベットを含む領域を優先して凡例候補として採用するようにしても良い。また、領域７０８までを探索対象とした場合には、領域７０８内の文字列「１：有 ２：無」も凡例候補として抽出されることになる。そのような場合には、値が記載されている位置からの距離やその位置に対する直線方向のズレがより小さい領域（ここでは、領域７０７）内の文字列を優先して抽出すれば良い。さらに、領域７０４と領域７０８の間に領域７０２，７０５のように異なる項目の列が存在する場合には、その列より後方（図における下方）には該当する凡例がないと判断して、領域７０６，７０８を探索候補から外すなどしても良い。

Ｓ５１１において画像解析部４２５は、Ｓ５１０の探索の結果に基づき、凡例候補となる領域が存在するかどうかを判断する。存在する場合は（Ｓ５１１のＹＹＥＳ）、処理はＳ５１２に進む。存在しない場合は（Ｓ５１１のＮＯ）、処理はＳ５１５に進む。

Ｓ５１２において画像解析部４２５は、Ｓ５０４で抽出された値（文字列）と、Ｓ５１０で抽出された凡例候補とを比較し、値の候補を取得する。図７に示す例では、領域７０４と領域７０７とが比較されることになる。領域７０４から抽出される値は「１」であり、領域７０７から抽出される凡例候補は「１：男 ２：女 ３：他」である。よって、凡例のフォーマットが「１：ＸＸＸ、２：ＹＹＹ、……」と定義されている場合には、「１」に対応する「男」が値の候補として取得される。

Ｓ５１３において画像解析部４２５は、Ｓ５１２で得られた値の候補がＳ５０３で抽出された項目名に対応する適切な値かどうかを判断する。先述したように、項目名が「性別」であった場合、項目名に対応する適切な値は、「男」や「女」、「Ｍａｌｅ」、「Ｆｅｍａｌｅ」といった文字列となる。ここでは値の候補として「男」が取得されているため、値の候補が項目名に適していると判断できる。値の候補が項目名に適している場合（Ｓ５１３ ＹＥＳ）、Ｓ５１４において画像解析部４２５は、Ｓ５１２で取得した値の候補をＳ５０３で抽出された項目名に対応する値として採用して、処理を終了する。そうでない場合（Ｓ５１３ ＮＯ）、処理はＳ５１５に進む。

Ｓ５１５において画像解析部４２５は、Ｓ５０３で抽出された項目に対応する値は得られなかったとして、Ｓ５０４で抽出された値（ここでは、「１」）をそのまま採用して、処理を終了する。

なお、最初の凡例候補（ここでは、「１：男 ２：女 ３：他」）から項目名に対応する適切な値を取得することができなかった場合において、Ｓ５１０で他の凡例候補（優先度が低い凡例候補）が抽出されている場合がある。そのような場合には、再度Ｓ５１２に戻り、他の凡例候補から値の候補を取得し直すようにしても良い。

以上のように、本実施形態によれば、文書に記入された値を文書のスキャン画像から抽出する場面において、凡例が用意された選択式の項目に対してユーザが選択した値を正確に取得することができる。

また、本実施形態では、文書のスキャン画像から凡例が記載されている領域を特定し、その領域から取得した凡例と、Ｓ５０３で抽出した値とを照らし合わせて、実際の値を取得している。よって、帳票のフォーマットや実際の値への変換規則等を事前に保持していなくても、Ｓ５０３で抽出した値の実際の値を取得することができるので、開発コストを削減することができる。

なお、図５（ａ）（ｂ）に示すフローは一例であり、凡例が用意された選択式の項目に対してユーザが選択した値を取得できれば、文字認識処理及び凡例抽出処理は上記の処理順に限定されない。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (12)

1. 文書画像の文字認識結果から項目名を抽出する第１の抽出手段と、
   前記抽出された項目名の前記文書画像における記載位置に基づいて、前記文書画像の文字認識結果から、前記項目名に対応する文字列を抽出する第２の抽出手段と、
   前記文書画像に記載されている凡例を抽出する第３の抽出手段と、
   前記第３の抽出手段で抽出された凡例から前記文字列に対応する値を抽出し、該抽出した値を前記項目名に対応する値として採用する採用手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記採用手段は、前記第２の抽出手段で抽出した前記文字列が前記項目名に対応する値として適さない場合に、前記第３の抽出手段で抽出した凡例から前記文字列に対応する値を抽出し、該抽出した値を前記項目名に対応する値として採用する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記凡例は、前記項目名に対応する値の選択候補と、該選択候補のそれぞれに割り当てられた識別子とが併記された情報であり、
   前記採用手段は、
   前記項目名に対応する値の選択候補のうち、前記第２の抽出手段で抽出された前記文字列に合致する前記識別子に対応する選択候補を、前記項目名に対応する値として採用する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記採用手段は、前記第２の抽出手段で抽出された前記文字列に合致する前記識別子に対応する選択候補が、前記項目名に対応する値として適さない場合には、前記文字列を前記項目名に対応する値としてそのまま採用する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第３の抽出手段は、前記第１の抽出手段で抽出された前記項目名を含む領域と、前記第２の抽出手段で抽出された前記文字列を含む領域と、記第２の抽出手段で抽出された前記文字列を含む領域の周辺の領域と、の少なくともいずれかを探索して前記凡例を抽出する
   ことを特徴とする請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
6. 前記第２の抽出手段で抽出された前記文字列が記載されていた領域の周辺の領域とは、前記文字列が記載されていた領域の水平方向または垂直方向に隣接する領域である
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記第３の抽出手段は、前記第１の抽出手段で抽出された前記項目名を含む領域と、前記第２の抽出手段で抽出された前記文字列を含む領域と、記第２の抽出手段で抽出された前記文字列を含む領域の周辺の領域とを探索する際、予め設定された優先度に従って順に探索する
   ことを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 前記採用手段は、前記第３の抽出手段が前記凡例を抽出できなかった場合、前記第２の抽出手段で抽出された前記文字列を前記項目名に対応する値としてそのまま取得する
   ことを特徴とする請求項１から請求項７のうちのいずれか１項に記載の画像処理装置。
9. 前記採用手段は、
   前記第２の抽出手段で抽出された前記文字列が前記項目名に対応する値として適さない場合に、前記第３の抽出手段で抽出された凡例から前記文字列に対応する値を抽出して、該抽出した値を前記項目名に対応する値として採用する一方、
   前記第２の抽出手段で抽出された前記文字列が前記項目名に対応する値として適する場合に、前記文字列を前記項目名に対応する値としてそのまま採用する
   ことを特徴とする請求項１から請求項８のうちのいずれか１項に記載の画像処理装置。
10. 前記文書画像が帳票をスキャンして得られるスキャン画像である
    ことを特徴とする請求項１から請求項９のうちのいずれか１項に記載の画像処理装置。
11. 文書画像の文字認識結果から項目名を抽出する第１の抽出ステップと、
    前記抽出された項目名の前記文書画像における記載位置に基づいて、前記文書画像の文字認識結果から、前記項目名に対応する文字列を抽出する第２の抽出ステップと、
    前記文書画像に記載されていた凡例を抽出する第３の抽出ステップと、
    前記第３の抽出ステップで抽出された凡例から前記文字列に対応する値を抽出し、該抽出した値を前記項目名に対応する値として採用する採用ステップと、を含む
    ことを特徴とする画像処理方法。
12. コンピュータに、請求項１１に記載の画像処理方法を実行させるためのプログラム。

Images