JP6917688B2 - 帳票読取装置、帳票読取方法、プログラム、および帳票読取システム - Google Patents

Description

本発明の実施形態は，帳票の画像から文字を読み取る帳票読取装置、帳票読取方法、プログラム、および帳票読取システムに関する。

帳票読取装置は、光学式の読取装置で取得した帳票の画像（デジタル写真など）を、文字認識アプリケーションソフトウェア（以下「ＯＣＲソフト」と称す）を利用して文字認識する。

読取り対象の帳票が、例えば、複数枚からなる契約書類などの場合、一般に、ページ毎に独自の項目が配置される。このため、帳票読取装置は、ページ毎に帳票の定義情報を有する必要がある。帳票の定義情報とは、例えば認識項目名、その項目名に対応する読取り位置の座標（ｘ座標，ｙ座標）、サイズ、文字種、文字数などである。

しかし、互いに形式が異なる複数の帳票を読み取るためには、複数の帳票の定義情報を事前に作成する必要があり、時間と労力が必要となる。また、帳票にはさまざまな形式が存在し、読取対象の全ての帳票について事前に定義情報を作成することは困難である。

特開２０１５−０９０６２３号公報

本発明は、帳票を読み取るための事前の準備の容易化を図った帳票読取装置、帳票読取方法、プログラムおよび帳票読取システムを提供することを目的とする。

実施形態の帳票読取装置は，項目名と、この項目名に対応するデータと、を含む帳票の画像を記憶する記憶部と、前記帳票の画像から所定の項目名を探索する探索部と、前記帳票の画像上のデータを選択する情報を受け取る入力部と、前記選択されたデータと前記探索された項目名を関連付ける関連付け部と、前記関連付けられたデータを文字認識する文字認識部と、を備える。

実施形態に係る帳票読取システム１を表す模式図である。 携帯端末１０の内部構成を表すブロック図である。 データサーバ３０ａ，処理サーバ３０ｂ，エントリ用クライアント４０ａ，マーキング用クライアント４０ｂ，データ確定用クライアント４０ｃの内部構成を表すブロック図である。 エントリ項目ＤＢ３２ａに記憶されるエントリ項目の一例を表すテーブルである。 マーキング用画面の一例である。 マーキング用画面の一例である。 マーキング用画面の一例である。 データ確定用画面の一例である。 帳票読取システム１の動作手順の一例を表すフロー図である。 エントリ項目のハイライト表示の手順の一例を表すフロー図である。 エントリ項目と座標範囲の対応を確認する手順の一例を表すフロー図である。 マーキング用画面の一例である。 マーキング用画面の一例である。 マーキング用画面の一例である。

帳票読取システムは、種々の定型、非定型の複数の帳票を画像（イメージ）として読み取り、イメージデータおよび文字データを一体化したエントリ情報を作成、保持する。
定型帳票は、あらかじめ帳票読取システムに帳票の定義情報が登録された帳票であり、非定型帳票は、あらかじめ帳票読取システムに帳票の定義情報が登録されていない帳票である。

帳票として、保険業務用の書類、例えば、告知書、取扱者報告書、健康診断結果通知書を挙げることができる。これらの帳票から作成されたクリーンデータを用いて、保険の査定を行うことができる。
なお、クリーンデータとは、オペレータによる確認、確定が行われ、文字認識結果の誤りを訂正された後のエントリ情報のことである。

保険業務用の書類のうち、告知書、取扱者報告書は、書式が保険会社により一定の定型書類であり、帳票の定義情報を事前に登録することが可能であるため、読み取り等が容易である。
これに対して、健康診断結果通知書は、例えば、医療機関毎に書式が異なる非定型な書類であり、かつ複数書類の読み取りが必要となることが多い。したがって、事前に帳票の定義情報を登録することが困難である。すなわち、帳票の形式を事前に入手することは困難である。また、多数の定義情報を事前に登録しておくことになるため多大な時間と労力がかかる。このように、複数の非定型の帳票から適正なエントリ情報を作成するのは容易ではない。

以下では、帳票の例として、健康診断結果通知書を用いて、帳票読取システムの構成、動作を説明する。

図１に示すように，帳票読取システム１は、携帯端末１０、画像読取装置２０、データサーバ３０ａ，処理サーバ３０ｂ，エントリ用クライアント４０ａ，マーキング用クライアント４０ｂ，データ確定用クライアント４０ｃ，外部サーバ５０を有する。

携帯端末１０は、オペレータ（ここでは、例えば、保険の外交員）が携帯し、保険の対象者（客先）において、非定型の帳票（例えば、健康診断結果通知書）の画像を読み込むために用いられる。

図２は、携帯端末１０の内部構成を表すブロック図である。
携帯端末１０は、例えば、タブレット端末であり、画像取得部としてのカメラ部１１、タッチパネル１２、帳票読取処理部１３、メモリ１４、通信インターフェース１５（以下「通信Ｉ／Ｆ１５」と称す）などを備える。

カメラ部１１は例えばＣＣＤカメラなどであり、読取り対象の帳票、例えば帳票Ａの帳票イメージ（帳票画像）を撮像、つまり光学的に読み取る。

タッチパネル１２は、情報の表示機能と入力機能の２つの機能を備え、カメラ部１１で撮像した帳票画像を表示すると共に、手を触れる（タッチ操作）ことにより、情報を入力する。
帳票読取処理部１３は、カメラ部１１による帳票読み取り処理を制御するものであり、カメラ部１１に読み取られる帳票の画像の適否を判定し、画像が不適な場合にタッチパネル１２上に警告表示を行う。
帳票読取処理部１３は、この警告後、画像が不適な状態が解消されるかを確認する。画像が不適な状態が解消されたら、オペレータの操作を待つこと無く、自動的に撮影できる。

不適な画像とは、例えば、白飛び、サイズ不良、傾き、手振れである。
白飛びとは、画像の少なくとも一部の領域が、カメラ部１１の階調の上限を超えていることをいう。この一部の領域内は均一な階調（上限）となり、その領域内に文字、イメージが有ったとしても、後の文字認識等の処理が行えなくなる。

サイズ不良は、カメラ部１１での撮像範囲内に占める帳票の大きさが適切でないことをいう。撮像範囲に対して帳票が小さすぎたり、大きすぎたり（帳票の一部しか撮像できない）すると、後の文字認識等の処理が困難となる。

傾きは、カメラ部１１での撮像範囲に対して、帳票が傾いていることをいう。撮像範囲に対して帳票が傾いていると、後の文字認識等の処理が困難となる。帳票読取処理部１３は、傾きがある程度小さければ、画像データを加工することで、帳票の画像の傾きを補正できる（傾き補正処理）。しかし、撮像範囲に対する帳票の傾きが大きくなりすぎると、傾きの補正が困難となる。

手振れは、カメラ部１１が帳票に対して、振動していることをいう。帳票の画像が不鮮明となり、後の文字認識等の処理が困難となる。

帳票読取処理部１３は、読み取る帳票の画像の白飛び、サイズ不良、傾き、手振れの少なくとも何れかを検出する検出部として機能する。すなわち、帳票読取処理部１３は、次のように、白飛び、サイズ不良、傾き、手振れを検出する。
白飛びは、画像上に階調上限の連続領域が存在するか否かによって検出できる。
サイズ不良は、画像全体に占める帳票の面積の割合を算出し、この割合が適正範囲から外れているか否かによって検出できる。例えば、画像から帳票の輪郭を抽出することによって、帳票の面積を求めることができる。
傾きは、画像全体に対する、帳票の傾きを算出し、この値が適正範囲から外れているか否かによって検出できる。例えば、画像から帳票の輪郭を抽出することによって、帳票の傾きを求めることができる。帳票読取処理部１３は、傾き補正処理が困難な場合に、オペレータに対して警告を発することとできる。
手振れは、カメラ部１１で撮像している帳票の画像が時間的に変化するか否かによって検出できる。

メモリ１４は、読み取った帳票画像を記憶する他、帳票画像の読み取り処理のための作業領域として機能する。
通信Ｉ／Ｆ１５は、ネットワークＮＥＴを通じて、データサーバ３０ａに帳票の画像を送信する。

画像読取装置２０は、定型および非定型の帳票のいずれもの画像を読み込むために用いられる、例えば、スキャナ装置である。画像読取装置２０は、帳票の表面を例えばＣＣＤなどで走査（スキャン）して画像情報（イメージデータ）を取得（生成）する。

データサーバ３０ａ，処理サーバ３０ｂ，エントリ用クライアント４０ａ，マーキング用クライアント４０ｂ，データ確定用クライアント４０ｃは、文字認識システムとして機能し，携帯端末１０または画像読取装置２０で読み込まれた帳票の画像を用いて、文字データとイメージデータを一体化したエントリ情報を生成する。
外部サーバ５０は、データサーバ３０ａからエントリ情報を受け取り、例えば、保険の査定に利用する。

図３は、データサーバ３０ａ，処理サーバ３０ｂ，エントリ用クライアント４０ａ，マーキング用クライアント４０ｂ，データ確定用クライアント４０ｃの内部構成を表すブロック図である。

データサーバ３０ａは、サーバ・コンピュータであり、帳票画像データベース３１ａ（以下「帳票画像ＤＢ３１ａ」と称す）、エントリ項目データベース３２ａ「（エントリ項目ＤＢ３２ａ）、文字データベース３３ａ（文字ＤＢ３３ａ）、エントリ情報データベース３４ａ（エントリ情報ＤＢ３４ａ）、通信Ｉ／Ｆ３５ａを有する。

帳票画像ＤＢ３１ａには、カメラ部１１により取得された帳票画像７１が記憶される（詳細は後述する）。帳票画像ＤＢ３１ａは、「項目名と、この項目名に対応するデータと、を複数組含む帳票の画像を記憶する記憶部」として機能する。

エントリ項目ＤＢ３２ａは、後述の探索部３１ｂがエントリ（入力）対象となるエントリ項目の名称を探索するためのデータを記憶する。
図４は、エントリ項目ＤＢ３２ａに記憶されるエントリ項目の一例を表す。ここでは、健康診断のエントリ項目として、身長、体重、最大血圧、最小血圧等が示される。

項目インデックスは、エントリ項目の上位概念を表す。
ターゲット文字列は、探索部３１ｂがエントリ項目を探索するために用いられる。すなわち、ターゲット文字列のいずれかに一致する文字列は、エントリ項目に対応すると判断できる。

ＯＣＲの要、不要は、各エントリ項目におけるＯＣＲ（文字認識）の要、不要を表す。一部のエントリ項目、例えば、胸部Ｘ線では、Ｘ線写真の画像をデータとして使うことを想定し、文字認識を不要としている。すなわち、ＯＣＲ不要のエントリ項目のデータは文字ではなく、Ｘ線写真等のイメージである。
なお、このＯＣＲの要、不要については、設定により適宜に変更できる。

文字ＤＢ３３ａは文字種の辞書であり、複数の文字種を識別するためのＩＤ、タイプ、ルールが対応付けて記憶されている。ＩＤとしては、例えば「１」，「２」などの数値、タイプとしては「かな」、「英語」など、ルールとしては、「かな」であれば「あいうえお…」、「英語」であれば「ａｂｃｄｅｆ…」などが設定されている。

エントリ情報ＤＢ３４ａには、エントリ情報が記憶される。エントリ情報は、イメージデータおよび文字データを一体化したものであり、項目名と、項目名に対応する帳票上の画像の認識結果またはイメージの組み合わせを含む。
通信Ｉ／Ｆ３５ａは、処理サーバ３０ｂと通信する。

処理サーバ３０ｂは、探索部３１ｂ，関連付け部３２ｂ，文字認識部３３ｂ，エントリ情報作成部３４ｂ，表示制御部３５ｂ，通信Ｉ／Ｆ３６ｂを有する。

探索部３１ｂは、帳票の画像上からエントリ項目ＤＢ３２ａに記憶されるエントリ項目に対応するターゲット文字列（所定の項目名）を探索する。帳票の画像に簡易的な文字認識を行い、文字認識された文字列がターゲット文字列と一致するか否かを探索し、その座標を特定する。

関連付け部３２ｂは、帳票上の文字イメージ（文字列で表されるデータ）、データイメージ（Ｘ線写真などイメージ自体で表されるデータ）をエントリ項目と関連付ける。

（１）文字イメージの関連付け
先に文字イメージの関連付けについて、説明する。
関連付け部３２ｂは、帳票の画面への入力により、エントリ項目に対応する読取り対象が指定された場合（データの選択）、探索部３１ｂによって探索された項目名（ターゲット文字列）を選択されたデータと関連付ける。すなわち、関連付け部３２ｂは、選択されたデータに対応する領域の画像を切り取り、その座標を特定し、切り取られた画像、その座標、対応するエントリ項目を関連付けられた情報としてメモリ等に記憶する。

関連付け部３２ｂは、必要に応じて、関連付けの前に、選択されたデータと探索された項目名（ターゲット文字列）が対応することを確認する。この対応の確認は、項目名（ターゲット文字列）と選択されたデータの座標を比較することで行える。例えば、選択されたデータの座標の左方が、探索された項目名（ターゲット文字列）の座標である場合、これらの間に対応関係があると判定し、関連付けを行う。

ここで、複数のデータが選択されることがある（例えば、後述のように、帳票の画像上の２点を結ぶ線上に存在する複数のデータ（文字列）の選択）。この場合、関連付け部３２ｂは、これら複数のデータ（文字列）中、エントリ項目に対応するものを関連付ける。

関連付け部３２ｂは、関連付けられたデータの画像（切り取られた画像）を文字認識部３３ｂに送って、文字認識させ、この文字認識結果も、切り取られた画像、その座標、対応するエントリ項目と共に、関連付けられた情報としてメモリ等に記憶させる。

（２）データイメージの関連付け
データイメージの場合、一般にデータイメージ（データ）およびエントリ項目を選択することで、関連付けがなされる。
すなわち、関連付け部３２ｂは、項目名および帳票の画像の範囲を選択する情報に基づいて、前記選択範囲の画像を切り取り、前記選択された項目名と関連付け、メモリに記憶する。

文字認識部３３ｂは、関連付け部３２ｂによって関連付けられたデータの画像（読取り対象）を文字認識する。

エントリ情報作成部３４ｂは、複数のエントリ項目、この項目に対応する文字データ、イメージデータを関連付けたエントリ情報を作成する。

表示制御部３５ｂは、マーキング用画面をマーキング用クライアント４０ｂのタッチパネル４１ｂに表示させる。
図５〜図７は、マーキング用画面の一例を表す。
マーキング用画面は、帳票画像７１を表示する欄と、エントリ項目指定欄７２とを有する。エントリ項目指定欄７２は、エントリ項目を指定するために用いられる。

帳票画像７１中、一部の文字列（ターゲット文字列）がハイライト表示されている。すなわち、表示制御部３５ｂは、探索された項目名をハイライトして前記帳票の画像を表示させる表示制御部として機能する。

ハイライト表示された文字列は、探索部３１ｂで探索されたターゲット文字列（エントリ項目）である。図５では、「身長」、「体重」の項目が、図６では「ＨＤＬコレステロール」〜「潜血」の項目が、図７では「心電図」、「胸部」の項目がハイライト表示されている。

このハイライト表示は、その箇所を他の箇所と比べて、視覚的に目立たせるためのものであり、例えば、色彩、枠などの付加、明暗の時間的変化（点滅）等種々の手法を用いることができる。
マーキング用画面を用いて、複数のデータを効率的に選択できる。この詳細は後述する。

表示制御部３５ｂは、エントリ項目欄８１、文字イメージ欄８２，認識文字欄８３、データイメージ欄８４を有するデータ確定用画面をデータ確定用クライアント４０ｃの表示部４１ｃに表示させる。すなわち、表示制御部３５ｂは、複数の所定の項目名の欄と、前記選択されたデータの欄と、前記選択されたデータを文字認識した結果の欄とを有する画像を表示させる第２の表示制御部として機能する。

図８は、データ確定用画面の一例を表す。
データ確定用画面は、エントリ項目欄８１、文字イメージ欄８２，認識文字欄８３を有する。
エントリ項目欄８１に、エントリ項目の名称が表される。
文字イメージ欄８２は、帳票の画像から切り出されたイメージを表す欄であり、認識文字欄８３はイメージを文字認識した結果の文字を表す欄である。
文字イメージ欄８２と認識文字欄８３を見比べることで、文字認識の誤りを容易に見つけることができる。文字認識に誤りがあった場合、その認識文字欄８３を指定してキーボード等から文字を入力することで、容易に誤りを訂正できる。
データイメージ欄８４は、帳票の画像から切り出されたＸ線写真等のイメージを表す欄である。

通信Ｉ／Ｆ３６ｂは、携帯端末１０、画像読取装置２０、データサーバ３０ａ，エントリ用クライアント４０ａ，マーキング用クライアント４０ｂ，データ確定用クライアント４０ｃ，外部サーバ５０と通信する。

エントリ用クライアント４０ａは、定型帳票のデータ入力のためのクライアント・コンピュータであり、表示部４１ａ、入力部４２ａ、通信Ｉ／Ｆ４３ａを有する。

マーキング用クライアント４０ｂ、データ確定用クライアント４０ｃはそれぞれ、非定型帳票（例えば、健康診断結果通知書）のデータ入力およびデータ確定のためのクライアント・コンピュータである。

マーキング用クライアント４０ｂは、タッチパネル４１ｂ、入力部４２ｂ、通信Ｉ／Ｆ４３ｂを有し、主として、マーキングおよび文字認識のための表示および入力が行われる。マーキングとは、文字認識等する帳票画像上の範囲の指定を意味し、タッチパネル４１ｂからの入力によって行われる。

タッチパネル４１ｂは、情報の表示機能と入力機能の２つの機能を備え、カメラ部１１で撮像した帳票画像を表示すると共に、触れる（タッチ操作）ことにより、情報を入力する。

このタッチ操作に、入力用のペン（入力ペン）を用いると便宜である。入力ペンの先端をタッチパネル４１ｂに接触させて、線上を移動させ、離すことで、線上の２点を指定することができる。
また、移動する線の方向に応じて、異なる入力とすることができる。
例えば、画面上を所定の基準方向（例えば、縦方向）に滑らせることで、複数のデータ（複数の文字列）を選択できる。
また、画面上を所定の基準方向と垂直な方向（例えば、横方向）に滑らせることで、１のデータ（１の文字列）の範囲を指定できる。
さらに、画面上を所定の基準方向と斜めの方向に滑らせることで、画像（イメージ）の範囲を指定できる。この場合、斜めの線の始点、終点を対角線とする矩形の領域が選択される。

以上は、タッチパネル４１ｂを用いて文字列やイメージを選択する場合を示したが、タッチパネル４１ｂを用いた選択の解除も可能である。例えば、ペンの先端を比較的硬く尖った状態とし、他端を比較的柔らかく丸みを帯びた状態とする。このように、ペンの先端、他端のタッチパネル４１ｂに対する接触面積を異ならせれば、それぞれを異なる入力に利用できる。例えば、ペンの先端を選択用、他端を選択解除用とできる。
ペンの先端の形状に限らず、例えば、選択モード、解除モードを指定する入力によって、文字列やイメージを適宜に選択したり、選択を解除したりすることが可能となる。

以上のように、タッチパネル４１ｂは、表示部上の座標を連続して入力可能なタッチ入力機構であり、帳票の画像上のデータを選択する情報、選択を解除する情報を受け取る入力部として機能する。

データ確定用クライアント４０ｃは、表示部４１ｃ、入力部４２ｃ、通信Ｉ／Ｆ４３ｃを有する。
入力部４２ｃは、結果の欄を訂正する情報を受け取る第２の入力部として機能する。

以下、図９〜図１１を参照して帳票読取システムの動作を説明する。
図９、帳票読取システム１の全体的な動作（概要動作）を表す。

Ａ．帳票のイメージ取得（ステップＳ１１）
オペレータが携帯端末１０を操作することによって、カメラ部１１が帳票を撮影し、メモリ１４に記憶される。

帳票は、例えば、健康診断結果通知書であり、基本的に複数の帳票の画像が取得される。オペレータがタッチパネル１２の画面内に処理対象の帳票を入れて撮影する。この結果、１枚以上の帳票の画像がメモリ１４に取り込まれる。

この撮影時に帳票読取処理部１３は、カメラ部１１に読み取られる帳票の画像の適否を判定し、画像が不適な場合にタッチパネル１２上に警告表示を行う。
その後、メモリ１４に記憶された帳票の画像は、ネットワークＮＥＴを介して、通信Ｉ／Ｆ１５からデータサーバ３０ａに送られ、帳票画像ＤＢ３１ａに記憶される。

なお、ここでは携帯端末１０によって帳票の画像を取得したが、画像読取装置２０を用いて帳票の画像を取得してもよい。

Ｂ．マーキング・ＯＣＲ（文字認識）（ステップＳ１２〜Ｓ１７）
マーキングおよび文字認識は、基本的にはマーキング用クライアント４０ｂからの入力によって、処理サーバ３０ｂで実行される。

（１）帳票の選択（ステップＳ１２）
マーキング用クライアント４０ｂからの入力によって、処理サーバ３０ｂの表示制御部３５ｂは、帳票画像ＤＢ３１ａに蓄積されている一つ以上の帳票画像７１を読み込み、タッチパネル４１ｂに表示する。
一般に、帳票画像７１のサムネイルが表示され、その中から所望のサムネイルが選択される。

（２）マーキング用画面の表示（エントリ項目のハイライト表示、ステップＳ１３）
指定されたサムネイルに対応する帳票画像７１を含むマーキング用画面がタッチパネル４１ｂ上に表示される（図５〜図７参照）。
マーキング用画面は、帳票画像７１、エントリ項目指定欄７２を有し、帳票画像７１上のエントリ項目に対応する文字列（ターゲット文字列、図５では「身長」、「体重」）がハイライト表示される。

探索部３１ｂが、帳票の画像上からエントリ項目に対応するターゲット文字列を探索して、その座標を特定し（ステップＳ２１）、この探索されたターゲット文字列がハイライト表示される（ステップＳ２２）。
このとき、関連する一連の帳票の全領域に対して、ターゲット文字列の探索、その座標の特定が行われる。

（３）複数文字列の座標範囲の指定（ステップＳ１４）
帳票画像７１上で複数文字列の座標範囲（複数のＯＣＲ箇所）が指定される（マーキング）。
例えば、図５の「今回の結果」から「３０．７」に至る複数の文字列を入力ペンで縦になぞる。この結果、「今回の結果」を始点とし「３０．７」を終点とする座標範囲が指定される。

（４）エントリ項目と座標範囲の対応確認（ステップＳ１５）
指定された座標範囲がエントリ項目と対応するか否かが確認される。この確認結果は、タッチパネル４１ｂ上でも表示される。
例えば、図１２に示すようにハイライト表示されたターゲット文字列（ここでは、「身長」、「体重」）に対応する箇所の文字列（ここでは、「１７３．０」，「９３．２」）がハイライト表示され、かつこの両者が関連付けられていることが線分で表される。
なお、この関連付け表示は、線分に限らず、両者に関連付けがあることを連想される表示であれば、適宜に利用できる。

図１１は、この関連付けの詳細を表すフロー図である。
ａ）関連付け部３２ｂは指定した座標範囲に対応するエントリ項目（ターゲット文字列）があるかを判定する（ステップＳ３１）。
指定した座標範囲と対応する位置（例えば、指定した座標範囲の左側）にハイライトされたターゲット文字列があるか否かが判定される。
なお、エントリ項目の一部（胸部Ｘ線、心電図）は、図４に示すようにＯＣＲ不要であるため、これらに対応する座標範囲が指定されても、この判定対象からは除外される。

ｂ）指定した座標範囲に対応するエントリ項目（ターゲット文字列）がある場合、関連付け部３２ｂは、マーキングした周囲の文字列（イメージ）を切り出し、その座標を特定する（ステップＳ３２）。

ｃ）関連付け部３２ｂは、この座標値と、これに対応するエントリ項目を関連付けてメモリ等に記憶する（ステップＳ３３）。
指定した座標範囲全体を処理するまで（残りの文字列がなくなるまで）、以上が繰り返され（ステップＳ３４）、エントリ項目とこれに対応するＯＣＲ対象の組み合わせが定まる。

図１２に示すように、「今回の結果」から「３０．７」に至る複数の文字列の座標範囲を指定した場合であっても、エントリ項目（ターゲット文字列）と対応しない「今回の結果」、「３０．７」はハイライト表示されず、エントリ項目と対応する「１７３．０」，「９３．２」のみがハイライト表示される。

（５）対応する文字列のＯＣＲ処理（ステップＳ１６）
文字認識部３３ｂは、文字ＤＢ３３ａを用いて切り出された文字画像を文字認識する。関連付け部３２ｂは、文字認識の結果をエントリ項目と対応付けてメモリ等に記憶させる。

（６）エントリ項目、入力イメージの指定（ステップＳ１７）
エントリ項目には、イメージのみを必要とし、文字認識を必要としないものがある。このような対象には、帳票画像７１上のイメージを指定し、エントリ項目と関連付けて記憶される。
例えば、帳票画像７１上を斜めに入力ペンを走らせることで、イメージの範囲を指定する。
この前後に、エントリ項目指定欄７２上のエントリ項目を指定することで、入力イメージ、エントリ項目の指定、関連付けを行える。

以上のように、エントリ項目、文字データ（文字認識の結果）、イメージデータが関連付けられたエントリ情報が作成され、エントリ情報ＤＢ３４ａに記憶される。

Ｃ．データの確定
データ確定用クライアント４０ｃにおいて、作成されたエントリ情報を確認・確定できる。
（１）データ確定画面の表示（ステップＳ１８）
データ確定用クライアント４０ｃの表示部４１ｃにデータ確定用画面が表示される。
（２）ＯＣＲ結果の確定（ステップＳ１９）
オペレータは、文字イメージ欄８２と認識文字欄８３を見比べることで、文字認識の誤りを容易に見つけることができる。
文字認識に誤りがあった場合、その認識文字欄８３を指定してキーボード等から入力することで、容易に誤りを訂正できる。

以上では、エントリ項目に対応するターゲット文字列をハイライト表示した状態で、オペレータが対応するデータの文字列を指定していた。これに対して、ターゲット文字列と対応するデータの文字列の位置関係が判っている場合には、図１２に示すように、ターゲット文字列および対応するデータの文字列の双方をハイライト表示し、この対応の当否をオペレータが確認しても良い。

図１３は、「今回」の検査結果ではなく、「前回」の検査結果が選択（ハイライト表示）されている。
このように、対応するデータの文字列が間違って選択されている場合、次のようにして訂正できる。

（１）誤った選択の解除
データの文字列の選択を解除する。例えば、タッチパネル４１ｂの「前回」の検査結果の欄上をペンの他端（選択解除側）で縦方向になぞる。この結果、図６に示すようなターゲット文字列のみがハイライト表示された状態となる。

また、項目名（ターゲット文字列）が誤って探索され、ハイライト表示されている場合、その選択を解除する。例えば、そのターゲット文字列の箇所をペンの他端でタッチすることで、選択が解除され、その箇所のハイライトは消失する。

（２）正しい選択の入力
正しい文字列の範囲を指定する。例えば、図６の「前回」の検査結果の欄をペンの先端で縦方向になぞる。
この結果、図１４に示すように、ターゲット文字列および対応するデータの文字列の双方がハイライト表示された状態となり、ＯＣＲ処理して、エントリ情報を作成できる。

以上では、複数のデータを一括して入力していたが、データを個別的に入力してもよい。
例えば、ペンを画像上の横方向に滑らせることで、１のデータ（１の文字列）の範囲を指定できる。そして、エントリ項目指定欄７２をタッチすることで、エントリ項目と文字列の対応付けを行い、ＯＣＲ処理して、エントリ情報を作成しできる。

上記実施形態では、エントリ項目とこれに対応するデータをオペレータが選択する場合と比べ、効率的にエントリ項目とデータを関連付け、データを文字認識し、確定したエントリ情報（クリーンデータ）を短時間で作成できる。
すなわち、帳票画像上からエントリ項目に対応するターゲット文字列が自動的に探索されるため、エントリ項目を目視で探し、選択する必要がなくなる。そして、座標範囲を指定するだけで、その範囲内の文字イメージが切り出され、エントリ項目と自動的に関連付けられる。

上記実施形態では、携帯端末１０、データサーバ３０ａ，処理サーバ３０ｂ，エントリ用クライアント４０ａ，マーキング用クライアント４０ｂ，データ確定用クライアント４０ｃを有する文字認識システムを用いている。これに対して、これらの機能を一台の装置（コンピュータ）で実現しても良い。

また、コンピュータにこれらの機能を実現させるためのプログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、適宜にコンピュータに読み取らせてもよい。電子媒体としては、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭなどの記録媒体やフラッシュメモリ、リムーバブルメディア：Removable mediaなどが含まれる。

本発明のいくつかの実施形態を説明したが，これらの実施形態は，例として提示したものであり，発明の範囲を限定することは意図していない。これら新規な実施形態は，その他の様々な形態で実施されることが可能であり，発明の要旨を逸脱しない範囲で，種々の省略，置き換え，変更を行うことができる。これら実施形態やその変形は，発明の範囲や要旨に含まれるとともに，特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 帳票読取システム
１０ 携帯端末
１１ カメラ部
１２ タッチパネル
１３ 帳票読取処理部
１４ メモリ
１５ 通信Ｉ／Ｆ
２０ 画像読取装置
３０ａ データサーバ
３１ａ 帳票画像ＤＢ
３２ａ エントリ項目ＤＢ
３３ａ 文字ＤＢ
３４ａ エントリ情報ＤＢ
３５ａ 通信Ｉ／Ｆ
３０ｂ 処理サーバ
３１ｂ 探索部
３２ｂ 関連付け部
３３ｂ 文字認識部
３４ｂ エントリ情報作成部
３５ｂ 表示制御部
３６ｂ 通信Ｉ／Ｆ
４０ａ エントリ用クライアント
４１ａ 表示部
４２ａ 入力部
４３ａ 通信Ｉ／Ｆ
４０ｂ マーキング用クライアント
４１ｂ タッチパネル
４２ｂ 入力部
４３ｂ 通信Ｉ／Ｆ
４０ｃ データ確定用クライアント
４１ｃ 表示部
４２ｃ 入力部
４３ｃ 通信Ｉ／Ｆ
５０ 外部サーバ
７１ 帳票画像
７２ エントリ項目指定欄
８１ エントリ項目欄
８２ 文字イメージ欄
８３ 認識文字欄
８４ データイメージ欄

Claims (18)

1. 項目名と、この項目名に対応するデータと、を含む帳票の画像を記憶する記憶部と、
   前記帳票の画像から所定の項目名を探索する探索部と、
   前記帳票の画像および前記探索された項目名を表示する表示制御部と、
   前記表示された前記帳票の画像上のデータの座標範囲を選択する情報を受け取る入力部と、
   前記選択されたデータの座標範囲と前記探索された項目名を関連付ける関連付け部と、
   前記関連付けられたデータの座標範囲を文字認識する文字認識部と、
   を具備する帳票読取装置。
2. 前記入力部が、複数のデータの座標範囲を選択する情報を受け取る
   請求項１に記載の帳票読取装置。
3. 前記複数のデータの座標範囲の選択が、前記画像の所定の基準方向に沿った入力である、
   請求項２に記載の帳票読取装置。
4. 前複数のデータの座標範囲を選択する情報は、
   前記帳票の画像上の少なくとも２点を指定する情報である
   請求項２または３に記載の帳票読取装置。
5. 前記関連付け部が、前記選択されたデータの画像を切り取って、前記探索された項目名と関連付け、
   前記文字認識部が、前記切り取られた画像を文字認識する
   請求項１に記載の帳票読取装置。
6. 前記関連付け部が、前記選択されたデータの座標範囲と前記探索された項目名とが対応することを確認し、対応することが確認されたデータの座標範囲と項目名を関連付ける
   請求項１に記載の帳票読取装置。
7. 前記関連付け部が、前記選択されたデータの座標範囲と前記探索された項目名それぞれの画像上の座標に基づいて、対応を確認する
   請求項６に記載の帳票読取装置。
8. 前記入力部が、項目名および前記帳票の画像の範囲を選択する情報を受け取り、
   前記関連付け部が、前記選択範囲の画像を切り取り、前記選択された項目名と関連付ける
   請求項１記載の帳票読取装置。
9. 前記画像の範囲の選択が、前記所定の基準方向に対して斜めの方向に沿った入力である、
   請求項８記載の帳票読取装置。
10. 前記表示制御部が、前記探索された項目名をハイライトして前記帳票の画像を表示させる
    請求項１記載の帳票読取装置。
11. 前記表示制御部が、前記関連付けられた項目名およびデータをハイライトして前記帳票の画像を表示させる
    請求項１０に記載の帳票読取装置。
12. 前記入力部が、前記帳票の画像上の項目名の選択を解除する情報を受け取り、
    前記表示制御部が、前記項目名のハイライトを解除する
    請求項１０または１１に記載の帳票読取装置。
13. 前記表示制御部に制御されて画像を表示する表示部をさらに具備し、
    前記入力部が、前記表示部上の座標を連続して入力可能なタッチ入力機構である
    請求項１記載の帳票読取装置。
14. 前記複数の所定の項目名の欄と、前記選択されたデータの欄と、前記選択されたデータを文字認識した結果の欄とを有する画像を表示させる第２の表示制御部と、
    前記結果の欄を訂正する情報を受け取る第２の入力部と、をさらに具備し、
    前記第２の表示制御部が、前記結果の欄に訂正された情報を表示させる
    請求項１記載の帳票読取装置。
15. 前記帳票の画像を光学的に読み取る読み取り部と、
    前記読み取る帳票の画像の白飛び、サイズ不良、傾き、手振れの少なくとも何れかを検出する検出部と、
    をさらに具備する請求項１記載の帳票読取装置。
16. 項目名と、この項目名に対応するデータと、を含む帳票の画像を記憶するステップと、
    前記帳票の画像から所定の項目名を探索するステップと、
    前記帳票の画像および前記探索された項目名を表示するステップと、
    前記表示された前記帳票の画像上のデータの座標範囲を選択する情報を受け取るステップと、
    前記選択されたデータの座標範囲と前記探索された項目名を関連付けるステップと、
    前記関連付けられたデータの座標範囲を文字認識するステップと、
    を具備する帳票読取方法。
17. コンピュータを、
    項目名と、この項目名に対応するデータと、を含む帳票の画像を記憶する記憶部と、
    前記帳票の画像から所定の項目名を探索する探索部と、
    前記帳票の画像および前記探索された項目名を表示する表示制御部と、
    前記表示された前記帳票の画像上のデータの座標範囲を選択する情報を受け取る入力部と、
    前記選択されたデータの座標範囲と前記探索された項目名を関連付ける関連付け部と、
    前記関連付けられたデータの座標範囲を文字認識する文字認識部と、
    として機能させるプログラム。
18. 端末装置と、文字認識装置とを備える帳票読取システムであって、
    前記端末装置は、
    項目名と、この項目名に対応するデータと、を含む帳票の画像を光学的に読み取る読み取り部と、
    前記読み取られた帳票の画像の白飛び、サイズ不良、傾き、手振れの少なくとも何れかを検出する検出部と、
    前記読み取った帳票の画像を前記文字認識装置に送信する送信部と、を備え、
    前記文字認識装置は、
    前記読み取られた帳票の画像を受信する受信部と、
    前記帳票の画像から所定の項目名を探索する探索部と、
    前記帳票の画像および前記探索された項目名を表示する表示制御部と、
    前記表示された前記帳票の画像上のデータの座標範囲を選択する情報を受け取る入力部と、
    前記選択されたデータの座標範囲と前記探索された項目名を関連付ける関連付け部と、
    前記関連付けられたデータの座標範囲を文字認識する文字認識部と、を備える
    帳票読取システム。

Images