JP2000113100A - 媒体処理方法及び媒体処理装置 - Google Patents
媒体処理方法及び媒体処理装置Info
- Publication number
- JP2000113100A JP2000113100A JP11252342A JP25234299A JP2000113100A JP 2000113100 A JP2000113100 A JP 2000113100A JP 11252342 A JP11252342 A JP 11252342A JP 25234299 A JP25234299 A JP 25234299A JP 2000113100 A JP2000113100 A JP 2000113100A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- item
- information
- display
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
の画面に表示する際、イメージデータの一部分をあらか
じめ定義されている情報をもとに強調表示を行なうこと
により、認識性を高め、スムーズな入力処理を行なえる
ようにする。 【解決手段】 イメージデータ入力装置621と、ディ
スプレイ630と、表示制御装置629とをそなえ、デ
ィスプレイ630のイメージデータ表示エリア611に
複数の項目612に分割された状態のイメージデータが
表示されている状態で、ディスプレイ630のデータ入
力表示エリア部分615にカーソル表示がなされると、
対応する所望項目612のイメージデータ部分のみを強
調表示させるイメージデータ部分強調表示手段624を
そなえ、ディスプレイ630上において、複数の項目6
12に分割された状態のイメージデータを表示する際、
ある項目612に対応するイメージデータ部分のみを符
号613で示すように強調表示する。
Description
おける帳票処理に用いて好適な、媒体処理方法及び媒体
処理装置であって、特に、帳票をイメージスキャナのご
ときイメージデータ入力装置で読み取り、イメージデー
タをディスプレイ等の画面に表示する場合に用いて好適
な媒体処理方法及び媒体処理装置に関する。
ージ)として読み取ってから文字認識する装置として、
光学式文字読み取り装置(OCR装置)等のイメージデ
ータ読取装置が開発され、各種産業においてはこのイメ
ージデータ読取装置を幅広く利用することにより、業務
の効率化等を図っている。
なうオペレータは、上述のイメージデータ読取装置を用
いて、帳票媒体(帳票)を効率的に処理することを通じ
て、業務の効率化を図っている。特に、上述のような帳
票処理を行なうような業務の効率化を図るためには、同
一種類の帳票媒体(認識処理専用媒体)の多量処理を行
なうだけでなく、多種多様なフォーマットを有する帳票
媒体を自動的に処理することが要求されている。
処理装置1000を用いることにより、複数種類の帳票
媒体について、イメージデータ読取装置を用いた帳票媒
体の処理を行なうことができる。即ち、この図115に
おいて、1001は帳票についてのイメージデータを読
み取るイメージデータ読取装置であり、このイメージデ
ータ読取装置1001は、電子計算機1002に接続さ
れて、電子計算機1002からの制御に基づいたイメー
ジデータの読取動作を行なえるようになっている。な
お、このイメージデータ読取装置1001としては、例
えばイメージスキャナやFAXが用いられている。
制御する制御装置としての電子計算機1002は、オペ
レータからの命令,データ等を入力するキーボードある
いはマウス等の入力部(図115においてはキーボード
のみ図示)1002−1,計算機本体1002−2及び
データあるいは制御情報等を表示するディスプレイ10
02−3により構成されている。なお、イメージデータ
読取装置1001により読み取られたイメージデータの
文字認識処理は、電子計算機本体1002−2により行
なわれる。
り、このハードディスク1003は、電子計算機100
2に接続され、例えば図116に示すように、予め帳票
種類毎に認識すべき文字データの位置情報および文字の
種類、桁数等を指定した情報(以下「定義体情報」と称
す)1003A〜1003C,…を格納しておくもので
ある。
01の代わりに、図116,図117に示すような、イ
メージデータ読取認識装置1005を用いることもでき
る。このイメージ読取認識装置1005は、イメージデ
ータ読取装置1001と同様のイメージデータの読取動
作を行なうとともに文字認識をも行なうことができる。
を用いて、例えば図116に示すように、電気料金払込
通知書1004上に記載された文字データを認識する際
には、まず、オペレータによるキーボード1002−1
の操作により帳票種別(この場合は電気料金払込通知書
(帳票B)1004に対応する定義体情報1003B)
を指示する。
ディスク1003のアクセスを通じて、指示された帳票
の定義体情報1003Bを引出してイメージデータ読取
認識装置1005に通知する。これにより、イメージデ
ータ読取認識装置1005では、電子計算機1002か
らの制御情報としての定義体情報1003Bに基づい
て、イメージデータの読み取りと文字認識処理を行なう
ことができる。
な帳票を処理する手法においては、オペレータの指示に
より読み取りたい帳票毎に定義体情報を指示するので、
オペレータに負担がかるほか、定義体が多くなると指示
を間違えたり、数千種類もの帳票を処理することが要求
される場合にはオペレータが指示することは現実的に困
難となる。
004の定められた位置1004aに、予め帳票毎に異
なった帳票を識別するためのID番号(この場合は‘0
102’)を記載しておくことにより、上述したように
オペレータが帳票種別を指示することなく、自動的に帳
票の読取処理を行なう方法も考えられている。この方法
によれば、イメージデータ読取認識装置1005にて帳
票のイメージデータを読み取る際に、最初に定められた
位置1004aに記されたID番号を認識し、続いて認
識したID番号に対応した定義体情報(この場合は10
03B)を使用することにより、文字認識を行なうこと
ができる。
に、イメージデータ読取装置1001やイメージデータ
読取認識装置1005等の光学的読取装置(例えば帳票
処理装置)において帳票等をセットする位置が変動する
と、例えばハードディスク1003に定義体情報が予め
格納されている帳票と同一の帳票が読み取られた場合で
も、文字データの領域や図形領域等のイメージの基準点
(物理原点)からの座標が定義体情報におけるものと同
一にならないため、帳票処理装置等においては、同一の
レイアウトではないと判定される。
イメージデータのレイアウトと定義体情報におけるレイ
アウトとを一致させてからイメージデータの文字認識を
行なわないと、文字認識処理が正常に行なわれないこと
があるため、まず各々のイメージの基準点を抽出して各
々のイメージの基準点からの座標を比較してレイアウト
の一致の判定を行なっている。
法は、以下の2つの方法が主流となっている。なお、前
提条件として、読み取り対象の帳票は予め印刷された帳
票であり、用紙における帳票の印刷位置が高い精度で管
理されているものとする。1つめの方法は、図118
(a)に示すように、読み取られる帳票の用紙端面10
06と読取背景1007とが識別できるようなイメージ
データ読取装置により帳票のイメージデータを読み取る
場合には、用紙端面1006の左上端位置Pを基準点と
するものである。
やFAXにより帳票のイメージデータを読み取る場合に
は、図118(b)に示すように、読取背景1009と
読み取られた用紙端面1008とが識別できないため、
予め読み取り対象の帳票用紙に基準マークRを印刷して
おき、この基準マークRをイメージデータから抽出して
基準点とするものである。
位置が基準マークRとして印刷されているため、読取装
置に帳票をセットする位置が変動した場合でも、安定し
て基準点を抽出することが可能である利点がある。とこ
ろが、帳票処理装置等においては、上述の方法により基
準点が正確に抽出された場合でも、イメージデータの読
取方向が正しい方向でなければ、イメージデータの文字
記述方向が正しい方向とならないため、文字認識処理を
行なうことができない。
報が記述された振込伝票(帳票C)1010が、イメー
ジデータ読取装置1001により誤った方向(図119
では縦方向)から読み取られた場合には、読み取られた
振込伝票1010のイメージデータは、ディスプレイ1
002−3に符号1010Aで示すように誤った向きで
表示される。
処理の際には、オペレータが、ディスプレイ1002−
3を目視して帳票の読み取り方向が正しいか否かを判断
して、帳票の読み取り方向が正しくない場合には、読み
取られた帳票のイメージデータを90度又は180度回
転させる指示をキーボード1002−1から入力して、
帳票のイメージデータがディスプレイ1002−3に符
号1010Bで示すように正しい方向に表示されるよう
に、イメージデータの回転補正処理を行なう必要があ
る。
金業務においては、オペレータが、送金依頼表である帳
票に記載されている口座番号,氏名及び金額等の情報
を、帳票処理装置1000のキーボード1002−1等
から入力しているが、このとき、オペレータは帳票とデ
ィスプレイ1002−3とを交互に目視して入力操作を
行なっていた。
レイ1002−3とを交互に目視して入力操作を行なう
場合には、視線の移動が多くなるため、視認性が悪くな
り、帳票の項目と画面の項目との対応を誤るおそれがあ
るという課題があった。このため、イメージデータ読取
装置1001等で帳票を読み取って、読み取られたイメ
ージデータの文字認識結果とともにイメージデータその
ものをディスプレイ1002−3に表示するような帳票
処理装置が提案されている。
ディスプレイ1002−3上で直接見られるようになる
ため、視線の移動が少なくなり、文字認識結果の確認及
び修正の際の、文字認識結果とイメージデータとの対応
の誤りを少なくすることができる。一方で、近年、金融
機関等においては、クライアント−サーバシステムを用
いて、サーバで集中的且つ高速にデータ処理を行なう方
式が主流となっている。
毎に設置されたクライアントと地区センタに設置された
サーバとを、専用回線や交換回線等を介して接続するこ
とにより、クライアント−サーバシステムを構成して、
サーバにより帳票処理を一括して行なうことにより、業
務の効率化を図ることが提案されている。このようにサ
ーバにより帳票処理を一括して行なう際には、サーバに
集中するデータ量が膨大になることから、サーバでの帳
票処理をオペレータが行なうことは不可能となるため、
オペレータが介在することなく、サーバが自動的に帳票
処理を行なうようなシステムを設計する必要がある。
な、ID番号が記載された帳票を用いた帳票識別処理を
このクライアント−サーバシステムに適用すれば、サー
バが自動的に帳票種別を識別して帳票の読取処理を行な
うことができる。また、このクライアント−サーバシス
テムでのクライアントにおいても、前述したように、イ
メージデータ読取装置により読み取られたイメージデー
タの文字認識結果とともに、イメージデータそのものを
ディスプレイに表示させることにより、帳票に記載され
ている情報をディスプレイ上で直接見られるようにし
て、文字認識結果の確認及び修正の際の文字認識結果と
イメージデータとの対応の誤りを少なくすることができ
る。
たようなイメージデータの文字認識結果とイメージデー
タそのものをディスプレイに表示させて、文字認識結果
の確認及び修正を行なう方法においては、イメージデー
タと確認項目との対応は目視によって行なわれるため、
イメージデータ中に確認すべき項目が多い場合にはやは
り誤認識は避けられないという課題がある。
レイに表示できない場合には、後方のデータを参照する
ために、表示画面をスクロールさせる必要があるが、こ
のとき所要のキーを押下することにより、スクロール操
作を行なわなければならず、操作が煩雑になるという課
題がある。本発明は、このような課題に鑑み創案された
もので、イメージデータの一部分をあらかじめ定義され
ている情報をもとにして、強調表示を行なうことによ
り、認識性を高め、スムーズな確認及び修正処理を行な
えるようにした、媒体処理装置及び媒体処理方法を提供
することを目的とする。
処理装置は、複数の項目項目情報を含んだ媒体のイメー
ジデータを入力するイメージデータ入力装置と、イメー
ジデータ表示エリアと各項目用データ入力表示エリア部
分を有する項目表示エリアとを有するディスプレイと、
該イメージデータ表示エリアに該イメージデータ入力装
置にて得られた該イメージデータを表示させるととも
に、データ入力手段により所望項目のイメージデータ部
分に対応するデータを入力するに当たり該項目表示エリ
アにおける該所望項目用データ入力表示エリア部分にカ
ーソル表示を行なわせる表示制御装置とをそなえ、該表
示制御装置により、該ディスプレイにおける該イメージ
データ表示エリアに複数の項目情報を含んだイメージデ
ータが表示されている状態で該項目表示エリアにおける
各項目用データ入力表示エリア部分の所望項目用データ
入力表示エリア部分にカーソル表示がなされると対応す
る所望項目のイメージデータ部分のみを強調表示させる
イメージデータ部分強調表示手段をそなえていることを
特徴としている。
ータ部分強調表示手段に加えて、カーソル移動操作手段
によって該所望項目用データ入力表示エリア部分とは別
の他の項目用データ入力表示エリア部分にカーソル表示
が遷移せしめられると該項目対応のイメージデータ部分
の強調表示を解除するイメージデータ強調表示解除手段
と、該イメージデータ強調表示解除手段に連動して該他
の項目用データ入力表示エリア部分に対応する他の項目
のイメージデータ部分のみを該イメージデータ部分強調
表示手段にて強調表示させるよう制御する強調表示遷移
制御手段とをそなえていてもよい。
データ部分強調表示手段,イメージデータ強調表示解除
手段及び強調表示遷移制御手段に加えて、該イメージデ
ータの一部を該ディスプレイ上に表示している状態から
該ディスプレイ上に表示されていない該イメージデータ
を表示させる表示画面スクロール手段をそなえていても
よい。
段が、強調表示部分を外部からの指示により変更しうる
変更手段をそなえていてもよい。また、本発明の媒体処
理方法では、ディスプレイ上において、複数の項目情報
を含んだ媒体のイメージデータを表示する際に、ある項
目に対応するイメージデータ部分のみが強調表示され
る。
データ表示エリアに複数の項目情報を含んだ媒体のイメ
ージデータが表示されている状態で、所望項目のイメー
ジデータ部分に対応するデータを入力するに当たり該イ
メージデータ表示エリアとは別に該ディスプレイに設定
された項目表示エリアにおける各項目用データ入力表示
エリア部分の所望項目用データ入力表示エリア部分にカ
ーソル表示がなされると、対応する所望項目のイメージ
データ部分のみが強調表示されるとともに、その後更に
他の項目のイメージデータ部分に対応するデータを入力
するに当たりカーソル表示を該所望項目用データ入力表
示エリア部分から該他の項目用データ入力表示エリア部
分に移動させると、対応する所望項目のイメージデータ
部分の強調表示が解除されるとともに対応する他の項目
のイメージデータ部分が強調表示される。
ジデータ表示エリアに複数の項目情報を含んだ媒体のイ
メージデータの一部が表示されている状態で、該ディス
プレイに表示されている所望項目のイメージデータ部分
に対応するデータを入力するに当たり該イメージデータ
表示エリアとは別に該ディスプレイに設定された項目表
示エリアにおける各項目用データ入力表示エリア部分の
所望項目用データ入力表示エリア部分にカーソル表示が
なされると、対応する所望項目のイメージデータ部分の
みが強調表示されるとともに、その後更に該ディスプレ
イに表示されていない他の項目のイメージデータ部分に
対応するデータを入力するに当たりカーソル表示を該所
望項目用データ入力表示エリア部分から該他の項目用デ
ータ入力表示エリア部分に移動させると、対応する所望
項目のイメージデータ部分の強調表示が解除される一方
該他の項目のイメージデータ部分が該ディスプレイの該
イメージデータ表示エリアに表示されるようにスクロー
ルを行なって該他の項目のイメージデータ部分を該ディ
スプレイの該イメージデータ表示エリアに表示させると
ともに、対応する他の項目のイメージデータ部分が強調
表示される。
体構成を示す機能ブロック図である。
私製伝票等のように多種多様なフォーマットを有する帳
票媒体(帳票)から読み取ったイメージデータ(イメー
ジ)に基づいて、この情報の認識を行なうものである。
この媒体処理装置30は、具体的には、図6に示すよう
に、例えば金融機関の各支店(営業店)毎に設置された
クライアント(CL)35と、地区センタに設置された
サーバ(SV)39とが、交換回線36等を介して接続
されることにより構成され、各営業店における帳票処理
を地区センタのサーバ39により一括して行なうもので
ある。
メージデータのレイアウトを解析することにより処理対
象の帳票のフォーマットを認識し、この帳票のフォーマ
ットの認識結果に基づいて帳票の文字認識を行なうこと
により、帳票処理装置専用に作成された帳票だけでな
く、任意のフォーマットで情報が記入された帳票の認識
処理を行なうことができるものである。
図1に示すように、レイアウト認識処理ブロック16,
文字認識処理ブロック17及びオペレータ確認/修正処
理ブロック18をそなえている。レイアウト認識処理ブ
ロック16は、イメージデータ読取装置により読み取ら
れたイメージデータ19のレイアウト認識処理を行なう
ブロックであり、解析前処理部1,レイアウト解析処理
部2,レイアウト照合処理部3及びレイアウト編集処理
部4をそなえている。
析処理に先立って、レイアウトの変動要因を少なくして
解析精度を高めるために、認識対象イメージデータ19
の形式変換後に、解析処理用の低密度イメージの作成を
行うとともに、解析処理時に精度低下の要因となるイメ
ージデータ上のゴミ等の除去を行うものである。また、
レイアウト解析処理部2は、解析用辞書13を参照し
て、読み取ったイメージデータからレイアウトの特徴で
ある罫線項目及び項目データを抽出して、レイアウトの
構成を解析し、この抽出した罫線項目及び項目データに
よりレイアウトを論理的に表現するものである。
ったイメージデータから、帳票媒体固有の特徴を抽出
し、この特徴により認識すべき情報の存在する位置を特
定する手段として機能するものである。具体的には、レ
イアウト解析処理部2は、認識対象イメージのレイアウ
トを解析して、レイアウトを構成している各種の構成要
素(罫線項目及び項目データ)をレイアウト特徴として
抽出するとともに、後段のレイアウト照合処理部3での
レイアウト照合処理時に登録済レイアウト情報を検索す
るために、この抽出されたレイアウト特徴からレイアウ
トの大まかな制約条件であるレイアウトのキー情報を作
成するものである。
すように、イメージのレイアウトの特徴を抽出するレイ
アウト特徴抽出部2Aと、レイアウト特徴抽出部2Aで
抽出されたレイアウトの特徴に基づいてレイアウトの構
成を解析するレイアウト解析部2Bとを少なくとも含ん
で構成されている。また、レイアウト特徴抽出部2Aは
罫線抽出部2C及び項目データ抽出部2Dをそなえてお
り、レイアウト解析部2Bは表構造解析部2Eをそなえ
ている。
る表構造を有している場合には、罫線抽出部2Cでレイ
アウトの罫線から形成される最小矩形である罫線項目が
抽出され、抽出された罫線項目に基づいて、表構造解析
部2Eで罫線項目により構成される表構造が解析される
ようになっている。また、レイアウトが罫線を持たない
無罫線表構造を有している場合には、項目データ抽出部
2Dでレイアウトの項目データが抽出され、抽出された
レイアウトの項目データに基づいて、表構造解析部2E
で無罫線表構造が解析されるようになっている。
項目や項目データを抽出してから、レイアウトの論理的
な原点(論理原点)を抽出するように構成されている。
具体的には、レイアウト解析処理部2においては、(2
−1)ラベリング処理によるラベル画像の作成,(2−
2)レイアウト照合用の帳票イメージの論理原点及び斜
度情報の抽出,(2−3)罫線項目の抽出と罫線項目に
より構成される表構造の解析(前述にて説明済),(2
−4)項目データの抽出と無罫線表時の項目表構造の解
析(前述にて説明済)及び(2−5)見出し領域の決定
と見出し項目の認識,対応する項目データの決定(見出
し解析処理)、が行なわれている。
ラベル画像の作成処理は、入力されたイメージデータ
(2値画像データ)から連結成分(2値画像において1
つに繋がった画像の成分)を算出して、各連結成分毎に
ラベルを付けたラベル画像を作成する処理のことであ
る。なお、このラベリング処理については、例えば「連
結領域の抽出装置及び方法」(特開平08−55219
号)が公知である。
は、罫線に囲まれた文字や図形等のデータから罫線部分
を抽出して、罫線部分とデータ部分とを分離する処理の
ことである。なお、この罫線項目の抽出処理について
は、例えば「画像抽出方式」(特開平06−30949
8号)が公知である。さらに、(2−5)の見出し解析
処理は、イメージ中の見出し領域(見出し項目)を決定
して、この見出し領域中の見出し項目情報を認識して、
対応する項目データを決定するものである。
解析処理部2において見出し項目及び見出し項目と対応
する項目データを識別することにより、文字認識処理ブ
ロック17において見出し項目の文字認識処理を行なう
ことなく直ちに項目データの文字認識を行なえるように
している。また、上述の処理(2−2)については(a
2)原点抽出照合処理の説明にて、処理(2−5)につ
いては(a6)見出し解析処理の説明にて、それぞれ詳
細に説明する。
イアウト解析処理部2で抽出されたレイアウトの特徴
(罫線項目及び項目データ)を制約検索条件として、レ
イアウトデータベース(レイアウトDB)14から候補
レイアウトを検索して、一致している候補レイアウトが
あるかどうかを照合することにより、レイアウト解析処
理部2で特定された位置でのイメージを認識して、特定
された位置における情報を判別するイメージ認識手段と
して機能するものである。
アウト情報を記憶している候補レイアウト記憶部であ
り、本実施形態においては、候補レイアウト情報として
圧縮された候補レイアウト情報を記憶している。なお、
このときのレイアウト情報の圧縮処理については、後述
にて詳細に説明する。また、レイアウトDB14には、
レイアウト解析処理部2でのレイアウト解析結果を補正
するためのレイアウト補正情報が格納されており、本実
施形態においては、後述するレイアウト編集処理部4に
おいて、このレイアウト補正情報を用いてレイアウト解
析結果を補正することにより、その後の処理を高い精度
で行なえるようになっている。
述するように、候補レイアウト情報を、レイアウト認識
処理ブロック16やオペレータ確認/修正処理ブロック
18での処理結果に基づいて学習,更新されるようにな
っており、これにより、オペレータ等による候補レイア
ウト情報のレイアウトDB14への登録操作を不要とし
て操作の簡素化を図っている。
ウト解析処理部2で抽出された論理原点を基準にして、
一致している候補レイアウトがあるかどうかを照合する
ようになっている。即ち、レイアウト照合処理部3は、
レイアウト解析処理部2で作成されたレイアウトキー情
報を使用して、レイアウトDB14に格納されているレ
イアウト情報を検索照合し、一致するレイアウト情報を
取得するものである。
いて、レイアウトの検索照合を行なう際には、先ず大ま
かな制約条件であるレイアウトキー情報を制約条件とし
てレイアウトDB14を検索し、検索の結果得られた複
数の候補レイアウトに対して、更に詳細な照合を行うこ
とにより一致するレイアウトを決定するようになってい
る。
いては、候補レイアウトに対する詳細な照合処理の際
に、制約条件の大まかなものから順に、(3−1)罫線
項目ビットマトリクスの照合,(3−2)罫線項目位置
と罫線項目属性の詳細な照合,(3−3)項目データ位
置の照合,(3−4)見出し位置と見出し内容の照合及
び(3−5)領域イメージ(ユニークイメージ)の特徴
データ照合、が行なわれている。
リクスの照合処理とは、レイアウト解析処理部2で抽出
されたレイアウトの特徴を圧縮処理し、この圧縮したレ
イアウトの特徴を制約検索条件として、レイアウトDB
14から圧縮した候補レイアウトを検索することによ
り、一致している候補レイアウトがあるかどうかを照合
するものである。
DB14が圧縮した候補レイアウト情報を記憶して、レ
イアウト照合処理部3において圧縮処理したレイアウト
情報を作成して圧縮したレイアウト情報同士を照合する
ことにより、レイアウト照合処理の高速化を図っている
のである。なお、処理(3−1)については(a4)マ
トリックス照合処理の説明にて、処理(3−2)〜(3
−4)については(a6)見出し解析処理の説明にて、
処理(3−5)については(b)本発明の一実施形態の
変形例の説明にて、それぞれ詳細に説明する。
アウト照合処理部3でレイアウトDB14を検索照合し
た結果、レイアウトDB14に一致するレイアウトが存
在する場合には、前述のごとく、レイアウトDB14か
ら取得したレイアウト補正情報に基づいてレイアウト解
析結果を補正した後に、補正されたレイアウト情報をレ
イアウト認識結果20として出力するものである。
容は、見出し位置と見出し内容の補正と、見出しにリン
クする項目データ位置及び項目データ属性の補正であ
る。また、レイアウト編集処理部4は、レイアウト照合
処理部3でレイアウトDB14を検索照合した結果、レ
イアウトDB14に一致するレイアウトが存在しない場
合には、新規レイアウトとして、レイアウト解析結果を
そのままレイアウト情報(レイアウト認識結果20)と
して出力するものである。
レイアウト認識処理ブロック16からのレイアウト認識
結果20の文字認識処理を行なうブロックであり、文字
認識用定義体作成部5,文字認識処理部6及び知識処理
部7をそなえている。ここで、文字認識用定義体作成部
5は、レイアウト認識結果20として出力されるレイア
ウト情報をもとに、文字認識処理部6で使用する文字認
識対象の項目データ位置と項目データ属性を定義した文
字認識用定義体(一時定義体)21を作成するものであ
る。
は、解析対象イメージの左上端からの絶対座標で出力す
るが、イメージ読み取り時の用紙位置の変動により、解
析対象イメージの左上端が常に一定の位置になるとは限
らない。このため、文字認識用定義体処理部5では、解
析対象イメージに合わせてその都度、文字認識用定義体
21を動的に作成しているのである。
体作成処理部5で、レイアウト情報より作成された文字
認識用定義体21を使用して、文字認識対象の項目デー
タについて文字認識処理を行ない、認識結果のコードデ
ータを取得するものである。さらに、知識処理部7は、
文字認識処理部6の認識結果コードデータを、認識結果
の補正情報を記録した知識データベース(知識DB)1
5を参照して補正し、文字認識結果22として出力する
ものである。
ク18は、レイアウト認識結果20及び文字認識結果2
2が、端末装置(例えば図1におけるクライアント1
0)に表示されて、オペレータによりイメージデータの
処理結果の確認及び修正処理が行なわれるブロックであ
り、レイアウト画面表示処理部8及び文字認識結果画面
表示処理部9をそなえている。
オペレータによるレイアウト認識結果20及び文字認識
結果22の修正及び確認のため、レイアウト認識結果2
0のレイアウト情報をもとに、認識対象イメージと見出
し位置や見出し内容及び対応する項目位置等の解析結果
をクライアント10のディスプレイに表示するものであ
る。
識文字の確認及び修正処理の説明にて詳細に説明するよ
うに、従来の修正及び確認処理を拡張して、認識結果の
コードデータと、対応する帳票イメージ上の見出し内容
や項目データとをリンクしてクライアント10のディス
プレイに表示することにより、レイアウト情報の修正及
び確認処理を行えるようになっている。
レイアウト画面表示処理部8の表示に合わせて、文字認
識対象イメージの認識項目に対応する文字認識結果のコ
ードデータを画面表示するものである。さらに、クライ
アント10においては、ディスプレイ表示された認識対
象イメージと対応するレイアウト認識結果20や文字認
識結果22がオペレータにより確認され、必要に応じて
レイアウト認識結果20及び文字認識結果22の修正が
行なわれる。
述したレイアウト認識処理ブロック16,文字認識処理
ブロック17及びオペレータ確認/修正処理ブロック1
8のほかに、レイアウトログ情報作成処理部11及び知
識ログ情報作成処理部12もそなえている。ここで、レ
イアウトログ情報作成処理部11は、レイアウト認識結
果20のレイアウト情報に、オペレータによる修正内容
を補正データとして付加してレイアウトDB学習情報2
5(後述する図4では、これを学習用レイアウト情報2
8で示している)を作成することにより、レイアウトD
B14に格納されるレイアウト補正情報を作成するもの
である。なお、作成されたレイアウト補正情報は、補正
内容が判断された上、レイアウトDB14に学習登録さ
れる。
は、レイアウト認識結果20のレイアウト情報に、オペ
レータによる修正内容を補正データとして付加して解析
用辞書学習情報24(後述する図4では、これを登録用
レイアウト情報29で示している)を作成するものであ
り、作成された解析用辞書学習情報24は、補正内容が
判断された上、解析用辞書13に学習登録される。
文字認識結果22のコードデータに、オペレータによる
修正内容を補正データとして付加して知識DB15用の
知識学習情報23を作成するものであり、作成された学
習データは、知識DB15に学習登録される。上述の構
成により、本発明の一実施形態にかかる媒体処理装置3
0においては、任意のフォーマットを有する帳票のイメ
ージデータ19が読み取られると、このイメージデータ
19のレイアウトが解析されることにより処理対象の帳
票のフォーマットが認識され、この帳票のフォーマット
の認識結果に基づいて帳票の文字認識が行なわれる。
認識結果22は、オペレータにより確認され、必要に応
じて修正される。このときの、媒体処理装置30におけ
る処理を、図2〜図4を用いて説明する。まず、処理対
象の帳票のレイアウトが、新規出現したレイアウトであ
る場合の処理について図2に基づいて説明する。
6の解析前処理部1では、処理対象の帳票のイメージデ
ータ19の解析前処理が施される(ステップA1)。ま
た、レイアウト解析処理部2では、認識対象イメージか
らレイアウトの構成要素である罫線項目や項目データが
抽出され、レイアウト解析辞書13を参照してレイアウ
ト内の見出し項目位置及びその内容と対応する項目デー
タ位置が解析結果として出力される(ステップA2)。
理ステップは、読み取ったイメージデータから、帳票媒
体固有の特徴を抽出し、この特徴により認識すべき情報
の存在する位置を特定する情報存在位置特定ステップで
あり、読み取ったイメージのレイアウトの特徴を抽出し
て、レイアウトの構成を解析し、抽出した特徴によりレ
イアウトを論理的に表現するものである。
2は、レイアウトの罫線項目や項目データを抽出してか
ら、レイアウトの論理原点を抽出するステップを含むと
ともに、読み取ったイメージのレイアウトが所定の方向
であるかどうかを判定するステップと、このステップで
の判定結果に基づきレイアウトが所定の方向となるよう
に読み取ったイメージデータを変換するステップとを含
んでいる。なお、読み取ったイメージデータの変換処理
は、レイアウトを回転させるような処理であり、この処
理については、後述する(a3)イメージデータの回転
補正処理の説明にて詳細に説明する。
る表構造を有している場合には、レイアウト解析処理ス
テップA2は、イメージデータから罫線項目を抽出する
ステップと、このステップで抽出された罫線項目に基づ
いて罫線により構成される表構造を解析するステップと
を含んでいる。また、レイアウトが罫線を持たない無罫
線表構造を有している場合には、レイアウト解析処理ス
テップA2が、イメージデータから項目データを抽出す
るステップと、このステップで抽出された項目データに
基づいて無罫線表構造を解析するステップとを含んでい
る。
A2は、イメージ中の見出し領域を決定しこの見出し領
域中の見出し項目情報を認識して対応する項目データを
決定するステップを含んでいる。続いて、レイアウト照
合処理部3では、抽出されたレイアウト構成要素(罫線
項目や項目データ)を検索条件としてレイアウトDB1
4を検索するが、処理対象の帳票が新規のものであるた
め、該当するレイアウトはレイアウトDB14に存在せ
ず、候補レイアウト情報及びレイアウトの補正情報は取
得されない(ステップA3)。
理ステップは、ステップA2で特定された位置でのイメ
ージデータを認識して、特定された位置における情報を
判別するイメージ認識ステップであり、ステップA2で
抽出されたレイアウトの特徴を制約検索条件として、レ
イアウトDB14に記憶されている候補レイアウトを検
索することにより、一致している候補レイアウトがある
かどうかを照合するものである。
3は、ステップA2で抽出された論理的な原点を基準に
して、情報を判別するステップを含むとともに、ステッ
プA2で抽出されたレイアウトの特徴を圧縮処理する圧
縮処理ステップと、このステップで圧縮したレイアウト
の特徴を制約検索条件としてレイアウトDB14から圧
縮した候補レイアウトを検索するステップと、このステ
ップでの検索結果に基づいて一致している候補レイアウ
トがあるかどうかを照合するステップとを含んでいる。
イアウト照合の結果、ステップA3において候補レイア
ウト情報及びレイアウトの補正情報が取得されないこと
から、レイアウト認識結果20が補正情報なしの状態で
作成される(ステップA4)。文字認識処理ブロック1
7の文字認識用定義体作成部5では、ステップA4にお
いて作成されたレイアウト認識結果20のレイアウト情
報をもとに、一時定義体21が作成される(図4のステ
ップA14)。
A14において作成された一時定義体21を使用して、
文字認識対象の項目データについて文字認識処理が行わ
れ、認識結果のコードデータが取得される(図4のステ
ップA15)。さらに、知識処理部7では、ステップA
15において取得された認識結果コードデータが、認識
結果の補正情報が記録された知識DB15を参照して補
正され、文字認識結果22が作成される(図4のステッ
プA16)。
ク18のレイアウト画面表示処理部8では、ステップA
4において作成されたレイアウト認識結果20を参照し
て、見出し項目内容及びその位置と対応する項目データ
位置(図4に示すレイアウト解析情報26)がクライア
ント10のディスプレイに出力されるとともに、読み取
られたイメージデータ(図4に示す画面表示イメージ2
7)がクライアント10のディスプレイに出力される
(ステップA5)。
は、レイアウト画面表示処理部8による表示に合わせ
て、文字認識対象イメージの認識項目に対応する文字認
識結果22(この文字認識結果22はステップA16に
おいて作成される)のコードデータがクライアント10
のディスプレイに出力される。ここで、クライアント1
0のディスプレイに表示されたレイアウト認識結果20
や文字認識結果22の確認及び修正操作がオペレータに
より行なわれる(ステップA6)。
では、オペレータによるレイアウトの確認及び修正操作
の結果からレイアウトの補正情報(レイアウトログ情
報)が作成される(ステップA7)。なお、ステップA
7において作成されたレイアウトログ情報は、レイアウ
トの補正情報〔レイアウトDB学習情報25(学習用レ
イアウト情報28)及び解析辞書学習情報24(登録用
レイアウト情報29)〕としてレイアウトDB14及び
解析辞書13に反映され、レイアウト学習処理が行なわ
れる(ステップA8)。
アウト情報をレイアウトDB14に学習により更新して
いくように構成されているのである。続いて、処理対象
の帳票のレイアウトが、再出現したレイアウトである場
合の処理について図2に基づいて説明する。はじめに、
上述したようにレイアウト認識処理ブロック16の解析
前処理部1では、処理対象の帳票のイメージデータ19
の解析前処理が施される(ステップA1)。
述したステップA2と同様にレイアウトが解析され、レ
イアウトの解析結果が出力される(ステップA9)。さ
らに、レイアウト照合処理部3では、抽出されたレイア
ウト構成要素(罫線項目や項目データ)を検索条件とし
てレイアウトDB14を検索することにより、一致する
レイアウトの詳細情報及びレイアウト補正情報が取得さ
れる(ステップA10)。
のであるため、レイアウトDB14検索の結果、該当す
る候補レイアウト情報が通知され、通知された候補レイ
アウトに対してレイアウトの詳細情報を照合してレイア
ウトの一致性が判定される。なお、レイアウトが一致す
ると判定された場合には、レイアウト編集処理部4では
既存レイアウトとしてステップA11〜ステップA13
までの処理が行われる。また、照合の結果で不一致と判
定された場合には、レイアウト編集処理部4では新規レ
イアウトとしてステップA4〜ステップA8までの処理
が行われる。
イアウトDB14の検索の結果、取得されたレイアウト
補正情報をもとに、レイアウト解析結果の見出し項目内
容及びその位置と対応するデータ位置が補正され、レイ
アウト認識結果20が作成される(ステップA11)。
また、文字認識処理ブロック17における処理は、図4
のステップA14〜ステップA15により説明したもの
と同様である。
ク18のレイアウト画面表示処理部8では、ステップA
11において作成されたレイアウト認識結果20を参照
して、見出し項目内容及びその位置と対応する項目デー
タ位置(図4に示すレイアウト解析情報26)がクライ
アント10のディスプレイに出力されるとともに、読み
取られたイメージデータ(図4に示す画面表示イメージ
27)がクライアント10のディスプレイに出力される
(ステップA12)。
は、レイアウト画面表示処理部8による表示に合わせ
て、文字認識対象イメージの認識項目に対応する文字認
識結果22(この文字認識結果22はステップA16に
おいて作成される)のコードデータがクライアント10
のディスプレイに出力される。ここで、クライアント1
0のディスプレイ表示されたレイアウト認識結果20の
確認操作や文字認識結果22の確認及び修正操作がオペ
レータにより行なわれる(ステップA13)。
レイアウトである場合には、ステップA13のレイアウ
トの確認操作が終了した時点で、解析対象イメージに対
する処理は完了するため、レイアウトログ情報作成処理
部11でのレイアウトログ情報の作成は行なわれない。
最後に、図6に示す媒体処理装置30における帳票処理
について説明する。
ージデータ読取装置(例えば図6に示すFAX31,イ
メージスキャナ32,DATA−EYE33及び図6,
図7に示すイメージリーダ34)により帳票のイメージ
データが読み取られる。ここで、イメージスキャナ3
2,DATA−EYE33及びイメージリーダ34によ
り読み取られたイメージデータは、クライアント35に
送信される。
は、交換回線(ISDN/公衆網)36及びFAXアダ
プタ37を介して、また、クライアント35からのイメ
ージデータは、交換回線(ISDN/公衆網)36及び
通信アダプタ38を介して、それぞれ地区センタのサー
バ39へ送信される。ここで、サーバ39は、各営業店
から送信された帳票のイメージデータの解析処理を自動
的に一括して行なうものであり、私製伝票認識ソフトコ
ンポーネント40を格納するとともに、知識データベー
ス(知識DB)15,レイアウトデータベース(レイア
ウトDB)14及び集中文字認識装置6をそなえてい
る。
レイアウト認識処理ブロック16及び文字認識処理ブロ
ック17に相当する機能を有するものであり、これらの
機能を与えるようなソフトウェアである私製伝票認識ソ
フトコンポーネント40が、図示しないハードディスク
又はその他のメモリにインストールされることにより、
相当する処理が行なわれている。
によるイメージデータの解析処理結果の確認及び修正を
するために、クライアント(CL)10も設置されてい
る。即ち、クライアント10は、上述した図1に示すオ
ペレータ確認/修正処理ブロック18に相当する機能を
有するものであり、クライアント10においては、この
ような機能を与えるような適宜のソフトウェアが、図示
しないハードディスク又はその他のメモリにインストー
ルされることにより、相当する処理が行なわれている。
レイには、イメージデータのレイアウトや文字認識結果
が表示され、オペレータはこのディスプレイを参照する
ことにより、イメージデータの解析処理結果の確認及び
修正を行なうことができる。なお、このクライアント1
0には、地区センタへの持ち込み伝票等の帳票の処理を
行なうために、イメージデータ読取装置としてのイメー
ジリーダ34及びDATA−EYE33が接続されてお
り、これらのイメージデータ読取装置により読み取られ
た帳票のイメージデータを、サーバ39へ送信するよう
になっている。
解析結果は、ブランチサーバ(BS)41を介して上位
装置であるホスト(図示せず)へ送信される。このよう
に、本発明の一実施形態にかかる媒体処理装置30によ
れば、日常発生する様々な帳票や帳票イメージを電子的
に自動解析することにより、従来のエントリシステム
(OCRエントリシステムやデータエントリシステム
等)を利用したエントリ業務を飛躍的に効率化すること
ができる。
0によれば、従来のエントリシステムの専用帳票だけで
なく、現存する各種任意の帳票をそのまま対象としたエ
ントリシステムを構築することが可能となるのである。
具体的には、金融機関等のエントリ業務で対象とする私
製総合振込(エンドユーザ作成の総合振込帳票)を自動
的にレイアウト解析することにより、そのまま文字認識
処理及びエントリ処理が可能となり、私製総合振込帳票
の完全な自動認識処理を行なうことができる。
20に基づいて、レイアウトログ情報を作成してレイア
ウトDB14に学習登録することにより、以降は自動的
に同一レイアウトを有する帳票の判別が可能となるた
め、専用帳票作成にかかる労力やコストを削減するとと
もに、学習後はすぐにエントリが可能となるため、本装
置30によるシステムの導入期間の短縮を図ることがで
きる。
処理しているため、裁断誤差や印刷誤差の少ない高価な
専用OCR帳票以外の帳票の自動認識処理を行なうこと
ができる。 (a2)原点抽出照合処理の説明 図14は、本発明の一実施形態にかかる媒体処理装置に
おける原点抽出照合処理の適用を示す処理説明図であ
る。
AX等)を使用して読み取ったイメージは、読み取り時
の位置ズレにより、同一レイアウトの場合でも、個々の
レイアウトの構成要素(罫線項目や項目データ)のイメ
ージの物理原点からの座標は同一にならない。従って、
レイアウトの構成要素を比較してレイアウトの一致を判
定する場合、それぞれのレイアウトから抽出した論理原
点位置を突き合わせ、レイアウト構成要素について論理
原点からの相対座標を求め、その相対座標を使用して照
合する必要がある。
ミや掠れ等のイメージの変動に対しても、安定して抽出
される必要があるため、十分な精度を持ち安定して抽出
可能な座標位置を論理原点として選定する必要がある。
このため、本実施形態においては、複数の抽出方法を併
用して論理原点を抽出することにより、任意のレイアウ
トを有する帳票を処理する際にも、常に安定した論理原
点を抽出しているのである。
処理装置30は、図14に示すように、レイアウト解析
処理部2におけるレイアウト解析処理ステップA2(及
びA9)は、フォーマットの論理的な原点を抽出する論
理原点抽出ステップM1と、このステップM1で抽出さ
れた論理的な原点を基準にしてフォーマットを含む媒体
固有の特徴を抽出し抽出された特徴から認識すべき情報
の存在する位置を特定する情報存在位置特定ステップと
をそなえている。
イアウト照合処理ステップA3(及びA10)は、この
情報存在位置特定ステップで特定された位置でのイメー
ジを認識する際に、論理原点抽出ステップM1で抽出さ
れた論理的な原点を基準にしてレイアウト照合処理を行
なうことにより(ステップM2)、抽出された特徴にお
ける情報を判別するイメージ認識ステップをそなえてい
る。
抽出ステップM1では、フォーマットの論理的な原点を
抽出するほかに、論理的な原点に対して補助的な情報を
付与する論理原点補助座標情報を抽出するようになって
おり、レイアウト照合処理部3のイメージ認識ステップ
では、論理的な原点及び論理原点補助座標情報を基準に
してレイアウト照合処理を行なうことにより(ステップ
M2)、抽出された特徴における情報を判別するように
なっている。
トが罫線により構成される表構造を有している場合に
は、図15(a)に示すように、フォーマットの論理原
点として、表構造を構成する角部のうち最小X座標,最
小Y座標を有する角部の座標情報〔図15(a)に示す
座標A〕が抽出されるとともに、論理原点補助座標情報
として、それぞれ最大X座標,最小Y座標を有する角
部、最小X座標,最大Y座標を有する角部、最大X座
標,最大Y座標を有する角部の座標情報〔それぞれ図1
5(a)に示す座標Aa,Ab,Ac〕が抽出される。
表構造を有している場合には、例えば図17に示すよう
に、フォーマットの論理的原点として、外接矩形の角部
のうち最小X座標,最小Y座標を有する角部の座標情報
(図17に示す座標D)が抽出されるとともに、論理原
点補助座標情報として、外接矩形における最大X座標,
最小Y座標を有する角部、最小X座標,最大Y座標を有
する角部、最大X座標,最大Y座標を有する角部の座標
情報(それぞれ図17に示す座標Da,Db,Dc)が
抽出される。
説明する。この論理原点抽出処理は、具体的には、図5
に示すレイアウト解析部2Bの表構造解析部2Eにおい
て行なわれる。この表構造解析部2Eは、詳細には、レ
イアウト特徴抽出部2Aの罫線抽出部2Cで抽出された
罫線項目及びレイアウト特徴抽出部2Aの項目データ抽
出部2Dで抽出された項目データに基づいて、罫線項目
の外接矩形,罫線項目から形成される表構造の最大外接
矩形及び項目データの外接矩形を解析し、これらの矩形
から角部の座標を抽出して所定の座標を論理原点座標及
び補正座標として設定するものである。
る動作を、図18に示すフローチャートにより説明す
る。まず、処理対象レイアウトが罫線を有する場合は、
論理原点抽出処理の前処理として、レイアウト特徴抽出
部2Aの罫線抽出部2Cでは、抽出対象であるイメージ
データから罫線が抽出され(ステップB1)、続いて、
抽出された罫線により構成される最小矩形が罫線項目と
して抽出される(ステップB2)。
析部2Eでは、罫線項目が抽出されたか否かが判断され
(ステップB3)、罫線項目が抽出された場合であっ
て、抽出された罫線項目同士が隣接または近傍に同じ幅
または高さで位置する場合には、これらの罫線項目が論
理的な関係を持つ罫線項目群とみなされてグループ化さ
れる(ステップB4)。
ープ中に表構造(ここで表構造とは2行×2列以上の罫
線項目群により構成される領域を指す)が存在するか否
かが判定される(ステップB5)。ここで、表構造が存
在する場合には、表構造解析部2Eでは、図15(a)
に斜線部Iとして示すような表構造内の最大矩形領域が
抽出され、矩形領域の4隅の座標が取得される(ステッ
プB6)。
o )が論理原点として、残りの右上座標Aa,左下座標
Ab,右下座標Acの3箇所が論理原点の補正座標とし
て設定される(ステップB7,B8)。また、図15
(b)に示すように、レイアウト中に複数の表構造が存
在する場合には、表構造解析部2Eでは、個々の表構造
が抽出され(斜線部I参照)、各矩形領域の4隅の座標
が取得される(ステップB6)。
び垂直方向に投影した際の座標B(最小X座標,最小Y
座標)〔即ち(Xo ,Yo )〕が論理原点として、座標
Ba(最大X座標,最小Y座標),座標Bb(最小X座
標,最大Y座標),座標Bc(最大X座標,最大Y座
標)の3箇所が論理原点の補正座標として設定される
(ステップB7,B8)。
存在しない場合には、表構造解析部2Eでは、図16に
斜線部Iとして示すような最も外側に位置する罫線項目
の矩形領域が抽出され、各矩形領域の4隅の座標が取得
される(ステップB12)。そして、各矩形の論理原点
を水平方向及び垂直方向に投影した際の座標C〔(最小
X座標,最小Y座標),即ち(Xo ,Yo )〕が論理原
点として、座標Ca(最大X座標,最小Y座標),座標
Cb(最小X座標,最大Y座標),座標Cc(最大X座
標,最大Y座標)の3箇所が論理原点の補正座標として
設定される(ステップB13,B14)。
レイアウトの場合には、レイアウト特徴抽出部2Aの項
目データ抽出部2Dでは、レイアウト中の項目データが
抽出され、表構造解析部2Eでは、図17に斜線部Iと
して示すような最も外側に位置する項目データの矩形領
域が抽出され、各矩形領域の4隅の座標が取得される
(ステップB9)。
垂直方向に投影した際の座標D〔(最小X座標,最小Y
座標),即ち(Xo ,Yo )〕が論理原点として、座標
Da(最大X座標,最小Y座標),座標Db(最小X座
標,最大Y座標),座標Dc(最大X座標,最大Y座
標)の3箇所が論理原点の補正座標として設定される
(ステップB10,B11)。
うにして抽出された論理原点座標及び論理原点の補正座
標のほかに、論理原点の抽出の際に採用した方法につい
て記録した情報(即ち、論理原点が表構造,罫線項目及
び項目データのいずれから抽出されたかを示す情報)で
ある論理原点抽出方法も取得される。なお、以下では、
この論理原点抽出方法を示した各論理原点を表論理原
点,罫線項目論理原点及び項目データ論理原点と呼称す
る場合がある。 そして、レイアウト解析処理部2にお
いては、論理原点抽出方法,論理原点座標及び論理原点
補正座標が論理原点情報としてレイアウト照合処理部3
へ送出される。
る。この論理原点照合処理は、前述のごとく、図1に示
すレイアウト照合処理部3において行なわれる。ここ
で、レイアウトの照合の際には、それぞれのレイアウト
におけるレイアウト構成要素の座標を論理原点からの相
対座標に変換して、これらの相対座標同士を突き合わせ
ることにより、それぞれのレイアウトから抽出された論
理原点同士の突き合わせが行なわれる。
の読み取り時の変動要因により、同一レイアウトの場合
でも論理原点の一致が取れない場合があり得る。この場
合には、一方の論理原点の情報をもとに他方の論理原点
を動的に再度抽出し、その上で論理原点の一致を判定す
る。このときのレイアウト照合処理部3における動作を
図21に示すフローチャートにより説明する。
く、レイアウト解析処理部2での論理原点の抽出には複
数の方法があるため、論理原点の照合に先立って、論理
原点の抽出方法の一致の判定が行われる(ステップC
1,C2)。論理原点の抽出方法が一致した場合には、
図19に示すように、レイアウトL1とレイアウトL2
のそれぞれの論理原点補正座標同士が比較されて、論理
原点補正座標の一致が判定される(ステップC3〜C
5)。
レイアウトL1の論理原点座標E(最小X座標,最小Y
座標)及びレイアウトL2の論理原点座標F(最小X座
標,最小Y座標)に基づいて、レイアウトL1の補正座
標Ea〜Ec及びレイアウトL2の補正座標Fa〜Fc
の相対座標(Ea′〜Ec′及びFa′〜Fc′)がそ
れぞれ求められ、これらの相対座標の一致判定により補
正座標の一致判定が行なわれる。
座標の一致判定を行なうことにより、論理原点の一致が
判定され、レイアウトの照合が行なわれるのである(ス
テップC6)。なお、相対座標の算出式を、以下に式
(1)〜式(6)として示す。 (相対座標Ea′)=(補正座標Ea)−(論理原点座標E) ・・・(1) (相対座標Eb′)=(補正座標Eb)−(論理原点座標E) ・・・(2) (相対座標Ec′)=(補正座標Ec)−(論理原点座標E) ・・・(3) (相対座標Fa′)=(補正座標Fa)−(論理原点座標F) ・・・(4) (相対座標Fb′)=(補正座標Fb)−(論理原点座標F) ・・・(5) (相対座標Fc′)=(補正座標Fc)−(論理原点座標F) ・・・(6) また、相対座標の一致条件を、以下に式(7)〜式
(9)として示す。
テップC2参照)や、補正座標が不一致である場合(ス
テップC4参照)には、一方のレイアウトの論理原点情
報をもとに、他方のレイアウトの論理原点の再抽出が行
なわれる。
アウトL1の一部分が罫線の掠れにより抽出できなかっ
た場合には、レイアウトL1の論理原点情報(論理原点
抽出方法,論理原点座標G,補正座標Ga〜Gc)を使
用して、図20(b)に示すように、レイアウトL2に
おける新たな論理原点座標H′,補正座標H′a,H
b,Hcが抽出される(ステップC7,C8)。
は、まず、レイアウトL1及びレイアウトL2の論理原
点座標及び補正座標から、図20(a),(b)におい
て図示すように、X座標間の差分Xa,Xb,X′a,
X′b及びY座標間の差分Ya,Yb,Y′a,Y′b
がそれぞれ算出される。なお、差分の算出式を、以下に
式(10)〜式(17)として示す。 (レイアウトL1) 差分Xa= |(補正座標GaのX座標)−(論理原点座標GのX座標)| ・・・(10) 差分Xb= |(補正座標GcのX座標)−(補正座標GbのX座標)| ・・・(11) 差分Ya= |(補正座標GbのY座標)−(論理原点座標GのY座標)| ・・・(12) 差分Yb= |(補正座標GcのY座標)−(補正座標GaのY座標)| ・・・(13) (レイアウトL2) 差分X′a= |(補正座標HaのX座標)−(論理原点座標HのX座標)| ・・・(14) 差分X′b= |(補正座標HcのX座標)−(補正座標HbのX座標)| ・・・(15) 差分Y′a= |(補正座標HbのY座標)−(論理原点座標HのY座標)| ・・・(16) 差分Y′b= |(補正座標HcのY座標)−(補正座標HaのY座標)| ・・・(17) 続いて、算出された差分が比較されて、一致しない差分
があるか否かが判定される。
2においては、差分Yaと差分Y′aとが一致しないと
ともに、差分Ybと差分Y′bとが一致しないため、レ
イアウトL1の差分Ya,Ybと一致する差分をレイア
ウトL2の各座標から探索する。換言すれば、レイアウ
トL1の論理原点抽出方法に従って、レイアウトL2か
ら論理原点及び補正座標が探索されるのである(ステッ
プC7,C8参照)。
合には、図20(b)に示すように、その座標を論理原
点H′及び補正座標H′aとしてとして使用する。ま
た、探索の結果、一致する座標が検出できない場合に
は、レイアウトL2の論理原点抽出方法に従って、レイ
アウトL1から論理原点及び補正座標が上述の場合と同
様に探索される(ステップC9,C10)。
出できない場合は、レイアウトの照合は行なわれない
(ステップC11)。このように、本発明の一実施形態
にかかる媒体処理装置における原点抽出照合処理によれ
ば、イメージデータから抽出された罫線項目や項目デー
タに基づいて処理対象の帳票のレイアウト解析を行な
い、レイアウト解析により得られた領域の角部の座標の
うちの所定の座標を論理原点座標及び補正座標とするこ
とにより、基準マーク等が印字された専用帳票以外の一
般帳票のイメージデータからでも論理原点座標及び補正
座標を抽出することができる。
適の方法を動的に選択することにより、処理対象の帳票
のレイアウトに適した論理原点抽出を行なうことができ
る。さらに、論理原点抽出時に、論理原点の付加情報と
して補正座標を同時に抽出することにより、レイアウト
照合処理での論理原点の照合時に、確実に一致を取るこ
とが可能となる。
の相対座標を照合することを通じて論理原点の照合を行
なっているので、イメージ読み取り時の位置ズレが起こ
った場合でも確実にレイアウトの照合処理を行なえるよ
うになる。また、ゴミや掠れ等により論理原点が正しく
抽出できない場合でも、他のレイアウトの論理原点抽出
方法に従い、補正座標を使用して論理原点の再抽出を行
なうことにより、確実に抽出できる別の点を論理原点と
することが可能となる。
の左上端の点を論理原点としたが、これに限定されず、
右上端,左下端及び右下端の点を論理原点としてもよ
い。 (a3)イメージデータの回転補正処理の説明 一般的に、帳票処理装置等においては、処理対象の帳票
の読取方向が正しい方向でなければ、イメージデータ
(イメージ)の文字記述方向が正しい方向とならないた
め、文字認識処理を行なうことができない。
体処理装置30においては、例えば前述した原点抽出処
理時に、読み取られたイメージの方向を判定して、イメ
ージの方向が誤っていた場合には、正しい方向となるよ
うにイメージの回転補正処理を行なうことにより、処理
対象の帳票の読取方向が誤っていた場合でも、後述する
イメージのレイアウト解析処理や文字認識処理を行なう
ことができるようになっている。
理は、前述のごとく、図1及び図5に示すレイアウト解
析処理部2において行なわれており、レイアウト解析処
理部2は、イメージデータの回転補正処理を実現するた
めに、読み取ったイメージのレイアウトが所定の方向で
あるかどうかを判定するステップと、このステップでの
判定結果に基づきレイアウトが所定の方向となるように
読み取ったイメージデータのレイアウトを回転させるス
テップとを含んでいる。
30におけるイメージデータの回転補正処理に着目した
機能ブロック図を図8及び図9に示す。図8は罫線項目
のある帳票を処理する場合の、図9は罫線項目のない帳
票を処理する場合の機能ブロック図である。罫線項目の
ある帳票を処理する場合には、媒体処理装置30におい
ては、図8に示すように、イメージ入力部301,イメ
ージデータ格納メモリ302,回転イメージデータ格納
メモリ303,罫線項目抽出部(罫線抽出部)2C,罫
線項目情報格納部304,罫線項目解析部(表構造解析
部)2E,縦/横判定設定部305,横長罫線項目格納
部306,イメージ90度回転部307,イメージ18
0度回転部308及び文字列認識部(文字認識処理ブロ
ック)17が機能する。
ジデータを読み取るものであり、イメージデータ格納メ
モリ302は、読み取ったイメージデータを一端格納し
ておくメモリである。また、回転イメージデータ格納メ
モリ303は、回転補正処理が施されたイメージデータ
を格納しておくメモリであり、この回転イメージデータ
格納メモリ303に格納されたイメージデータを用い
て、以降のレイアウト認識処理や文字認識処理等が行な
われることになる。
Cは、読み取られたイメージデータを探索して、罫線か
ら形成される最小矩形である罫線項目を自動的に抽出す
るものであり、罫線項目情報格納部304は、罫線項目
抽出部2Cにより抽出された罫線項目情報を格納してお
くメモリである。また、罫線項目解析部(表構造解析
部)2Eは、罫線項目情報格納部304に格納される罫
線項目の形状が縦長/横長のいずれであるかを解析する
ことにより、イメージデータの読取方向が縦読み/横読
みのいずれであるかを判定するものである。
書類は、通常は横方向に記述されたものが多い。このた
め、罫線項目も横長となることが多く、横長の罫線項目
が縦長の罫線項目より多いという条件を判定条件とし
て、縦/横判定設定部305に設定して、設定された判
定条件に基づいてイメージデータの読取方向を判定する
ようになっている。
線項目解析部2Eで横長であると判定された罫線項目を
格納するものである。また、イメージ90度回転部30
7は、罫線項目解析部2Eで罫線項目が縦長であると判
定された場合には、イメージデータを90度回転させて
イメージデータの回転補正を行なうものである。
の文字を認識するものであり、イメージ180度回転部
308は、文字列認識部17において文字認識ができな
い場合には、イメージデータを180度回転させてイメ
ージデータの回転補正を行なうものである。なお、回転
補正されたイメージデータは、イメージデータ格納メモ
リ302及び回転イメージデータ格納メモリ303に格
納され、上述の場合と同様に、罫線項目抽出部2C,罫
線項目解析部2E及び文字列認識部17における処理が
施される。
には、媒体処理装置30においては、図9に示すよう
に、イメージ入力部301,イメージデータ格納メモリ
302,回転イメージデータ格納メモリ303,ラベリ
ング部309,ラベリング情報格納部310,文字領域
統合部311,文字領域統合ルール部312,統合結果
格納部313,文字列縦/横判定部314,イメージ9
0度回転部307,イメージ180度回転部308及び
文字列認識部(文字認識処理ブロック)17が機能す
る。
納メモリ302及び回転イメージデータ格納メモリ30
3は、前述したものと同様の機能及び構成を有するもの
である。また、ラベリング部309は、画素情報から連
続するドット情報を抽出するラベリング処理を行なうも
のであり、ラベリング情報格納部310は、ラベリング
部309により抽出された連続するドット情報を格納し
ておくメモリである。
域統合ルール部312により設定される統合ルールに基
づいて、ラベリング部309により抽出されたドット情
報に基づいて連続した文字を文字列として統合すること
により項目データを抽出するものであり、統合結果格納
部313は、文字領域統合部311により抽出された項
目データを格納しておくものである。
報格納部310,文字領域統合部311,文字領域統合
ルール部312及び統合結果格納部313により、項目
データ抽出部2Dが構成されているのである。また、文
字列縦/横判定部314は、文字領域統合部311によ
り抽出された項目データの形状が縦長/横長のいずれで
あるかを解析することにより、イメージデータの読取方
向が縦読み/横読みのいずれであるかを判定するもので
ある。
文字列縦/横判定部314で項目データが縦長であると
判定された場合には、イメージデータを90度回転させ
てイメージデータの回転補正を行なうものである。さら
に、文字列認識部17は、項目データ内の文字を認識す
るものであり、イメージ180度回転部308は、文字
列認識部17において文字認識ができない場合には、イ
メージデータを180度回転させてイメージデータの回
転補正を行なうものである。
イメージデータ格納メモリ302及び回転イメージデー
タ格納メモリ303に格納され、上述の場合と同様に、
ラベリング部309,文字領域統合部311,文字列縦
/横判定部314及び文字列認識部17における処理が
施される。上述の構成により、本発明の一実施形態にか
かる媒体処理装置30においては、イメージ入力部30
1からイメージデータが入力されると、イメージデータ
から罫線項目又は項目データが抽出される。
場合には、罫線項目抽出部2Cにより罫線項目が抽出さ
れ、罫線項目解析部2Eにより抽出された罫線項目の形
状が縦長/横長のいずれであるかが解析される。そし
て、罫線項目の形状が縦長であると解析された場合に
は、イメージ90度回転部307によりイメージデータ
が90度回転補正される。
された場合には、文字列認識部17により罫線項目の文
字認識が行なわれ、文字認識ができない場合には、イメ
ージ180度回転部308によりイメージデータが18
0度回転補正される。さらに、イメージデータに罫線項
目がない場合には、文字領域統合部311により項目デ
ータが抽出され、文字領域統合部311により抽出され
た項目データの形状が縦長/横長のいずれであるかが解
析される。
解析された場合には、イメージ90度回転部307によ
りイメージデータが90度回転補正される。また、項目
データの形状が横長であると解析された場合には、文字
列認識部17により罫線項目の文字認識が行なわれ、文
字認識ができない場合には、イメージ180度回転部3
08によりイメージデータが180度回転補正される。
ージデータ回転補正処理について、図12及び図13に
示すフローチャートを用いて更に説明する。まず、イメ
ージ認識処理したい帳票や文書等のイメージデータの読
み取りが行なわれる(ステップG1)。なお、帳票や文
書等の用紙は、どの方向から読み取られてもよい。
帳票320が読み取られた場合には、読み取られたイメ
ージデータが、イメージデータ格納メモリ302に一端
格納される(ステップG2)。なお、最初のみ回転イメ
ージデータ格納メモリ303にも同じイメージデータが
格納される(ステップG3)。次に、罫線項目抽出部2
Cにより、イメージデータ中の罫線項目(例えば図10
には罫線項目Mが図示されている)が抽出される(ステ
ップG4)。
罫線項目情報格納部304に罫線項目情報が格納される
(ステップG5,G6)。罫線項目解析部2Eでは、罫
線項目情報格納部304に格納された罫線項目情報に基
づいて罫線項目の形状が解析され、罫線項目が縦長であ
るか横長であるかが判定され分類され(ステップG7,
G8)、横長である罫線項目情報が、横長罫線項目格納
部306に格納される(ステップG9)。
判定設定部305により設定される判定条件に基づい
て、横長の罫線項目が縦長の罫線項目より多いか否かの
判定により、イメージデータの読み取り方向の正誤が判
定される(ステップG10)。ここで、罫線項目解析部
2Eで横長罫線項目の方が多いと判定された場合には、
文字列認識部17で文字認識が行なわれる(ステップG
10のYESルートからステップG11)。
ば、イメージデータの読取方向が正常であると判断され
る(ステップG12のYESルート)。また、文字列認
識部17で文字認識が不可能であれば、イメージが18
0度回転している(イメージの上下が逆転している)可
能性があるため、イメージ180度回転部308によ
り、回転イメージデータ格納メモリ303のイメージデ
ータが一端イメージデータ格納メモリ302に移動され
た後180度回転補正され(ステップG14)、180
度回転された後のイメージデータが回転イメージデータ
格納メモリ303に格納されて、上述した処理と同様の
処理が行なわれる(ステップG4〜G12)。
目の方が多いと判定された場合には、イメージ90度回
転部308により、イメージデータ格納メモリ302に
格納されるイメージデータが90度回転補正され(ステ
ップG13)、回転イメージデータ格納メモリ303に
回転後のイメージデータが格納されて、上述した処理と
同様の処理が行なわれる(ステップG4〜ステップG1
2)。
イメージデータについても、文字列認識部17で文字認
識が不可能であれば、イメージが180度回転している
可能性があるため、イメージ180度回転部308によ
り、回転イメージデータ格納メモリ303のイメージデ
ータが一端イメージデータ格納メモリ302に移動され
た後180度回転補正され(ステップG14)、180
度回転された後のイメージデータが回転イメージデータ
格納メモリ303に格納されて、上述した処理と同様の
処理が行なわれる(ステップG4〜G12)。
目が抽出できない場合は、例えば図11に示すような罫
線項目のない帳票321が読み取られた場合であるた
め、項目データを抽出するために以下の処理が行なわれ
る。まず、ラベリング部309では、回転イメージデー
タ格納メモリ303に格納されているイメージデータか
らラベリング情報(例えば図11にはラベリング情報N
が図示されている)が抽出され(ステップG5のNOル
ートから図13のステップG15)、抽出されたラベリ
ング情報はラベリング情報格納部310に格納される
(ステップG16)。
域統合ルール部312のルールに基づいて、ラベリング
情報格納部310に格納されるラベリング情報における
個々のラベリング情報が文字列として統合されることに
より項目データ(例えば図11には、7つのラベリング
情報“出”,“張”,“旅”,“費”,“精”,
“算”,“書”が文字列として統合された文字領域統合
結果(“出張旅費精算書”;O)が項目データとして図
示されている)が抽出され(ステップG17)、統合結
果が統合結果格納部313に格納される(ステップG1
8)。
長の項目データが縦長の項目データより多いか否かの判
定により、イメージデータの読み取り方向の正誤が判定
される(ステップG19)。ここで、文字縦/横判定部
314で横長項目データの方が多いと判定された場合に
は、文字列認識部17で文字認識が行なわれる(ステッ
プG20)。
ば、イメージデータの読取方向が正常であると判断され
る(ステップG21)。また、文字列認識部17で文字
認識が不可能であれば、イメージが180度回転してい
る可能性があるため、イメージ180度回転部308に
より、回転イメージデータ格納メモリ303のイメージ
データが一端イメージデータ格納メモリ302に移動さ
れた後180度回転補正され(ステップG23)、18
0度回転された後のイメージデータが回転イメージデー
タ格納メモリ303に格納されて、上述した処理と同様
の処理が行なわれる(ステップG15〜G21)。
目データの方が多いと判定された場合には、イメージ9
0度回転部308により、イメージデータ格納メモリ3
02に格納されたイメージデータが90度回転補正され
(ステップG22)、回転イメージデータ格納メモリ3
03に回転後のイメージデータが格納されて、上述した
処理と同様の処理が行なわれる(ステップG15〜ステ
ップG21)。
イメージデータについても、文字列認識部17で文字認
識が不可能であれば、イメージが180度回転している
可能性があるため、イメージ180度回転部308によ
り、回転イメージデータ格納メモリ303のイメージデ
ータが一端イメージデータ格納メモリ302に移動され
た後180度回転補正され(ステップG23)、180
度回転された後のイメージデータが回転イメージデータ
格納メモリ303に格納されて、上述した処理と同様の
処理が行なわれる(ステップG15〜G21)。
媒体処理装置30によれば、読み取られたイメージデー
タから罫線項目又は項目データを抽出して、抽出された
罫線項目又は項目データの形状が横長であるか縦長であ
るかを判断して、罫線項目又は項目データの形状が縦長
である場合には、イメージデータの90度回転補正を行
ない、罫線項目又は項目データの形状が横長であっても
文字認識できない場合には、イメージデータの180度
回転補正を行なうことにより、イメージデータがどのよ
うな方向から読み取られてもイメージデータの読取方向
を自動的に判定でき、イメージデータの読取方向が誤っ
ている場合には自動的にイメージデータを回転補正し
て、オペレータによる確認及び回転補正操作を不要にで
き、クライアント−サーバシステムでの帳票の自動処理
を効率的に行なうことができる利点がある。 (a4)マトリックス照合処理の説明 一般的に、帳票処理装置等においては、処理対象の帳票
のレイアウトとレイアウトDB等に格納されるレイアウ
トとの照合処理の際に、個々のレイアウトの構成要素
(罫線項目や項目データ等)を順次照合して座標やサイ
ズ等の比較を行なうため、レイアウトの構成要素数
(N)の増加に伴い照合回数が非常に多くなり、大量の
帳票のレイアウトの照合処理を高速に行なうことができ
ない。
体処理装置30においては、レイアウトの構成要素の一
つである罫線項目のレイアウトを圧縮処理してマトリッ
クステーブルとして表現し、レイアウトの照合時にその
マトリックステーブル同士を照合することにより、大量
の帳票のレイアウトの照合処理を高速に行なうことがで
きるようになっている。
処理装置30は、レイアウト照合処理部3が、レイアウ
ト解析処理部2により抽出された罫線項目のレイアウト
を圧縮処理してマトリックステーブルとして表現し、こ
のマトリックステーブルを制約検索条件としてレイアウ
トDB14に記憶されている参照用のマトリックステー
ブルを検索し、一致しているマトリックステーブルがあ
るかどうかを照合するようになっており、文字認識処理
ブロック17が、この照合結果に基づき、特定された位
置でのイメージにおける情報を判別するようになってい
る。
30におけるマトリックス照合処理に着目した処理説明
図を図22に示す。媒体処理装置30においては、図2
2に示すように、まず、処理対象の帳票が読み取られて
解析対象のイメージデータ19が入力されると、レイア
ウト解析処理部2では、入力されたイメージデータを解
析して罫線線分が抽出され、罫線線分により構成される
矩形が罫線項目として抽出される。
が算出されて、抽出された個々の罫線項目の座標位置の
斜行補正が施されるとともに、レイアウトの論理原点及
び補正座標が抽出されて、補正された罫線項目の座標位
置や論理原点及び補正座標がレイアウト情報に設定され
る(ステップF1)。続いて、レイアウト照合処理部3
では、入力されたイメージデータに対応する10DPI
(Dot Per Inch)相当のビットテーブルが作成され、レ
イアウト情報における個々の罫線項目の左上座標及び最
下行の罫線項目の右下座標がビットテーブル上の対応す
る位置にプロットされる。
内のデータの有無に基づいて圧縮処理されるとともに、
行構成の規則性に基づいて行方向に圧縮処理されて、マ
トリックステーブルが作成される(ステップF2)。こ
のように圧縮されたマトリックステーブルが、他のレイ
アウト情報とともにレイアウトDB14に格納される
(ステップF3)。
テップA2に相当し、上述のステップF2及びステップ
F3は図2に示すステップA3に相当する。また、媒体
処理装置30においては、照合対象の帳票が読み取られ
て解析対象のイメージデータ19が入力されると、レイ
アウト解析処理部2では、入力されたイメージデータに
ついて上述のステップF1と同様の処理が施され、罫線
項目の座標位置や論理原点及び補正座標がレイアウト情
報に設定される(ステップF4)。
力されたイメージデータについて上述のステップF2と
同様の処理が施され、マトリックステーブルが作成され
る(ステップF5)。ここで、レイアウト照合処理部3
では、レイアウトDB14から照合対象のマトリックス
テーブルが読み出され、読み出された照合対象のマトリ
ックステーブルと上述のステップF5で作成されたマト
リックステーブルとの照合が、個々のレイアウトの論理
原点を基準としてビット位置が行単位で照合されること
により行なわれる。
の照合結果から、全照合ビット数に対する一致ビット数
が算出され、マトリックステーブルの一致率として照合
結果200が出力される(ステップF6)。なお、上述
のステップF4は図2に示すステップA9に相当し、上
述のステップF5及びステップF6は図2に示すステッ
プA10に相当する。
F5におけるマトリックステーブル作成処理について図
23を用いて説明する。まず、マトリックステーブルの
作成対象であるイメージから罫線が抽出され、抽出され
た罫線から罫線項目(罫線により構成される最小の矩形
領域)が抽出される。このとき、レイアウトの斜度情報
に基づいて、抽出された罫線項目における各座標の斜行
補正が行われる(ステップF21)。
べることにより罫線の歪み率が取得され、ステップF2
1で斜行補正された罫線項目における各座標の歪み補正
が行なわれる(ステップF22)。さらに、図24
(a)に示すように、罫線項目を構成する水平罫線を参
照して、罫線項目の上側罫線が同一の罫線を共有する罫
線項目について、左上Y座標の値が全て同じ値となるよ
うに設定されて、Y座標の正規化が行なわれるとともに
(ステップF23)、図24(b)に示すように、罫線
項目を構成する垂直罫線を参照して、罫線項目の左側罫
線が同一の罫線を共有する罫線項目について、左上X座
標の値が全て同じ値となるように設定されて、X座標の
正規化が行なわれる(ステップF24)。
レイアウトが反映されたビットテーブルの圧縮処理に先
立って、読み取られたイメージデータについて、斜行補
正及び歪み補正処理を施すとともに(ステップF21,
F22参照)、罫線項目を構成する水平罫線を参照し
て、罫線項目の上側罫線が同一罫線を共有する罫線項目
に対して、同一Y座標化処理を施し(ステップF23参
照)、罫線項目を構成する垂直罫線を参照して、罫線項
目の左側罫線が同一罫線を共有する罫線項目に対して、
同一X座標化処理を施すことにより(ステップF24参
照)、イメージデータの読み取り時に生じるレイアウト
の変動を吸収するようになっている。
の全ての罫線項目について、同一のY座標を持つ罫線項
目単位毎に、罫線項目左上座標がビットテーブルの指定
解像度に合わせて座標変換(ビット列変換)され、テー
ブルの該当位置にビットが設定される。このとき、図2
6に示すように、行管理情報Jに、変換された罫線項目
のY座標の間隔が設定される(ステップF25)。
25で変換作成されたビットテーブルが、先頭行より順
次比較処理され、継続して同一ビット構成を持つ行が1
行に行方向に圧縮されて圧縮済行ビット情報Kが作成さ
れ、行管理情報Jに行圧縮情報として圧縮済フラグQが
設定される(ステップF26)。そして、図28に示す
ように、作成された圧縮済行ビット情報K及び行管理情
報Jからなるマトリックステーブル情報Sが、マトリッ
クステーブルとして設定される(ステップF27)。
レイアウトの圧縮処理に際して、罫線項目のレイアウト
が相当するビット列に変換され、このビット列を圧縮処
理して、この圧縮処理されたビットテーブルをマトリッ
クステーブルとして設定することにより、レイアウト照
合時の照合回数が、レイアウトの構成要素数(N)に依
存せず、照合対象のレイアウト数に直線的に比例するだ
けとなり、大量の帳票のレイアウトの照合処理を高速に
行なうことができるのである。
リックステーブル照合処理について図29及び図30に
示すフローチャートを用いて説明する。まず、レイアウ
ト照合処理部3においては、例えば図31(a)に示す
ような照合元マトリクス情報が作成されて取得され、こ
の照合元マトリックス情報の圧縮済行ビット情報(K
1)が照合元ワーク領域に設定される(ステップD
1)。
合先マトリクス情報がレイアウトDB14から取得さ
れ、この照合先マトリックス情報の圧縮済行ビット情報
(K′1)が照合先ワーク領域に設定される(ステップ
D2)。続いて、レイアウト照合処理部3においては、
圧縮済行ビット情報(K1),(K′1)が先頭ビット
より順に比較照合され、1行分の照合が行われる(ステ
ップD3)。
(K′1)が不一致である場合は、照合結果200(図
22参照)として不一致が設定されるが(ステップD
4,ステップD10)、ここでは圧縮済行ビット情報
(K1),(K′1)が一致しているため、照合元圧縮
済行ビット情報Kが、行管理情報Jに基づいて、照合元
ワーク領域に設定される(ステップD4,ステップD
5)。
照することにより(ステップE1)、行管理情報Jの該
当行に圧縮済フラグQが設定されている場合には圧縮行
であると判断されて、直前の照合行の圧縮済行ビット情
報Kが照合元ワーク領域に設定され(ステップE2,ス
テップE4)、行管理情報Jの該当行に圧縮済フラグQ
が設定されていない場合には非圧縮行であると判断され
て新規に該当する行の圧縮済行ビット情報Kが照合元ワ
ーク領域に設定される(ステップE2,ステップE
3)。
行管理情報J′に基づいて、照合先ワーク領域に設定さ
れる(ステップD6)。このステップD6でも、上述の
ステップD5での場合と同様に、行管理情報J′を参照
することにより(ステップE1)、行管理情報J′の該
当行に圧縮済フラグQ′が設定されている場合には圧縮
行であると判断されて、直前の照合行の圧縮済行ビット
情報K′が照合元ワーク領域に設定され(ステップE
2,ステップE4)、行管理情報J′の該当行に圧縮済
フラグQ′が設定されていない場合には非圧縮行である
と判断されて新規に該当する行の圧縮済行ビット情報
K′が照合元ワーク領域に設定される(ステップE2,
ステップE3)。
ット情報K,K′を比較した結果、全ての行が一定範囲
内で一致する場合には、照合結果200として一致が設
定される(ステップD7〜ステップD9)。また、比較
処理中に不一致となった場合や、比較終了前に一方の行
ビット情報が終了した場合には、照合結果200として
不一致が設定される(ステップD7,ステップD8,ス
テップD10)。
媒体処理装置におけるマトリックス照合処理によれば、
レイアウトの構成要素の一つである罫線項目のレイアウ
トを圧縮処理してマトリックステーブルとして表現し、
レイアウトの照合時にそのマトリックステーブル同士を
照合することにより、レイアウト照合処理速度が罫線項
目の数に依存せず、照合対象レイアウト数に直線的に比
例するだけになり、大量の帳票のレイアウトの照合処理
を高速に行なうことができる。
イアウトを構成する罫線項目により表現することによ
り、レイアウトを安定して表現することが可能となるの
である。また、罫線項目のレイアウトが反映されたビッ
トテーブルの圧縮処理に先立って、読み取られたイメー
ジデータについて、斜行補正及び歪み補正処理を施すと
ともに、各罫線項目に対して同一Y座標化処理及び同一
X座標化処理を施して、間引きされたビットテーブルを
作成することにより、イメージデータの読み取り時に生
じるレイアウトの変動を吸収することができる。
てビットテーブルを圧縮することにより、帳票内のレイ
アウト構成要素数を効率良く圧縮表現することが可能と
なる。 (a5)特徴データ認識処理の説明 一般的に、文字認識装置においては、一般の文字を認識
対象とするため、認識率を考慮して認識対象に合わせて
作成された辞書を使用する必要があり、動的に指定され
た任意の図形を認識することはできない。
あることから、認識対象の領域の制約や認識用定義体の
設定上の制約等があり、任意の領域を認識対象として設
定することはできない。このため、本発明の一実施形態
にかかる媒体処理装置30においては、文字認識処理に
おいて認識不可能な文字や図形等を含む領域イメージ
(レイアウト)を特徴データとして記録するとともに、
この特徴データに対応するコードデータをレイアウトの
付属情報として記録して、レイアウト照合処理時にレイ
アウトの特徴データの照合を行い、一致する特徴データ
がある場合にはこの特徴データに対応するコードデータ
を取得して認識結果としてディスプレイ表示することに
より、文字認識処理において認識不可能な文字や図形等
を認識することができるようになっている。
処理装置30における特徴データ認識処理に着目した処
理説明図を図32に示す。本実施形態にかかる媒体処理
装置30においては、特徴データ認識処理を、図32に
示すように、特徴データを学習処理によりレイアウトD
B14に登録する登録ステップ(ステップH1,ステッ
プA6,ステップH2)と、別に読み取ったイメージに
登録された特徴データと一致するものがあるか照合する
照合ステップ(ステップH3)とにより行なうようにな
っている。
ージのレイアウトの特徴を抽出してレイアウトの構成を
解析し(ステップH1)、解析されたレイアウト構成を
ディスプレイ403上に表示して(ステップA6)、図
33に示すように、この表示されたレイアウト構成につ
いて所定の特徴データ認識領域T(図33の斜線部)を
設定して、この領域T内の標章情報(図33では“富士
通株式会社”)に対応するコードデータU〔図33では
下線部に示された“フジツウ(カ”〕を外部入力装置4
04を通じて入力し、更に上記の特徴データ認識領域T
とコードデータUとから領域特徴データを作成して、こ
の領域特徴データを上記で解析されたレイアウト構成と
をリンクさせて登録するレイアウト学習処理(ステップ
H2)を行なうものである。
いては、領域特徴データの登録の際に、特徴データ認識
領域Tに正規化処理を施すことにより、後述する照合ス
テップにおいて確実に領域特徴データの照合を行なえる
ようになっている。この登録ステップにおいては、上記
領域T内の標章情報に対応するコードデータUを入力す
る際に、標章情報に対応する意味付けをもったコードデ
ータを入力することにより、媒体処理装置30では、特
徴データ認識領域Tを認識すれば、対応するコードデー
タを認識結果として画面表示できるようになっている。
プの後、別に読み取ったイメージの特徴を抽出してレイ
アウトの構成を解析し、その後登録ステップで登録され
た領域特徴データとレイアウト構成とを参照データとし
てレイアウトDB14を検索し、一致するものがあるか
どうかを照合するものである。上述の構成により、本発
明の一実施形態にかかる媒体処理装置30において特徴
データ認識処理を行なう際には、特徴データが学習処理
によりレイアウトDB14に登録されるとともに、別に
読み取ったイメージに登録された特徴データと一致する
ものがあるかどうかが照合されて、一致する特徴データ
がある場合にはこの特徴データに対応するコードデータ
が取得されて、認識結果としてディスプレイ403に表
示される。
を、図32〜図34を用いて更に説明する。即ち、図3
2に示すように、新規にレイアウト解析対象の帳票イメ
ージ19が読み取られると、レイアウト解析処理部2に
おいて、対象帳票のレイアウトが解析されてレイアウト
情報が作成される(ステップH1)。
ク18(図1参照)では、帳票イメージ及び解析された
レイアウト情報がディスプレイ403に表示され、図3
3に示すように、オペレータにより特徴データ認識領域
T(“富士通株式会社”)が設定され、対応するコード
データU〔“フジツウ(カ”〕が外部入力装置404か
ら入力される(ステップA6)。
1では、オペレータにより指定された領域Tと入力され
たコードデータUから領域特徴データが作成され、レイ
アウト認識処理ブロック16にて取得したレイアウト情
報とともにレイアウトDB14にレイアウト補正情報と
して学習登録される(ステップH2)。従って、上述の
オペレータ確認/修正処理ブロック18及びレイアウト
ログ情報作成処理部11により、登録ステップの動作が
行なわれることになる。
徴データが登録された後に、レイアウト解析処理部2で
は、上述において処理されたものと同一の帳票イメージ
19が再度読み取られると、対象帳票のレイアウトが解
析されてレイアウト情報が作成される。さらに、レイア
ウト照合処理部3では、解析されたレイアウト情報を検
索条件として用いてレイアウトDB14を検索すること
により、ステップH2において学習登録された該当帳票
のレイアウト補正情報が取得される。
うちの領域特徴データについて、解析中の帳票のイメー
ジに該当するものがあるかが照合されて、照合の結果、
解析中の帳票のイメージに一致条件を満たすものがある
場合には、この領域特徴データに対応するコードデータ
Uがレイアウト認識結果20として設定される(ステッ
プH3)。
ク18では、読み取られた帳票イメージ及びレイアウト
認識結果20がディスプレイ403に表示されるととも
に、図34に示すように、通常の文字認識結果22と同
様に特徴データの認識結果として特徴データ認識領域T
及び対応するコードデータUがディスプレイ403に表
示される(ステップA13)。
媒体処理装置における特徴データ認識処理によれば、文
字認識装置と同様の領域イメージ特徴抽出機構及び特徴
照合機構を機能拡張して、レイアウト認識システムと組
み合わせて、登録ステップでオペレータにより指定され
た特徴データ認識領域T及び対応するコードデータU
(認識結果コード)を、レイアウト解析結果とともにレ
イアウトDB14に動的に学習登録するとともに、学習
済のレイアウトと同一のレイアウトを持つ帳票の認識を
行なう場合に、照合ステップでレイアウトDB14から
レイアウト情報とともに領域特徴データを取得して、認
識対象の帳票イメージの該当領域との照合を行い、照合
の結果、対応するコードデータUを取得して認識結果と
して設定し出力することにより、指定された領域におけ
る任意の図形イメージの認識処理をレイアウト認識処理
と連動して行なうことが可能となる。
識対象領域として登録することにより、文字に限定され
ずに任意の領域を認識して対応するコードデータを取得
することが可能となるのであり、認識対象領域をレイア
ウト情報とともにレイアウトDB14に動的に学習する
ことにより、レイアウトの再出現時に認識対象領域の認
識処理をレイアウト認識処理と連動して行なうことが可
能となるのである。
領域特徴データがレイアウト情報にリンクして記録され
るため、レイアウト単位で照合対象を限定することが可
能となり、これにより、通常の文字認識装置のように大
量の照合処理を行なう必要がなくなるとともに、高い認
識率を実現することが可能となる。さらに、同一帳票内
において、認識対象領域のデータにリンク関係を持たせ
て複数設定することが可能であるため、レイアウト内の
認識対象領域の位置情報とデータ構造とを対応させて登
録することが可能となる。なお、上述したような特徴デ
ータ認識処理は、漢字項目のカナ認識処理や、為替総合
振込帳票の依頼人/受取人の認識処理にも適用すること
ができる。
て認識する場合には、漢字で記入された項目の領域を特
徴領域として指定し、対応するコードデータをカナで入
力して、帳票のレイアウト情報とともに特徴データ及び
コードデータを学習登録させる。このようにすれば、学
習登録された帳票と同一レイアウトの帳票のレイアウト
認識を行なう場合には、漢字項目の特徴領域の認識結果
としてカナのコードデータを取得することができる。
の場合と同様に、ゴム印やサイン等の項目を特徴データ
認識項目として指定すれば、通常の文字認識では認識で
きないゴム印やサイン等の項目を認識することができ、
ゴム印やサイン等の項目の特徴領域の認識結果として対
応するコードデータを取得することができる。さらに、
為替総合振込帳票においては、記載される依頼人姓名や
受取人姓名の項目は任意の組み合わせを持つ訳ではな
く、その帳票に依存した関係を持つ(図35及び図36
参照)。
タ認識項目として学習登録する際に、それぞれの関係を
リンクして学習登録することにより、特徴データ照合時
に更に精度の高い認識が可能となる。 (a6)見出し解析処理の説明 本発明の一実施形態にかかる媒体処理装置30において
は、解析対象の帳票イメージの罫線項目構成から見出し
位置を探索照合して、帳票上に記載された見出しと対応
する項目情報を自動的に解析する見出し解析処理が行な
われようになっている。
30は、読み取ったイメージのレイアウトを論理的に表
現するレイアウト解析処理ステップA2(又はA9)
と、読み取ったイメージのレイアウトと一致するレイア
ウトがレイアウトDB14にあるかどうかを照合するレ
イアウト照合処理ステップA3(又はA10)とをそな
えている。
9)は、読み取ったイメージのレイアウトの罫線項目を
抽出して、レイアウトの構成を解析し、抽出した罫線項
目によりイメージ中の見出し領域を決定し、この見出し
領域中の見出し項目情報を認識して、対応する項目デー
タを決定して、レイアウトを論理的に表現するものであ
り、レイアウト解析処理部2のレイアウト解析部2Bで
行なわれている。
はA9)は、レイアウトの構成解析結果に基づいて見出
し位置候補を決定する見出し位置候補決定ステップと、
このステップで決定された見出し位置候補に対し見出し
領域中の見出し項目情報を照合する見出し項目照合ステ
ップとを含んでいる。なお、この見出し項目照合ステッ
プでの見出し項目の照合処理は、この見出し項目照合ス
テップにおいて、図49を用いて後述にて説明するよう
に、照合させるべきイメージデータに正規化処理が施さ
れてから行なわれるようになっている。
(又はA10)は、レイアウト解析処理ステップで抽出
されたレイアウトの罫線項目を制約検索条件として、レ
イアウトDB14に記憶されている候補レイアウトを検
索することにより、一致している候補レイアウトがある
かどうかを照合するものであり、レイアウト照合処理部
3で行なわれている。
30のレイアウト解析処理部2のレイアウト解析部2B
における見出し解析処理に着目した処理説明図を図37
に示す。レイアウト解析部2Bは、図37に示すよう
に、罫線項目構成解析処理(ステップK1)及び項目見
出し位置探索処理(ステップK2)からなる見出し位置
候補決定ステップK9としての処理を行なうとともに、
項目見出し照合処理(ステップK3),多元特徴データ
抽出照合処理(ステップK4),見出し照合結果補正処
理(ステップK5),項目データ位置探索処理(ステッ
プK6),項目データ部リンク処理(ステップK7)及
び金額項目リンク処理(ステップK8)からなる見出し
項目照合ステップK10としての処理を行なうようにな
っている。
ル505,項目見出し辞書507,見出し補正ルール5
08及びデータ探索ルール509を格納するようになっ
ている。ここで、罫線項目構成解析処理(ステップK
1)は、レイアウトの解析により得られた罫線項目情報
502と表構造情報(図示せず)を参照して、後述する
見出し位置探索ルールにより評価されるルールキー情報
としての罫線項目構成情報テーブル(罫線項目構成情報
TBL)503を作成するものである。
による表構造解析の結果、個々の罫線項目には図38に
示すような構成情報が付加される。罫線項目情報502
について、図38を用いて説明すると、罫線項目ID
は、個々の罫線項目を識別するID情報であって罫線項
目抽出時にユニークに採番されるものであり、グループ
IDは、罫線項目をグループ化した場合に同一グループ
に対して付加する識別IDであり、ブロックIDは、同
一グループ内で同一の罫線項目構成を持つ単位に分割し
た個々の識別用のIDである。
る罫線項目の表構成の有無を示すものであり、表構成の
有無の判断を固定としないために、表構成の有無の判断
は項目行数/項目列数で行なわれる。なお、項目行数
は、グループ内の表矩形に存在する罫線項目表の行構成
を示すものであり、項目列数は、グループ内の表矩形に
存在する罫線項目表の列構成を示すものである。
いてのレイアウトの構成要素としての属性情報であり、
帳票レイアウトへの対応を図39に示す。図39に示す
ように、表構造以外の罫線項目としては、以下に示すも
のがある。 (a)1罫線項目〔1〕 (b)2罫線項目〔2〕 (c)ブロック罫線項目〔B〕 (d)入れ子罫線項目〔I〕 また、図39に示すように、表構造の罫線項目として
は、以下に示すものがある。 (e)見出し行に属する罫線項目〔H〕 (f)フッタ行に属する罫線項目〔F〕 (g)ボディ行に属する罫線項目〔D〕 (h)上凸部に属する罫線項目〔U〕 (i)下凸部に属する罫線項目〔L〕 なお、図39に示す帳票レイアウトには、フッタ行が存
在しないため、(f)フッタ行に属する罫線項目も存在
しない。
示す1,2,B,I,H,F,D,U,Lは、各罫線属
性が符号化されたものである。ところで、行情報は、罫
線項目表内の罫線項目の行番号を示すものであり、列情
報は、罫線項目表内の罫線項目の列番号を示すものであ
る。また、階層情報は、例えば図39の(d)に示すよ
うに、罫線項目属性として入れ子構造を持つ罫線項目の
階層関係を示すものである。さらに、先頭/最終は、同
一グループ内での罫線項目の位置情報を示すものであ
る。
上述のような罫線項目情報502及び表構造情報を参照
して、罫線項目構成情報TBL503が作成される〔図
40及び図41(a)〜(d)参照〕 また、項目見出し位置探索処理(ステップK2)は、ス
テップK1において作成された罫線項目構成情報TBL
503における各罫線項目を、見出し位置探索ルール
〔図42及び図43(a),(b)参照〕により評価し
て、見出し位置候補を決定するものである。
の帳票に合わせて上位より指定されるものであり、対象
帳票を為替総合振込帳票(一次元表)とした場合の見出
し位置探索ルール505の一例を以下に示す。まず、表
構造以外の見出し位置探索ルールについて説明する。表
構造以外の罫線項目には、表構造部分と同一グループで
ある上凸,下凸,フッタ行を含む罫線項目や、表構造部
分と別グループであり表を構成しない罫線項目が該当
し、このような罫線項目についての見出し位置探索ルー
ルを以下に示す。 (a)1個の罫線項目から構成される場合、その罫線項
目内に見出し部が存在する(※データ部共存)。 (b)1個の入れ子罫線項目から構成される場合、入れ
子の左側罫線項目に見出し部が存在する。 (c)1個の入れ子罫線項目から構成される場合、入れ
子の上側罫線項目に見出し部が存在する。 (d)2個以上の罫線項目から構成される場合、先頭罫
線項目に見出し部が存在する。 (e)2個以上の罫線項目から構成される場合、先頭罫
線項目および継続する罫線項目に見出し部が存在する。
505について説明する。表構造の罫線項目は、同一グ
ループ内の罫線項目内で2行×2列以上の表矩形を含む
最大矩形部分に存在し、最大矩形部分の先頭行にヘッダ
部が存在し、継続する行部分にボディ部が存在する。こ
のような罫線項目についての見出し位置探索ルールを以
下に示す。 (f)表構成部分のヘッダ行に、複数データ部を持つ見
出し項目が存在する。 (g)表構成部分のヘッダ行に入れ子罫線項目が存在す
る場合、その罫線項目の上側に複合見出しが存在する。 (h)表構成部分のヘッダ行に入れ子罫線項目が存在す
る場合、その罫線項目の下側に子見出しが存在する。
項目見出し位置探索処理を行なう場合においては、例え
ば上述したような見出し位置探索ルール505に基づい
て、見出し照合対象となる見出し位置候補の決定が行な
われ、このときの処理を図44に示すフローチャートを
用いて説明する。まず、ステップK1において作成され
た罫線項目構成情報TBL503から罫線項目情報が取
り出される(ステップJ1)。
づいて見出し位置の評価が行われ(ステップJ2)、評
価結果が罫線項目構成情報TBL503に記録される
(ステップJ3)。ここで、全ての見出し位置探索ルー
ル505に基づいて見出し位置の評価が行なわれたか判
定され、見出し位置の評価に用いていないルールがあれ
ばそのルールに基づいて見出し位置の評価が行なわれる
(ステップJ4からステップJ2,ステップJ3)。
し位置の評価が行なわれたか判定され、評価されていな
い罫線項目情報があればその罫線項目情報について評価
が行われる(ステップJ5からステップJ1〜ステップ
J4)。そして、全ての罫線項目情報についての見出し
位置の評価が終了したら、動作パラメタ情報501内の
評価基準値を参照して見出し位置候補が決定される(ス
テップJ6)。
5に示す網かけ表示された罫線項目(網かけ部分V)が
見出し位置候補として決定される。さらに、項目見出し
照合処理(ステップK3)は、見出し位置探索ルール5
05に基づいて決定された見出し位置候補について、多
元特徴データの抽出照合処理により罫線項目内に存在す
る項目データが項目見出し辞書507と照合され(ステ
ップK4)、その結果により、見出し位置候補の罫線項
目の位置とその見出しに対応する機能項目とが決定され
るものである。
(見出し罫線項目内の項目データ)について説明する
と、見出し位置候補の罫線項目には、複数の見出し項目
データが含まれる場合がある。このとき照合対象となる
見出し項目データは、以下の方式により決定される。ま
ず、照合対象となる見出し項目データは、例えば図46
(a)に示すように、見出し位置候補の罫線項目内で最
大の項目データとする。
時に有効となる見出し項目データは1つしかないはずで
あるため、図46(b)に示すように、残りの項目デー
タはゴミまたは単位等の飾り文字であると仮定し、複合
機能見出しの場合にも、図46(c)に示すように、通
常は見出し項目データは続けて存在すると仮定する。ま
た、図47(a)に示すような縦書き見出しの場合や、
図47(b),(c)に示すような複数行から構成され
る見出しの場合には、照合対象の見出し項目データは継
続する項目データを合わせた領域に存在すると仮定す
る。
目データと同一のX座標付近から始まると仮定して、継
続する項目データを統合した領域とするのである。しか
しながら、図48(a),(b)に示すような複合見出
しの場合や、図48(c)に示すような複数行見出しの
場合には、見出し項目データを正しく決定することはで
きない。
の条件で統合された領域を、項目データと見なして処理
される。ところで、見出し項目照合ステップK10の多
元特徴データ抽出照合処理(ステップK4)において
は、見出し項目に正規化処理を施すようになっており、
これにより、各種帳票に表記の違いや印字フォント/印
字ピッチ等の相違があっても、見出し照合時に突き合わ
せる見出し項目データのイメージを、全て項目見出し辞
書507に格納できるようになっている。
目の照合を重心4分割による正規化処理後(手書き文字
認識手法)、多元特徴による照合を行うことにより対応
する。また、印字ピッチの相違については、図49に示
すように、照合する見出し項目データの文字間の空白
を、一定量(例えば1ドット)となるように正規化する
ことにより対応する。
は、項目見出し辞書507内に代表的な見出し文言の表
記を予め複数種類持つことにより対応する。この項目見
出し辞書507には、予めサンプル帳票から取得した見
出し項目データのイメージを、正規化処理した後に多元
特徴情報として格納してある。また、見出しの表記の違
いを吸収するため、図50に示すように、同一機能を示
す項目見出しはすべて同一カテゴリとして分類して格納
されている。
処理により見出し項目データを照合した場合、その照合
結果として各候補見出しのカテゴリID,見出しイメー
ジID及び相違度が、図51(a),(b)に示すよう
に、候補順に通知される。さらに、動作パラメタ情報5
01の見出し照合パラメタ(Th1,Th2)を参照し
て、見出し項目位置の見出し内容が決定される。
いてその相違度が照合パラメタ(Th1)以下である相
違度条件と、照合結果の第1位候補とカテゴリIDの異
なる(機能項目が異なる)候補との相違度差が照合パラ
メタ(Th2)以上である相違度差条件とを満たすもの
を、見出し項目位置の見出し内容とするのである。例え
ば、図51に示す例においては、Th1=1000及び
Th2=2000と仮定して評価すると以下のようにな
り、照合結果は上述の2つの条件(相違度条件及び相違
度差条件)を満たしていることがわかる。
されるケースには、全ての照合結果がOKであり見出し
項目の解析が100%成功したと思われるケース(ケー
ス1),一部の見出し項目の解析を失敗したケース(ケ
ース2)及びほとんどの項目見出しの解析を失敗したケ
ース(ケース3)がある。
合結果を見出し解析結果として通知し、ケース3の場合
には、見出し解析結果が失敗したとして通知してその帳
票の認識結果はリジェクトとして依頼元に通知される。
また、ケース2の場合には、見出し照合結果補正処理
(ステップK5)を施すことにより、その中である特定
の場合については、解析できなかった見出し項目を解析
することができる。
出し行で定義される必須の見出し項目について、以下の
場合に見出し補正ルール508により補正が行なわれる
(見出し補正ルール508による見出し照合結果補正処
理,ステップK5)。なお、見出し補正ルール508
は、照合結果が未確定の場合にのみ適用するものであ
り、照合結果を否定するような使い方はできないものと
する。
子構造を持つ複合見出し項目のうちのいずれか一方の見
出し項目が未確定である場合に、見出し補正ルール50
8により補正が行なわれると、複合見出し項目の機能項
目内容から残りの機能項目が一意に決定するため(複合
見出し項目の“金融機関名”の場合、入れ子の見出し項
目には必ず“銀行名”と“支店名”の見出しが対応する
ため)、解析できなかった見出し項目(網かけ部分W)
を解析することができる。
総合振込帳票において見出し行にある必須項目の見出し
が1つだけ未確定である場合に、見出し補正ルール50
8により補正が行なわれると、見出し行にあるべき機能
項目が機能名情報テーブルから一意に決定するため、解
析できなかった見出し項目(網かけ部分W)を解析する
ことができる。
し行以外に存在するべき必須の見出し項目が1つだけ未
確定であり、未確定の見出し候補位置も1つだけ存在す
る場合に、見出し補正ルール508により補正が行なわ
れると、見出し位置候補と必須の見出し項目の数が一致
する場合は確定した見出しの消去法で決定することがで
きるため、解析できなかった見出し項目(網かけ部分
W)を解析することができる。
きなかった見出し項目を網かけ部分Wで示し、見出し照
合結果補正処理により解析された見出し項目を網かけ部
分W′で示している。また、項目データ位置探索処理
(ステップK6)は、見出し項目照合の結果、確定した
見出し項目に対して対応する項目データの罫線項目位置
を探索するものである。
線項目位置の探索は、見出し項目(見出し罫線項目)位
置探索の場合と同様に、罫線項目構成情報TBL503
の個々の罫線項目について、項目データ探索ルール50
9により評価されることにより行なわれる。ここで、項
目データ位置探索と見出し項目位置探索との相違点は、
項目データ位置探索の場合は、既に見出し項目が決定し
ているため、最初に見出しを評価して探索ルールを選択
した後に個々の罫線項目に対してそのルールを適用する
点と、見出し項目位置探索の場合は、見出し項目の照合
処理があるためまず見出し位置候補を決定したが、項目
データ位置探索の場合は、探索処理の結果として項目デ
ータ位置を決定する必要がある点である。
は、決定された見出し項目について、罫線項目構成情報
TBL503及び項目データ探索ルール509に基づい
て、見出し項目に対応する項目データ位置(項目データ
の罫線項目位置)が決定される。このときの動作を図5
3に示すフローチャートを用いて説明すると、まず、見
出し解析により決定された見出し項目情報が取り出され
(ステップL1)、取り出された見出し項目に対応する
項目データ探索ルール509が決定される(ステップL
2)。
ら罫線項目情報が取り出され(ステップL3)、項目デ
ータ探索ルール509による評価が行われる(ステップ
L4)。そして、評価結果により項目データ位置が決定
され、決定された項目データ位置の罫線項目IDが機能
名情報に設定される(ステップL5)。
終了したか判定され、終了していなければ、次の罫線項
目情報についての評価が継続して行われる(ステップL
6,ステップL3〜ステップL5)。さらに、全ての見
出し項目情報に対応する項目データ位置が決定されたか
判定され、項目データ位置が決定されていない見出し項
目があれば、次の見出し項目情報について処理が行われ
る(ステップL7,ステップL2〜ステップL6)。
項目との接続ルールは、表構造以外の場合には、以下に
示すように定義される。 (a)データ部の罫線項目は、見出し部に続く罫線項目
である〔図54(a),(b)参照〕 (b)見出し部に続く罫線項目が無い場合には、見出し
部と同一の罫線項目にデータ部が存在する〔図54
(c)参照〕 (c)見出し部に続く罫線項目が複数存在する場合、別
の独立した見出しが出現するまでの罫線項目に、データ
部が存在する〔図54(d),(e)参照〕 (d)見出し部が入れ子罫線項目の親に存在する場合、
子の罫線項目にデータ部が存在する〔図54(f),
(g)参照〕 (e)2罫線項目の場合には、見出しとデータ部が同一
罫線項目に存在する可能性がある〔図54(h)参照〕 また、見出し部罫線項目とデータ部罫線項目との接続ル
ールは、表構造の場合には、以下に示すように定義され
る。 (f)縦方向の1次元表の場合、見出し罫線項目の列方
向の罫線項目にデータ部が続く〔図55(a)参照〕 (g)縦方向の1次元表で2段組見出しの場合、見出し
罫線項目の列方向の罫線項目にデータ部が続く〔図55
(b)参照〕 (h)縦方向の1次元表で入れ子項目の見出しの場合、
親見出し罫線項目の方向の罫線項目にデータ部が続く
〔図55(c)参照〕 (i)縦方向の1次元表で複合見出しの場合、複合見出
し罫線項目の列方向の罫線項目にデータ部が続く〔図5
5(d)参照〕 (j)横方向の1次元表の場合、見出し罫線項目の行方
向の罫線項目にデータ部が続く〔図55(e)参照〕 (k)2次元表の場合、見出し項目の列/行方向の罫線
項目にデータ部が続く〔図55(f)参照〕 ここで、見出し項目に対応する項目データ位置が決定さ
れた例を、図56に示す。なお、図56においては、見
出し項目決定位置を網かけ部分Xで示し、項目データ位
置をX′で示すとともに、見出し項目決定位置と項目デ
ータ位置とのリンク関係を矢印により示している。
プK7)は、見出し罫線項目と対応するデータ部罫線項
目位置を参照して、データ部罫線項目内の項目データ位
置を決定し、そのリンク関係を設定するものである。見
出し部から対応する項目データ部までのリンク関係を、
図57及び図58に示す。
または矩形領域内に、1個以上の項目データが存在する
場合には、動作パラメタ情報501に従って、機能項目
にリンクする項目データが決定される。単一機能項目よ
りリンクする場合には、動作パラメタ情報501に従っ
て、指定行桁位置から指定行数,指定桁数の項目データ
をリンクする〔図59(a)参照〕。
には、項目データリンクの動作パラメタ情報501は、
以下に示すようなものがある。 (a)指定行より指定行数リンク(※デフォルト:指定
行=1行目、指定行数=1行),ただし、指定行数に項
目データ行数が満たない場合には、領域内の全ての項目
データ行をリンク (b)指定列より指定列数リンク(※デフォルト:指定
列=1列目、指定行数=全列数),ただし、指定列数に
項目データ列数が満たない場合には、領域内の全ての項
目データ列をリンク また、複合機能項目よりリンクする場合には、動作パラ
メタ情報501に従って、機能項目の定義順に指定行桁
位置から指定行数,指定桁数の項目データをリンクし、
継続する機能項目は、続きの項目データを同様にリンク
する〔図59(b)参照〕。
には、項目データリンクの動作パラメタ情報501は、
以下に示すようなものがある。 (c)N≧KかつM<Kの場合、機能項目リンク順に項
目データ行を割り当てる (d)N<KかつM≧Kの場合、機能項目リンク順に項
目データ桁を割り当てる (e)N≧KかつM≧Kの場合、機能項目リンク順に項
目データ行を割り当てる (f)N≧KかつM≧Kの場合、機能項目リンク順に項
目データ列を割り当てる (g)N<KかつM<Kの場合、割当て不可として、項
目データをリンクしない なお、上述において、Nは項目行数,Mは項目桁数及び
Kは機能項目数である。
8)は、解析した見出し項目の機能項目が金額や手数料
等の場合には、対応する項目データの属する罫線項目構
成を調べ、構成が1桁区切り罫線項目となっている場合
には、個々の1桁罫線項目を連結して1つの項目データ
情報を作成し、その項目データを機能項目にリンクする
ものである。
が、3個以上(動作パラメタ指定値に従う)の罫線項目
に分割されている場合であって、個々の罫線項目のサイ
ズが動作パラメタ設定値以下のサイズで、かつ見出し機
能が金額と確定した場合には、該当の罫線項目が1桁区
切りの罫線項目であると判定される〔図60(a),
(b)参照〕。
区切りの罫線項目により構成されていると判定された場
合には、個々の罫線項目のリンクを関係を先頭桁の罫線
項目より順に設定し、連続した罫線項目として扱うこと
により、罫線項目が連結される〔図60(c)参照〕。
さらに、項目データ部の罫線項目が、1桁区切りの罫線
項目により構成されている場合には、個々の罫線項目内
の項目データも分割されているため、各々の項目データ
を統合処理して1つの項目データとして設定することに
より、項目データが連結される〔図60(d)参照〕。
なお、上述においては、罫線項目が1桁区切りの罫線項
目である場合について説明したが、3桁区切りの罫線項
目についても同様に処理される。
りの金額欄の場合と同様に、罫線項目及び項目データの
連結が行われるが、3桁区切りの場合には桁幅および罫
線項目数が少ないため、1桁区切りとは別条件が設定さ
れる〔図60(e),(f)参照〕。上述の構成によ
り、本発明の一実施形態にかかる媒体処理装置30にお
いて見出し解析処理を行なう際には、レイアウト解析処
理ステップA2(又はA9)では、読み取ったイメージ
のレイアウトの特徴を抽出してレイアウトの構成を解析
し、抽出した特徴によりイメージ中の見出し領域を決定
し、この見出し領域中の見出し項目情報を認識して対応
する項目データを決定してレイアウトを論理的に表現す
る。
(又はA10)では、レイアウト解析処理ステップA2
(又はA9)で抽出されたレイアウトの特徴を制約検索
条件として、レイアウトDB14に記憶されている候補
レイアウトを検索することにより、一致している候補レ
イアウトがあるかどうかを照合する。このように、本発
明の一実施形態にかかる媒体処理装置30によれば、解
析対象の帳票イメージの罫線項目構成から見出し位置を
探索照合して、帳票上に記載された見出しと対応する項
目情報を自動的に解析する見出し解析処理を行なうこと
により、レイアウト認識処理により見出し項目及び見出
し項目と対応する項目データが識別できるので、見出し
項目の文字認識処理を行なうことなく直ちに項目データ
の文字認識を行なうことができる。 (a7)認識結果の確認及び修正処理の説明 (1)イメージデータ表示装置の説明 図61は本発明の一実施形態におけるイメージデータ表
示装置640の構成を示す模式図であり、このイメージ
データ表示装置640は、送金すべき者(この者は氏名
で特定される)の口座番号(口番)や送金金額等が記載
された帳票をイメージデータとして表示し、この口番,
氏名及び送金金額等の送金データをオペレータがキーボ
ード等を介して入力することにより送金依頼処理を施し
たり、オペレータが他の装置等によるイメージデータ
(送金データ)の文字認識結果の正誤の確認を目視によ
り行なうとともに必要に応じて文字認識結果の修正を行
なうことにより送金依頼処理を施すものであり、図6に
示す媒体処理装置30のクライアント10に相当するも
のである。
では、オペレータが、ディスプレイ表示されたイメージ
データを目視して入力操作を行なうこともできるが、例
えば帳票をOCR装置等のイメージデータ入力装置で読
み取る際に自動的に文字認識を行なうようにして、誤認
識及び認識不能文字についてのみオペレータが入力操作
を行なうこともできるようになっている。
装置640は、イメージデータ入力装置としてのイメー
ジスキャナ621A及び光学式文字読み取り装置(OC
R装置)621B,データ入力手段としてのキーボード
631,表示制御装置としてのコンピュータ本体62
9,ディスプレイ630及びハードディスク622をそ
なえて構成されている。
は、図6に示すサーバ39と接続されており、イメージ
スキャナ621Aからのイメージデータ(送金データ)
をサーバ39に出力して、サーバ39で文字認識された
イメージデータの文字認識結果が入力されてこれをディ
スプレイ630に表示するようになっているとともに、
オペレータにより確認及び修正された送金データをサー
バ39に出力するワークステーションとして機能するよ
うになっている。
行の送金依頼表等の帳票のような複数の項目情報を含ん
だイメージデータを読み取り、イメージデータ表示装置
640に入力するものである。また、OCR装置621
Bは、イメージスキャナ621Aと同様にイメージデー
タを読み取るとともに読み取ったイメージデータの文字
認識を行なうものである。
621A及びOCR装置621Bの両方をイメージデー
タ表示装置640に設けることにより、様々な様式のイ
メージデータを扱えるようになっている。なお、OCR
装置621Bによりイメージデータを読み取った場合
は、イメージデータの文字認識結果は直接イメージデー
タ表示装置640のディスプレイ630に表示される。
ータ表示エリア611と項目表示エリア614とを有す
るものであり、入力された帳票のイメージデータを表示
すると、例えば図70のようになるのである。ここで、
イメージデータ表示エリア611は、イメージスキャナ
621A又はOCR装置621Bから入力された帳票の
イメージデータを表示するエリア部分である。
数の項目情報を含んだイメージデータが表示されるよう
になっており、図70では、「口座番号(口番)」,
「氏名」,「取引先(取引)」及び「金額」の4つの項
目612に情報を含んだイメージデータが表示されるよ
うになっている。さらに、項目表示エリア614は、イ
メージデータ表示エリア611の所望の項目612のイ
メージデータ部分に対応する送金データを、キーボード
631を用いて入力するために設けられたエリアであ
る。
タ入力表示エリア部分615を有している。図70で
は、「項目1〜4」の4つのデータ入力表示エリア部分
615を有しており、それぞれ「項目1」は「口番」
に、「項目2」は「氏名」に、「項目3」は「取引」
に、「項目4」は「金額」に対応している。また、所望
のデータ入力表示エリア部分615にはカーソル表示6
16がなされるようになっており、これと対応する所望
の項目612のイメージデータ部分に表示された送金デ
ータを入力できるようになっている。なお、データ入力
は、データ入力手段としてのキーボード631を用いて
行なうようになっている。
装置640は、前述のごとく、ハードディスク622を
そなえており、このハードディスク622は、定義体情
報としてのイメージデータ分割情報を格納する定義体格
納部である。なお、イメージデータ分割情報とは、イメ
ージスキャナ621A又はOCR装置621Bから入力
された帳票のイメージデータを、複数の項目612のイ
メージデータ部分に分割するための情報をいう。
表示制御装置として機能し(以下コンピュータ本体62
9を表示制御装置629と表記する場合がある)、イメ
ージデータ表示エリア611に、イメージスキャナ62
1A又はOCR装置621Bから入力することにより得
られたイメージデータを表示させるとともに、キーボー
ド631により所望項目612のイメージデータ部分に
対応するデータを入力するに当たり、項目表示エリア6
14における所望項目612用のデータ入力表示エリア
部分615に、カーソル表示616を行なわせるもので
ある。
ドディスク622に格納されているイメージデータ分割
情報を使用して、イメージスキャナ621A又はOCR
装置621Bから入力された帳票のイメージデータの罫
線を認識し、複数の項目612のイメージデータ部分か
らなる表に変換してから、この変換されたイメージデー
タをイメージデータ表示エリア611に表示させるので
ある。
置としてのコンピュータ本体629は、強調情報作成処
理部623,イメージデータ部分強調表示手段としての
強調表示部624,イメージデータ強調表示解除手段と
しての強調表示取消部625,強調表示遷移制御手段と
しての強調表示遷移制御部626及び表示画面スクロー
ル手段としての画面スクロール部627をそなえてい
る。
メージデータ入力装置としてのイメージデータ分割装置
621から入力されたイメージデータあるいはハードデ
ィスク622に格納されたイメージデータ分割情報(定
義体情報)を参照して、関連情報Pと強調情報Qを作成
するものである。関連情報Pは、図68に示すように、
「項目1〜4」をそれぞれ「口番」,「氏名」,「取
引」,「金額」に対応させて、これらを関連づけるため
の情報である。
エリア611において強調表示を行なうための情報であ
り、図69に示すように、項目612のタイトルを示す
「タイトル1〜4」に対応した強調表示種類,強調表示
領域からなる強調表示属性情報を有するものである。な
お、「タイトル1〜4」は、それぞれ「口番」,「氏
名」,「取引」,「金額」に対応している。
罫線等があり、本実施形態では強調表示として太枠表示
を「タイトル1」,「タイトル3」に対応する項目61
2に設定するとともに、網かけ表示を「タイトル2」,
「タイトル4」に対応する項目612に設定して、「タ
イトル1〜4」を順に強調表示させるのに伴って、異な
る強調表示がなされるようにしており、より視認性を高
めるようにしている。
ける強調表示部分613の開始及び終了位置を、X座標
とY座標からなる座標(ドット単位)を用いて表示した
ものであり、項目612毎に強調表示部分613の大き
さを任意に設定できるようになっている。これらの関連
情報P及び強調情報Qは、図64に示すフローチャート
のステップA1′及びA2′で作成されるのである。
629により、イメージデータ表示エリア611に、複
数の項目情報を含んだイメージデータが表示されている
状態で、項目表示エリア614における各項目612用
データ入力表示エリア615部分のうちで、所望項目6
12用のデータ入力表示エリア部分615にカーソル表
示616がなされると、このデータ入力表示エリア61
5と対応する所望項目612のイメージデータ部分のみ
を符号613で示すように強調表示させるものである。
2用データ入力表示エリア部分615に、カーソル表示
616がなされたときに、この項目612用データ入力
表示エリア部分615と対応する所望項目612のイメ
ージデータ部分のみを、網かけ又は飾り罫線等で強調表
示することにより、イメージデータと入力項目との対応
を目視によって行なう際の視認性を高めて、スムーズな
入力操作を可能にするものである。
示部624により強調された所望項目612のイメージ
データ部分の強調表示613を解除して、この項目61
2を強調表示する前の状態に戻すものである。即ち、強
調表示取消部625は、カーソル移動操作によって、所
望項目612用データ入力表示エリア部分615とは別
の他の項目612用データ入力表示エリア部分615
に、カーソル表示616が遷移せしめられると、項目対
応のイメージデータ部分の強調表示613を解除するも
のである。
表示取消部625と連動して機能しており、強調表示取
消部625が、対応するある項目612のイメージデー
タ部分の強調表示613を解除した後に、別の項目61
2用データ入力表示エリア部分615へカーソル表示6
16を移動させ、カーソル表示616されている項目6
12用データ入力表示エリア部分615に対応する他の
項目612のイメージデータ部分のみを、強調表示部6
24にて強調表示させるよう制御するものである。
ージデータの一部をディスプレイ630上に表示してい
る状態からディスプレイ630上に表示されていないイ
メージデータを表示させるものである。また、強調表示
部624は、変更手段としての変更部628を有してお
り、この変更部628は、強調表示部分613の強調表
示種類又は領域を例えばキーボードを使用して外部から
の指示により変更するものであり、変更情報獲得部62
8Aと強調情報変更部628Bを有している。
する変更情報Rを獲得するものであり、強調情報変更部
628Bは、この変更情報Rを使用して後述する強調情
報Qを更新して強調情報Q′を作成するものである。実
際には、上述した強調表示部624,強調表示取消部6
25,強調表示遷移制御部626及び画面スクロール部
627としての機能をコンピュータ本体629に与える
ような適宜のソフトウェアを、ハードディスク622又
はその他のメモリにインストールすることにより、イメ
ージデータ表示装置640を構成するのである。
メージデータ表示装置640は、以下のように動作す
る。帳票のイメージデータを、図62に示すイメージデ
ータ分割装置621(イメージスキャナ621A又はO
CR装置621B)から入力し、ディスプレイ(図62
では図示せず)に表示したときの初期画面は図67に示
すようになる。
レイ630のイメージデータ表示エリア611には、複
数の項目情報を含んだイメージデータ、即ち、「口
番」,「氏名」,「取引」,「金額」の4つの項目情報
を含んだイメージデータが表示されている。また、送金
データを入力する際には、所望のデータ入力表示エリア
部分615にカーソル表示616を移動させることによ
り、所望の項目612のイメージデータ部分に対応する
送金データを入力する。このとき、図70に示すよう
に、強調表示部624によって、所望の項目612のイ
メージデータ部分が強調表示部分613を有して強調表
示されており、図71〜図76に示すように、カーソル
表示616の移動に伴って、この強調表示部分613も
イメージデータ表示エリア611を移動する。
ータ入力表示エリア部分615には、イメージデータの
文字認識結果が表示されていないが、文字認識結果が表
示されていてももちろんかまわない。ここで、図70に
は、「口番(0001)」である項目612を強調表示
したときのディスプレイ630が示されている。
タがキーボード631により、「0001」と入力した
後、キーボード631を操作して、項目表示エリア61
4において「項目1」から「項目2」へカーソル表示6
16を移動させると、強調表示遷移制御部626によっ
て、図71に示すように、イメージデータ表示エリア6
11では、これに対応して、「口番(0001)」から
「氏名(フジ タロウ)」へ強調表示部分613が移動
する。この状態で、オペレータはキーボード631を使
用して、「フジ タロウ」と入力する。
タロウ」と入力した後、キーボード631を操作し
て、「項目2」から「項目3」へカーソル表示616を
移動させると、強調表示遷移制御部626によって、図
72に示すように、「氏名(フジ タロウ)」から「取
引(010)」へ強調表示部分613が移動し、更に
「010」と入力した後、「項目3」から「項目4」へ
カーソル表示616を移動させると、強調表示遷移制御
部626によって、図73に示すように、「取引(01
0)」から「金額(¥12,000)」へ強調表示部分613
が移動する。もちろん、このときも、オペレータはキー
ボードを使用して、「010」,「¥12,000」を入力す
る。
ータである金額データ「¥12,000」を入力した後に、キ
ーボード631の例えばリターンキーを押下すると、
「項目1〜4」に対応する送金データ(口座番号,氏
名,取引,金額の各データ)が図6に示すサーバ39へ
送出されるのである。そして、このリターンキーの押下
により、「項目4」から再度「項目1」へカーソル表示
616が移動し、強調表示遷移制御部626によって、
図74に示すように、「金額(¥12,000)」から2段目
の「口番(0010)」へ強調表示部分613が移動す
るが、以降は上記の操作を繰り返すことにより、イメー
ジ表示エリア611の所定の項目612を順次強調表示
させていくことができるのである。
タ入力表示エリア部分615に対応する項目612が強
調表示されており、カーソル表示616の移動に伴っ
て、強調表示部分613も項目612間を移動するよう
になっているのである。また、送金データ入力は、カー
ソル表示616を有するデータ入力表示エリア部分61
5で行なわれるようになっており、データ入力すべきデ
ータ入力表示エリア部分615にカーソル表示を移動さ
せると、同時に参照すべき項目612のイメージデータ
部分が強調表示されることにより、データを参照する際
の対応の誤認識を防いで視認性を高めることができ、こ
れにより、入力操作における労力を軽減させるととも
に、送金データの誤入力を防止することができる。
めて、図75に示すように、ディスプレイ630のイメ
ージデータ表示エリア611の最下部にある「金額(¥
1,765 )」が強調表示される状態になったとすると、こ
のとき更に、その下方部にディスプレイ630に表示さ
れていない項目612が存在する場合は、項目表示エリ
ア614において「項目4」から「項目1」へカーソル
表示616を移動させると、画面スクロール部627に
よって、自動的に表示画面をスクロールするとともに、
強調表示遷移制御部626によって、図76に示すよう
に、イメージデータ表示エリア611では、これに対応
して、「金額(¥1,765 )」から「口番(2148)」
へ強調表示部分613が移動する。
最下部にある項目612が強調表示され、その下方部に
ディスプレイ630に表示されていない項目612が存
在する場合には、データ入力表示エリア部分615の間
をカーソル表示616を移動させることにより、自動的
に表示画面をスクロールすることができる。なお、図7
6では、表示画面のスクロールは1項目ずつ行なって
「口番(2148)」の項目を表示しているが、これに
限定されず、「口番(2148)」の項目を最上段へ移
動することにより、1画面分(7項目分)の項目の全て
をスクロールして、その下方部に存在する1画面分の項
目を表示するようにしてもよい。
表示の移動の制御は、図62に示す強調表示部624,
強調表示取消部625,強調表示遷移制御部626及び
画面スクロール部627によって行なわれており、この
ときの動作フローを図65を用いて更に説明する。例え
ば、図70及び図71に示すように、項目表示エリア6
14において、「項目1」から「項目2」へカーソル表
示616を移動させると、即ち、イメージデータ表示エ
リア611において、入力対象となる項目612が、前
回の入力対象となった項目612と異なる場合には、ま
ず、前回の入力時において、強調表示属性(強調表示種
類,強調表示領域)の変更が行なわれたか否かを判断す
る(ステップB1′)。
た場合には、強調表示取消部625が、前回の項目61
2のイメージデータ部分の強調表示属性を通常(変更前
の属性)に戻すことにより強調表示を取り消し(ステッ
プB2′)、次の項目612のための関連情報Pを取得
する(ステップB3′)。その後は、強調表示部624
が、関連情報Pを参照して、入力対象となる項目612
に関する関連情報Pが存在するか否かを判断し(ステッ
プB4′)、入力対象となる項目612に関する関連情
報Pが存在する場合には、強調情報Qを取得するととも
に、変更情報獲得部628Aが、この強調情報Qを参照
して強調表示属性の変更情報を獲得する(ステップB
5′)。
するイメージデータ部分がディスプレイ630上に表示
されているか否かを判断することによって、画面自動ス
クロールが必要か否かを判断し(ステップB6′)、画
面自動スクロールが必要でない場合には、強調情報変更
部628Bが、ステップB5′で獲得した変更情報でイ
メージデータ部分の強調表示属性を変更し、図70及び
図71に示すように、「口番(0001)」から「氏名
(フジ タロウ)」へ強調表示部分613が移動する
(ステップB8′)。
スクロールが必要である場合には、画面スクロール部6
27が、図75及び図76に示すように、強調表示部分
613の移動に伴う画面自動スクロール処理を行ない
(ステップB7′)、強調情報変更部628Bがステッ
プB5′で獲得した変更情報でイメージデータ部分の強
調表示属性を変更する(ステップB8′)。
調表示属性の変更が行なわれたか否かを判断し、強調表
示属性の変更が行なわれていた場合には前回の項目61
2の強調表示を取り消すとともに、入力対象となる項目
612に関する関連情報Pが存在するか否かを判断し、
入力対象となる項目612に関する関連情報Pが存在す
る場合には強調表示属性の変更情報を獲得する。
を判断し、画面自動スクロールが必要でない場合には強
調表示属性を変更し、画面自動スクロールが必要である
場合には画面自動スクロール処理を行なった後強調表示
属性を変更するのである。ところで、強調表示部分61
3の表示種類及び表示領域は、強調情報Qを変更するこ
とにより、任意に変更することができる。
おいて、イメージデータ表示エリア611の最下部にあ
る項目612である「金額(¥4,321 )」が強調表示さ
れている場合を例にして説明する。この場合、「金額
(¥4,321)」である項目612の強調表示部分613
は、図69及び図79の強調情報Qに示すように、開始
位置座標(320,180)と終了位置座標(420,
200)とを規定することにより、一意に決められるよ
うになっている。なお、開始位置座標(320,18
0)は、「タイトル4(金額)」に対応した「No.7
開始」に示す座標であり、終了位置座標(420,20
0)は、「タイトル4(金額)」に対応した「No.7
終了」に示す座標である。 次に、図79に示すよう
に、強調表示部分613の開始位置座標(320,18
0)を、(360,180)に変更すると、図78に示
すように、図77に示す項目612である「金額(¥4,
321)」の強調表示部分613の領域は狭くなる。
座標や終了位置座標を変更することにより、強調表示部
分613の領域の大きさを任意に設定することができる
のである。強調情報Qの変更は、図63に示すように、
データ入力手段としてのキーボード等を用いて、イメー
ジデータ表示装置640に強調表示属性の変更の旨を入
力することにより、図62及び図63に示す変更部62
8で行なわれる。
628Aが変更情報Rを獲得すると、強調情報変更部6
28Bが強調情報Qを更新して、強調情報Q′を作成す
るのであり、このときの動作フローを図66を用いて説
明する。変更情報Rが入力されると、まず、変更情報獲
得部628Aが、強調情報変更開始認識処理(ステップ
C1′)及び強調情報変更終了認識処理(ステップC
2′)を行なった後、変更情報獲得処理を行なうことに
より(ステップC3′)、強調情報Qがどのように変更
されたかを認識する。
更部628Bが、強調情報更新処理(ステップC4′)
及び強調情報変更処理(ステップC5′)を行なうこと
により、例えば図79に示すように、強調情報Qを更新
して強調情報Q′を作成するのである。このように、強
調表示部分613の表示種類及び表示領域を任意に変更
することができるため、用途に応じて自由に強調表示を
施すことができるのである。
表示エリア部分615には、イメージデータの文字認識
結果が表示されていないが、文字認識結果が表示されて
いてももちろんかまわない。従って、本実施形態にかか
るイメージデータ表示装置640によれば、データ入力
すべきデータ入力表示エリア部分615にカーソル表示
を移動させると、同時に参照すべき項目612のイメー
ジデータ部分が強調表示されることにより、オペレータ
がディスプレイ630から一度目を離した後に、再度デ
ィスプレイ630を見た場合でも、誤った項目612を
見ることを防いで、イメージデータを参照する際の対応
の誤認識を防いで視認性を高め、入力操作における労力
を軽減させるとともに、誤入力を防止することができる
利点がある。
ータがディスプレイ630に表示されていない場合に
は、強調表示部分613の移動に伴って自動的にスクロ
ールすることができるため、例えばキーを押下する等の
無駄な操作を削減することができるという利点がある。
さらに、オペレータが強調表示部分613の種類や領域
を変更することもでき、用途に応じて使用することがで
きる利点がある。
すように、ディスプレイに表示される帳票のイメージデ
ータに強調表示を施す際に、所定の項目612の全体を
強調表示する場合について説明したが、これに限定され
ず、例えば図80に示すように、所定の項目612の一
部分を強調表示するようにしてもよい。ここで、図80
に示すディスプレイ630のイメージデータ表示エリア
611には、「口座番号」,「科目」,「銀行名/支店
名」,「受取人」及び「金額」の5つの項目情報を含ん
だイメージデータが表示されるようになっている。
のデータ入力表示エリア部分615にカーソル表示61
6を移動させることにより、所望の項目612のイメー
ジデータ部分に対応する送金データを入力する。このと
き、図80に示すように、所望の項目612のイメージ
データ部分が強調表示部分613を有して強調表示され
ており(「銀行名/支店名(富士通銀行)」の部分)、
図81及び図82に示すように、カーソル表示616の
移動に伴って、この強調表示部分613もイメージデー
タ表示エリア611を移動する。
(山田 一郎)」の文字部分が強調表示されているが、
図83に示すように、項目612の全体を強調表示して
もよい。さらに、例えば図84に示すように、帳票のイ
メージデータを、個人情報毎にディスプレイ630に表
示するようにすることもできる。
のイメージデータ表示エリア611には、「銀行名」,
「支店名」,「口座番号」,「科目」,「金額」,「受
取人」及び「依頼人」の7つの項目情報を含んだイメー
ジデータが表示されるようになっている。同様に、送金
データを入力する際には、所望のデータ入力表示エリア
部分615にカーソル表示616を移動させることによ
り、所望の項目612′のイメージデータ部分に対応す
る送金データを入力する。このとき、図84に示すよう
に、所望の項目612′のイメージデータ部分が強調表
示部分613を有して強調表示されており(「科目
(1)」の部分)、図85に示すように、カーソル表示
616の移動に伴って、この強調表示部分613もイメ
ージデータ表示エリア611を移動する。
た場合でも、本実施形態と同様の利点を得ることができ
る。なお、図80〜図85に示すデータ入力表示エリア
部分615には、イメージデータの文字認識結果が表示
されていないが、文字認識結果が表示されていてももち
ろんかまわない。
帳票をイメージデータ入力装置で読み取り、イメージデ
ータとしてディスプレイ等の画面に表示する場合につい
て説明したが、これに限定されず、その他のデータ類
(例えば名簿等)をイメージデータ入力装置で読み取
り、イメージデータとしてディスプレイ等の画面に表示
することもでき、このようにしても、本実施形態と同様
の利点を得ることができる。
み取ったイメージデータを目視して、入力操作を行なう
場合について説明したが、例えば帳票をイメージデータ
入力装置で読み取る際に、自動的に文字認識を行なうよ
うにすることにより、誤認識及び認識不能文字を含んだ
項目についてのみオペレータが入力操作を行なうように
することもできる。
点を得ることができるほか、入力操作における労力及び
時間を大幅に削減することができる。 (2)読み取り標章表示・認識情報修正装置の説明 上述の(1)にて詳述したイメージデータ表示装置64
0においては、イメージデータの編集表示は複数の文字
から構成される項目を単位としているため、自動文字認
識の結果の正誤の確認の際には、イメージデータ中の連
続する異なった文字の中から、目視によって確認対象の
認識文字に対応する文字の選別を行なうため、視線の移
動及び比較する対象が多く、正誤の確認作業に労力及び
時間を要することもある。
すような読み取り標章表示・認識情報修正装置740を
用いて入金依頼処理を施すことができる。この読み取り
標章表示・認識情報修正装置740は、例えば入金すべ
き料金の種類や金額等の入金データが記載された帳票を
イメージとして取り込み、この入金データのイメージを
自動文字認識によりコード情報に変換することにより、
入金依頼処理を施すものであるものであるが、変換の際
の認識不能文字及び誤認識文字(文字には数字も含む。
以下同じ。)の修正は、オペレータがキーボード等を介
して行なうようになっている。
修正装置740は、図6に示す媒体処理装置30のクラ
イアント10に相当するものであり、図6に示すサーバ
39と接続された場合には、サーバ39に接続された集
中文字認識装置6によるイメージの文字認識結果につい
ても、同様に認識不能文字及び誤認識文字の修正処理を
施すとともに、この修正結果をサーバ39に出力するワ
ークステーションとして機能するようになる。
情報修正装置740は、図86に示すように、イメージ
読み取り部としてのイメージリーダ721,データ入力
装置としてのキーボード722,ハードディスク72
3,標章認識装置としてのコンピュータ本体724及び
ディスプレイ725をそなえて構成されている。ここ
で、イメージリーダ721は、例えば図98に示す入金
データが記載された帳票のような数字,文字等の標章情
報を有するイメージである全面イメージPを読み取り、
数字及び文字等のイメージ情報である標章イメージ情報
として、コンピュータ本体724に入力するものであ
る。
単位である数字及び文字単位で構成されているものであ
るが、これに限らず、数字及び文字の集合をその構成単
位としてもよい。また、この全面イメージPは、複数枚
分をまとめて保持されるようにしてもよい。また、キー
ボード722は、自動認識不能であった標章イメージ情
報及び誤認識された標章イメージ情報に対応するコード
データを修正するために、適正なコードデータを正解デ
ータとして、オペレータが手動で入力するためのもので
ある。
リーダ721から入力された標章イメージ情報を読み取
ったイメージの状態で表示するものであり、認識不能標
章イメージ情報表示エリア732A,標章イメージ情報
表示エリア733A,連関標章イメージ情報表示エリア
733B及び正解データ表示エリア733Cを有してい
る。
リア732Aは、自動認識不能であった標章イメージ情
報を、その周辺の標章イメージ情報とともに表示するも
のであり、認識不能標章イメージ情報には強調表示を施
すことにより、周辺の標章イメージ情報と識別できるよ
うになっている。例えば、図101の画面Aにおいて、
「1.“?”(リジェクト文字)」に示す「2034」
では、「3」が認識不能標章イメージ情報であり、
「2」,「0」,「4」が周辺の標章イメージ情報に相
当する。 また、標章イメージ情報表示エリア733A
は、イメージ中におけるコード情報に変換されるべき最
小構成単位の標章イメージ情報を、この標章イメージ情
報を変換したコード情報の意味する標章情報に対応させ
て表示するものである。
標章イメージ情報として、例えば図101の画面Aに示
すように、数字の場合では「0」〜「9」に対応するエ
リアが設けられており、「1」を表す標章イメージ情報
は、全て「1」に対応するエリアに表示されるように、
同一標章を同一エリアに表示するようになっており、視
線の移動を削減するようになっている。
733Bは、例えば続き文字のような前後の文字を参照
することにより、自動文字認識の結果の正誤の確認及び
修正が容易に行なえる場合に、キーボード722の例え
ば参照キーを押下することにより、強調表示されている
標章イメージ情報の周辺のイメージ情報を参考表示させ
るものである。例えば、図103の画面Fにおいて、
「1175」では、「7」が強調表示されている標章イ
メージ情報であり、「1」,「1」,「5」がその周辺
のイメージ情報である。
キーボード722から入力された適正なコードデータを
正解データとして表示するためのものであり、例えば、
図103の画面Fにおいては、「7」が入力された状態
になっている。さらに、図86に示す読み取り標章表示
・認識情報修正装置740は、前述のごとく、ハードデ
ィスク723をそなえており、このハードディスク72
3は、定義体情報としての読み取り指定情報を格納する
定義体情報格納部である。なお、読み取り指定情報と
は、全面イメージPの分割及びコードデータとしての認
識に関する情報をいう。
標章認識装置として機能し(以下コンピュータ本体72
4を標章認識装置724と表記する場合がある)、イメ
ージリーダ721により入力されたイメージの標章のイ
メージ情報を認識して、この標章のイメージ情報を標章
のコードデータに変換するとともに、標章のイメージに
所定の処理を施してディスプレイ725に表示するもの
である。
置としてのコンピュータ本体724は、標章認識部とし
ての文字認識部726,読み取り標章イメージ表示制御
部727,正解データ表示手段としての正解データ表示
部728,最小構成単位標章イメージ情報抽出部として
の文字イメージ抽出処理部729,最小構成単位標章イ
メージ表示制御部としての文字イメージ表示処理部73
0,連関標章イメージ表示手段としての連関標章イメー
ジ表示部731,認識情報修正手段としての認識情報修
正部752及び関連情報作成部741をそなえている。
ーダ721で読み取られたイメージ中の標章イメージ情
報を認識して、この標章イメージ情報に対応するコード
情報に変換するものであり、例えば文字認識装置等と同
様の機能を有するものである。この文字認識部726
は、イメージ読み取り装置721で読み取られた全面イ
メージPあるいはハードディスク723に格納された読
み取り指定情報(定義体情報)を参照して、認識文字情
報Sを作成するものである。
26により認識された文字のコードデータを表したもの
であり、図99に示すように、「項目名」,「項目桁
数」,「認識結果」で表されている。「項目名」は、図
98の全面イメージPにおける「水道料金」及び「電気
料金」に対応しており、「SUI−1〜4」及び「DE
N−1〜4」の項目を有している。
であり、この場合は6桁の文字及び数字を入力できるよ
うに設定されており、「認識結果」は、文字として認識
されたコードデータとしてのコード情報を表している。
なお、付記した正解データとの比較でわかるように、
「SUI−2」,「SUI−4」の認識結果は、認識不
能及び誤認識である。
27は、標章イメージ情報を対応するコード情報に変換
できなかった場合は、この変換できなかった認識不能標
章イメージ情報を認識不能標章イメージ情報と連関する
標章イメージ情報とともに、ディスプレイ725に、読
み取ったイメージの状態で表示させるものである。即
ち、この読み取り標章イメージ表示制御部727は、文
字認識部726で認識及び対応するコード情報への変換
が行なわれなかった標章イメージ情報を、認識不能標章
イメージ情報として、この認識不能標章イメージ情報の
周辺に位置する連関する標章イメージ情報とともに、デ
ィスプレイ725上の認識不能標章イメージ情報表示エ
リア732Aに、読み取ったイメージの状態で表示させ
るものである。
御部727は、オペレータによる認識不能標章イメージ
情報の識別を容易にするために、認識不能標章イメージ
情報に強調表示を施す強調表示手段としての強調表示部
727Aをそなえている。また、この読み取り標章イメ
ージ表示制御部727は、正解データ表示部728によ
り、正解データがディスプレイ725上の認識不能標章
イメージ情報表示エリア732Aとは別の正解データ表
示エリア733Cに表示されると、今まで強調表示され
ていた認識不能標章イメージ情報については修正済みを
意味する別の強調表示に変更する強調表示変更手段とし
ての強調表示変更部727Bもそなえている。
は、イメージ中におけるコード情報に変換されるべき最
小構成単位の標章イメージ情報を、最小構成単位の標章
イメージ情報毎に抽出するものである。即ち、この文字
イメージ抽出処理部729は、例えば数字,文字をその
最小構成単位としている標章イメージ情報を、数字及び
文字単位のイメージ情報に分割して抽出するものであ
り、全面イメージPあるいはハードディスク723に格
納された読み取り指定情報(定義体情報)を参照して、
関連情報Rを作成するものである。
は、図91に示すフローチャートのステップB1″〜ス
テップB8″の処理を施すことにより作成される。即
ち、まず、全面イメージPを文字単位に分割して文字イ
メージ情報を作成して(ステップB1″)、この文字イ
メージ情報の全面イメージPにおける位置(帳票上の位
置)情報を取得する(ステップB2″)。
(水道料金,電気料金等)に指定されているか否かを判
断し(ステップB3″)、指定されている場合には、文
字イメージ情報を所定の項目毎に分類し(ステップB
4″)、各文字イメージ情報の項目内の位置情報を設定
する(ステップB5″)。文字イメージ情報が所定の項
目に指定されていない場合は、行を項目として項目毎に
分類し(ステップB6″)、各文字イメージ情報の項目
内の位置情報を設定する(ステップB7″)。
報の項目内の位置情報を用いて、関連情報Rが作成され
るのである(ステップB8″)。なお、この関連情報R
は、認識文字に関する認識文字情報を有していないもの
である。また、文字イメージ表示処理部730は、文字
イメージ抽出処理部729で抽出された最小構成単位の
標章イメージ情報(例えば数字,文字単位のイメージ情
報)を、この標章イメージ情報を変換したコード情報の
意味する標章情報に対応させて表示させるとともに、同
種の最小構成単位の標章イメージ情報を、この標章イメ
ージ情報を変換したコード情報の意味する標章情報に対
応させて複数個表示させる機能を有するものである。
は、例えば、文字イメージ抽出処理部729で抽出され
た「1」のイメージ情報を変換したコード情報を、ディ
スプレイ725上の標章イメージ情報表示エリア733
Aの「0」〜「9」等の複数の標章を表示する部分の中
の「1」の標章を表示する部分に表示させるものであ
る。
所望の1つの標章イメージ情報についてのみ強調表示を
行なう強調表示手段としての強調表示部730Aをそな
えており、現在処理しているイメージ情報の識別が容易
にできるようになっている。さらに、強調表示変更手段
としての強調表示変更部730Bは、データ入力装置で
あるキーボード722の操作により正解データを入力す
ると、今まで強調表示されていた1つの標章イメージ情
報については修正済みを意味する別の強調表示を施し、
修正前の標章イメージ情報と修正済の標章イメージ情報
との識別を容易にするものである。
1つの標章イメージ情報をこの標章イメージ情報と連関
する標章イメージ情報とともに、ディスプレイ725上
に、読み取ったイメージの状態で表示するものである。
即ち、この連関標章イメージ表示部731は、1つの標
章イメージ情報をこの標章イメージ情報の周辺に位置
し、連関する標章イメージ情報とともに、ディスプレイ
725上の連関標章イメージ情報表示エリア733B
に、読み取ったイメージの状態で表示するものであり、
例えば続き文字のような前後の文字を参照することによ
り、自動文字認識の結果の正誤の確認及び修正が容易に
行なえる場合に、強調表示されているイメージ情報の周
辺のイメージ情報を参考表示させるものである。
1は、1つの標章イメージ情報については強調表示を施
す強調表示手段としての強調表示部731Aをそなえて
おり、連関する標章イメージ情報との識別を容易にして
いる。また、正解データ表示部728は、データ入力装
置722の操作により正解データを入力すると、ディス
プレイ725上の標章イメージ情報表示エリア733A
及び連関標章イメージ情報表示エリア733Bとは異な
るエリアである正解データ表示エリア733Cに、正解
データを表示させるものである。
能標章イメージ情報及び誤認識標章イメージ情報に対す
る正解データがキーボード722から入力されると、正
解データを正解コードデータとして登録することによ
り、認識不能標章イメージ情報及び誤認識標章イメージ
情報の修正を行なうものであり、図88に示すように、
修正情報取得処理部742及び修正結果反映処理部74
3をそなえている。
R及び認識文字情報Sを参照して、認識文字情報を有し
た関連情報R′を作成するものである。この関連情報
R′は、図100に示すように、複数の文字イメージ情
報における「全面イメージ上の位置及びサイズ」,「対
応文字項目名」,「対応項目イメージ名」,「項目内桁
位置」,「認識文字」,「認識文字情報内オフセット」
及び「修正済フラグ」を表したものである。
ズ」は、文字イメージ情報の全面イメージP上の位置情
報を表しており、ビット単位で表現されている。また、
「対応文字項目名」は、文字イメージ情報が属する項目
([SUI−1〜4」等)を表しており、「対応項目イ
メージ名」は、文字イメージ情報が属するイメージを表
しており「対応文字項目名」に対応している(「ISU
I−1〜4」等)。
は、認識文字情報「1050」に対応しているが、図1
00に示すように、文字イメージ1〜4情報からなり、
イメージ名は[ISUI−1」となる。さらに、「項目
内桁位置」は、項目内での文字イメージ情報の位置を表
しており、「認識文字」は、認識文字情報Sを表すもの
であり、認識文字「1」が項目内で3桁目に、「0」が
4桁目に、「5」が5桁目に、「0」が6桁目に位置す
ることを表している。
は全て「OFF」となっているが、認識不能文字及び誤
認識文字の修正を施したときには、その文字イメージ情
報に対する修正済フラグ」を「ON」に変更され、修正
が行なわれた旨を示すものである。なお、その他、文字
イメージ情報は「認識文字情報内オフセット」情報によ
っても規定されている。
処理によって作成される。まず、認識文字情報Sを項目
及び/又は行で表現される位置情報毎に分類し(ステッ
プC1″)、分類された認識文字情報Sを対応する関連
情報Rに追加する(ステップC2″)。次に、この認識
文字情報Sの項目及び/又は行内文字数が、関連情報R
の項目又は行内文字数以内であるかを判断し(ステップ
C3″)、さらに、この認識文字情報Sの項目及び/又
は行数が、関連情報Rの項目又は行数以内であるかを判
断し(ステップC4″)、これにより、関連情報Rを更
新して関連情報R′を作成するのである。
み取り標章イメージ表示制御部727,文字イメージ抽
出処理部729,文字イメージ表示処理部730,連関
標章イメージ表示部731,正解データ表示部728及
び関連情報作成部741としての機能をコンピュータ本
体724に与えるような適宜のソフトウェアを、ハード
ディスク723又はその他のメモリにインストールする
ことにより、読み取り標章表示・認識情報修正装置74
0を構成するのである。
み取り標章表示・認識情報修正装置740は、以下のよ
うに動作する。図87に示すイメージ読み取り装置72
1で、読み取り対象の帳票の全面イメージPを作成し、
標章認識装置724でこの全面イメージPを文字イメー
ジ情報に変換するとともに、読み取り指定情報(定義体
情報)を用いて関連情報R′を作成する。
メージ情報をディスプレイ(図87では図示せず)に表
示したときのディスプレイ725上の初期画面は図10
1の画面Aに示すようになる。このとき、認識不能標章
イメージ情報表示エリア732Aには、リジェクト文字
及びその周辺に位置する文字である「2034」及び
「1201」が表示され、標章イメージ情報表示エリア
733Aには、「0」〜「9」のエリアに、それぞれ
「0」〜「9」を表す文字イメージが表示されている。
ア732Aに表示された「2034」は、修正対象であ
ることを示すため太枠で強調表示されているとともに、
認識不能文字であるリジェクト文字「3」に斜線で強調
表示が施されている。また、同様に認識不能標章イメー
ジ情報表示エリア732Aに表示された「1201」
は、認識不能文字であるリジェクト文字「2」に斜線で
強調表示が施されている。
文字イメージ情報の表示は、図87に示す標章認識装置
724で行なわれており、このときの動作フローを図9
3を用いて説明する。まず、標章認識装置724が全面
イメージPを取得すると(ステップD1″)、関連情報
R′を複写し認識文字情報Sの順に分類を行なう(ステ
ップD2″)。
文字であるか否かを判断し(ステップD3″)、リジェ
クト文字である場合には、その周辺及び/又は項目の文
字イメージ情報を取得して、認識不能標章イメージ情報
表示エリア732Aに表示する(ステップD4″)。な
お、これらのステップD1″〜D4″の動作をリジェク
ト文字の数だけ繰り返すのである(ステップD5″)。
合には、標章イメージ情報表示エリア733Aの該当す
るエリアに文字イメージ情報を表示し(ステップD
6″)、認識文字の数だけこのステップD6″の動作を
繰り返すのである(ステップD7″)。このような図1
01に示す初期画面Aの状態で、オペレータがキーボー
ド722により、正解データとして「3」を入力する
と、正解データ表示エリア733Cには「3」が表示さ
れ、その後、例えば確定キーを押下すると、画面Bに示
すように認識不能標章イメージ情報表示エリア732A
に表示された「2034」のリジェクト文字である
「3」部分の強調表示が、斜線から修正された旨を示す
網かけになる。これに伴って認識文字情報Sが修正され
るとともに、関連情報R′が更新されるのである。
リジェクト文字「3」が修正された旨を示す網かけの強
調表示に変更されたことに伴って、自動的に次の修正対
象である「1201」に太枠の強調表示が施される。さ
らに、このような画面Bの状態で、オペレータがキーボ
ード722により、正解データとして「2」を入力する
と、正解データ表示エリア733Cには「2」が表示さ
れ、その後、確定キーを押下すると、図102の画面C
に示すように、認識不能標章イメージ情報表示エリア7
32Aに表示された「1201」のリジェクト文字であ
る「2」部分の強調表示が、斜線から修正された旨を示
す網かけになる。これに伴って認識文字情報Sが修正さ
れるとともに、関連情報R′が更新されるのである。
33Aの「0」〜「9」のエリアに表示された「0」〜
「9」を表す文字イメージが異なっていた場合、即ち、
文字イメージ情報が誤認識されていた場合には、オペレ
ータがキーボード722の例えばタブキーを押下する
と、図102に示すように、ディスプレイ725の
「1.“?”(リジェクト文字)」のエリアから、
「2.“0”」のエリアに太枠の強調表示が移動する。
103の画面Eに示すように、「3.“1”」のエリア
に太枠の強調表示が移動し、これを繰り返すことによ
り、修正対象であることを示す太枠の強調表示が順次デ
ィスプレイ725内を移動する。即ち、「0」〜「9」
の各エリア内で太枠の強調表示を移動する際には、タブ
キーを押下して所望の文字イメージ情報を選択するよう
になっており、図103の画面Eでは、「3.“1”」
のエリアに誤認識(即ち、「7」のイメージが「1」の
コード情報に変換されている)により表示された文字イ
メージ情報「7」が太枠で強調表示されている。ここ
で、この文字イメージ情報「7」の正誤が、単独では識
別しにくい場合には、図89に示すように、オペレータ
がキーボード722の参照キーを押下すると、連関標章
イメージ表示手段としての参照イメージ表示処理部73
1が、関連情報R′を参照して、図103の画面Fに示
すように、連関標章イメージ情報表示エリア733Bに
参照イメージを表示する。
キーボード722により、正解データとして「7」を入
力し、確定キーを押下すると、正解データ表示エリア7
33Cには「7」が表示され、図104に示すように、
文字イメージ情報「7」のコード情報が、誤認識である
「1」から「7」へと修正され、文字イメージ情報
「7」には、修正が行なわれた旨の網かけの強調表示が
施される。
更新されるとともに、修正され文字イメージ情報「7」
には、修正した旨を示す強調表示が施されるのである。
ここで、図89に示すような参照イメージ表示処理は、
前述のごとく、参照イメージ表示処理部731で行なわ
れており、このときの動作フローを図97を用いて説明
する。
るか否かを判断し(ステップH1″)、参照イメージが
表示されていない場合には、強調表示されている修正対
象の文字イメージ情報の関連情報R′を検索する(ステ
ップH2″)。次に、修正対象の文字イメージ情報の周
辺及び/又は項目イメージ情報を取得し(ステップH
3″)、参照イメージを表示する位置を、強調表示され
ている修正対象の文字イメージ情報を遮蔽しない位置に
設定し(ステップH4″)、参照イメージを表示する
(ステップH5″)。
で、再び参照キーを押下すると、参照イメージを消去す
る(ステップH6″)。ここで、図101〜図104に
示すような文字イメージ情報の修正は、図87及び図8
8に示す文字認識部726の修正情報取得処理部74
2,修正結果反映処理部743及び強調表示変更手段と
しての修正文字イメージ強調表示部727Bによって行
なわれており、このときの動作フローを図94〜図96
を用いて説明する。
ード722により、正解データを入力すると、この正解
データは修正情報として修正情報取得処理部742に入
力され、この修正情報と関連情報R′とを用いて修正結
果反映処理部743で認識文字情報Sを作成するととも
に、関連情報R′を修正して更新する。また、修正文字
イメージ強調表示部727Bは、修正情報を参照して、
修正が行なわれた項目にその旨の強調表示を施す。
は、図94に示すように、入力画面が表示されると(ス
テップE1″)、認識文字が認識不能文字であるリジェ
クト文字であるか否かを判断し(ステップE2″)、リ
ジェクト文字である場合には、周辺及び/又は項目イメ
ージ情報に修正対象の項目であることを示す太枠の強調
表示を施し(ステップE3″)、該当文字であるリジェ
クト文字には太枠とは別な斜線の強調表示を施す(ステ
ップE4″)。
合には、この文字イメージ情報に太枠の強調表示を施す
(ステップE5″)。ここで、オペレーターのキーボー
ド722操作により(ステップE6″)、例えばタブキ
ー又は逆タブキー(タブキーと反対方向へカーソルを移
動させるキー)が押下されると、修正対象を示す太枠の
強調表示を移動して、次の文字イメージ情報を修正対象
とし(ステップE7″)、最終の文字イメージ情報まで
太枠の強調表示が移動すると、はじめからこの動作が行
なわれる(ステップE8″)。
報が関連情報作成部741に通知される(ステップE
9″)。また、図88に示す修正結果反映処理部743
では、図95に示すように、強調表示中の文字イメージ
情報の関連情報R′を検索し(ステップF1″)、認識
文字(認識不能文字及び誤認識文字)を修正し(ステッ
プF2″)、更に、関連情報R′の認識文字を修正し
(ステップF3″)、参照イメージを表示又は消去する
(ステップF4″)。
調表示部727Bでは、図96に示すように、修正情報
を取得して(ステップG1″)、修正がなされた旨の強
調表示を施す(ステップG2″)。上述したように、読
み取り標章表示・認識情報修正装置740における文字
イメージ情報の表示,修正及び参照イメージの表示は、
図90に示すように、標章認識装置724での、全面イ
メージPであるイメージデータの取得(ステップA
1″),文字イメージ情報の抽出(ステップA2″),
認識文字イメージ情報の取得(ステップA3″),関連
情報R′の作成(ステップA4″),文字イメージ情報
の表示(ステップA5″),修正情報の取得(ステップ
A6″),データキー又は参照キーの押下(ステップA
7″),データキーの押下に伴う修正結果の反映(ステ
ップA8″)及び修正された文字イメージ情報の強調表
示(ステップA9″),参照キー押下に伴う参照イメー
ジの表示(ステップA10″)のように行なわれ、表示
されている文字イメージ情報全てについてこの処理を行
なうのである(ステップA11″)。
章表示・認識情報修正装置740によれば、標章認識装
置724により、認識できなかった認識不能文字のイメ
ージ情報を、その周辺の文字のイメージ情報とともにデ
ィスプレイ725上に読み取ったイメージの状態で表示
するとともに、この認識不能文字のイメージ情報につい
ては強調表示を施すことにより、続き文字のような前後
の文字のイメージ情報を参照することにより、精度の高
い確認作業が行なうことができ、正誤の確認作業に要す
る労力及び時間を削減することができる利点がある。
示・認識情報修正装置740によれば、認識不能文字及
び誤認識文字のイメージ情報に対応する正解データをキ
ーボード722の操作により入力すると、正解データが
ディスプレイ725上に表示されるとともに、今まで強
調表示されていた認識不能文字及び誤認識文字のイメー
ジ情報については修正済みを意味する別の強調表示が施
されることにより、認識不能文字の入力及び誤認識文字
の修正が行なわれたものと行なわれていないものとの識
別が容易になり、視認性を高めてオペレータの二重修正
等を防ぎ、正誤の確認作業に要する労力及び時間を大幅
に削減することができる利点がある。
表示・認識情報修正装置740によれば、同一標章のみ
をディスプレイ上の同一のエリアに表示するような目視
が容易に行なえるような単位で表示するとともに、所望
の1つの文字イメージ情報についてのみ強調表示を行な
うことにより、オペレータが連関する周辺の文字イメー
ジ情報を参照することなく、イメージ情報を参照するだ
けでその認識結果の正誤を確認できるようにして視線の
移動を大幅に削減するとともに、処理中の文字イメージ
情報についてのみ強調表示を行なって比較対象を削減し
て、正誤の確認作業に要する労力及び時間を大幅に削減
することができる利点がある。
示・認識情報修正装置740によれば、正解データが、
上記1つの文字イメージ情報とこの文字イメージ情報と
連関する周辺の文字イメージ情報とを表示しているエリ
アとは別の正解データ表示エリアに表示されることによ
り、文字イメージ情報と入力した正解データとを目視に
より再確認することができ、正誤の確認作業に要する労
力及び時間を削減するとともに、精度の高い確認作業が
行なうことができる利点がある。
誤認識文字を修正する際に、認識不能文字及び誤認識文
字に対して入力された正解データを、ディスプレイの7
25の正解データ表示エリア733Cに表示するように
なっているが、認識不能文字及び誤認識文字に対する正
解データを表示することなく、認識不能文字及び誤認識
文字を修正するようにしてもよく、認識不能文字又は誤
認識文字のいずれかに対する正解データのみを表示し
て、認識不能文字及び誤認識文字を修正するようにして
もよい。
された帳票として、図98に示すような表形式の帳票を
用いて説明したが、これに限定されず、その他の形式の
帳票を用いてもよい。 (b)本発明の一実施形態の変形例の説明 (b1)本実施形態の第1の変形例にかかる帳票識別装
置の説明 図105は本発明の一実施形態の第1の変形例にかかる
帳票識別装置を示すブロック図であり、この図105に
示す帳票識別装置についても、前述の図115における
もの(符号1001,1002及び1003参照)と同
様、イメージデータ読取装置811,電子計算機812
(この電子計算機812は後述のごとく入力部812−
1,ディスプレイ812−2及び制御部812−3をそ
なえている)及びハードディスク813により構成する
ことができる。
は、帳票について、そのイメージデータを読み取るもの
であり、このイメージデータ読取装置811としては、
前述の図115におけるものと同様に、光学式文字読み
取り装置(OCR装置)やイメージスキャナ等を用いる
ことができる。また、制御部812−3は、イメージデ
ータ読取装置811にて読み取った帳票のイメージデー
タに基づいて、帳票データとして処理を行なうものであ
り、電子計算機812におけるCPU及びメモリとして
の機能部分により構成することができる。
115におけるものと同様に、オペレータからの制御部
812−3へのデータあるいは命令等を入力するキーボ
ードあるいはマウス等の入力部(後述の図106におけ
る符号812−1参照)とともに、イメージデータ読取
装置811で読み取ったイメージデータ等を表示するデ
ィスプレイ(後述の図106における符号812−2参
照)に接続されている。
リ)813は、イメージデータ読取装置によって読み取
られた帳票の全イメージデータを格納するものである。
ところで、制御部812−3は、機能的には図105に
示すように、イメージデータ格納メモリ814,イメー
ジデータ切り出し部815,帳票識別辞書部816,デ
ータ比較部817,閾値設定部818,帳票判定部81
9,定義体格納部820,定義体格納テーブル821,
文字認識部822及び文字認識結果格納部823をそな
えている。
ージデータ読取装置811によって読み取られた帳票の
イメージデータを一旦格納するものであり、イメージデ
ータ切り出し部815は、オペレータの入力部812−
1の操作による抽出の対象となる情報(識別情報)の指
示を受けて、イメージデータ格納メモリ814に格納さ
れた帳票のイメージデータから、帳票上に記載されてい
る所要の帳票識別情報を抽出する帳票識別情報抽出手段
としての機能を有するものである。
815において、識別情報から所要の帳票識別情報を抽
出する際には、イメージデータ読取装置811にて読み
取られた帳票のイメージデータをディスプレイ812−
2に表示(投影)されるようになっており、オペレータ
は、このディスプレイ812−2に表示されたイメージ
データに基づいて、識別情報を指示することができる。
出し部815にて抽出する対象となる情報としては、例
えば帳票上に記載されている文字情報,マーク,印鑑あ
るいは罫線等のあらゆる記載情報を指示することがで
き、イメージデータ切り出し部815においては、指示
された情報の座標位置情報,記載情報の大きさ情報及び
データ情報を、帳票識別情報として例えばソフトウェア
あるいはファームウェア処理により自動的に抽出するよ
うになっている。
816はイメージデータ切り出し部815で抽出された
帳票識別情報を特定帳票の帳票識別情報として登録する
ものである。具体的には、図108に示すように、ID
番号‘0101’の付された帳票種別Aの帳票識別情報
は領域816aに格納され、ID番号‘0102’の付
された帳票種別Bの帳票識別情報は領域816bに格納
されるようになっている。
814,イメージデータ切り出し部815及び帳票識別
辞書部816により、イメージデータ読取装置811に
よって読み取られた特定帳票のイメージデータから、特
定帳票上に記載されている帳票識別情報を抽出して、帳
票識別情報を帳票識別辞書部816に登録する登録ステ
ップとしての動作が行なわれるようになっている。
1によって読み取られた帳票のイメージデータは、帳票
識別辞書部816に帳票識別情報を登録する際に、イメ
ージデータ格納メモリ814にて一旦格納されるが、そ
の一方でイメージデータ読取装置811にて読み取られ
た全帳票に関するイメージデータがハードディスク81
3に格納されるようになっている。
ータ格納メモリ814に格納されている特定帳票のイメ
ージデータを読み出し、特定帳票のイメージデータ中
に、帳票識別辞書部816に登録されている帳票識別情
報があるかどうかを検証する検証手段としての機能を有
するとともに、イメージデータ読取装置811によって
読み取られイメージデータ格納メモリ814に格納され
た任意の帳票のイメージデータ中に、帳票識別辞書部8
16に登録されている帳票識別情報があるかどうかを参
照する参照手段としての機能をも有しており、これによ
り、装置構成を簡素化している。
してのデータ比較部817による検証結果に基づいて、
特定帳票の認識ができるかどうかを判定することによ
り、特定帳票が全て確実に一つに特定できたかどうかを
判定する判定手段としての機能を有するとともに、参照
手段としてのデータ比較部817での参照結果に基づい
て、任意の帳票が特定帳票であるかどうかを識別する帳
票識別手段としての機能をも有しており、これにより、
装置構成を簡素化している。
部817は、ハードディスク813にて格納されている
全帳票に関するイメージデータについて、イメージデー
タ切り出し部815において1帳票のイメージデータ単
位で抽出された情報と、対応する帳票識別辞書部816
からの帳票識別情報とを1イメージずつ順次取り出し
て、これらの情報を照合するようになっており、判定手
段としての帳票判定部819では、データ比較部817
からの、帳票識別情報の照合結果に基づいて、帳票を間
違いなく一意に特定することができるか否かを判定する
ようになっている。
17は、イメージデータ読取装置811から入力された
イメージデータについて、イメージデータ切り出し部8
15にて抽出された情報と、対応する帳票識別辞書部8
16からの帳票識別情報とを照合することにより一致度
を算出するようになっており、帳票識別手段としての帳
票判定部819では、データ比較部817からの帳票識
別情報の一致度と、閾値設定部818からの閾値とを比
較することにより、イメージデータ読取装置811から
入力されたイメージデータの帳票を識別することができ
るか否かを判定するようになっている。
ータ比較部817,閾値設定部818及び帳票判定部8
19により、特定帳票の認識ができるかどうかを判定す
る検証ステップとしての動作が行なわれるとともに、任
意の帳票が特定帳票であるかどうかを識別する運用ステ
ップとしての動作が行なわれるようになっている。換言
すれば、上述の登録ステップは、図3の<レイアウトの
初回出現時>の処理(レイアウト解析処理A2,オペレ
ータ処理A6及びレイアウト学習処理A8)に相当し、
上述の検証ステップ及び運用ステップは、図3の<レイ
アウトの再出現時>の処理(レイアウト解析処理A9,
レイアウト照合処理A10及びオペレータ処理A13)
に相当する。
設定部818からの閾値情報に基づいた一致度の判定の
際には、閾値設定部818からの閾値情報は、イメージ
データ読取装置811における読取動作時の誤差や、帳
票そのものの印字誤差等を吸収して判定できる程度に、
設定されるようになっている。また、定義体格納部82
0は、帳票判定部819において、任意の帳票が特定帳
票であると識別された場合、即ち、システム運用時に帳
票判定部819により、イメージデータ読取装置811
にてイメージデータを読み取った帳票が、帳票識別辞書
部816にて登録済の帳票識別情報に対応する特定帳票
と認識することができた場合に、この帳票に記載されて
いるデータを認識するための定義体情報を、定義体格納
テーブル821から読み出して一旦格納しておくもので
ある。
書部816にて登録されている帳票識別情報に対応する
特定帳票に記載されている内容を文字認識するための定
義体情報(例えば読取位置情報,文字属性情報,読取桁
数等)を保持しておくものである。また、文字認識部8
22は、前述のイメージデータ格納メモリ814にて格
納されている、帳票識別辞書部816にて登録済の特定
帳票と認識することができた帳票に関するイメージデー
タについて、定義体格納部820からの、イメージデー
タに対応する定義体情報とを入力され、イメージデータ
を定義体情報に従って文字認識処理を行なうものであ
る。さらに、文字認識結果格納部823は、文字認識部
822にて認識された文字情報を格納するものである。
第1の変形例にかかる帳票識別装置の動作を、上述の登
録ステップ時,検証ステップ時及び運用ステップ時毎
に、以下に説明する。 ・登録ステップ時の処理の説明 まず、図106に示す登録ステップ動作時に着目した制
御ブロック図,図107に示す登録ステップ動作時の動
作を説明するためのフローチャート及び図108を用い
て、本実施形態にかかる帳票識別装置の登録ステップ時
の動作を以下に説明する。
の操作により、イメージデータ読取装置811において
電気料金払込通知書の帳票824Bのイメージデータを
読み取ると(図107のステップB1′′′)、イメー
ジデータ格納メモリ814では読み取られたイメージデ
ータを一旦格納するとともに(図107のステップB
2′′′)、ハードディスク813へも、このイメージ
データを格納することにより、イメージデータ読取装置
811にて読み取られた全イメージデータを格納してお
く(図107のステップB3′′′)。なお、このイメ
ージデータ読取装置811にて読み取られたイメージデ
ータは、図108に示すように、ディスプレイ812−
2を介して表示される(図107のステップB
4′′′)。
及びハードディスク813に格納されたイメージデータ
が、初めて読み取られた帳票に関するイメージデータで
ある場合は、以下に示すように帳票識別情報を帳票登録
辞書部816に格納する。即ち、オペレータがディスプ
レイ812−2を参照しながら、入力部812−1を操
作することにより、イメージデータ切り出し部815に
対して抽出する対象となる情報を複数箇所指示する(図
107のステップB5′′′)。
は、イメージデータ格納メモリ814に格納された帳票
のイメージデータから、帳票上の記載情報における位置
情報,大きさ情報及びデータ情報を自動的に抽出し(図
107のステップB6′′′)、帳票識別情報として帳
票識別辞書部816に登録する(図107のステップB
7′′′)。
タが入力部812−1を操作することにより、第1の情
報として払込通知書の払込金の内容を示す‘電気料金’
を指定するとともに、第2の情報として払込人の名称を
示す‘富士一郎’を指定する。すると、イメージデータ
切り出し部815では、上述の第1の情報における位置
情報,大きさ情報及びデータ情報を格納するとともに、
第2の情報における位置情報,大きさ情報及びデータ情
報を抽出する。
票識別情報を、ID番号が‘0102’の帳票種別Bの
帳票識別情報として、帳票識別辞書部816の領域81
6bに格納する。なお、本変形例にかかる帳票識別装置
においては、イメージデータ切り出し部815で切り出
されたイメージデータは、帳票の識別のためにのみ用い
られている。
いては、1つの帳票について複数の帳票識別情報を登録
することにより、前述の(a5)特徴データ認識処理に
おいて説明したようなイメージデータの正規化処理を施
すことなく、後述する検証ステップ及び運用ステップに
おいて確実に帳票を識別できるようになっている。 ・検証ステップ時の処理の説明 次に、図109に示す検証ステップ動作時に着目した制
御ブロック図と、図110に示す検証ステップ時の動作
を説明するためのフローチャートとを用いて、本実施形
態にかかる帳票識別装置の検証ステップ時の動作を以下
に説明する。
は、帳票識別情報を帳票識別辞書部816に登録してい
るが、その後、ハードディスク813に格納されている
全帳票のイメージについて、帳票識別辞書部816にて
登録された帳票識別情報を用いて確実に識別できるかを
検証する検証ステップとしての動作が行なわれる。即
ち、ハードディスク813において登録ステップとして
の動作時に予め格納されている、帳票識別辞書部816
にて登録された帳票の全イメージ(帳票全体のイメー
ジ)を用いて、1帳票イメージ毎に、帳票識別辞書部8
16において登録された帳票識別情報との照合を行な
う。
1帳票イメージがイメージデータ格納メモリ814を介
してイメージデータ切り出し部815に出力され(図1
10のステップC1′′′)、イメージデータ切り出し
部815では、帳票識別辞書部816にて該当する帳票
における帳票識別情報の位置情報及び大きさ情報に基づ
いて、照合用データを抽出する。
切り出し部815からの照合用データと帳票識別辞書部
816からの帳票識別情報としてのデータ情報とを入力
され(図110のステップC2′′′,ステップC
3′′′)、これらのデータ一致度を参照することによ
り比較照合を行なう(図110のステップC
4′′′)。帳票判定部819では、データ比較部81
7からの比較照合結果と閾値設定部818からの閾値デ
ータとを入力され、全ての帳票識別情報の一致度が閾値
の範囲内にある場合は、データが一致しているので、ハ
ードディスク813から取り出した帳票種別を一意に特
定できると判定され、特定された帳票種別を記録する
(ステップC5′′′のYESルートからステップC
6′′′)。
情報の一致度が閾値の範囲内にない場合は、データが一
致しておらず、帳票種別を特定できないと判定される
(ステップC5′′′のNOルートからステップC
7′′′)。次に、帳票識別辞書部816の帳票種別が
全て終了していない場合は、帳票識別辞書部816に登
録されている次の帳票種別の帳票識別情報により同様に
処理される(ステップC7′′′のNOルートからステ
ップC2′′′)。従って、全ての帳票種別について帳
票が特定できなかった場合はステップC6′′′におけ
る処理は実行されないことになる。
ている全種類の帳票イメージについて、上述の場合と同
様に、帳票識別情報の一致度の判定を行なう(ステップ
C8′′′)。さらに、ハードディスク813に格納さ
れている全種類の帳票イメージの各々について、全て異
なった一つの帳票に特定することができた場合は、検証
OKとし、検証ステップとしての動作が完了するが(ス
テップC9′′′のYESルートからステップC1
0′′′)、そうでない場合は、帳票識別辞書部816
に格納されている帳票識別情報に問題ありと判定され、
問題のあった帳票をオペレータに通知し、その帳票につ
いての帳票識別情報の再指定を要求する(ステップC
9′′′のNOルートからステップC11′′′)。
ドディスク813から特定帳票のイメージデータを入力
して、イメージデータ切り出し部815において、デー
タ比較部817において、入力された特定帳票のイメー
ジデータ中に、帳票識別辞書部816に登録されている
帳票識別情報があるかどうかを検証することにより、特
定帳票の認識ができるかどうかを判定することができ
る。 ・運用ステップ時の動作の説明 次に、図111に示す運用ステップ動作時に着目した制
御ブロック図と、図112に示す運用ステップ時の動作
を説明するためのフローチャートとを用いて、本実施形
態にかかる帳票識別装置の運用ステップ時の動作を以下
に説明する。
は、ハードディスク813に格納されている全帳票のイ
メージについて、帳票識別辞書部816にて登録された
帳票識別情報を用いて特定できるかを検証しているが、
検証が完了すると、実際の装置運用時においては、任意
の帳票のイメージデータについて、以下に示すような帳
票種別を特定する運用ステップとしての動作が行なわれ
る。
取装置811の操作により、ある帳票のイメージデータ
が読み取られると(図112のステップD1′′′)、
読み取られたイメージデータはイメージデータ格納メモ
リ814に一旦格納される(図112のステップD
2′′′)。 次に、イメージデータ切り出し部815
では、イメージデータ格納メモリ814に一旦格納され
たイメージデータについて、帳票識別辞書部816から
の、ある帳票種別における帳票識別情報を構成する位置
情報及び大きさ情報に基づいて、複数箇所のイメージデ
ータ(識別情報)を抽出し切り出す(ステップD
3′′′,ステップD4′′′)。
ジデータ切り出し部815にて切り出された全てのイメ
ージデータのデータ情報と、当該帳票識別情報を構成す
るデータ情報との一致度を算出することにより比較判定
を行なう(ステップD5′′′)。さらに、帳票判定部
819では、データ比較部817からの比較判定結果と
して算出された一致度と閾値設定部818にて設定され
ている一致度の判定基準とを比較することにより、イメ
ージデータ読取装置811にて読み取ったイメージデー
タが帳票識別辞書部816からの帳票識別情報により帳
票種別を特定できるか否かを判定する(ステップD
6′′′)。
1から第1の帳票種別Aのイメージデータを読み込む一
方、比較対象となる帳票識別辞書部816からの帳票識
別情報として第2の帳票種別Bに関するものを用いた場
合は、一致しないと判定され、再び帳票識別辞書部81
6から他の帳票種別に関する帳票識別情報を用いて一致
度の判定を行なう(ステップD6′′′のNOルートか
らステップD8′′′のNOルートを経由してステップ
D3′′′)。
11から第1の帳票種別Aのイメージデータを読み込ん
だ場合に、比較対象となる帳票識別辞書部816からの
帳票識別情報が、第1の帳票種別Aに関するものである
場合は、帳票識別情報について一致すると判定され、読
み込んだイメージデータが該当する帳票種別と特定され
る。この時、特定された帳票種別を制御部812−3内
の図示しないメモリに記録しておく(ステップD
6′′′のYESルートからステップD7′′′)。
定の際には、イメージデータ切り出し部815にて切り
出された複数箇所のイメージデータの内で、一つでも帳
票識別辞書部816からの帳票識別情報に一致しない場
合は、他の種別の帳票と判定する。その後、上述のイメ
ージデータ読取装置811にて読み取ったイメージデー
タについて、帳票識別辞書部816に格納されている全
帳票種別毎の帳票識別情報に基づき、上述の場合と同様
の、帳票識別情報の一致度の判定を行なう(ステップD
8′′′)。
メージデータ読取装置811にて読み取ったイメージデ
ータについて1種類の帳票種別に特定することができた
場合は、特定した帳票種別を定義体格納部820(図1
05参照)に出力する一方(ステップD9′′′のYE
SルートからステップD10′′′)、1種類の帳票種
別に特定することができなかった場合は、オペレータに
対して、例えばディスプレイ812−2を介することに
より帳票特定不可を通知する(ステップD9′′′のN
OルートからステップD11′′′)。
特定された帳票種別を入力されると、定義体格納テーブ
ル821から、特定された帳票種別に対応する定義体情
報(読取位置情報,文字属性情報,読取桁数等)を読み
出す。これにより、文字認識部822においては、この
定義体情報とイメージデータ格納メモリ814に格納さ
れているイメージデータ読取装置811にてイメージデ
ータを読み取った帳票に記載されている文字情報を認識
して、認識結果としての文字情報を文字認識結果格納部
823に格納しておく。
票の認識ができた場合に、運用ステップ時においては、
任意の帳票のイメージデータをイメージデータ読取装置
811によって読み取り、この任意の帳票のイメージデ
ータ中に、帳票識別辞書部816に登録されている帳票
識別情報があるかどうかを参照することにより、任意の
帳票が特定帳票であるかどうかを識別して、文字認識を
行なうことができる。
変形例にかかる帳票識別装置によれば、イメージデータ
読取装置811,イメージデータ格納メモリ814,ハ
ードディスク813,イメージデータ切り出し部81
5,帳票識別辞書部816,データ比較部817及び帳
票判定部819をそなえたことにより、装置運用時にお
いては、イメージデータ読取装置811でイメージデー
タを読み取った帳票の種別を自動識別することができる
ので、イメージ読取装置811にて読み取るべき帳票が
複数種類混在していても、オペレータは帳票毎の定義体
を意識することなく処理することができ、作業の効率化
を図ることができる利点があるほか、帳票自体の識別用
のID番号等を記載しておく必要がなく、一般的な帳票
を用いることができ、既存のシステムに対して容易に適
応することができる利点もある。
情報の登録時においては、オペレータがディスプレイ8
12−2に投影された登録対象帳票のイメージデータを
見ながら指定するだけで、自動的に必要な帳票識別情報
を取り込むことができるので、帳票識別用の辞書作成が
容易となり、作業の効率化を図ることができる。さら
に、検証手段としてのデータ比較部817及び判定手段
としての帳票判定部819とをそなえたことにより、オ
ペレータが指定した帳票識別情報が正しいか否かを検証
することができるので、帳票の誤判別が皆無となり、装
置の信頼性が向上する利点もある。
とにより抽出される帳票識別情報は、識別情報が帳票中
の複数箇所を指示することにより、1箇所の場合に比し
て高精度で帳票の特定が可能となる。 (b2)本実施形態の第2の変形例にかかる帳票識別装
置の説明 図113は本発明の一実施形態の第2の変形例にかかる
帳票識別装置を示すブロック図であって、特に、登録ス
テップ動作時に着目した制御ブロック図を示すものであ
る。
は、前述の図105におけるものに比して、帳票識別情
報抽出手段が、タイトル部分自動抽出部815a,項目
見出し部分自動抽出部815b及び帳票識別情報切り出
し部815cにより構成されている点が異なり、その他
の構成については基本的に同様である。タイトル部分自
動抽出部815aは、イメージデータ格納メモリ814
にて格納されている帳票に関するイメージデータについ
て、タイトル部分(例えば前述の図108に示す第1の
帳票識別情報としての‘電気料金’参照)とみられる位
置情報を自動的に抽出するものである。
ージデータ格納メモリ814にて格納されている帳票に
関するイメージデータについて、項目部分の位置情報を
自動的に抽出するものである。ここで、帳票識別情報切
り出し部815cは、イメージデータ格納メモリ814
にて格納されているイメージデータについて、タイトル
部分自動抽出部815a及び項目見出し部自動抽出部8
15bからの位置情報に基づいて、タイトル部分及び項
目部分に関する大きさ情報及びデータ情報を帳票識別情
報として切り出すものである。
第2の変形例にかかる帳票識別装置では、登録ステップ
時の動作としては、まず、前述の実施形態の場合と同様
に、オペレータの操作により、イメージデータ読取装置
811において帳票のイメージデータを読み取ると(図
114のステップE1′′′)、イメージデータ格納メ
モリ814では読み取られたイメージデータを一旦格納
するとともに(図114のステップE2′′′)、ハー
ドディスク813へも、このイメージデータを格納する
ことにより、イメージデータ読取装置811にて読み取
られた全イメージデータを格納しておく(図114のス
テップE3′′′)。 続いて、タイトル部分自動抽出
部815aにより、帳票のタイトルとみられる位置情報
を自動的に抽出するとともに(図114のステップE
4′′′)、項目見出し部分自動抽出部815bによ
り、罫線項目内に記述された項目見出しの位置情報を自
動的に抽出する(図114のステップE5′′′)。
述のタイトル部分自動抽出部815a及び項目見出し部
分自動抽出部815bからの位置情報に基づく大きさ情
報及びデータ情報を抽出して(図114のステップE
6′′′)、これらの位置情報及び位置情報に対応する
大きさ情報,データ情報を帳票識別情報として帳票識別
辞書部816に登録する(図114のステップE
7′′′)。
プ時の動作としては基本的に前述の一実施形態における
ものと同様である。従って、前述の図105に示す帳票
識別装置では、オペレータが、ディスプレイ812−2
を参照しながら、入力部812−1を操作することによ
り、帳票識別情報を抽出するための識別情報を指定して
いるが、本実施形態によれば、イメージデータ読取装置
811によって読み取られた特定帳票のイメージデータ
から、特定帳票上に記載されている特定の帳票識別情報
を自動的に抽出して、特定の帳票識別情報を帳票識別辞
書部816に登録することができ、オペレータの作業効
率が飛躍的に向上する利点がある。
いては、帳票識別情報を抽出するための識別情報とし
て、タイトル部分及び項目部分を用いているが、これ以
外の帳票の部分(固定情報部分)を用いても差し支えな
い。 (b3)その他 上述の本発明の一実施形態の変形例では、検証手段とし
てのデータ比較部817及び判定手段としての帳票判定
部819により、登録ステップの後、再度、特定帳票の
イメージデータを入力して、入力された特定帳票のイメ
ージデータ中に、帳票識別辞書部816に登録されてい
る帳票識別情報があるかどうかを検証することにより、
特定帳票の認識ができるかどうかを判定する検証ステッ
プとしての動作を行なっているが、これを省略しても、
少なくとも、装置運用時においては、イメージデータ読
取装置811でイメージデータを読み取った帳票の種別
を自動識別することができるので、イメージ読取装置8
11にて読み取るべき帳票が複数種類混在していても、
オペレータは帳票毎の定義体を意識することなく処理す
ることができ、作業の効率化を図ることができる利点が
あるほか、帳票自体の識別用のID番号等を記載してお
く必要がなく、一般的な帳票を用いることができ、既存
のシステムに対して容易に適応することができる利点も
ある。
情報の登録時においては、オペレータがディスプレイ8
12−2に投影された登録対象帳票のイメージデータを
見ながら指定するだけで、自動的に必要な帳票識別情報
を取り込むことができるので、帳票識別用の辞書作成が
容易となり、作業の効率化を図ることができる。
方法及び装置によれば、データ入力すべきデータ入力表
示エリア部分にカーソル表示を行なわせると、同時に参
照すべき項目のイメージデータ部分が強調表示されるこ
とにより、オペレータがディスプレイから一度目を離し
た後に、再度ディスプレイを見た場合でも、誤った項目
を見ることを防いで、イメージデータを参照する際の対
応の誤認識を防いで視認性を高め、入力操作における労
力及び時間を削減するとともに、誤入力を防止すること
ができる利点がある。
ディスプレイに表示されていない場合には、強調表示部
分の移動に伴って自動的にスクロールすることができる
ため、例えばキーを押下する等の無駄な操作を削減する
ことができるという利点がある。さらに、オペレータが
強調表示部分の種類や領域を変更することもでき、用途
に応じて使用することができる利点がある。
体構成を示す機能ブロック図である。
ける処理を説明するための図である。
ける処理を説明するための図である。
ける処理を説明するための図である。
けるレイアウト解析処理部の構成を示す機能ブロック図
である。
ける帳票処理について説明するための図である。
けるイメージリーダを示す模式的な斜視図である。
けるイメージデータの回転補正処理に着目した機能ブロ
ック図である。
けるイメージデータの回転補正処理に着目した機能ブロ
ック図である。
おいて処理される帳票の例を示す図である。
おいて処理される帳票の例を示す図である。
おけるイメージデータ回転補正処理について説明するた
めのフローチャートである。
おけるイメージデータ回転補正処理について説明するた
めのフローチャートである。
おける原点抽出照合処理の適用を示す処理説明図であ
る。
態にかかる媒体処理装置において処理される帳票の例を
示す図である。
おいて処理される帳票の例を示す図である。
おいて処理される帳票の例を示す図である。
おける論理原点抽出処理について説明するためのフロー
チャートである。
おける論理原点補正座標の一致判定を説明するための図
である。
態にかかる媒体処理装置において処理される帳票の例を
示す図である。
おける論理原点照合処理について説明するためのフロー
チャートである。
おけるマトリックス照合処理に着目した処理説明図であ
る。
おけるマトリックステーブル作成処理について説明する
ための図である。
態にかかる媒体処理装置におけるマトリックステーブル
作成処理の際のイメージデータの座標の正規化処理につ
いて説明するための図である。
おけるマトリックステーブル作成処理の際のビットテー
ブル作成処理について説明するための図である。
おけるマトリックステーブル作成処理の際のビットテー
ブル作成処理について説明するための図である。
おけるマトリックステーブル作成処理の際のビットテー
ブル作成処理について説明するための図である。
おいて作成されるマトリックステーブルについて説明す
るための図である。
おけるマトリックステーブル照合処理について説明する
ためのフローチャートである。
おけるマトリックステーブル照合処理について説明する
ためのフローチャートである。
態にかかる媒体処理装置におけるマトリックステーブル
照合処理の際のマトリックス情報を示す図である。
おける特徴データ認識処理に着目した処理説明図であ
る。
おける特徴データ認識処理について説明するための図で
ある。
おける特徴データ認識処理について説明するための図で
ある。
おいて処理される為替総合振込帳票について説明するた
めの図である。
おいて処理される為替総合振込帳票について説明するた
めの図である。
おける見出し解析処理に着目した処理説明図である。
おける見出し解析処理で使用される罫線項目構成情報に
ついて説明するための図である。
おける見出し解析処理で使用される罫線項目構成情報の
うちの罫線属性について説明するための図である。
おける見出し解析処理で使用される罫線項目構成情報テ
ーブルについて説明するための図である。
態にかかる媒体処理装置における見出し解析処理で使用
される罫線項目構成情報テーブルについて説明するため
の図である。
おける見出し解析処理で使用される見出し位置探索ルー
ルについて説明するための図である。
態にかかる媒体処理装置における見出し解析処理で使用
される見出し位置探索ルールについて説明するための図
である。
おける見出し解析処理について説明するためのフローチ
ャートである。
おける見出し解析処理の結果の一例を示す図である。
態にかかる媒体処理装置における見出し解析処理の際の
見出し例を示す図である。
態にかかる媒体処理装置における見出し解析処理の際の
見出し例を示す図である。
態にかかる媒体処理装置における見出し解析処理の際の
見出し例を示す図である。
おける見出し解析処理の際の正規化処理の一例を示す図
である。
おける見出し解析処理で使用される項目見出し辞書につ
いて説明するための図である。
態にかかる媒体処理装置における見出し解析処理の際の
見出し項目データの照合結果の一例を示す図である。
態にかかる媒体処理装置における見出し解析処理の際の
見出し補正ルールによる照合結果の補正について説明す
るための図である。
おける見出し解析処理について説明するためのフローチ
ャートである。
態にかかる媒体処理装置における見出し解析処理で使用
される見出し部罫線項目とデータ部罫線項目との接続ル
ールについて説明するための図である。
態にかかる媒体処理装置における見出し解析処理で使用
される見出し部罫線項目とデータ部罫線項目との接続ル
ールについて説明するための図である。
おける見出し解析処理の際の見出し項目に対応する項目
データ位置の決定結果の一例を示す図である。
おける見出し解析処理の際の各情報のリンク関係につい
て説明するための図である。
おける見出し解析処理の際の各情報のリンク関係につい
て説明するための図である。
態にかかる媒体処理装置における見出し解析処理の際に
機能項目にリンクされる項目データについて説明するた
めの図である。
かる媒体処理装置における見出し解析処理の際の金額項
目リンク処理について説明するための図である。
表示装置の構成を示す模式図である。
表示装置の機能ブロック図である。
表示装置の機能ブロック図である。
表示装置の動作を説明するためのフローチャートであ
る。
表示装置の動作を説明するためのフローチャートであ
る。
表示装置の動作を説明するためのフローチャートであ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置で作成された関連情報を説明するための図であ
る。
表示装置で作成された強調情報を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置で作成された強調情報を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
表示装置のディスプレイ表示例を説明するための図であ
る。
示・認識情報修正装置の構成を示す模式図である。
示・認識情報修正装置の機能ブロック図である。
示・認識情報修正装置の機能ブロック図である。
示・認識情報修正装置の機能ブロック図である。
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。
示・認識情報修正装置の動作を説明するためのフローチ
ャートである。
示・認識情報修正装置で作成された全面イメージを説明
するための図である。
示・認識情報修正装置で作成された認識文字情報を説明
するための図である。
表示・認識情報修正装置で作成された関連情報を説明す
るための図である。
表示・認識情報修正装置の表示例を説明するための図で
ある。
表示・認識情報修正装置の表示例を説明するための図で
ある。
表示・認識情報修正装置の表示例を説明するための図で
ある。
表示・認識情報修正装置の表示例を説明するための図で
ある。
る帳票識別装置を示すブロック図である。
る帳票識別装置の登録ステップ動作時に着目した制御ブ
ロック図である。
る帳票識別装置の登録ステップ動作時の動作を説明する
ためのフローチャートである。
る帳票識別装置の登録ステップ動作時の動作を説明する
ための図である。
る帳票識別装置の検証ステップ動作時に着目した制御ブ
ロック図である。
る帳票識別装置の登録ステップ動作時の動作を説明する
ためのフローチャートである。
る帳票識別装置の運用ステップ動作時に着目した制御ブ
ロック図である。
る帳票識別装置の運用ステップ動作時の動作を説明する
ためのフローチャートである。
る帳票識別装置の制御ブロック図である。
る帳票識別装置の動作を説明するためのフローチャート
である。
ある。
めの図である。
の基準点の抽出方法を説明するための図である。
ための図である。
TBL) 505 見出し探索ルール 507 項目見出し辞書 508 見出し補正ルール 509 項目データ探索ルール 611 イメージデータ表示エリア 612,612′ 項目 613 強調表示部分 614 項目表示エリア 615 データ入力表示エリア部分 616 カーソル表示 621 イメージデータ分割装置(イメージデータ入力
装置) 621A イメージスキャナ(イメージデータ入力装
置) 621B 光学式文字読み取り装置(OCR装置;イメ
ージデータ入力装置) 622 ハードディスク(定義体格納部) 623 強調情報作成処理部 624 強調表示部(イメージデータ部分強調表示手
段) 625 強調表示取消部(イメージデータ強調表示解除
手段) 626 強調表示遷移制御部(強調表示遷移制御手段) 627 画面スクロール部(表示画面スクロール手段) 628 変更部(変更手段) 628A 変更情報獲得部 628B 強調情報変更部 629 コンピュータ本体(表示制御装置) 630 ディスプレイ 631 キーボード 640 イメージデータ表示装置 721 イメージリーダ(イメージ読み取り部) 722 キーボード(データ入力装置) 723 ハードディスク 724 コンピュータ本体(標章認識装置) 725 ディスプレイ 726 文字認識部(標章認識部) 727 読み取り標章イメージ表示制御部 727A 強調表示手段 727B 強調表示変更手段 728 正解データ表示手段 729 文字イメージ抽出処理部(最小構成単位標章イ
メージ情報抽出部) 730 文字イメージ表示処理部(最小構成単位標章イ
メージ表示制御部) 730A 強調表示手段 730B 強調表示変更手段 731 連関標章イメージ表示手段 731A 強調表示手段 732A 認識不能標章イメージ情報表示エリア 733A 標章イメージ情報表示エリア 733B 連関標章イメージ情報表示エリア 733C 正解データ表示エリア 740 読み取り標章表示・認識情報修正装置 741 関連情報作成部 742 修正情報取得処理部 743 修正結果反映処理部 750〜752 認識情報修正手段 811 イメージデータ読取装置 812 電子計算機 812−1 入力部 812−2 ディスプレイ 812−3 制御部 813 ハードディスク 814 イメージデータ格納メモリ 815 イメージデータ切り出し部(帳票識別情報抽出
手段) 815a タイトル部自動抽出部(帳票識別情報抽出手
段) 815b 項目見出し部自動抽出部(帳票識別情報抽出
手段) 815c 帳票識別情報切り出し部(帳票識別情報抽出
手段) 816 帳票識別辞書部(帳票識別辞書) 816a,816b 領域 817 データ比較部(参照手段,検証手段) 818 閾値設定部 819 帳票判定部(帳票識別手段,判定手段) 820 定義体格納部 821 定義体格納テーブル 822 文字認識部 823 文字認識結果格納部 824B 電気料金払込通知書の帳票 1000 帳票処理装置 1001 イメージデータ読取装置 1002 電子計算機 1002−1 入力部 1002−2 計算機本体 1002−3 ディスプレイ 1003 ハードディスク 1003A〜1003C 定義体情報 1004 帳票 1004a ID番号の記載位置 1005 イメージデータ読取認識装置 1006,1008 帳票の用紙端面 1007,1009 帳票の読取背景 1010 帳票 1010A 誤った向きで表示された帳票のイメージデ
ータ 1010B 正しい向きで表示された帳票のイメージデ
ータ
Claims (8)
- 【請求項1】 ディスプレイ上において、複数の項目情
報を含んだ媒体のイメージデータを表示する際に、ある
項目に対応するイメージデータ部分のみが強調表示され
ることを特徴とする、媒体処理方法。 - 【請求項2】 ディスプレイ上において、イメージデー
タ表示エリアに、複数の項目情報を含んだ媒体のイメー
ジデータが表示されている状態で、所望項目のイメージ
データ部分に対応するデータを入力するに当たり、該イ
メージデータ表示エリアとは別に該ディスプレイに設定
された項目表示エリアにおける各項目用データ入力表示
エリア部分の所望項目用データ入力表示エリア部分に、
カーソル表示がなされると、対応する所望項目のイメー
ジデータ部分のみが強調表示されることを特徴とする、
媒体処理方法。 - 【請求項3】 ディスプレイ上において、イメージデー
タ表示エリアに、複数の項目情報を含んだ媒体のイメー
ジデータが表示されている状態で、所望項目のイメージ
データ部分に対応するデータを入力するに当たり、該イ
メージデータ表示エリアとは別に該ディスプレイに設定
された項目表示エリアにおける各項目用データ入力表示
エリア部分の所望項目用データ入力表示エリア部分に、
カーソル表示がなされると、対応する所望項目のイメー
ジデータ部分のみが強調表示されるとともに、 その後、更に他の項目のイメージデータ部分に対応する
データを入力するに当たり、カーソル表示を該所望項目
用データ入力表示エリア部分から該他の項目用データ入
力表示エリア部分に移動させると、対応する所望項目の
イメージデータ部分の強調表示が解除されるとともに、
対応する他の項目のイメージデータ部分が強調表示され
ることを特徴とする、媒体処理方法。 - 【請求項4】 ディスプレイ上において、イメージデー
タ表示エリアに、複数の項目情報を含んだ媒体のイメー
ジデータの一部が表示されている状態で、該ディスプレ
イに表示されている所望項目のイメージデータ部分に対
応するデータを入力するに当たり、該イメージデータ表
示エリアとは別に該ディスプレイに設定された項目表示
エリアにおける各項目用データ入力表示エリア部分の所
望項目用データ入力表示エリア部分に、カーソル表示が
なされると、対応する所望項目のイメージデータ部分の
みが強調表示されるとともに、 その後、更に該ディスプレイに表示されていない他の項
目のイメージデータ部分に対応するデータを入力するに
当たり、カーソル表示を該所望項目用データ入力表示エ
リア部分から該他の項目用データ入力表示エリア部分に
移動させると、対応する所望項目のイメージデータ部分
の強調表示が解除される一方、該他の項目のイメージデ
ータ部分が該ディスプレイの該イメージデータ表示エリ
アに表示されるようにスクロールを行なって、該他の項
目のイメージデータ部分を該ディスプレイの該イメージ
データ表示エリアに表示させるとともに、対応する他の
項目のイメージデータ部分が強調表示されることを特徴
とする、媒体処理方法。 - 【請求項5】 複数の項目項目情報を含んだ媒体のイメ
ージデータを入力するイメージデータ入力装置と、 イメージデータ表示エリアと各項目用データ入力表示エ
リア部分を有する項目表示エリアとを有するディスプレ
イと、 該イメージデータ表示エリアに該イメージデータ入力装
置にて得られた該イメージデータを表示させるととも
に、データ入力手段により所望項目のイメージデータ部
分に対応するデータを入力するに当たり、該項目表示エ
リアにおける該所望項目用データ入力表示エリア部分に
カーソル表示を行なわせる表示制御装置とをそなえ、 該表示制御装置により、該ディスプレイにおける該イメ
ージデータ表示エリアに、複数の項目情報を含んだイメ
ージデータが表示されている状態で、該項目表示エリア
における各項目用データ入力表示エリア部分の所望項目
用データ入力表示エリア部分に、カーソル表示がなされ
ると、対応する所望項目のイメージデータ部分のみを強
調表示させるイメージデータ部分強調表示手段をそなえ
ていることを特徴とする、媒体処理装置。 - 【請求項6】 該表示制御装置が、該イメージデータ部
分強調表示手段に加えて、 カーソル移動操作手段によって、該所望項目用データ入
力表示エリア部分とは別の他の項目用データ入力表示エ
リア部分に、カーソル表示が遷移せしめられると、該項
目対応のイメージデータ部分の強調表示を解除するイメ
ージデータ強調表示解除手段と、 該イメージデータ強調表示解除手段に連動して、該他の
項目用データ入力表示エリア部分に対応する他の項目の
イメージデータ部分のみを該イメージデータ部分強調表
示手段にて強調表示させるよう制御する強調表示遷移制
御手段とをそなえていることを特徴とする、請求項5記
載の媒体処理装置。 - 【請求項7】 該表示制御装置が、上記のイメージデー
タ部分強調表示手段,イメージデータ強調表示解除手段
及び強調表示遷移制御手段に加えて、 該イメージデータの一部を該ディスプレイ上に表示して
いる状態から該ディスプレイ上に表示されていない該イ
メージデータを表示させる表示画面スクロール手段をそ
なえていることを特徴とする、請求項5記載の媒体処理
装置。 - 【請求項8】 該イメージデータ部分強調表示手段が、
強調表示部分を外部からの指示により変更しうる変更手
段をそなえていることを特徴とする、請求項5〜7のい
ずれか1項に記載の媒体処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25234299A JP3463009B2 (ja) | 1995-07-31 | 1999-09-06 | 媒体処理方法及び媒体処理装置 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19485295 | 1995-07-31 | ||
JP7-194852 | 1995-07-31 | ||
JP7-194851 | 1995-07-31 | ||
JP19485195 | 1995-07-31 | ||
JP19562695 | 1995-07-31 | ||
JP7-195626 | 1995-07-31 | ||
JP25234299A JP3463009B2 (ja) | 1995-07-31 | 1999-09-06 | 媒体処理方法及び媒体処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP09507471A Division JP3088019B2 (ja) | 1995-07-31 | 1996-07-30 | 媒体処理装置及び媒体処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000113100A true JP2000113100A (ja) | 2000-04-21 |
JP3463009B2 JP3463009B2 (ja) | 2003-11-05 |
Family
ID=27475730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25234299A Expired - Lifetime JP3463009B2 (ja) | 1995-07-31 | 1999-09-06 | 媒体処理方法及び媒体処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3463009B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006065827A (ja) * | 2004-08-30 | 2006-03-09 | Toramatsu Shintani | 帳票保持、帳票編集、及び帳票共有プログラム |
JP2011150466A (ja) * | 2010-01-20 | 2011-08-04 | Fujitsu Ltd | 文字列認識装置、文字列認識プログラムおよび文字列認識方法 |
JPWO2015141110A1 (ja) * | 2014-03-18 | 2017-04-06 | パナソニックIpマネジメント株式会社 | 入力装置、サーバ、入力プログラム及び入力方法 |
JP2019169025A (ja) * | 2018-03-26 | 2019-10-03 | 株式会社Pfu | 情報処理装置、文字認識エンジン選択方法及びプログラム |
JP2021012741A (ja) * | 2020-10-22 | 2021-02-04 | 日本電気株式会社 | 画像処理装置、画像処理方法およびプログラム |
US11605219B2 (en) | 2018-04-02 | 2023-03-14 | Nec Corporation | Image-processing device, image-processing method, and storage medium on which program is stored |
US11949828B2 (en) | 2020-03-26 | 2024-04-02 | Fujifilm Business Innovation Corp. | Information processing apparatus, information processing system, and non-transitory computer readable medium for performing preprocessing and character recognition to acquire item and value of image |
-
1999
- 1999-09-06 JP JP25234299A patent/JP3463009B2/ja not_active Expired - Lifetime
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006065827A (ja) * | 2004-08-30 | 2006-03-09 | Toramatsu Shintani | 帳票保持、帳票編集、及び帳票共有プログラム |
JP2011150466A (ja) * | 2010-01-20 | 2011-08-04 | Fujitsu Ltd | 文字列認識装置、文字列認識プログラムおよび文字列認識方法 |
JPWO2015141110A1 (ja) * | 2014-03-18 | 2017-04-06 | パナソニックIpマネジメント株式会社 | 入力装置、サーバ、入力プログラム及び入力方法 |
JP2019169025A (ja) * | 2018-03-26 | 2019-10-03 | 株式会社Pfu | 情報処理装置、文字認識エンジン選択方法及びプログラム |
US11605219B2 (en) | 2018-04-02 | 2023-03-14 | Nec Corporation | Image-processing device, image-processing method, and storage medium on which program is stored |
US11949828B2 (en) | 2020-03-26 | 2024-04-02 | Fujifilm Business Innovation Corp. | Information processing apparatus, information processing system, and non-transitory computer readable medium for performing preprocessing and character recognition to acquire item and value of image |
JP7468057B2 (ja) | 2020-03-26 | 2024-04-16 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム、及び情報処理プログラム |
JP2021012741A (ja) * | 2020-10-22 | 2021-02-04 | 日本電気株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7111143B2 (ja) | 2020-10-22 | 2022-08-02 | 日本電気株式会社 | 画像処理装置、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3463009B2 (ja) | 2003-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3088019B2 (ja) | 媒体処理装置及び媒体処理方法 | |
US5193121A (en) | Courtesy amount read and transaction balancing system | |
US20020141660A1 (en) | Document scanner, system and method | |
JPH0573598A (ja) | 書類処理方法と書類処理システム | |
JP2004139484A (ja) | 帳票処理装置、該装置実行のためのプログラム、及び、帳票書式作成プログラム | |
JP3422924B2 (ja) | 文字認識装置、文字認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
WO2000052645A1 (fr) | Dispositif de traitement d'image document, procede d'extraction de titre de document et procede d'information d'etiquetage de document | |
JP7444495B2 (ja) | Ocrベース文書分析システム及び方法 | |
JP3463008B2 (ja) | 媒体処理方法及び媒体処理装置 | |
JP3463009B2 (ja) | 媒体処理方法及び媒体処理装置 | |
JP4356908B2 (ja) | 財務諸表自動入力装置 | |
JP5134383B2 (ja) | Ocr装置、証跡管理装置及び証跡管理システム | |
JP3946043B2 (ja) | 帳票識別装置及び識別方法 | |
JP2006252575A (ja) | 財務諸表自動入力装置及び財務諸表自動入力方法 | |
JPH11102416A (ja) | 帳票読取方向判定装置および帳票読取方向判定方法 | |
JPH0327471A (ja) | 画像登録方式 | |
JP4418823B2 (ja) | 帳票識別装置及びその識別方法 | |
CN100367288C (zh) | 数据媒体处理装置及数据媒体处理方法 | |
JPH0689330A (ja) | 画像ファイリングシステム | |
Ogata et al. | Form-type identification for banking applications and its implementation issues | |
JP3929560B2 (ja) | 誤記自動修正方法、読取装置、および誤記自動修正プログラムを記録したコンピュータ読み取り可能な記憶媒体 | |
JPH05303661A (ja) | イメージデータ部分取得表示装置 | |
JPH07296102A (ja) | データ入力方式 | |
JPH0420506B2 (ja) | ||
JPH0830719A (ja) | 帳票類読取装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030408 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030805 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100815 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 10 |
|
EXPY | Cancellation because of completion of term |