JP6174466B2 - Form recognition device, form recognition method, and program - Google Patents
Form recognition device, form recognition method, and program Download PDFInfo
- Publication number
- JP6174466B2 JP6174466B2 JP2013241716A JP2013241716A JP6174466B2 JP 6174466 B2 JP6174466 B2 JP 6174466B2 JP 2013241716 A JP2013241716 A JP 2013241716A JP 2013241716 A JP2013241716 A JP 2013241716A JP 6174466 B2 JP6174466 B2 JP 6174466B2
- Authority
- JP
- Japan
- Prior art keywords
- item value
- item
- score
- character string
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Description
本発明は、帳票認識装置、帳票認識方法及びプログラムに係り、特に帳票画像上に記載される文字列の属性の理解と文字列認識の技術に関する。 The present invention relates to a form recognition apparatus, a form recognition method, and a program, and more particularly, to a technique for understanding attributes of a character string described on a form image and character string recognition.
光学式文字認識装置（ＯＣＲ）に代表される従来の帳票認識装置は、あらかじめ読取対象文字列の帳票画像上での記載位置とその属性をユーザが事前に装置に登録しておく「帳票定義」により、読取対象文字列の読取および当該文字列の属性の理解を行っていた。 A conventional form recognition apparatus represented by an optical character recognition apparatus (OCR) is a “form definition” in which a user registers in advance the description position and its attributes on a form image of a character string to be read in advance. Thus, the reading of the character string to be read and the understanding of the attribute of the character string are performed.
帳票処理業務において、処理する帳票のレイアウト、すなわち文字列の記載位置や枠の記載位置、枠の並びが統一されており、帳票画像における読取対象文字列の記載位置が固定である場合には、前記の帳票定義を事前に装置に登録することで読取対象文字列の位置検出および該文字列の属性の理解を行っていた。一方で、多種レイアウトが混在する帳票処理業務や、処理する帳票のレイアウトが未知である帳票処理業務が存在する。 In the form processing business, when the layout of the form to be processed, that is, the description position of the character string, the description position of the frame, and the arrangement of the frames are unified, and the description position of the character string to be read in the form image is fixed, By registering the form definition in the apparatus in advance, the position of the character string to be read is detected and the attributes of the character string are understood. On the other hand, there is a form processing operation in which various layouts are mixed and a form processing operation in which the layout of the form to be processed is unknown.
図２は、従来手法における入力対象の帳票画像の例である。
多種レイアウトとは、図２に示す帳票例２００，２０１のように、読取対象文字列の記載位置が帳票ごとに異なることである。図２の例は、帳票画像内から「振込先口座番号」「納入金額」「納入期限日付」を読み取る例であるが、それぞれ記載位置が異なるため、帳票ごとに帳票定義を作成する必要がある。業務によっては帳票レイアウトの種類が数万種類に及ぶ場合もあり、帳票定義による認識は、帳票定義の作成コストが膨大になり利用できなかった。
FIG. 2 is an example of a form image to be input in the conventional method.
The various layouts mean that the description position of the character string to be read differs for each form as in the form examples 200 and 201 shown in FIG. The example of FIG. 2 is an example of reading the “transfer account number”, “delivery amount”, and “delivery date” from the form image. However, since the description positions are different, it is necessary to create a form definition for each form. . Depending on the business, there may be several tens of thousands of forms layout types, and the recognition by the form definition cannot be used due to the enormous cost of creating the form definition.
多種レイアウト帳票に対して帳票定義を用いずに認識する技術として、例えば特許文献１に開示の技術のように、帳票画像から文字列領域を検出し、検出された文字列に対して単語照合や表記照合をすることにより、項目名らしさを表す項目名尤度と、項目値らしさを表す項目値尤度を計算し、検出された前記文字列の組み合わせからなる文字列ペアに対し、前記文字列ペアの配置関係の項目名−項目値関係としての妥当さを表す配置尤度を計算し、項目名尤度、前記項目値尤度、配置尤度の値から、項目名−項目値関係の評価値を計算し、帳票画像内の項目名−項目値関係を決定する方式がある。
As a technique for recognizing various layout forms without using a form definition, for example, as in the technique disclosed in
具体的には、項目名とは、例えばデータの属性を表す文字列であり、図２の帳票例２００では「口座番号」や「金額」「納入期限」が相当する。項目値とは項目名に対するデータの文字列であり、「１２３４５−６−７８９０１」や「１０，０００」、「２２年３月１日」が相当する。項目名―項目値関係とは、同じ属性の項目名と項目値のペアであり、例えば「口座番号」と「１２３４５−６−７８９０１」が相当する。 Specifically, the item name is a character string representing, for example, data attributes, and corresponds to “account number”, “money amount”, and “delivery deadline” in the form example 200 in FIG. The item value is a character string of data corresponding to the item name, and corresponds to “12345-6-78901”, “10,000”, and “March 1, 22”. The item name-item value relationship is a pair of an item name and an item value having the same attribute, and corresponds to, for example, “account number” and “12345-6-78901”.
また、特許文献２の方式では、帳票を論理的に構成する論理要素（項目名や項目値）からなる論理構造を、論理要素となる文字列と当該文字列の出現頻度および論理要素間の相対位置に関する頻度によって定義した辞書を帳票種ごとに作成し、帳票画像内の文字列と辞書内の論理構造を照合することにより、帳票画像内の文字列が論理構造内の論理要素である確率により、帳票画像内から読取対象の文字列を読み取る。
Further, in the method of Patent Document 2, a logical structure composed of logical elements (item names and item values) that logically constitute a form is obtained by using a character string that is a logical element, an appearance frequency of the character string, and a relative relationship between the logical elements. By creating a dictionary defined by the frequency of position for each form type and comparing the character string in the form image with the logical structure in the dictionary, the probability that the character string in the form image is a logical element in the logical structure The character string to be read is read from the form image.
特許文献１の方式では、項目名と項目値のペアを検出するため、項目名が記載されていない場合には項目値を正しく抽出することはできないという課題がある。
In the method of
図３は、本発明及び／又は本実施例が目的とする入力対象の帳票画像の例である。
例えば、図３の帳票例から「銀行」、「支店」、「預金種目」、「口座番号」の項目名に対する項目値を抽出する場合、帳票例３００には項目名と項目値が記載されているため、ペアを抽出することで４つの項目値を抽出できる。しかし、帳票例３０１には「支店」と「預金種目」の項目名の記載がないため「ＹＹＹ銀行」と「普通」を抽出することがむずかしい。
FIG. 3 is an example of a form image to be input that is intended by the present invention and / or the present embodiment.
For example, when the item values for the item names “bank”, “branch”, “deposit type”, and “account number” are extracted from the form example in FIG. 3, the
特許文献２の方式では、帳票種ごとに、論理構造辞書内の論理要素の出現頻度や論理要素間の相対位置の頻度を定義するため、辞書の作成コストが膨大になってしまう。また、論理構造辞書と整合性のとれないレイアウトの帳票の場合、正しい認識結果が得られず、汎用性が低下する場合がある。さらに、文字列単位で全ての項目名と項目値の単語との照合を行うため、銀行名等のように単語数が数千の場合、処理時間が増大するという課題もある。 In the method of Patent Document 2, the appearance frequency of the logical elements in the logical structure dictionary and the frequency of the relative position between the logical elements are defined for each form type, resulting in a huge dictionary creation cost. In addition, in the case of a form with a layout that is inconsistent with the logical structure dictionary, a correct recognition result cannot be obtained, and versatility may be reduced. Furthermore, since all item names and item value words are collated in units of character strings, there is a problem that the processing time increases when the number of words is several thousand, such as bank names.
本発明は、このような課題に鑑みてなされたものである。
すなわち、本発明は、項目名が記載されていなくても項目値を抽出する帳票認識方式を提供することを第１の課題とする。
また、本発明は、辞書の作成コストを極力少なくかつ様々なレイアウトの帳票に対しても、汎用性高く認識できる帳票認識方式を提供することを第２の課題とする。
また、本発明は、項目値の単語照合の処理コストが少ない帳票認識方式を提供することを第３の課題とする。
The present invention has been made in view of such problems.
That is, the first object of the present invention is to provide a form recognition method for extracting item values even if item names are not described.
It is a second object of the present invention to provide a form recognition method that can recognize a document with a high versatility even for forms with various layouts with a minimal dictionary creation cost.
In addition, a third object of the present invention is to provide a form recognition method with a low processing cost for item value word matching.
本発明の第１の解決手段によると、
帳票認識装置であって、
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力する画像入力部と、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算する項目値表記スコア計算部と、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算する項目値単語スコア計算部と、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とする項目値候補選択部と、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算する項目値候補配置スコア計算部と、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算する項目値候補ペアスコア計算部と、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識する項目値グループ評価部と、
前記帳票画像内の文字列の認識結果を記憶する記憶部又は出力する出力部と
を備えたことを特徴とする帳票認識装置が提供される。
According to the first solution of the present invention,
A form recognition device,
An item name that is a character string representing the attribute of the data, and an image input unit that inputs a form image including the character string of the data for the item name;
An item value notation score calculator for calculating an item value notation score representing the probability that the character string is an item value for the character string in the form image recognized from the form image;
An item value word score calculation unit for calculating an item value word score representing a probability that the character string is an item value word indicating a detailed item value registered in advance for the character string in the form image;
A score including both the item value notation score and the item value word score is set as an item value score (Sv), a character string having the item value score higher than a predetermined threshold is selected as an item value candidate, and the item value An item value candidate selection unit having the score (Sv) as the item value candidate score (Sc);
When a combination of item values of a plurality of attributes related to each other in the form image is set as an item value group for the item value candidate character string pair in the form image, the arrangement relationship of the character string pairs is An item value candidate arrangement score calculation unit for calculating an item value candidate arrangement score (Sca) indicating whether the item value of the item value group is valid;
Based on the item value score (Sv) and the item value arrangement score (Sca) for the character string pair of the item value candidate in the form image, the character string pair is a likelihood as an item value of the item value group. An item value candidate pair score calculation unit for calculating an item value candidate pair score (Scp), which is an evaluation value representing the likelihood,
An item value group evaluation unit that recognizes a character string of an item value by evaluating a correspondence between the character string in the form image and the item value group by the item value candidate pair score (Scp);
There is provided a form recognition apparatus comprising a storage unit for storing a recognition result of a character string in the form image or an output unit for outputting.
本発明の第２の解決手段によると、
帳票認識方法であって、
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力し、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算し、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算し、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とし、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算し、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算し、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記帳票画像内の文字列の認識結果を記憶する又は出力する
ことを特徴とする帳票認識方法が提供される。
According to the second solution of the present invention,
A form recognition method,
Enter the item name that is the character string that represents the attribute of the data and the form image that contains the data character string for the item name,
An item value notation score representing the probability that the character string is an item value is calculated for the character string in the form image recognized from the form image,
For the character string in the form image, calculate an item value word score representing the probability that the character string is an item value word indicating a detailed item value registered in advance,
A score including both the item value notation score and the item value word score is set as an item value score (Sv), a character string having the item value score higher than a predetermined threshold is selected as an item value candidate, and the item value Let the score (Sv) be the item value candidate score (Sc),
When a combination of item values of a plurality of attributes related to each other in the form image is set as an item value group for the item value candidate character string pair in the form image, the arrangement relationship of the character string pairs is Calculating an item value candidate arrangement score (Sca) indicating whether the item value of the item value group is valid;
Based on the item value score (Sv) and the item value arrangement score (Sca) for the character string pair of the item value candidate in the form image, the character string pair is a likelihood as an item value of the item value group. An item value candidate pair score (Scp) that is an evaluation value representing the likelihood is calculated,
Recognizing the character string of the item value by evaluating the correspondence between the character string in the form image and the item value group by the item value candidate pair score (Scp),
A form recognition method is provided that stores or outputs a recognition result of a character string in the form image.
本発明の第３の解決手段によると、
帳票認識プログラムであって、
制御部が、画像入力部により、データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力するステップと、
前記制御部が、前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算するステップと、
前記制御部が、前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算するステップと、
前記制御部が、前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とするステップと、
前記制御部が、前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算するステップと、
前記制御部が、前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算するステップと、
前記制御部が、前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記制御部が、前記帳票画像内の文字列の認識結果を記憶部に記憶する又は出力部に出力するステップと
をコンピュータに実行させるための帳票認識プログラムが提供される。
According to the third solution of the present invention,
A form recognition program,
A step of inputting, by the image input unit, an item name that is a character string representing an attribute of data and a form image including a character string of data for the item name;
The controller calculates an item value notation score representing a probability that the character string is an item value for the character string in the form image recognized from the form image;
The control unit calculates an item value word score representing a probability that the character string is an item value word indicating a detailed item value registered in advance for the character string in the form image;
The control unit selects a score including both the item value notation score and the item value word score as an item value score (Sv), and selects a character string having the item value score higher than a predetermined threshold as an item value candidate The item value score (Sv) as an item value candidate score (Sc);
When the control unit sets a combination of item values of a plurality of attributes related to each other in the form image as an item value group for the item value candidate character string pair in the form image, the character string pair Calculating an item value candidate arrangement score (Sca) indicating whether or not the arrangement relationship is valid as an item value of each of the item value groups;
Based on the item value score (Sv) and the item value arrangement score (Sca), the control unit sets the character string pair of the item value group to the item value candidate character string pair in the form image. Calculating an item value candidate pair score (Scp) that is an evaluation value representing the likelihood as the item value;
The control unit recognizes the character string of the item value by evaluating the association between the character string in the form image and the item value group based on the item value candidate pair score (Scp),
There is provided a form recognition program for causing the computer to execute a step of storing a recognition result of a character string in the form image in a storage unit or outputting it to an output unit.
本発明により、多種レイアウトの帳票が混在する帳票処理業務において、厳密な帳票定義なしに帳票を認識することができる。また、項目名の記載がない項目についても認識することができる。さらに、文字認識誤りに頑健に認識することができる。 According to the present invention, a form can be recognized without a strict form definition in a form processing operation in which forms of various layouts are mixed. It is also possible to recognize an item for which no item name is described. Furthermore, it is possible to robustly recognize character recognition errors.
以下、本発明の実施の形態を説明する。なお、これにより本発明が限定されるものではない。具体的な処理の内容を説明する前に、本発明の概略について説明する。
Embodiments of the present invention will be described below. Note that the present invention is not limited thereby. The outline of the present invention will be described before describing the details of specific processing.
Ａ．概要
本実施例は、多種レイアウトが混在する帳票群を、読取対象文字列の記載位置および当該文字列の属性を事前に登録する帳票定義なしに、読取対象文字列の読取および当該文字列の属性の判定を行うものである。さらに、項目名の記載がない帳票においても属性の判定を行うものである。
このために、本実施例では互いに関係する複数の項目値の組合せを「項目値グループ」とし、その属性の組合せをあらかじめ指定する。帳票上の複数の文字列と項目値グループとの照合を行うことにより、各項目値の文字列を判定する。具体的には、項目名とは、例えばデータの属性を表す文字列である。項目値とは、例えば項目名に対するデータの文字列である。ここで、図３を例とすると、項目値グループを構成する属性は「銀行」「支店」「口座種別」「口座番号」の４項目であり、それぞれの項目値は「ＸＸＸ銀行」「ＹＹＹ支店」「普通」「１２３４５６７」が挙げられる。
A. Overview
In this embodiment, a group of forms in which various layouts are mixed can be obtained by reading the character string to be read and the attribute of the character string without the form definition for registering the description position of the character string to be read and the attribute of the character string in advance. Judgment is performed. In addition, the attribute is determined even for a form in which no item name is described.
For this reason, in this embodiment, a combination of a plurality of item values related to each other is set as an “item value group”, and the attribute combination is designated in advance. A character string of each item value is determined by collating a plurality of character strings on the form with the item value group. Specifically, the item name is a character string representing, for example, data attributes. The item value is, for example, a character string of data for the item name. Here, taking FIG. 3 as an example, the attributes constituting the item value group are four items of “bank”, “branch”, “account type”, and “account number”, and the item values are “XXX bank” and “YYY branch”. "Ordinary""1234567".
この機能を実現するためには、帳票画像から抽出された文字列から項目値グループを特定することが必要である。本実施例では、帳票画像内の全文字列又は予め定められた範囲若しくは数等の文字列に対し、当該文字列が項目値である確率に相当する項目値スコアを計算し、項目値スコアが既定の値を超えたものを各属性における項目値の候補とする（以下、項目値候補と記載）。次に、属性の異なる２つの項目値候補の配置関係が妥当であるかを評価する評価尺度である項目値配置スコアを計算する。さらに、全ての項目値スコアと項目値配置スコアを評価することにより、項目値グループを構成する文字列を決定する。 In order to realize this function, it is necessary to specify an item value group from a character string extracted from a form image. In this embodiment, an item value score corresponding to the probability that the character string is an item value is calculated for all character strings in the form image or a character string such as a predetermined range or number, and the item value score is Items exceeding a predetermined value are set as item value candidates for each attribute (hereinafter referred to as item value candidates). Next, an item value arrangement score which is an evaluation scale for evaluating whether the arrangement relationship between two item value candidates having different attributes is appropriate is calculated. Further, by evaluating all item value scores and item value arrangement scores, character strings constituting the item value group are determined.
具体的には、以下の順序により、帳票内の項目値グループの文字列を決定する。
（１）全ての文字列内の文字を識別し、文字の確からしさを表す文字スコアを計算する。（２）項目値のうち、「ＸＸＸ銀行」や「普通」などの単語で記載されるものについては、ユーザが事前に登録した項目値の単語リストである項目値単語辞書内の項目値単語と、帳票画像内の文字列とを照合し、項目値単語辞書内の全ての項目値単語と、帳票画像内の全文字列との組み合わせに対して、「項目値単語スコア」を計算する。
（３）項目値のうち、日付や、金額、口座番号などの汎用的に利用できる文法表記ルールによって記載されるものについては、ユーザが事前に文法表記ルールを定義した項目値表記辞書内の項目値表記と、帳票画像内の文字列とを照合し、項目値表記辞書内の全ての又は予め定められた項目値表記と、帳票画像内の全文字列との組み合わせに対して、「項目値表記スコア」を計算する。
（４）（２）と（３）の結果から、項目値単語辞書を定義した属性については項目値単語スコアを、項目値表記辞書を定義した属性については項目値表記スコアを「項目値候補スコア」とする。この値が閾値を超える文字列を「項目値候補」とする。
（５）２つの項目値の配置関係が項目値グループ内の文字列として妥当な配置関係であるかを評価するルールを用いて、属性の異なる２つの項目値候補の組み合わせからなる全ての項目値候補ペアに対して、「項目値候補配置スコア」を計算する。
（６）項目値単語スコア、項目値表記スコア、項目値候補配置スコアを基に、全ての項目値候補ペアに対して、当該項目値候補ペアが項目値グループ内で妥当な関係にあるかを表す評価値を計算し、前記評価値を基に帳票画像内から項目値グループ内の各項目値に相当する文字列を抽出する。
Specifically, the character string of the item value group in the form is determined in the following order.
(1) Characters in all character strings are identified, and a character score representing the likelihood of the character is calculated. (2) Among the item values, items described in words such as “XXX bank” and “ordinary” are the item value words in the item value word dictionary which is a word list of the item values registered in advance by the user. The character string in the form image is collated, and the “item value word score” is calculated for the combination of all the item value words in the item value word dictionary and all the character strings in the form image.
(3) For items described in general grammar notation rules such as date, amount, and account number, items in the item value notation dictionary in which the user has defined grammar notation rules in advance The value notation and the character string in the form image are collated, and the combination of all or predetermined item value notations in the item value notation dictionary and all the character strings in the form image is Calculate "notation score".
(4) From the results of (2) and (3), the item value word score for the attribute defining the item value word dictionary and the item value notation score for the attribute defining the item value notation dictionary are “item value candidate scores”. " A character string whose value exceeds the threshold value is set as an “item value candidate”.
(5) All item values composed of combinations of two item value candidates with different attributes using a rule for evaluating whether the arrangement relationship between two item values is a reasonable arrangement relationship as a character string in the item value group. The “item value candidate placement score” is calculated for the candidate pair.
(6) Based on the item value word score, the item value notation score, and the item value candidate placement score, whether or not the item value candidate pair has an appropriate relationship in the item value group for all item value candidate pairs. An evaluation value to be expressed is calculated, and a character string corresponding to each item value in the item value group is extracted from the form image based on the evaluation value.
前記課題を解決するために、本実施例は、例えば、
帳票画像を入力し、当該帳票画像内の文字列の認識処理を行う帳票認識装置であって、
前記帳票画像から文字列領域を検出する文字列検出部と、
前記文字列領域の個々の文字を認識する文字列認識部と、
帳票画像内の文字列に対し、当該文字列が項目値の表記である確率を表す項目値表記スコアを計算する項目値表記スコア計算部と、
帳票画像内の文字列に対し、当該文字列が項目値の単語である確率を表す項目値単語スコアを計算する項目値単語スコア計算部と、
項目値表記スコアと項目値単語スコアの両方を項目値スコアとし、項目値スコアが高い文字列を項目値候補として選択する項目値候補選択部と、
帳票画像内の項目値候補の文字列ペアに対し、帳票内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、当該文字列ペアの配置関係が項目値グループの項目値として妥当であるかを表す項目値候補配置スコアを計算する項目値候補配置スコア計算部と、
帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア、項目値配置スコアを基に、当該文字列ペアが項目値グループの項目値としての尤もらしさを表す評価値を計算する項目値候補ペアスコア計算部と、
前記項目値候補ペアスコアにより、帳票画像内の文字列と項目値グループとの対応付けを評価ことで項目値の文字列を決定する項目値グループ評価部とを備えることを特徴とする。
In order to solve the above-described problem, the present embodiment provides, for example,
A form recognition device that inputs a form image and performs recognition processing of a character string in the form image,
A character string detection unit for detecting a character string region from the form image;
A character string recognition unit for recognizing individual characters in the character string region;
An item value notation score calculation unit for calculating an item value notation score representing a probability that the character string is an item value notation for the character string in the form image;
An item value word score calculation unit for calculating an item value word score representing a probability that the character string is an item value word for the character string in the form image;
An item value candidate selection unit that selects both the item value notation score and the item value word score as item value scores, and selects a character string having a high item value score as an item value candidate,
When a combination of item values of multiple attributes related to each other in a form is used as an item value group for the item value candidate character string pair in the form image, the arrangement relationship of the character string pair is the item value group item. An item value candidate arrangement score calculation unit for calculating an item value candidate arrangement score representing whether the value is valid,
An item for calculating an evaluation value indicating the likelihood that the character string pair is an item value of the item value group based on the item value score and the item value arrangement score for the character value pair of the item value candidate in the form image A value candidate pair score calculator,
An item value group evaluation unit that determines the character string of the item value by evaluating the association between the character string in the form image and the item value group based on the item value candidate pair score.
以下、本発明の一実施例になる帳票認識装置および帳票認識方法について、図面を用いて詳細に説明する。
Hereinafter, a form recognition apparatus and a form recognition method according to an embodiment of the present invention will be described in detail with reference to the drawings.
Ｂ．装置
図１は、本発明の帳票認識装置のハードウェア構成例である。本実施例の帳票認識装置１００は、操作部１１０と、表示部１２０と、画像入力部１３０と、記憶部１４０と、制御部１５０と、インターフェース（ＩＦ）１６０とを備えるコンピュータ装置である。操作部１１０は、ユーザが数字や文字の入力操作を行う際に利用するキーボードや、スキャンの開始を指示するためのボタン等を有する操作部である。表示部１２０は、入力画像や認識結果等を表示する液晶ディスプレイ等を有する表示部である。画像入力部１３０は、フラットベッドスキャナやオートシートフィーダ付きのスキャナ、およびＣＣＤ（Charge Coupled Device）等の撮像素子を用いて画像を撮像するデジタルカメラ等の撮像部である。記憶部１４０は、メモリやハードディスク装置等からなる記憶デバイスであり、画像入力部１３０で入力された画像や各種内部処理用プログラム、および各種設定データを記憶する。また、記憶部１４０は、文字識別辞書や項目値単語辞書、項目値表記辞書等を記憶する。制御部１５０は、文字列の検出や文字列認識、項目値グループの解析を行う帳票認識や装置全体の制御を行う。なお、入力画像は、画像入力部１３０から撮像する替わりに記憶部１４０内に記録された画像データを用いてもよい。ＩＦ１６０は、他の装置とデータを入出力する。
B. apparatus
FIG. 1 is a hardware configuration example of a form recognition apparatus according to the present invention. The
Ｃ．動作概要
次に、図４から図７を用いて、制御部１５０における帳票認識の4種類の処理フローを示す。
（第１実施形態）
図４に、制御部１５０における帳票認識の処理フロー図を示す。
まず、ステップ４０５の画像入力において、制御部１５０は、画像入力部１３０から画像を入力する。
次に、ステップ４１０の枠検出において、制御部１５０は、入力された帳票画像から枠（セル）を検出する。
C. Overview of operation
Next, using FIG. 4 to FIG. 7, four types of processing flows for form recognition in the
(First embodiment)
FIG. 4 shows a process flow diagram of form recognition in the
First, in the image input in
Next, in the frame detection in
次に、ステップ４２０の文字列検出において、制御部１５０は、帳票画像から文字列領域を検出する。文字列領域とは、ある１つの文字列を含む矩形領域である。ステップ４１０および４２０の具体例として、例えば、特開平１１−５３４６６号公報に開示の技術のように、帳票画像から縦と横の罫線を抽出し、２本の罫線の交点を抽出し、交点の形状と配置関係から矩形枠の四隅に相当する右上角、左上角、右下角、左下角を検出することにより、帳票画像内から枠を検出し、枠内外の文字列領域を検出する方式を利用することができる。
Next, in the character string detection in
ステップ４３０の文字列認識では、制御部１５０は、ステップ４２０において検出された文字列領域を個々の文字領域に分割し、個々の文字領域のパターンを文字識別辞書を用いて識別する。ステップ４３０の文字識別の具体例として、例えば、非特許文献：F.Kimura et. al. “Modified quadratic discriminant functions and the application to chinese character recognition ”IEEETransaction on Pattern Analysis and Machine Intelligence、 vol.9、 pp.149-153に開示の技術（改良型投影距離：MQDF）がある。この方式では、大量の文字パターンを用いて文字識別辞書を作成する際にベイズの定理から導かれる距離尺度である識別関数を文字カテゴリごとに導出し、入力された文字パターンを識別する際には識別関数の出力する値に基づいて、文字カテゴリに分類することで、個々の文字を識別する。
In the character string recognition in
ステップ４４０の項目値表記スコア計算では、制御部１５０は、ステップ４３０において認識された各文字列の文字列認識結果ごとに、項目値表記辞書と照合し、当該文字列が項目値表記辞書に登録された文字列の文法表記ルールとの一致度を表す項目値表記スコアを計算する。ステップ４４０の処理は、後に詳細に説明する。
In the item value notation score calculation in
ステップ４５０の項目値単語スコア計算では、制御部１５０は、ステップ４３０において認識された各文字列の文字列認識結果ごとに、項目値単語辞書と照合し、当該文字列が項目値単語辞書に登録された単語である確率を表す項目値単語スコアを計算する。ステップ４５０の処理は、後に詳細に説明する。
In the item value word score calculation of
ステップ４６０の項目値候補選択では、制御部１５０は、ステップ４４０で計算した項目値表記スコアとステップ４５０で計算した項目値単語スコアが閾値を超えた文字列を項目値候補として選定する。ステップ４６０の処理は、後に詳細に説明する。
ステップ４７０の項目値候補配置スコア計算では、制御部１５０は、ステップ４６０で選定した項目値候補に対して、互いに属性が異なる２つの項目値候補の配置関係の妥当さを表す項目値候補配置スコアを計算する。項目値候補配置スコアは、２つの文字列が属する枠の配置関係や、２つの文字列の配置関係を基に計算する。ステップ４７０の処理は、後に詳細に説明する。
In the item value candidate selection at
In the item value candidate arrangement score calculation in
ステップ４８０の項目値候補ペアスコア計算では、制御部１５０は、ステップ４４０において計算された項目値表記スコア、ステップ４５０において計算された項目値単語スコア、ステップ４７０において計算された項目値候補配置スコアを基に、各スコアの数値から２つの項目値候補のペアが項目値グループの一部としての妥当さを表す項目値候補ペアスコアを計算する。項目値候補ペアスコアの計算には、例えば、項目値表記スコア、項目値単語スコア、項目値候補配置スコアを代入することで評価値を出力する評価関数を用いる方法などがある。ステップ４８０の処理は、後に詳細に説明する。
In the item value candidate pair score calculation in
ステップ４９０の項目値グループ評価では、制御部１５０は、ステップ４８０で計算された評価値を基に、帳票画像内での項目値候補から項目値グループを構成する文字列を決定する。例えば、項目値グループを構成する全ての属性を満たす項目値候補ペアの組合せ（例えば、銀行−支店ペア、支店−口座種別ペア、口座種別−口座番号ペアの組合せ）のうち、項目値候補ペアスコアの総和が最大となるものを選択する。もしくは、ある閾値以上となる組合せを選択する。項目値候補ペアの組合せを決定することにより、文字列の認識結果および該文字列の属性が決定される。ステップ４９０の処理は、後に詳細に説明する。
In the item value group evaluation in
ステップ４９５の記憶および出力では、制御部１５０は、ステップ４８０までの処理で求めた認識結果や途中結果を記憶部１４０に記憶もしくは表示部１２０かＩＦ１６０に出力する。なお、制御部１５０は、別のタイミングで認識結果や途中結果を記憶部１４０から読み出し、表示部１２０かＩＦ１６０に出力してもよい。
なお、図４においてステップ４４０とステップ４５０はどちらを先に処理してもかまわない。
In the storage and output in
In FIG. 4, either step 440 or step 450 may be processed first.
以上のように、本実施形態によると、項目名が記載されていなくても項目値を抽出することができる。また、本実施形態によると、辞書の作成コストを極力少なくかつ様々なレイアウトの帳票に対しても、汎用性高く認識できる帳票認識方式を提供することができる。
As described above, according to the present embodiment, item values can be extracted even if item names are not described. In addition, according to the present embodiment, it is possible to provide a form recognition method that can recognize a highly versatile form even for forms having various layouts with a minimal dictionary creation cost.
（第２実施形態）
図５に、制御部１５０における帳票認識の別の処理フロー図を示す。図５は図４と比べてステップ５１０とステップ５２０の処理が追加されている。これは、項目値単語照合の処理時間を削減することを目的としている。例えば、銀行名の属性の項目値単語は非常に多いため、帳票中の全ての文字列に対して照合処理を行うと処理時間がかかる。これに対し、銀行名は「ＸＸＸ銀行」「ＡＡＡ信用金庫」など、「銀行」や「信用金庫」などの属性に応じて記載されるキーワード（以降、「項目値キーワード」と記載する）が存在する。項目値キーワードの単語数は項目値単語よりも少ないため、まず項目値キーワード検出により項目値単語が記載される領域を推定し、その領域内のみ項目値単語照合を行うものである。
(Second Embodiment)
FIG. 5 shows another processing flow diagram of form recognition in the
ステップ５１０の項目値キーワード検出では、制御部１５０は、ステップ４３０において認識された各文字列の文字列認識結果ごとに、項目値キーワード辞書と照合し、当該文字列が項目値キーワード辞書に登録されたキーワード単語である確率を表す項目値キーワードスコアを計算し、スコアが閾値以上の文字列を項目値キーワードであると判定する。ステップ５１０の処理は、後に詳細に説明する。
In the item value keyword detection in
ステップ５２０の項目値単語照合文字列選択では、制御部１５０は、ステップ５１０において項目値キーワードと判定された文字列の周囲の文字列を項目値単語照合の候補として選択する。選択方法としては、項目値キーワードが照合された文字列を基準として、その基準文字列の上下左右方向で閾値以内の距離にある文字列を選択する方法や、基準文字列を含む枠の上下左右方向に基準以内の枠内の文字列を選択する方法などがある。ステップ５２０の処理は、後に詳細に説明する。
In the item value word matching character string selection in
なお、図５においてステップ４４０と、ステップ５１０からステップ４５０までの一連の処理はどちらを先に処理してもかまわない。
In FIG. 5, whichever of the series of processing from
以上のように、本実施形態によると、さらに、項目値単語照合の処理時間を削減することができる。
As described above, according to the present embodiment, the processing time for item value word matching can be further reduced.
（第３実施形態）
図６に、制御部１５０における帳票認識の別の処理フロー図を示す。図６は図５と比べてステップ６１０からステップ６３０の処理が追加されており、ステップ４６０が６４０に変更されている。これは、項目名が記載されている項目値の認識率を向上させることを目的としている。帳票画像のノイズやかすれなどの悪影響により、文字列認識誤りが発生し、項目値表記スコアや項目値単語スコアが低い値になることがある。これにより、ステップ４６０の項目値候補選択において、項目値の文字列のスコアが低くなる場合や、選択できない場合がある。このため、後段の処理で正しく項目値グループを決定できないという課題がある。この課題には、例えば特開２０１１−２４８６０９号公報に開示の技術のように、項目名と項目値のペアを求めることで対応することができる。項目名と項目値の両方を評価するため、仮に項目値のスコアが低い場合でも、項目名のスコアにより項目名―項目値ペアを抽出することができる。本実施例では、項目値だけでなく項目名―項目値ペアも項目値候補とする。
(Third embodiment)
FIG. 6 shows another processing flow diagram of form recognition in the
ステップ６１０の項目名スコア計算では、制御部１５０は、ステップ４３０において認識された各文字列の文字列認識結果ごとに、項目名となりうる単語のリストである「項目名辞書」と照合し、当該文字列が項目名辞書に登録された単語である確率を表す項目名スコアを計算する。ステップ６１０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。ステップ６１０の処理は、後に詳細に説明する。
In the item name score calculation of
ステップ６２０の項目名―項目値配置スコア計算では、制御部１５０は、ステップ４１０において検出された枠の座標およびステップ４２０において検出された文字列領域の座標を基に、帳票画像内の文字列ペアをなす２つの文字列間の配置に対して、項目名−項目値関係としての妥当さを表す項目名―項目値配置スコアを計算する。ステップＳ６２０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。ステップ６２０の処理は、後に詳細に説明する。
In the item name-item value arrangement score calculation in
ステップ６２５の項目名―項目値ペアスコア計算では、制御部１５０は、ステップ６１０で計算した項目名スコアと、ステップ４４０で計算した項目値表記スコアとステップ４５０で計算した項目値単語スコアと、ステップ６２０において計算された項目名―項目値配置スコアを基に、各スコアの数値から２つの文字列の項目名−項目値関係の評価値である項目名−項目値ペアスコアを計算する。評価値の計算には、例えば、項目名スコア、項目値単語スコア、項目名表記スコア、項目名―項目値配置スコアを代入することで評価値を出力する評価関数を用いる方法などがある。ステップ６２５の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。ステップ６２５の処理は、後に詳細に説明する。
In the item name-item value pair score calculation in
ステップ６３０の項目名―項目値ペア検出では、制御部１５０は、ステップ６２５で計算した項目名―項目値ペアスコアが閾値を超えた場合に、当該文字列の組合せを項目名と項目値のペアであると判定する。ステップ６３０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。ステップ６３０の処理は、後に詳細に説明する。
In the item name-item value pair detection in
ステップ６４０の項目値候補選択では、制御部１５０は、ステップ４４０で計算した項目値表記スコアとステップ４５０で計算した項目値単語スコアが閾値を超えた文字列、およびステップ６３０で計算した項目名―項目値ペアスコアが閾値を超えた文字列ペアを項目値候補として選定する。ステップ６４０の処理は、後に詳細に説明する。
In the item value candidate selection at
なお、図６において、ステップ６１０と、ステップ４４０、ステップ５１０からステップ４５０までの一連の処理、ステップ６２０は、いずれを先に処理してもかまわない。
In FIG. 6,
以上のように、本実施形態によると、さらに、項目名が記載されている項目値の認識率を向上させることができる。
As described above, according to the present embodiment, the recognition rate of the item value in which the item name is described can be further improved.
（第４実施形態）
図７に、制御部１５０における帳票認識の別の処理フロー図を示す。図７は図６と比べてステップ５１０とステップ５２０の処理が削除されている。すなわち、制御部１５０が、項目値キーワード検出による項目値単語照合の削減をしない場合の処理フローである。なお、図７は、図４と比べてステップ６１０、６２０〜６４０の処理が追加されている。
なお、図７において、ステップ６１０、ステップ４４０、ステップ４５０、ステップ６２０、ステップ６３０は、いずれを先に処理してもかまわない。
以上のように、本実施形態によると、さらに、照合の処理を簡易にすることができる。
(Fourth embodiment)
FIG. 7 shows another processing flow diagram of form recognition in the
In FIG. 7, any of
As described above, according to the present embodiment, the matching process can be further simplified.
Ｄ．詳細動作
（第１から第４実施形態の処理の詳細）
以下、第１から第４実施例に記載の処理の詳細について説明する。ここでは、第１から第４の実施例の全ての処理を含む第３実施例の処理フローである図６に従って、図８の帳票を例として説明する。
D. Detailed operation
(Details of processing of the first to fourth embodiments)
Details of the processes described in the first to fourth embodiments will be described below. Here, the form of FIG. 8 will be described as an example in accordance with FIG. 6 which is the processing flow of the third embodiment including all the processes of the first to fourth embodiments.
図５２は、制御部の詳細構成図である。
制御部１５０は、枠検出部１４１０と、文字列検出部１４２０と、文字列認識部１４３０と、項目名スコア計算部１６１０と、項目値表記スコア計算部１４４０と、項目値キーワード検出部１５１０と、項目値単語照合対象文字列選択部１５２０と、項目値単語スコア計算部１４５０と、項目名―項目値配置スコア計算部１６２０と、項目名―項目値ペアスコア計算部１６２５と、項目名―項目値ペア検出部１６３０と、項目値候補選択部１６４０と、項目値候補配置スコア計算部１４７０と、項目値候補ペアスコア計算部１４８０と、項目値グループ評価部１４９０とを備える。なお、この図は、第３実施形態に対応するものであるが、第１、２、４実施形態についても処理フローに基づき必要のない構成部を省略すればよい。
FIG. 52 is a detailed configuration diagram of the control unit.
The
図８は、帳票８００の一例である。表８０１は帳票８００の各文字列についてＳ１０１からＳ１２９までの文字列番号を付けた図である。以降の説明では表８０１内の文字列番号を参照する。図８の帳票８００の認識において、一例として項目値グループを構成する読取対象の属性（項目名）は、「銀行」、「支店」、「口座種別」、「口座番号」の４つとする。この例では、「ＸＸＸ銀行」「ＹＹＹ支店」「普通」「１２３４５６７」の項目値文字列を抽出することが正解となる。
FIG. 8 is an example of a
（ステップ４３０）
まず、図６のステップ６１０、ステップ４４０、ステップ５１０、ステップ４５０で用いられる、文字列認識結果と辞書との照合処理の概要について、図９を用いて一例を説明する。図９は、文字列認識と照合処理の概略を示す図である。
まず、ステップ４３０の文字列認識内において、制御部１５０（文字列認識部１４３０）は、ステップ４２０で抽出された文字列画像９４０からステップ９００の文字切出し処理を行うことにより、１文字単位の切出し方の候補を全て検出してネットワークで表現した切出し仮説ネットワーク９５０を作成する。次に、ステップ９１０において、制御部１５０（文字列認識部１４３０）は、全ての切出し候補の文字パターンを文字識別する。文字識別結果は、確からしさに応じてスコア付けされた第１位から第Ｎ位（Ｎは任意の数）までの候補を持っている（９６０）。ステップ９２０の文字列照合は、図６のステップ６１０やステップ４４０、５１０、４５０に相当する処理であり、制御部１５０（文字列認識部１４３０）は、ステップ９６０のネットワークに対してあらかじめ用意した文字列辞書９３０を照合して認識結果９７０を求める。文字列の照合とは、ネットワーク中の最適なパスを探索する問題とみなすことができる。このため、文字列照合スコアの計算方法として、例えば、文字列照合により求まった文字列パスの切出しパターンの文字識別スコアの平均値を文字列スコアとする方法が利用できる。なお、ネットワークを用いず、文字識別の前に切出し方を一意に決めてから文字識別と照合を行ってもよい。
(Step 430)
First, an example of an outline of collation processing between a character string recognition result and a dictionary used in
First, in the character string recognition in
（ステップ６１０）
次に、図６のステップ６１０の項目名スコア計算について、図１０と図１１、図１２を用いて説明する。図１０は項目名辞書の例、図１１は項目名スコアテーブルの例、図１２は項目名文字列の抽出結果の例である。ステップ６１０では、制御部１５０（項目名スコア計算部１６１０）は、帳票画像内の文字列と項目名辞書との照合を行い、項目名スコアを計算する。ステップ６１０における項目名照合の具体例としては、例えば、特開２００４−１７１３１６号公報に開示の技術を利用することができる。図１０の項目名辞書を用いて、図８の帳票画像内の文字列に対して項目名スコアを計算する場合、項目名スコアテーブルの例は図１１のようになる。図１１の項目名スコアテーブルの場合、制御部１５０（項目名スコア計算部１６１０）は、帳票画像内のＮ個（本実施例の場合Ｎ＝２９（Ｓ１０１〜Ｓ１２９））の文字列に対し、全ての項目名単語との照合を行い、項目名スコアを計算する。図１２において、Ｓ１２８の「電話番号」が項目名文字列として検出されているのは、項目名辞書内の「口座番号」や「番号」の単語と照合しているためである。図１１の項目名スコアテーブルにおいて、Ｓ１２８の「電話番号」はＳ１１３の「口座番号」と比べて低いスコアとなっていることがわかる。同様に、Ｓ１１７の「口座名」も「口座番号」と照合した結果である。
(Step 610)
Next, the item name score calculation in
（ステップ４４０）
次に、図６のステップ４４０の項目値表記スコア計算について、図１３と図１４、図１５を用いて説明する。基本的な概念は前記の項目名スコア計算と同じである。図１３は項目値表記辞書の例、図１４は項目値スコアテーブルの例、図１５は項目値表記文字列の抽出結果の例である。ステップ４４０では、制御部１５０（項目値表記スコア計算部１４４０）は、帳票画像内の文字列と項目値表記辞書との照合を行い、項目値表記スコアを計算する。ステップ４４０における項目値表記照合の具体的な実施例としては、例えば、非特許文献：高橋他、「回帰的遷移ネットワークを用いた文字経路探索方式の開発」、電子情報通信学会技術研究報告 Vol.109 No.418 pp.141-146、に開示の技術のように、個別文字の識別候補をノードと見立てた識別候補文字ネットワークと状態遷移ネットワークで表現した表記辞書のマッチングにより、状態遷移ネットワークから最適な文字列パスを選択し、文字列認識結果を得る方法がある。項目値表記辞書の例として、例えば、図１３の項目値表記辞書１３００に示すような文字列の表記ルールの正規表現がある。口座番号については、１桁から７桁の数字列の表記が登録されている。口座番号以外の項目値表記辞書の例としては、項目値表記辞書１３０１に示す金額や日付などがある。図１３の表記辞書１３００を用いて、図８の帳票画像内の文字列に対して項目値表記スコアを計算する場合、項目値スコアテーブルは図１４のようになる。ここでは、項目値表記辞書には口座番号の属性しか登録されていないため、銀行、支店、口座種別の属性は０となっている。
(Step 440)
Next, the item value notation score calculation in
（ステップ５１０）
次に、図６のステップ５１０の項目値キーワード検出について、図１６と図１７を用いて説明する。基本的な概念は前記の項目名スコア計算と同じである。図１６は項目値キーワード辞書の例、図１７は項目値キーワード文字列の抽出結果の例である。ステップ５１０では、制御部１５０（項目値キーワード検出部１５１０）は、帳票画像内の文字列と項目値キーワード辞書との照合を行い、項目値キーワードスコアを計算する。ステップ５１０における単語照合の具体的な実施例としては、ステップ６１０やステップ４５０と同様に、特開２００４−１７１３１６号公報に開示の技術を利用することができる。図１６の項目値キーワード辞書を用いて、図８の帳票画像内の文字列に対して項目値キーワードスコアを計算する。図１７では、項目名文字列、項目値表記文字列、項目名キーワード文字列が抽出された結果である。
(Step 510)
Next, the item value keyword detection in
（ステップ５２０）
次に、図６のステップ５２０の項目値単語照合対象文字列選択について、図１８から図２５を用いて説明する。ステップ５２０の処理では、制御部１５０（項目値単語照合対象文字列選択部１５２０）は、項目値グループの文字列は互いに近接した範囲に記載されているという前提（条件）に従い、図１７に示した、抽出済みの項目名文字列１７００、項目値表記文字列１７１０、項目値キーワード文字列１７２０を利用して、項目値単語照合処理の対象となる文字列を選択する。なお、図５のステップ５２０の項目値単語照合対象文字列選択では、項目値表記文字列と項目値キーワード文字列のみを利用してこの処理を行う。
(Step 520)
Next, the item value word matching target character string selection in
ステップ５２０の項目値単語照合対象文字列選択の一例としては、図１８の表１８００に示すように、制御部１５０（項目値単語照合対象文字列選択部１５２０）が、照合単語を含む枠とその隣接枠との配置に従って設定した重みを用いて、表１８１０に示すスコア計算を用いることにより実現できる。ここで、隣接する枠とは、枠の辺を共有する枠同士を指す。上側の隣接枠を図１９の例を用いて説明すると、枠Ｃ１００の上側に隣接する枠はＣ１０１、同様にＣ１０２の上側隣接枠はＣ１０３からＣ１０５、Ｃ１０６の上側隣接枠はＣ１０７からＣ１０９である。他の辺についても同様である。文字列のスコア（Ｓｗ）は、例えば数１や数２を利用することができる。
As an example of item value word collation target character string selection in
数１と数２のそれぞれにおいて、３つの式を選択する際には、それぞれ上の式が優先される。数１では、項目値単語照合の対象となる文字列に近い文字列ほどスコアが高くなるように値を設定している。また、数２のように前段で求めた照合のスコアを乗算することで文字認識結果を考慮することも可能である。
In each of
図２０及び図２１は、前段までに抽出された全ての項目名文字列、項目値表記文字列、項目値キーワード文字列に対して、図１８を用いて枠のスコア計算を行い、各枠ごとにスコアの総和を計算した結果である。項目値グループの項目値が記載されている枠とその周辺が高い値になっていることがわかる。項目値単語照合文字列の選択方法の一例として、例えば図２０のスコアの上位１／３の枠内の文字列を選択することができる。図２０の網掛け部分が選択した枠である。さらに、この範囲では適切に全ての項目値をカバーできない場合を想定して、図２１に示すように図２０で選択した枠を上下左右に所定の範囲拡大した薄い網掛けの枠内の文字列も含めてもよい。また、枠がない帳票については、文字列間の空白を仮想的に罫線とみなすことにより、図１８から図２１の処理を適用することが可能である。 FIG. 20 and FIG. 21 calculate the score of the frame using FIG. 18 for all the item name character strings, item value notation character strings, and item value keyword character strings extracted up to the previous stage. Is the result of calculating the sum of the scores. It can be seen that the frame in which the item value of the item value group is written and the surrounding area have high values. As an example of a method for selecting an item value word collation character string, for example, a character string within the upper third frame of the score in FIG. 20 can be selected. The shaded portion in FIG. 20 is the selected frame. Further, assuming that this range cannot adequately cover all the item values, as shown in FIG. 21, the character string in the thin shaded frame in which the frame selected in FIG. May also be included. For forms without frames, the processing shown in FIGS. 18 to 21 can be applied by virtually considering the blanks between character strings as ruled lines.
また、図２０と図２１の例は、項目名文字列、項目値表記文字列、項目値キーワード文字列を用いたが、必ずしも全て利用する必要はない。図２２は項目名文字列と項目値キーワード文字列のみを利用して図２０と同様のスコア計算をした結果である。上位１／３を網掛けで示している。図２３は、図２１と同様に上下左右に対象枠を拡大した例である。 20 and 21 use item name character strings, item value notation character strings, and item value keyword character strings, but it is not always necessary to use them. FIG. 22 shows the result of the same score calculation as in FIG. 20 using only the item name character string and the item value keyword character string. The upper third is shaded. FIG. 23 is an example in which the target frame is enlarged vertically and horizontally as in FIG.
さらに、図２２を用いて選択された文字列を削減する方法について説明する。この処理は必ずしも実施する必要はない。図２２では、図８の文字列Ｓ１２５を含む枠（スコア５．７）が、他の選択された枠とは孤立して選択されている。１つの文字列のみから複数の項目値を得られないと判断して候補から除外した結果が図２４、それを上下左右に拡大した結果が図２５である。 Further, a method for reducing the selected character string will be described with reference to FIG. This process is not necessarily performed. In FIG. 22, the frame (score 5.7) including the character string S125 of FIG. 8 is selected isolated from the other selected frames. FIG. 24 shows the result of determining that a plurality of item values cannot be obtained from only one character string and excluding it from the candidates, and FIG. 25 shows the result of expanding it vertically and horizontally.
（ステップ４５０）
次に、図６のステップ４５０の項目値単語スコア計算について、図２６と図２７、図２８を用いて説明する。基本的な概念は前記の項目名スコア計算と同じである。図２６は項目値単語辞書の例、図２７は項目値スコアテーブルの例、図２８は項目値単語文字列の抽出結果の例である。ステップ４５０では、制御部１５０（項目値単語スコア計算部１４５０）は、ステップ５２０で選択された文字列と項目値単語辞書との照合を行い、項目値単語スコアを計算する。ステップ４５０における単語照合の具体的な実施例としては、ステップ６１０と同様に、特開２００４−１７１３１６号公報に開示の技術を利用することができる。図２６の項目値単語辞書を用いて、図８の帳票画像内の文字列に対して項目値単語スコアを計算する場合、項目値スコアテーブルの例は図２７のようになる。図２７では、ステップ４４０で計算した項目値表記スコアとステップ４５０で計算した項目値単語スコアが記録されている。なお、口座種別の属性については、ステップ５１０の項目値キーワード検出と同じ内容であるため、ステップ４５０では省略することができる。また、文字列選択を行わない図４と図７のステップ４４０では、帳票上の全ての文字列に対して照合処理を行う。
(Step 450)
Next, the item value word score calculation in
（ステップ６２０）
次に、図６のステップ６２０の項目名―項目値配置スコア計算について、図２９を用いて説明する。ステップ６２０の処理では、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、２つの文字列間の配置関係を評価することにより、項目名と項目値のペアとして妥当な配置に高い項目名―項目値配置スコアを、妥当でない配置に低い項目名―項目値配置スコアを設定する。制御部１５０（項目名―項目値配置スコア計算部１６２０）は、項目名―項目値配置スコアを、２つの文字列が属する枠のサイズおよび配置関係や、２つの文字列矩形のサイズおよび配置関係を基に計算する。ステップ６２０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。この技術では、例えば項目名―項目値配置スコアは、項目名―項目値配置スコアが取り得る値の最大値で初期化し、文字列ペアをなす２つの文字列の配置関係が項目名−項目値関係として非妥当であると判断できる配置パターンをペナルティルールとして定義し、初期値からペナルティルールによって得られたペナルティ値を減算した値として計算する方法がある。この処理を帳票画像内の全文字列ペアに対して実行する。
(Step 620)
Next, the item name-item value arrangement score calculation in
図２９に、特開２０１１−２４８６０９号公報に開示の技術を用いたペナルティルールの例を示す。制御部１５０（項目名―項目値配置スコア計算部１６２０）は、ペナルティルールは２つの文字列の属する枠の配置関係やサイズ、２つの文字列矩形の配置関係やサイズを基に計算する。制御部１５０（項目名―項目値配置スコア計算部１６２０）は、例えば、ルール２９１０の場合、２つの文字列が相互に隣接する枠内に存在する場合に、項目名となる文字列の中心座標が、枠の中心座標からずれがある場合に、ずれの距離に応じてペナルティを付加する。これは、本来２つの文字列が項目名−項目値関係にある場合には、項目名となる文字列は枠の中心付近に存在するといった仮定によるものである。ルール２９２０の場合、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、項目名となる文字列の属する枠の高さが、項目値となる文字列の属する枠の高さよりも大きい場合に、枠高さの比率に応じてペナルティを付加する。これは、本来は、項目名の属する枠の高さより、項目値の属する枠高さが大きいといった仮定に基づくものである。ルール２９３０の場合、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、２つの文字列が同一枠に存在する場合に、項目名となる文字列よりも、項目値となる文字列が左もしくは上に存在する場合に、左もしくは上方向へのはみ出し距離に応じてペナルティを付加する。これは、本来、２つの文字列が項目名−項目値関係にある場合には、項目名となる文字列の右下方向に項目値が存在するといった仮定に基づくものである。ルール２９４０の場合、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、２つの文字列が帳票画像内のいずれの枠にも属さず、枠の外かつ相互に近くに存在する場合に、項目名となる文字列の高さと、項目値となる文字列の高さが異なる場合に、文字列高さの比率に応じて、ペナルティを付加する。これは、本来は、項目名と項目値の文字列の高さは互いにほぼ等しいという仮定に基づくものである。ルール２９５０は、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、項目名となる文字列と、項目値となる文字列の距離が離れている場合に、２つの文字列の距離に応じてペナルティを付加する。これは、２つの文字列が項目名−項目値関係にある場合には、２つの文字列は相互に近くにあるといった仮定に基づくものである。ルール２９６０は、制御部１５０（項目名―項目値配置スコア計算部１６２０）は、項目名となる文字列より、項目値となる文字列が左上方向に存在する場合に、そのずれの距離に応じてペナルティを付加するものである。これは、本来は、項目名の右下方向に項目値が存在するといった仮定に基づくものである。
FIG. 29 shows an example of a penalty rule using the technique disclosed in Japanese Patent Application Laid-Open No. 2011-248609. The control unit 150 (item name-item value arrangement score calculation unit 1620) calculates the penalty rule based on the arrangement relation and size of the frames to which the two character strings belong, and the arrangement relation and size of the two character string rectangles. For example, in the case of
以上のように、ペナルティルールは、２つの文字列が項目名−項目値関係にある場合の尤もらしい配置関係を仮定し、その仮定から外れる配置関係に２つの文字列が配置される場合に、ペナルティが付加されるように生成される。なお、ペナルティルールは図２９に示したルール２９１０から２９６０に限定されるものではなく、２つの文字列の属する枠の配置関係やサイズ、２つの文字列矩形の配置関係やサイズなどから計算されるものであり、２つの文字列が項目名−項目値関係にある場合に尤もらしい配置関係を仮定し、その仮定から外れる場合に付加される計算方法であれば、これに限定しない。
As described above, the penalty rule assumes a plausible arrangement relationship when two character strings are in the item name-item value relationship, and when two character strings are arranged in an arrangement relationship that deviates from the assumption, Generated to add a penalty. The penalty rules are not limited to the
（ステップ６２５、６３０）
次に、図６のステップ６２５の項目名―項目値ペアスコア計算及びステップ６３０の項目名―項目値ペア検出について、図３０を用いて説明する。ステップ６２５及び６３０の処理の具体例としては、例えば、特開２０１１−２４８６０９号公報に開示の技術を利用することができる。図３０は項目名―項目値ペア検出結果の例である。項目名―項目値ペアスコア計算では、制御部１５０（項目名―項目値ペアスコア計算部１６２５）は、例えば、項目名スコア、項目値スコア（項目値表記スコアもしくは項目値単語スコア）、項目名―項目値配置スコアを入力とする評価関数によって計算する。Ｓｎを項目名スコア、Ｓｖを項目値スコア、Ｓａを項目名―項目値配置スコアとしたときに、評価関数Ｓｐ(Ｓｎ、 Ｓｖ、 Ｓａ)の例として、例えば数３、数４、数５に示すものがある。
(
Next, the item name-item value pair score calculation in
なお、評価関数は数３、数４、数５に限るものではなく、項目名スコア、項目値スコア、項目名―項目値配置スコアの値から、２つの文字列が項目名−項目値関係にある確からしさを算出できる形式であれば、これに限らない。制御部１５０（項目名―項目値ペア検出部１６３０）は、このような評価関数による項目名−項目値評価値計算を帳票画像内の全文字列ペアに対して行い、評価関数Ｓｐの値が閾値を超えたペアを項目名―項目値ペアとして検出する。図３０は検出結果であり、「先方銀行」と「ＸＸＸ銀行」のペアが銀行の属性として、「口座番号」と「１２３４５６７」のペアが口座番号の属性として、「電話番号」と「０４２−１２３４−５６７８」のペアが口座番号の属性として検出されている。
Note that the evaluation function is not limited to
（ステップ６４０）
次に、図６のステップ６４０の項目値候補選択について、図３１を用いて説明する。制御部１５０（項目値候補選択部１６４０）は、項目値候補には、ステップ４４０で求めた項目値表記スコアが閾値以上の項目値表記文字列、ステップ４５０で求めた項目値単語スコアが閾値以上の項目値単語文字列、およびステップ６３０で求めた項目名―項目値ペアスコアが閾値以上の項目名―項目値ペアとする。制御部１５０（項目値候補選択部１６４０）は、項目値候補スコア（Ｓｃ）として、数６に示すように、項目値候補として選択した文字列（もしくは文字列ペア）に応じて、項目値単語スコア、項目値表記スコア、項目名―項目値ペアスコアのいずれかを選択する。
(Step 640)
Next, item value candidate selection in
数６の３つの式を選択する際には、上の式が優先される。すなわち、項目名―項目値ペアが検出されている場合には１つ目の式を、項目名―項目値ペアが検出されず項目値単語が検出されている場合には２つ目の式を、項目名―項目値ペアも項目値単語も検出されず項目値表記が検出されている場合には３つ目の式を用いる。図３１は、項目値候補の選定結果であり、図３２は選定結果を格納したテーブルである。なお、文字列Ｓ１０８は、２つの項目値単語が検出されたため、図３２では文字列Ｓ１０８ａと文字列Ｓ１０８ｂに分割している。この項目値候補を用いて、後段のステップ４７０からステップ４９０の処理を行う。なお、図４と図５のステップ４６０の項目値候補選択では項目名―項目値ペア検出をしていないため、項目値候補選択には項目値表記文字列と項目値単語文字列のみを用いる。
When selecting the three equations in Equation 6, the above equation is given priority. That is, if the item name-item value pair is detected, the first expression is used. If the item name-item value pair is not detected and the item value word is detected, the second expression is used. When the item name-item value pair and the item value word are not detected and the item value notation is detected, the third formula is used. FIG. 31 shows the selection result of item value candidates, and FIG. 32 is a table storing the selection result. The character string S108 is divided into a character string S108a and a character string S108b in FIG. 32 because two item value words are detected. Using this item value candidate, the processes from
（ステップ４７０）
次に、図６のステップ４７０の項目値候補配置スコア計算について、図３３と図３４を用いて説明する。ステップ４７０の処理では、制御部１５０（項目値候補配置スコア計算１４７０）は、互いに属性の異なる２つの項目値候補間の配置関係を評価することにより、項目値グループの項目値として妥当な配置に高い項目値候補配置スコア（Ｓca）を、妥当でない配置に低い項目値候補配置スコアスコアを設定する。ここでは、２つの文字列（もしくは文字列ペア）を含む枠の配置、または文字列（もしくは文字列ペア）間の配置に応じてスコアを計算する。図３３に、具体的な計算方式の一例を示す。図３３には、４種類の配置スコアの計算方法を示している。（１）は２つの文字列が異なる枠に含まれている場合である。（２）は、一方が枠内、もう一方が枠外の場合である。（３）は、２つの文字列とも枠外の場合である。（４）は、２つの文字列が同じ枠内に含まれている場合である。
(Step 470)
Next, the item value candidate arrangement score calculation in
図３４は、（１）のペナルティを利用して、文字列Ｓ１１３を基準として計算した項目値候補配置スコアの例である。２つの文字列が異なる枠内に含まれている場合、１．０を初期値として２つの文字列に至るまでに枠を経由する（跨ぐ）ごとに図３３（１）のペナルティ値を減算する。例えば、文字列Ｓ１１３と文字列Ｓ１０６の項目値候補配置スコア（Ｓｃａ（Ｓ１１３，Ｓ１０６））を計算する場合、経由する枠は文字列Ｓ１１３，Ｓ１０８，Ｓ１０５，Ｓ１０６となる。文字列Ｓ１１３からＳ１０８へは上方向へ移動するため、図３３の（１）に従って０．３減算して０．７となる。同様にＳ１０５に上方向へ移動して０．４となる。Ｓ１０６へは右方向への移動であるため０．１減算して０．３となる。したがって、Ｓｃａ（Ｓ１１３，Ｓ１０６）は０．３となる。同様に、Ｓｃａ（Ｓ１１３，Ｓ１２３）は０．７となる。なお、２つの枠の間に複数の経路が存在する場合には、スコアが最大となる経路を選択してもよい。もしくは、先に縦方向に移動してから横方向に移動する場合と、先に横方向に移動してから縦方向に移動する場合を比較し、スコアが大きい方を選択してもよい。（２）（３）（４）の計算方法についても、図３４と同様に枠もしくは文字列を経由するたびにスコアを減算することで項目値候補配置スコアを求めることができる。なお、項目値候補配置スコアの計算方法は、図３３に示した方法に限定されるものではなく、２つの項目値候補の属する枠の配置関係やサイズ、項目値候補の文字列矩形の配置関係やサイズなどから計算されるものであれば、これに限らない。 FIG. 34 shows an example of the item value candidate arrangement score calculated based on the character string S113 using the penalty of (1). When two character strings are included in different frames, the penalty value shown in FIG. 33 (1) is subtracted every time the character string passes through (crosses over) the two character strings with 1.0 as an initial value. . For example, when the item value candidate arrangement score (Sca (S113, S106)) of the character string S113 and the character string S106 is calculated, the frames that pass are the character strings S113, S108, S105, and S106. Since the character string S113 to S108 moves upward, 0.3 is subtracted to 0.7 according to (1) of FIG. Similarly, it moves upward to S105 and becomes 0.4. Since S106 is a rightward movement, 0.1 is subtracted to 0.3. Therefore, Sca (S113, S106) is 0.3. Similarly, Sca (S113, S123) is 0.7. If there are a plurality of routes between the two frames, the route having the maximum score may be selected. Alternatively, the case where the score is moved first in the vertical direction and then moved in the horizontal direction is compared with the case where the image is moved first in the horizontal direction and then moved in the vertical direction, and the one having a larger score may be selected. In the calculation methods (2), (3), and (4), the item value candidate arrangement score can be obtained by subtracting the score every time a frame or character string is passed, as in FIG. The method for calculating the item value candidate arrangement score is not limited to the method shown in FIG. 33, and the arrangement relationship and size of the frames to which the two item value candidates belong, and the arrangement relationship of the character string rectangles of the item value candidates. As long as it is calculated from the size and size, it is not limited to this.
図３５は、項目値候補配置スコアの計算結果をネットワークで表現した図である。角丸四角は項目値候補を表すノードであり、行番号と認識結果、項目値候補スコア（Ｓｃ）が記載されている。角丸四角形間のリンク上の数字は、項目値候補配置スコア（Ｓｃａ）を表している。図３５では、項目値候補スコアが閾値を超えた文字列、もしくは文字列のペアがノードとして登録されており、異なる属性のノード間にリンクを設定している。なお、図３５では、銀行、支店、口座種別、口座番号の順にリンクを設定しているが、全ての属性間（例えば銀行と口座種別や、銀行と口座番号など）にリンクを設定してもよい。 FIG. 35 is a diagram representing the calculation result of the item value candidate arrangement score by a network. A rounded square is a node representing an item value candidate, and describes a line number, a recognition result, and an item value candidate score (Sc). The number on the link between the rounded rectangles represents the item value candidate arrangement score (Sca). In FIG. 35, a character string or a character string pair whose item value candidate score exceeds a threshold is registered as a node, and a link is set between nodes having different attributes. In FIG. 35, links are set in the order of banks, branches, account types, and account numbers. However, links may be set between all attributes (for example, bank and account types, bank and account numbers, etc.). Good.
（ステップ４８０）
次に、図６のステップ４８０の項目値候補ペアスコア計算について、図３６と図３７を用いて説明する。ステップ４８０の処理では、制御部１５０（項目値候補ペアスコア計算部１４８０）は、互いに属性の異なる２つの項目値候補の文字列のペアに対して、項目値候補スコア（Ｓｃ）と項目値候補配置スコア（Ｓｃａ）を用いて項目値候補ペアスコア（Ｓｃｐ）を計算する。２つの項目値候補の文字列（もしくは文字列ペア）ｉと文字列（もしくは文字列ペア）ｊとの間の項目値候補ペアスコアを求める評価関数Ｓｃｐ（文字列（もしくは文字列ペア）ｉ，文字列（もしくは文字列ペア）ｊ）の計算方法の一例としては、数７がある。（なお、数７では「（もしくは文字列ペア）」が記述スペースの都合上省略されている。）
(Step 480)
Next, the item value candidate pair score calculation in
なお、ステップ６３０の項目名―項目値ペア検出の評価関数に数３から数５を用いたように、ステップ４８０の評価関数も数７に限定しない。
図３６は、図３５のネットワーク表現に基づいて項目値候補ペアスコアを計算した結果である。リンク上の数字が項目値候補ペアスコアである。また、図３７は、項目値候補ペアスコアの計算結果を格納したテーブルを表す図である。図３７では、例えば、銀行の属性の項目値候補文字列Ｓ１０７と支店の属性の項目値候補文字列Ｓ１０８ｂとのスコアが１．５７となっている。空欄はスコア０．０である。
It should be noted that the evaluation function in
FIG. 36 shows the result of calculating the item value candidate pair score based on the network expression of FIG. The number on the link is the item value candidate pair score. FIG. 37 is a diagram illustrating a table storing the calculation results of item value candidate pair scores. In FIG. 37, for example, the score of the item value candidate character string S107 for the bank attribute and the item value candidate character string S108b for the branch attribute is 1.57. The blank is score 0.0.
（ステップ４９０）
次に、図６のステップ４９０の項目値グループ評価について、図３８、図３９、図４０を用いて説明する。ステップ４９０の処理では、制御部１５０（項目値グループ評価部１４９０）は、ステップ４８０で計算した項目値候補ペアスコアを用いて、最適な文字列の組を決定する。決定方法の一例としては、図３６のネットワークにおいて全ての属性を満たすパスの中で項目値候補ペアスコアの総和が最大となるパスを選択することや、総和が閾値を超えるパスを選択することが挙げられる。最大値の代わりに平均値を用いることや、その他の評価基準を用いてもよい。また、本実施例ではネットワーク表現を用いているが、その他の方法で実現してもよい。
(Step 490)
Next, the item value group evaluation in
図３８は、図３６のネットワークからスコアの総和が最大となるパスを太線で示した図である。この結果、図３９において太線で示した項目値候補が選択される。銀行と口座番号の属性については項目名―項目値ペアが選択されているため、制御部１５０（項目値グループ評価部１４９０）が、項目値の文字列のみを抽出して認識結果として作成したテーブルが図４０である。 FIG. 38 is a diagram in which the path with the maximum total score from the network of FIG. 36 is indicated by a bold line. As a result, item value candidates indicated by bold lines in FIG. 39 are selected. Since the item name-item value pair is selected for the attribute of the bank and the account number, the control unit 150 (item value group evaluation unit 1490) extracts only the item value character string and creates a table as a recognition result. Is FIG.
図６のステップ４９５の処理では、制御部１５０は、図４０のように作成したデータを記憶部１４０に記憶する。また、制御部１５０は、記憶部１４０からそのデータを適宜読み出して、表示部１２０に表示することができ、及び／又は、ＩＦ１６０により他の装置へ出力することができる。なお、制御部１５０は、表示や出力データの例として、記憶部１４０に記憶されたデータから、他にも後述の図４８〜図５１等に示した表示画面を作成することができる。
In the process of
また、図３６のネットワークでは、銀行と支店や支店と口座種別など属性の順序に従ってリンクを設定したが、制御部１５０（項目値候補配置スコア計算部１４７０）は、それ以外のリンクを設定してもよい。図４１は銀行と口座種別や支店と口座番号の属性の間にリンクを設定した例である。このリンクは、帳票上のかすれやノイズ等に起因した文字識別の誤りに対応したものである。文字識別を誤ったために、正しい項目値候補が抽出されない場合でも、無理にスコアの低い項目値候補を経由したパスを選択しないようにすることを目的としている。例えば図４２は、文字列Ｓ１０８ｂの「ＹＹＹ支店」が認識されずに項目値候補とならなかった場合のネットワークである。最適パスを示す太線は、支店の属性の項目値候補をスキップしたパスとなっている。 In the network of FIG. 36, links are set according to the order of attributes such as banks, branches, branches, and account types, but the control unit 150 (item value candidate arrangement score calculation unit 1470) sets other links. Also good. FIG. 41 shows an example in which links are set between the attributes of bank and account type and branch and account number. This link corresponds to an error in character identification caused by blur or noise on the form. Even if a correct item value candidate is not extracted because of incorrect character identification, the object is to avoid selecting a path through an item value candidate having a low score. For example, FIG. 42 shows a network in the case where “YYY branch” in the character string S108b is not recognized and does not become an item value candidate. A thick line indicating the optimum path is a path in which item value candidates for branch attributes are skipped.
さらに、項目値グループ評価において、最適なパスだけでなく閾値を超えたパスを複数選択する場合では、図４３に示すように帳票上に複数の項目値グループが列記されている場合にも対応することができる。図４３の表４３００は、３つの項目値グループが列記されている例である。表４３１０は文字列番号を示す図であり、表４３２０は項目値候補の抽出結果をもとに文字列を分割した文字列番号である。図４４は、項目値グループ評価４９０において、図４３に対して作成したネットワークの例である。制御部１５０（項目値グループ評価部１４９０）は、詳細なスコアについては省略するが、閾値を超えた３つのパスを選択することにより、正しく３つの項目値グループを決定することができる。
Further, in the item value group evaluation, when a plurality of paths that exceed the threshold value as well as the optimum path are selected, it corresponds to a case where a plurality of item value groups are listed on the form as shown in FIG. be able to. A table 4300 in FIG. 43 is an example in which three item value groups are listed. Table 4310 is a diagram showing character string numbers, and table 4320 is character string numbers obtained by dividing character strings based on extraction results of item value candidates. FIG. 44 shows an example of a network created for FIG. 43 in the item
図４５は、文字認識の誤りなどによりＳ２０３ｃが項目値候補にならなかったネットワークの例である。２つ目の項目値グループの文字列は、Ｓ２０３ａ、Ｓ２０３ｂ、Ｓ２０２ｃ、Ｓ２０３ｄとなり、文字列Ｓ２０２ｃが別の項目値グループのパスと重複している。このような場合は、制御部１５０（項目値グループ評価部１４９０）は、パスのスコアが高い方を優先し、２つ目の項目値グループから文字列Ｓ２０２ｃを除いてもよい。また、図４６に示すように、図４２と同様にリンクを増やすことにより解決することもできる。また、項目値グループが列記されている場合には、制御部１５０（項目値グループ評価部１４９０）は、同じ属性の項目値候補同士の配置を評価することにより、誤りを削減すること可能である。 FIG. 45 is an example of a network in which S203c is not an item value candidate due to an error in character recognition or the like. The character strings of the second item value group are S203a, S203b, S202c, and S203d, and the character string S202c overlaps with another item value group path. In such a case, the control unit 150 (item value group evaluation unit 1490) may prioritize the one with a higher path score and remove the character string S202c from the second item value group. Further, as shown in FIG. 46, the problem can also be solved by increasing the number of links as in FIG. When item value groups are listed, the control unit 150 (item value group evaluation unit 1490) can reduce errors by evaluating the arrangement of item value candidates having the same attribute. .
さらに、図４７に示すように、枠内に複数の項目名グループが列記されている表４７００の場合では図３３の（２）のペナルティルールを使用し、枠外に列記されている表４７１０の場合では図３３の（４）のペナルティルールを使用することにより、スコアの値は異なるがリンク構造が図４４や図４６と同じネットワークを作成することにより、項目値グループを決定することができる。 Furthermore, as shown in FIG. 47, in the case of table 4700 in which a plurality of item name groups are listed in the frame, the penalty rule of (2) in FIG. 33 is used, and in the case of table 4710 listed outside the frame. Then, by using the penalty rule of (4) in FIG. 33, an item value group can be determined by creating a network having the same link structure as in FIG. 44 and FIG.
（第５実施形態）
第２の実施形態の図５、および第３の実施形態の図６では、制御部１５０は、ステップ５１０の項目値キーワード検出の後、ステップ５２０の項目値単語照合対象文字列選択をし、ステップ４５０の項目値単語スコア計算を行っている。この場合、銀行と支店の照合を独立して行うため、実際にはない銀行と支店の組合せを求めることがある。
これを解決するため、本実施形態では、項目値単語の照合にあらかじめ優先度を設定し、項目値単語照合を複数の段階に分ける。一例として、優先度１を「銀行」、優先度２を「支店」、優先度３を「口座種別」とすることができる。まず、制御部１５０は、「銀行」の項目値単語照合を行って銀行の候補を絞る。制御部１５０は、「支店」の項目値単語照合では、銀行ごとに分類された支店の項目値単語辞書を用いる。そして、制御部１５０は、絞られた候補の銀行ごとに、その銀行の支店の項目値単語辞書を用いて項目値単語照合を行う。
以上のように、本実施形態によると、さらに、優先度毎の辞書により、単語照合の処理コストを一層少なくすることができる。
(Fifth embodiment)
In FIG. 5 of the second embodiment and FIG. 6 of the third embodiment, the
In order to solve this, in the present embodiment, priority is set in advance for collation of item value words, and item value word collation is divided into a plurality of stages. As an example,
As described above, according to the present embodiment, the word collation processing cost can be further reduced by the dictionary for each priority.
（表示画面の例）
次に、本発明における表示画面の例について図４８から図５１を用いて説明する。
図４８は、ステップ４９０において、制御部１５０が、図３８から図４０で決定した項目値グループの認識結果を表示した例である。領域４８００が帳票画像を表示する領域である。領域４８１０をはじめとする太い線で囲まれた文字列は項目値として抽出された結果を表す。領域４８２０は項目値グループを表示する枠である。一例として、抽出された項目値を含む枠の外接矩形等で表現できる。領域４８３０は認識結果を表示する領域である。領域４８４０をはじめとする網掛け領域には項目値の属性が表示される。領域４８５０をはじめとする枠内には項目値の文字認識結果が表示される。文字認識結果が誤っている場合には、その項目値の文字認識結果表示領域を選択して文字を修正することも可能である。
(Example of display screen)
Next, examples of display screens according to the present invention will be described with reference to FIGS.
FIG. 48 shows an example in which the
図４９は銀行の属性が認識できなかった例である。この場合、制御部１５０は、操作部１１０又は画像入力部１３０により認識されていない領域４９００を選択して文字を入力することも可能である。さらに、項目値キーワードを追加することも可能である。項目値キーワードに「信用金庫」が登録されていなかった場合、この帳票の銀行名である「ＺＺＺ信用金庫」は認識できない。そこで、領域４９１０の「キーワード追加」ボタンを選択することによりキーワードを追加する。
FIG. 49 shows an example in which the bank attribute cannot be recognized. In this case, the
図５０はキーワード追加の画面である。キーワードの追加には、文字認識を利用する方法と手入力による方法が可能である。文字認識を利用する場合は、領域５０００で認識したい領域を選択することにより、制御部１５０は、領域５０１０に認識結果を表示部１２０に表示する。領域５０２０に属性を入力することでキーワードの登録ができる。さらに、領域５０３０にキーワードの文字を直接入力することも可能である。この帳票の場合、信用金庫の略称である「信金」もキーワードとして考えられるため、領域５０３０で「信金」を入力している。キーワードを追加した後に領域５０４０の「再認識」ボタンを選択することにより、再度項目値グループの認識を行うことができる。
図５１は再認識結果の表示例である。キーワードを追加したことにより、「ＺＺＺ信用金庫」が正しく認識されている。
FIG. 50 shows a keyword addition screen. A keyword can be added by using a character recognition method or a manual input method. When character recognition is used, the
FIG. 51 is a display example of the re-recognition result. By adding the keyword, “ZZZ Shinkin Bank” is correctly recognized.
このように、図４から図７の処理フローによれば、項目名が記載されていない項目値を認識することができる。
As described above, according to the processing flow of FIGS. 4 to 7, it is possible to recognize an item value in which an item name is not described.
Ｅ．付記
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれている。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
E. Appendix
In addition, this invention is not limited to an above-described Example, Various modifications are included. For example, the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit. Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
Further, the control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
本発明の帳票認識方法又は帳票認識装置・システムは、その各手順をコンピュータに実行させるための帳票認識プログラム、帳票認識プログラムを記録したコンピュータ読み取り可能な記録媒体、帳票認識プログラムを含みコンピュータの内部メモリにロード可能なプログラム製品、そのプログラムを含むサーバ等のコンピュータ、等により提供されることができる。 The form recognition method or form recognition apparatus / system of the present invention includes a form recognition program for causing a computer to execute each procedure, a computer-readable recording medium recording the form recognition program, and an internal memory of the computer including the form recognition program Can be provided by a program product that can be loaded on the computer, a computer such as a server including the program, and the like.
Claims (15)
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力する画像入力部と、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算する項目値表記スコア計算部と、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算する項目値単語スコア計算部と、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とする項目値候補選択部と、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算する項目値候補配置スコア計算部と、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算する項目値候補ペアスコア計算部と、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識する項目値グループ評価部と、
前記帳票画像内の文字列の認識結果を記憶する記憶部又は出力する出力部と
を備えたことを特徴とする帳票認識装置。
A form recognition device,
An item name that is a character string representing the attribute of the data, and an image input unit that inputs a form image including the character string of the data for the item name;
An item value notation score calculator for calculating an item value notation score representing the probability that the character string is an item value for the character string in the form image recognized from the form image;
An item value word score calculation unit for calculating an item value word score representing a probability that the character string is an item value word indicating a detailed item value registered in advance for the character string in the form image;
A score including both the item value notation score and the item value word score is set as an item value score (Sv), a character string having the item value score higher than a predetermined threshold is selected as an item value candidate, and the item value An item value candidate selection unit having the score (Sv) as the item value candidate score (Sc);
When a combination of item values of a plurality of attributes related to each other in the form image is set as an item value group for the item value candidate character string pair in the form image, the arrangement relationship of the character string pairs is An item value candidate arrangement score calculation unit for calculating an item value candidate arrangement score (Sca) indicating whether the item value of the item value group is valid;
Based on the item value score (Sv) and the item value arrangement score (Sca) for the character string pair of the item value candidate in the form image, the character string pair is a likelihood as an item value of the item value group. An item value candidate pair score calculation unit for calculating an item value candidate pair score (Scp), which is an evaluation value representing the likelihood,
An item value group evaluation unit that recognizes a character string of an item value by evaluating a correspondence between the character string in the form image and the item value group by the item value candidate pair score (Scp);
A form recognition apparatus comprising: a storage unit that stores a recognition result of a character string in the form image; or an output unit that outputs the storage unit.
前記帳票画像内の文字列に対し、該文字列が項目値に比較的頻出する項目値キーワードである確率を表す項目値キーワードスコアを計算し、項目値キーワードを検出する項目値キーワード検出部と、
前記項目値表記スコアと前記項目値キーワードスコアを用いて、項目値の単語を検出する際の対象文字列を選択する項目値単語照合対象文字列選択部と
を備え、
前記項目値単語スコア計算部は、前記項目値単語照合対象文字列選択部で選択された文字列に対し、前記項目値単語スコアを計算することを特徴とする帳票認識装置。
The form recognition device according to claim 1,
An item value keyword detection unit for calculating an item value keyword score representing a probability that the character string is an item value keyword that appears relatively frequently in an item value for the character string in the form image, and detecting an item value keyword;
Using the item value notation score and the item value keyword score, an item value word matching target character string selection unit for selecting a target character string when detecting a word of the item value,
The form value word score calculation unit calculates the item value word score for the character string selected by the item value word collation target character string selection unit.
前記帳票画像内の文字列に対し、該文字列が項目名である確率を表す項目名スコア（Ｓｎ）を計算する項目名スコア計算部と、
前記項目値表記スコア（Ｓｎ）と前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記帳票画像内の文字列ペアに対し、該文字列ペアの配置関係が項目名−項目値関係として妥当であるかを表す項目名―項目値配置スコア（Ｓａ）を計算する項目名―項目値配置スコア計算部と、
前記項目名スコア（Ｓｎ）、前記項目値スコア（Ｓｖ）、前記項目名―項目値配置スコア（Ｓａ）を基に、該文字列ペアの項目名−項目値としての尤もらしさを表す評価値である項目名−項目値ペアスコア（Ｓｐ）を計算する項目名−項目値ペアスコア計算部と、
前記項目名−項目値ペアスコア計算部の出力する前記項目名−項目値ペアスコア（Ｓｐ）により、前記帳票画像内での項目名−項目値関係の対応付けを決定する項目名−項目値ペア検出部と
を備え、
前記項目値候補選択部は、前記項目値スコア（Ｓｖ）が高い文字列と、前記項目名−項目値ペアスコア（Ｓｐ）が高い文字列のペアを項目値候補として選択することを特徴とする帳票認識装置。
The form recognition device according to claim 2,
An item name score calculation unit for calculating an item name score (Sn) representing the probability that the character string is an item name for the character string in the form image;
A score including both the item value notation score (Sn) and the item value word score is an item value score (Sv), and the arrangement relationship of the character string pairs with respect to the character string pairs in the form image is item name- An item name indicating whether the item value relation is valid-an item name for calculating an item value arrangement score (Sa) -an item value arrangement score calculating unit;
Based on the item name score (Sn), the item value score (Sv), and the item name-item value arrangement score (Sa), an evaluation value representing the likelihood as the item name-item value of the character string pair An item name-item value pair score calculation unit for calculating an item name-item value pair score (Sp);
The item name-item value pair for determining the association of the item name-item value relationship in the form image based on the item name-item value pair score (Sp) output from the item name-item value pair score calculation unit. A detection unit,
The item value candidate selecting unit selects a character string pair having a high item value score (Sv) and a character string having a high item name-item value pair score (Sp) as item value candidates. Form recognition device.
前記帳票画像内の文字列に対し、該文字列が項目名である確率を表す項目名スコア（Ｓｎ）を計算する項目名スコア計算部と、
前記項目値表記スコア（Ｓｎ）と前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記帳票画像内の文字列ペアに対し、該文字列ペアの配置関係が項目名−項目値関係として妥当であるかを表す項目名―項目値配置スコア（Ｓａ）を計算する項目名―項目値配置スコア計算部と、
前記項目名スコア（Ｓｎ）、前記項目値スコア（Ｓｖ）、前記項目名―項目値配置スコア（Ｓａ）を基に、該文字列ペアの項目名−項目値としての尤もらしさを表す評価値である項目名−項目値ペアスコア（Ｓｐ）を計算する項目名−項目値ペアスコア計算部と、
前記項目名−項目値ペアスコア計算部の出力する前記項目名−項目値ペアスコア（Ｓｐ）により、前記帳票画像内での項目名−項目値関係の対応付けを決定する項目名−項目値ペア検出部と
を備え、
前記項目値候補選択部は、前記項目値スコア（Ｓｖ）が高い文字列と、前記項目名−項目値ペアスコア（Ｓｐ）が高い文字列のペアを項目値候補として選択することを特徴とする帳票認識装置。
The form recognition device according to claim 1,
An item name score calculation unit for calculating an item name score (Sn) representing the probability that the character string is an item name for the character string in the form image;
A score including both the item value notation score (Sn) and the item value word score is an item value score (Sv), and the arrangement relationship of the character string pairs with respect to the character string pairs in the form image is item name- An item name indicating whether the item value relation is valid-an item name for calculating an item value arrangement score (Sa) -an item value arrangement score calculating unit;
Based on the item name score (Sn), the item value score (Sv), and the item name-item value arrangement score (Sa), an evaluation value representing the likelihood as the item name-item value of the character string pair An item name-item value pair score calculation unit for calculating an item name-item value pair score (Sp);
The item name-item value pair for determining the association of the item name-item value relationship in the form image based on the item name-item value pair score (Sp) output from the item name-item value pair score calculation unit. A detection unit,
The item value candidate selecting unit selects a character string pair having a high item value score (Sv) and a character string having a high item name-item value pair score (Sp) as item value candidates. Form recognition device.
前記項目値候補ペアスコア計算部は、前記項目値候補スコア（Ｓｃ）が高い項目値候補の文字列をノードとし、項目値候補同士のリンクのスコアを前記項目値候補配置スコア（Ｓｃａ）とするネットワークを作成し、前記項目値候補スコア（Ｓｃ）及び前記項目値候補配置スコア（Ｓｃａ）により前記項目値候補ペアスコア（Ｓｃｐ）を計算し、
前記項目値グループ評価部は、前記ネットワーク内で２つの文字列間の前記項目値候補ペアスコア（Ｓｃｐ）が高いパスを選択することにより、前記帳票画像内の文字列と項目値グループとの対応付けを評価することで項目値の文字列を決定する
ことを特徴とする帳票認識装置。
The form recognition device according to claim 1,
The item value candidate pair score calculation unit uses a character string of an item value candidate having a high item value candidate score (Sc) as a node, and sets a score of a link between item value candidates as the item value candidate arrangement score (Sca). Create a network, calculate the item value candidate pair score (Scp) from the item value candidate score (Sc) and the item value candidate placement score (Sca),
The item value group evaluation unit selects a path having a high item value candidate pair score (Scp) between two character strings in the network, thereby corresponding the character string in the form image and the item value group. A form recognition device characterized by determining a character string of an item value by evaluating a sticking.
項目名となりうる単語のリストである項目名辞書を備え、
前記項目名スコア計算部は、帳票画像内の文字列と前記項目名辞書との照合を行い、前記項目名スコア（Ｓｎ）を計算することを特徴とする帳票認識装置。
The form recognition device according to claim 3,
It has an item name dictionary that is a list of words that can be item names,
The item name score calculation unit collates a character string in a form image with the item name dictionary, and calculates the item name score (Sn).
文字列の数字又は記号の表記ルールのリストである項目値表記辞書を備え、
前記項目値表記スコア計算部は、帳票画像内の文字列と前記項目値表記辞書との照合を行い、前記項目値表記スコアを計算することを特徴とする帳票認識装置。
The form recognition device according to claim 1,
An item value notation dictionary that is a list of rules for notation of numbers or symbols of character strings,
The item value notation score calculation unit compares the character string in the form image with the item value notation dictionary, and calculates the item value notation score.
属性に応じて記載されるキーワードである項目値キーワードのリストである項目値キーワード辞書を備え、
前記項目値キーワード検出部は、帳票画像内の文字列と前記項目値キーワード辞書との照合を行い、前記項目値キーワードスコアを計算することを特徴とする帳票認識装置。
The form recognition device according to claim 2,
An item value keyword dictionary that is a list of item value keywords that are keywords described according to attributes,
The form value keyword detection unit compares a character string in a form image with the item value keyword dictionary and calculates the item value keyword score.
前記項目値単語照合対象文字列選択部は、項目値グループの文字列は互いに近接した範囲に記載されているという条件に従い、抽出済みの文字列を利用して項目値単語照合処理の対象となる文字列を選択することを特徴とする帳票認識装置。
The form recognition device according to claim 2,
The item value word matching target character string selection unit is subject to the item value word matching processing using the extracted character string in accordance with the condition that the character strings of the item value group are described in a range close to each other. A form recognition apparatus characterized by selecting a character string.
事前に登録した項目値の単語リストである項目値単語辞書を備え、
前記項目値単語スコア計算部は、選択された文字列と前記項目値単語辞書との照合を行い、前記項目値単語スコアを計算することを特徴とする帳票認識装置。
The form recognition device according to claim 1,
It has an item value word dictionary that is a word list of pre-registered item values,
The form value word score calculation unit collates a selected character string with the item value word dictionary, and calculates the item value word score.
前記項目名―項目値配置スコア計算部は、前記項目名―項目値配置スコア（Ｓａ）を、該項目名―項目値配置スコアが取り得る値の最大値で初期化し、文字列ペアをなす２つの文字列の配置関係が項目名−項目値関係として非妥当であると判断できる配置パターンをペナルティルールとして定義し、初期値からペナルティルールによって得られたペナルティ値を減算した値として計算することを特徴とする帳票認識装置。
The form recognition device according to claim 3,
The item name-item value arrangement score calculator initializes the item name-item value arrangement score (Sa) with the maximum value that the item name-item value arrangement score can take, and forms a character string pair. Defining a placement pattern that can be judged as an invalid item name-item value relationship as the placement relationship of two character strings as a penalty rule, and calculating a value obtained by subtracting the penalty value obtained by the penalty rule from the initial value Feature form recognition device.
前記項目値候補選択部は、項目値候補を、前記項目値表記スコアが閾値以上の項目値表記文字列、前記項目値単語スコアが閾値以上の項目値単語文字列、前記項目名―項目値ペアスコアが閾値以上の項目名―項目値ペアとし、項目値候補スコア（Ｓｃ）を、項目名―項目値ペアスコア、項目値単語スコア、項目値表記スコア、の順にいずれかを選択して求めることを特徴とする帳票認識装置。
The form recognition device according to claim 3,
The item value candidate selection unit is configured to select item value candidates as item value notation character strings whose item value notation score is equal to or greater than a threshold, item value word character strings whose item value word score is equal to or greater than a threshold, and the item name-item value pair. An item name-item value pair whose score is equal to or greater than a threshold value is selected, and an item value candidate score (Sc) is obtained by selecting any of the item name-item value pair score, item value word score, and item value notation score in this order. A form recognition device.
前記項目値単語辞書は、項目名にあらかじめ優先度が設定され、第１優先度の項目名の項目値ごとに第２優先度の項目名の項目値のリストを設け、
前記項目値単語スコア計算部は、優先度が設定された前記項目値単語辞書を参照して、優先度の順に項目値単語照合を行って絞り各優先度の項目値の候補を絞る
ことを特徴とする帳票認識装置。
The form recognition device according to claim 1,
In the item value word dictionary, priorities are set in advance for the item names, and a list of item values of the item names of the second priority is provided for each item value of the item names of the first priority.
The item value word score calculation unit refers to the item value word dictionary in which priority is set, performs item value word matching in order of priority, and narrows down the item value candidates for each priority. A form recognition device.
データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力し、
前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算し、
前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算し、
前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とし、
前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算し、
前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算し、
前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記帳票画像内の文字列の認識結果を記憶する又は出力する
ことを特徴とする帳票認識方法。
A form recognition method,
Enter the item name that is the character string that represents the attribute of the data and the form image that contains the data character string for the item name,
An item value notation score representing the probability that the character string is an item value is calculated for the character string in the form image recognized from the form image,
For the character string in the form image, calculate an item value word score representing the probability that the character string is an item value word indicating a detailed item value registered in advance,
A score including both the item value notation score and the item value word score is set as an item value score (Sv), a character string having the item value score higher than a predetermined threshold is selected as an item value candidate, and the item value Let the score (Sv) be the item value candidate score (Sc),
When a combination of item values of a plurality of attributes related to each other in the form image is set as an item value group for the item value candidate character string pair in the form image, the arrangement relationship of the character string pairs is Calculating an item value candidate arrangement score (Sca) indicating whether the item value of the item value group is valid;
Based on the item value score (Sv) and the item value arrangement score (Sca) for the character string pair of the item value candidate in the form image, the character string pair is a likelihood as an item value of the item value group. An item value candidate pair score (Scp) that is an evaluation value representing the likelihood is calculated,
Recognizing the character string of the item value by evaluating the correspondence between the character string in the form image and the item value group by the item value candidate pair score (Scp),
A form recognition method for storing or outputting a recognition result of a character string in the form image.
制御部が、画像入力部により、データの属性を表す文字列である項目名と、項目名に対するデータの文字列を含む帳票画像を入力するステップと、
前記制御部が、前記帳票画像から認識された、前記帳票画像内の文字列に対し、該文字列が項目値である確率を表す項目値表記スコアを計算するステップと、
前記制御部が、前記帳票画像内の文字列に対し、該文字列が予め登録された詳細な項目値を示す項目値単語である確率を表す項目値単語スコアを計算するステップと、
前記制御部が、前記項目値表記スコアと前記項目値単語スコアの両方を含むスコアを項目値スコア（Ｓｖ）とし、前記項目値スコアが予め定められた閾値より高い文字列を項目値候補として選択し、前記項目値スコア（Ｓｖ）を項目値候補スコア（Ｓｃ）とするステップと、
前記制御部が、前記帳票画像内の前記項目値候補の文字列ペアに対し、前記帳票画像内において互いに関係する複数の属性の項目値の組合せを項目値グループとした場合に、該文字列ペアの配置関係が各前記項目値グループの項目値として妥当であるかを表す項目値候補配置スコア（Ｓｃａ）を計算するステップと、
前記制御部が、前記帳票画像内の項目値候補の文字列ペアに対し、前記項目値スコア（Ｓｖ）、前記項目値配置スコア（Ｓｃａ）を基に、前記文字列ペアが前記項目値グループの項目値としての尤もらしさを表す評価値である項目値候補ペアスコア（Ｓｃｐ）を計算するステップと、
前記制御部が、前記項目値候補ペアスコア（Ｓｃｐ）により、前記帳票画像内の文字列と前記項目値グループとの対応付けを評価することで項目値の文字列を認識し、
前記制御部が、前記帳票画像内の文字列の認識結果を記憶部に記憶する又は出力部に出力するステップと
をコンピュータに実行させるための帳票認識プログラム。 A form recognition program,
A step of inputting, by the image input unit, an item name that is a character string representing an attribute of data and a form image including a character string of data for the item name;
The controller calculates an item value notation score representing a probability that the character string is an item value for the character string in the form image recognized from the form image;
The control unit calculates an item value word score representing a probability that the character string is an item value word indicating a detailed item value registered in advance for the character string in the form image;
The control unit selects a score including both the item value notation score and the item value word score as an item value score (Sv), and selects a character string having the item value score higher than a predetermined threshold as an item value candidate The item value score (Sv) as an item value candidate score (Sc);
When the control unit sets a combination of item values of a plurality of attributes related to each other in the form image as an item value group for the item value candidate character string pair in the form image, the character string pair Calculating an item value candidate arrangement score (Sca) indicating whether or not the arrangement relationship is valid as an item value of each of the item value groups;
Based on the item value score (Sv) and the item value arrangement score (Sca), the control unit sets the character string pair of the item value group to the item value candidate character string pair in the form image. Calculating an item value candidate pair score (Scp) that is an evaluation value representing the likelihood as the item value;
The control unit recognizes the character string of the item value by evaluating the association between the character string in the form image and the item value group based on the item value candidate pair score (Scp),
A form recognition program for causing the computer to execute a step of storing a recognition result of a character string in the form image in a storage unit or outputting it to an output unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013241716A JP6174466B2 (en) | 2013-11-22 | 2013-11-22 | Form recognition device, form recognition method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013241716A JP6174466B2 (en) | 2013-11-22 | 2013-11-22 | Form recognition device, form recognition method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015102938A JP2015102938A (en) | 2015-06-04 |
| JP6174466B2 true JP6174466B2 (en) | 2017-08-02 |
Family
ID=53378609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013241716A Active JP6174466B2 (en) | 2013-11-22 | 2013-11-22 | Form recognition device, form recognition method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6174466B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6406932B2 (en) * | 2014-08-29 | 2018-10-17 | 日立オムロンターミナルソリューションズ株式会社 | Form recognition apparatus and method |
| EP3648032A1 (en) * | 2017-06-29 | 2020-05-06 | Bizocean Co., Ltd. | Information inputting method, information inputting device, and information inputting system |
| US11055481B2 (en) | 2017-06-29 | 2021-07-06 | Spalo Co., Ltd. | Information input method, information input apparatus, and information input system |
| WO2021186642A1 (en) * | 2020-03-18 | 2021-09-23 | 株式会社Pfu | Image processing device, control method, and control program |
| CN113591772B (en) * | 2021-08-10 | 2024-01-19 | 上海杉互健康科技有限公司 | Method, system, equipment and storage medium for structured identification and input of medical information |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4461769B2 (en) * | 2003-10-29 | 2010-05-12 | 株式会社日立製作所 | Document retrieval / browsing technique and document retrieval / browsing device |
| JP4871889B2 (en) * | 2008-01-18 | 2012-02-08 | 株式会社日立ソリューションズ | Table recognition method and table recognition apparatus |
| JP2010140204A (en) * | 2008-12-10 | 2010-06-24 | Sharp Corp | Character recognition device, character recognition method, character recognition program, and recording medium |
| JP5621169B2 (en) * | 2010-05-26 | 2014-11-05 | 日立オムロンターミナルソリューションズ株式会社 | Form recognition device and form recognition method |
-
2013
- 2013-11-22 JP JP2013241716A patent/JP6174466B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015102938A (en) | 2015-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6406932B2 (en) | Form recognition apparatus and method | |
| JP5405586B2 (en) | Handwritten character recognition method and handwritten character recognition apparatus | |
| US7499588B2 (en) | Low resolution OCR for camera acquired documents | |
| TWI321294B (en) | Method and device for determining at least one recognition candidate for a handwritten pattern | |
| JP6938228B2 (en) | Calculator, document identification method, and system | |
| JP6174466B2 (en) | Form recognition device, form recognition method, and program | |
| Weinman et al. | Toward integrated scene text reading | |
| US6137908A (en) | Handwriting recognition system simultaneously considering shape and context information | |
| US20160034441A1 (en) | Systems, apparatuses and methods for generating a user interface | |
| US8233726B1 (en) | Image-domain script and language identification | |
| JP5621169B2 (en) | Form recognition device and form recognition method | |
| JP5653817B2 (en) | Form recognition device, form recognition method, and program therefor | |
| US11782928B2 (en) | Computerized information extraction from tables | |
| JP2004139484A (en) | Form processing device, program for implementing it, and program for creating form format | |
| CN111340020A (en) | Formula identification method, device, equipment and storage medium | |
| CN114341954B (en) | Text line extraction | |
| JP2015069256A (en) | Character identification system | |
| US10438097B2 (en) | Recognition device, recognition method, and computer program product | |
| JP3216800B2 (en) | Handwritten character recognition method | |
| KR20220132536A (en) | Math detection in handwriting | |
| JP5134383B2 (en) | OCR device, trail management device and trail management system | |
| JP4466241B2 (en) | Document processing method and document processing apparatus | |
| JP5712415B2 (en) | Form processing system and form processing method | |
| JP4418726B2 (en) | Character string search device, search method, and program for this method | |
| JP2010237909A (en) | Knowledge correction program, knowledge correcting device and knowledge correction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160722 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170307 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170317 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170706 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6174466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |