JP7421866B2 - Learning information manufacturing device, information processing device, learning information manufacturing method, information processing method, and program - Google Patents
Learning information manufacturing device, information processing device, learning information manufacturing method, information processing method, and program Download PDFInfo
- Publication number
- JP7421866B2 JP7421866B2 JP2019043848A JP2019043848A JP7421866B2 JP 7421866 B2 JP7421866 B2 JP 7421866B2 JP 2019043848 A JP2019043848 A JP 2019043848A JP 2019043848 A JP2019043848 A JP 2019043848A JP 7421866 B2 JP7421866 B2 JP 7421866B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- billing
- bill
- learning
- related information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims description 66
- 230000010365 information processing Effects 0.000 title claims description 50
- 238000003672 processing method Methods 0.000 title claims 3
- 238000003860 storage Methods 0.000 claims description 118
- 238000012545 processing Methods 0.000 claims description 117
- 238000010801 machine learning Methods 0.000 claims description 25
- 230000008520 organization Effects 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000012986 modification Methods 0.000 claims description 13
- 230000004048 modification Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 6
- 238000000034 method Methods 0.000 description 93
- 230000008569 process Effects 0.000 description 84
- 238000005520 cutting process Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 27
- 230000005540 biological transmission Effects 0.000 description 15
- 238000012790 confirmation Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Description
本発明は、請求書画像を用いて、請求書に関する情報を処理する情報処理装置等に関するものである。 The present invention relates to an information processing apparatus and the like that process information regarding a bill using a bill image.
従来、コンピュータシステムのサーバとクライエント間に設定され、請求書等の書面を画像として読み取り、会計処理はもちろん、抽出、分類、集計などの業務において必要な、様々な処理を、マンパワーを必要とすることなく、行うことを可能とする業務処理システムの技術が存在した(特許文献1参照)。 Traditionally, it was set up between a computer system server and a client, and was used to read documents such as invoices as images, and perform a variety of processes that required not only accounting processing but also extraction, classification, aggregation, etc., without requiring manpower. There is a technology for a business processing system that makes it possible to perform tasks without having to do so (see Patent Document 1).
かかる業務処理システムは、コンピュータシステムのサーバとクライエントにそれぞれ設定されるものであり、それぞれ画像読み取り手段とメモリが備えられる。このシステムは業務の処理の過程で順次発生する書面をその都度連続業務コード番号を付与し、画像読み取り手段において画像データとして読み取られたデータについて各処理を実行するアイテムコード記憶手段、標準アイテム用語コードデータ記憶手段、ランダムコードデータ記憶手段,抽出,分類,または集計処理手段のそれぞれを備えている。 Such a business processing system is set up in a server and a client of a computer system, and each is equipped with an image reading means and a memory. This system assigns a continuous business code number to each document that is generated sequentially in the process of business processing, and uses an item code storage means and standard item terminology code to perform each process on the data read as image data by an image reading means. Each of the data storage means, random code data storage means, and extraction, classification, or aggregation processing means is provided.
しかしながら、従来技術においては、単にOCRソフトウェアを用いて、請求書の画像(以下、請求書画像という)から文字列を取得するだけであるので、様々なフォーマットの請求書画像から管理すべき情報を容易に、かつ精度高く取得し、蓄積することができなかった。なお、請求書画像における管理すべき情報とは、例えば、会社名、会社の住所、口座の情報等である。 However, in the conventional technology, OCR software is simply used to obtain character strings from invoice images (hereinafter referred to as invoice images). It was not possible to obtain and store information easily and with high precision. Note that the information to be managed in the bill image includes, for example, company name, company address, account information, and the like.
本第一の発明の学習情報製造装置は、請求書画像を受け付ける請求書画像受付部と、請求書画像受付部が受け付けた請求書画像を出力する請求書画像出力部と、請求書画像出力部が出力した請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報ごとに受け付ける領域特定情報受付部と、領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を取得する請求関連情報取得部と、領域特定情報と、領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成部と、学習情報を蓄積する学習情報蓄積部とを具備する学習情報製造装置である。 The learning information production device of the first invention includes a bill image receiving section that receives a bill image, a bill image output section that outputs the bill image received by the bill image receiving section, and a bill image output section. For the bill image output by a billing-related information acquisition unit that acquires billing-related information that is a character string written in each of two or more areas; and two or more sets that are a pair of area specifying information and billing-related information corresponding to the area specifying information. This is a learning information manufacturing device that includes a learning information configuration section that configures learning information using information, and a learning information storage section that accumulates learning information.
かかる構成により、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる学習情報を容易に取得できる。 With this configuration, information to be managed can be easily and accurately acquired from the bill image, and learning information that can be stored can be easily acquired.
また、本第二の発明の学習情報製造装置は、第一の発明に対して、請求関連情報取得部は、手入力された請求関連情報を受け付ける学習情報製造装置である。 Further, the learning information manufacturing device of the second invention is different from the first invention in that the billing-related information acquisition unit receives manually input billing-related information.
かかる構成により、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる学習情報を容易に精度高く取得できる。 With this configuration, information to be managed can be easily and accurately acquired from the bill image, and learning information that can be stored can be easily and accurately acquired.
また、本第三の発明の学習情報製造装置は、第一の発明に対して、請求関連情報取得部は、請求書画像受付部が受け付けた請求書画像に対して文字認識処理を行い、第一の請求関連情報を取得する文字認識手段と、手入力された第二の請求関連情報を受け付ける請求関連情報受付手段と、第一の請求関連情報と第二の請求関連情報とを用いて、蓄積される請求関連情報を決定する決定手段とを具備し、学習情報構成部は、領域特定情報と、決定手段が決定した請求関連情報との組、1組以上を用いて、学習情報を構成する学習情報製造装置である。 Further, in the learning information production device of the third invention, in contrast to the first invention, the billing-related information acquisition unit performs character recognition processing on the bill image received by the bill image receiving unit, and Using a character recognition means for acquiring one billing-related information, a billing-related information receiving means for receiving manually inputted second billing-related information, and the first billing-related information and the second billing-related information, a determining means for determining the billing-related information to be accumulated, and the learning information configuration unit configures the learning information using one or more sets of the area specifying information and the billing-related information determined by the determining means. This is a learning information production device.
かかる構成により、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる学習情報を容易に、より精度高く取得できる。 With this configuration, information to be managed can be easily and accurately acquired from the bill image, and learning information that can be stored can be easily and accurately acquired.
また、本第四の発明の学習情報製造装置は、第一の発明に対して、請求関連情報取得部は、2以上の各ユーザにより手入力された2以上の第二の請求関連情報を受け付ける請求関連情報受付手段と、2以上の第二の請求関連情報を用いて、蓄積される請求関連情報を決定する決定手段とを具備し、学習情報構成部は、領域特定情報と、決定手段が決定した請求関連情報との組、1組以上を用いて、学習情報を構成する学習情報製造装置である。 Further, in the learning information manufacturing device of the fourth invention, in contrast to the first invention, the billing-related information acquisition unit receives two or more pieces of second billing-related information manually input by each of the two or more users. The learning information configuration unit includes a billing-related information receiving unit and a determining unit that uses two or more pieces of second billing-related information to determine the billing-related information to be accumulated. This is a learning information manufacturing device that configures learning information using one or more sets of determined billing-related information.
かかる構成により、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる学習情報を容易に、極めて精度高く取得できる。 With this configuration, information to be managed can be easily and accurately acquired from the bill image, and learning information that can be stored can be easily and extremely accurately acquired.
また、本第五の発明の学習情報製造装置は、第四の発明に対して、学習情報構成部は、領域特定情報と、領域特定情報に対応する請求関連情報との組である2以上の組情報を有する請求書元情報を構成する請求書元情報構成手段を具備し、学習情報は、請求書元情報を含む、学習情報製造装置である。 Further, in the learning information production device of the fifth invention, in contrast to the fourth invention, the learning information configuration unit includes two or more pieces of information that are a set of area specifying information and billing related information corresponding to the area specifying information. The learning information manufacturing device includes billing source information configuring means for configuring billing source information having set information, and the learning information includes billing source information.
かかる構成により、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる学習情報を容易に取得できる。 With this configuration, information to be managed can be easily and accurately acquired from the bill image, and learning information that can be stored can be easily acquired.
また、本第六の発明の学習情報製造装置は、第一から第五いずれか1つの発明に対して、学習情報構成部は、領域特定情報と、領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、機械学習のアルゴリズムにより、学習器を生成する学習手段を具備し、学習情報は、学習器を含む、学習情報製造装置である。 Further, in the learning information production device of the sixth invention, in contrast to any one of the first to fifth inventions, the learning information configuration unit is configured to combine area specifying information and billing related information corresponding to the area specifying information. The learning information manufacturing apparatus includes a learning means for generating a learning device by a machine learning algorithm using two or more sets of set information, and the learning information includes the learning device.
かかる構成により、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる学習情報を容易に取得できる。 With this configuration, information to be managed can be easily and accurately acquired from the bill image, and learning information that can be stored can be easily acquired.
また、本第七の発明の学習情報製造装置は、第一から第六いずれか1つの発明に対して、2種類以上の請求関連情報は、請求元の組織名を含む請求元の組織に関する請求元組織情報、支払先に関する1以上の支払先情報、請求額に関する請求額情報、支払期日に関する支払期日情報を含む、学習情報製造装置である。 Furthermore, in the learning information production device of the seventh invention, for any one of the first to sixth inventions, two or more types of billing-related information include a billing organization name including the billing organization name. The learning information production device includes source organization information, one or more pieces of payee information regarding a payee, billing amount information regarding a billed amount, and payment due date information regarding a payment due date.
かかる構成により、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる学習情報を容易に取得できる。 With this configuration, information to be managed can be easily and accurately acquired from the bill image, and learning information that can be stored can be easily acquired.
また、本第八の発明の情報処理装置は、学習情報製造装置が蓄積した学習情報が格納される学習情報格納部と、請求書画像を受け付ける請求書画像受付部と、請求書画像受付部が受け付けた請求書画像に関する情報である受付情報と、学習情報格納部の学習情報とを用いて、2種類以上の請求関連情報を有する請求書情報を取得する請求書情報取得部と、請求書情報を出力する請求書情報出力部とを具備する情報処理装置である。 Further, the information processing device of the eighth invention includes a learning information storage section in which learning information accumulated by the learning information production device is stored, a bill image receiving section that receives a bill image, and a bill image receiving section. a bill information acquisition unit that acquires bill information having two or more types of bill-related information using reception information that is information about received bill images and learning information in a learning information storage unit; The information processing device includes a bill information output unit that outputs a bill information output unit.
かかる構成により、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる。 With this configuration, information to be managed can be easily and accurately acquired from bill images and stored.
また、本第九の発明の情報処理装置は、第八の発明に対して、学習情報は、請求書元情報を含み、請求書画像受付部が受け付けた請求書画像に関する情報であり、口座番号を含む受付情報を受け付ける受付情報受付部をさらに具備し、請求書情報取得部は、受付情報受付部が受け付けた受付情報をキーとして請求書元情報を検索し、受付情報に対応する請求書元情報の全部または一部である請求書情報を取得する情報処理装置である。 Further, in the information processing device of the ninth invention, in contrast to the eighth invention, the learning information includes invoice source information, is information regarding the invoice image received by the invoice image reception unit, and has an account number. The invoice information acquisition section searches for billing source information using the reception information received by the reception information receiving section as a key, and searches for billing source information corresponding to the received information. This is an information processing device that acquires bill information, which is all or part of the information.
かかる構成により、学習情報を用いて、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる。 With this configuration, information to be managed can be easily and accurately acquired and stored from bill images using learning information.
また、本第十の発明の情報処理装置は、第九の発明に対して、請求書情報取得部は、受付情報受付部が受け付けた受付情報をキーとして請求書元情報を検索し、受付情報に対応する請求書元情報が存在するか否かを判断する判断手段と、判断手段が受付情報に対応する請求書元情報が存在すると判断した場合に、請求書元情報の全部または一部である請求書情報を取得する請求書情報取得手段とを具備し、請求書画像受付部が受け付けた請求書画像を出力する請求書画像出力部と、判断手段が受付情報に対応する請求書元情報が存在しないと判断した場合に、請求書画像出力部が出力した請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報ごとに受け付ける領域特定情報受付部と、領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を取得する請求関連情報取得部と、領域特定情報と、領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成部と、学習情報を蓄積する学習情報蓄積部とをさらに具備し、請求書情報取得部は、請求関連情報取得部が取得した2種類以上の請求関連情報を有する請求書情報を取得する情報処理装置である。 Furthermore, in the information processing device of the tenth invention, in contrast to the ninth invention, the bill information acquisition section searches for bill source information using the reception information received by the reception information reception section as a key, and searches for the reception information. a determination means for determining whether or not invoice source information corresponding to the reception information exists; A bill image output unit that outputs the bill image received by the bill image reception unit, and a bill image output unit that outputs the bill image received by the bill image reception unit, and a determination unit that outputs bill source information corresponding to the reception information. If it is determined that the invoice does not exist, the invoice image output unit outputs area identification information that specifies areas of two or more types of billing-related information related to the billing information for each billing-related information. an area specifying information reception unit that receives the area specifying information; a billing related information acquisition unit that obtains the billing related information that is a character string written in each of two or more areas specified by the area specifying information; The billing information acquisition unit further includes a learning information configuration unit that configures learning information using two or more sets of information that are paired with corresponding billing-related information, and a learning information storage unit that accumulates learning information. is an information processing device that acquires bill information having two or more types of bill-related information acquired by a bill-related information acquisition unit.
かかる構成により、学習情報を用いて、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができるとともに、学習情報を進化させることができる。 With this configuration, information to be managed from bill images can be easily and accurately acquired and stored using learning information, and learning information can be evolved.
また、本第十一の発明の情報処理装置は、第八の発明に対して、学習情報は、学習器を含み、受付情報は、請求書画像受付部が受け付けた請求書画像そのものであり、請求書情報取得部は、請求書画像受付部が受け付けた請求書画像を、機械学習のアルゴリズムにより、学習器に適用し、2種類以上の請求関連情報を有する請求書情報を取得する情報処理装置である。 Further, in the information processing device of the eleventh invention, in contrast to the eighth invention, the learning information includes a learning device, the reception information is the bill image itself received by the bill image reception unit, The bill information acquisition unit is an information processing device that applies the bill image received by the bill image reception unit to a learning device using a machine learning algorithm, and acquires bill information having two or more types of bill-related information. It is.
かかる構成により、学習情報を用いて、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる。 With this configuration, information to be managed can be easily and accurately acquired and stored from bill images using learning information.
また、本第十二の発明の情報処理装置は、第八から第十一いずれか1つの発明に対して、請求書情報出力部が出力した請求書情報に対する修正を受け付ける修正受付部と、修正受付部が受け付けた修正により、修正された請求書情報を蓄積する請求書情報蓄積部とを具備する情報処理装置である。 Further, the information processing device of the twelfth invention, for any one of the eighth to eleventh inventions, further includes a modification receiving section that receives a modification to the bill information outputted by the bill information output section; The information processing apparatus includes a bill information storage section that stores modified bill information based on the modifications received by the reception section.
かかる構成により、学習情報を用いて、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積することができる。 With this configuration, information to be managed can be easily and accurately acquired and stored from bill images using learning information.
本発明による学習情報製造装置によれば、請求書画像から管理すべき情報を容易に、かつ精度高く取得し、蓄積することができる。 According to the learning information production device according to the present invention, it is possible to easily and accurately acquire and store information to be managed from bill images.
以下、学習情報製造装置、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。 Hereinafter, embodiments of a learning information production device, an information processing device, etc. will be described with reference to the drawings. Note that in the embodiments, constituent elements with the same reference numerals perform similar operations, and therefore, repeated explanation may be omitted.
(実施の形態1) (Embodiment 1)
本実施の形態において、受け付けた請求書画像から効率的に請求関連情報を取得するために使用する学習情報を取得し、蓄積する学習情報製造装置を具備する情報システムについて説明する。さらに具体的には、本実施の形態において、請求書画像の中の請求関連情報の領域を示す情報を受け付け、各領域を特定する領域特定情報と各領域内の文字列の情報とを対応付けた2以上の組情報を用いて、学習情報を取得し、蓄積する学習情報製造装置を具備する情報システムについて説明する。 In this embodiment, an information system including a learning information production device that acquires and accumulates learning information used to efficiently acquire billing-related information from received bill images will be described. More specifically, in this embodiment, information indicating areas of billing-related information in an invoice image is accepted, and area identification information that specifies each area is associated with information on character strings in each area. An information system including a learning information production device that acquires and accumulates learning information using two or more sets of information will be described.
なお、本実施の形態において、領域内の文字列である請求関連情報は、1または2以上のユーザから手入力により受け付けられても良いし、文字認識技術により取得されても良いし、1以上のユーザから手入力による受け付けと文字認識技術による取得とを併用して取得されても良い。また、2以上のユーザから手入力により受け付ける場合、ユーザから手入力による受け付けと文字認識技術による取得とを併用する場合は、適切な処理により、使用する請求関連情報を決定することは好適である。 Note that in this embodiment, the billing-related information, which is a character string within the area, may be received manually from one or more users, may be obtained by character recognition technology, or may be received by one or more users by manual input, or may be obtained by character recognition technology. The information may be acquired by a combination of manual input from the user and acquisition using character recognition technology. In addition, when receiving manual input from two or more users, or when using both manual input from users and acquisition using character recognition technology, it is preferable to determine the billing-related information to be used through appropriate processing. .
また、本実施の形態において、学習情報は、後述する請求書元情報、後述する学習器のうちの1以上を含む情報である。 Further, in this embodiment, the learning information is information including one or more of billing source information, which will be described later, and a learning device, which will be described later.
図1は、本実施の形態における情報システムAの概念図である。情報システムAは、学習情報製造装置1、1または2以上の第一端末2、および1または2以上の第二端末3を備える。学習情報製造装置1は、例えば、いわゆるサーバである。サーバは、例えば、いわゆるクラウドサーバ、ASPサーバ等、その種類や設置場所等は問わない。第一端末2および第二端末3は、例えば、いわゆるパソコン、スマートフォン、タブレット端末等であり、その種類は問わない。
FIG. 1 is a conceptual diagram of an information system A in this embodiment. The information system A includes a learning
図2は、本実施の形態における情報システムAのブロック図である。図3は、情報システムAを構成する学習情報製造装置1のブロック図である。
FIG. 2 is a block diagram of information system A in this embodiment. FIG. 3 is a block diagram of the learning
学習情報製造装置1は、格納部11、受付部12、処理部13、および出力部14を備える。格納部11は、学習情報格納部111を備える。受付部12は、例えば、請求書画像受付部112、および領域特定情報受付部113を備える。処理部13は、例えば、請求関連情報取得部131、学習情報構成部132、および学習情報蓄積部133を備える。請求関連情報取得部131は、例えば、文字認識手段1311、請求関連情報受付手段1312、および決定手段1313を備える。学習情報構成部132は、例えば、請求書元情報構成手段1321、学習手段1322を備える。出力部14は、例えば、請求書画像出力部141を備える。
The learning
第一端末2は、第一格納部21、第一受付部22、第一処理部23、第一送信部24、第一受信部25、および第一出力部26を備える。
The first terminal 2 includes a
第二端末3は、第二格納部31、第二受付部32、第二処理部33、第二送信部34、第二受信部35、および第二出力部36を備える。
The second terminal 3 includes a
学習情報製造装置1を構成する格納部11には、各種の情報が格納される。各種の情報とは、例えば、後述する学習情報である。
A
学習情報格納部111には、学習情報が格納される。学習情報は、例えば、後述する請求書元情報、後述する学習器のうちの1種類以上の情報である。 The learning information storage unit 111 stores learning information. The learning information is, for example, one or more types of information of billing source information, which will be described later, and a learning device, which will be described later.
受付部12は、情報や指示等を受け付ける。情報や指示等とは、例えば、後述する請求書画像、後述する領域特定情報である。受付部12は、通常、情報や指示等を、第一端末2または第二端末3から受信する。ただし、受付部12は、ユーザからの情報や指示等を受け付けても良い。かかる場合の情報や指示等の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。かかる場合、受付部12は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
The
請求書画像受付部112は、請求書画像を受け付ける。請求書画像とは、請求書の画像データである。請求書画像は、例えば、PDFファイル、gifファイル、jpegファイルであるが、その形式やデータ構造等は問わない。ここでの受け付けとは、通常、第一端末2からの受信である。なお、第一端末2は、請求書の管理を希望する第一ユーザが使用する端末である。また、請求書画像の受け付けは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどでも良い。また、請求書画像受付部112は、受け付けた請求書画像に対して変換処理を行い、変換後の請求書画像を取得しても良い。かかる変換後の請求書画像も、請求書画像受付部112が受け付けた請求書画像である、と言っても良い。例えば、請求書画像受付部112は、受け付けたPDFの請求書画像を、jpegまたはgif等の形式の請求書画像に変換しても良い。 The bill image receiving unit 112 receives bill images. The bill image is image data of a bill. The bill image may be, for example, a PDF file, a GIF file, or a JPEG file, but its format and data structure are not limited. The reception here usually means reception from the first terminal 2. Note that the first terminal 2 is a terminal used by a first user who desires to manage bills. Further, the bill image may be accepted by accepting information input from an input device such as a keyboard, mouse, or touch panel, or by accepting information read from a recording medium such as an optical disk, a magnetic disk, or a semiconductor memory. Further, the bill image receiving unit 112 may perform a conversion process on the received bill image and obtain the converted bill image. It may be said that the bill image after such conversion is also the bill image accepted by the bill image receiving unit 112. For example, the bill image receiving unit 112 may convert the received PDF bill image into a bill image in a format such as jpeg or gif.
領域特定情報受付部113は、1または2以上の領域特定情報を受け付ける。請求書画像出力部141が出力した請求書画像に対して、2種類以上の請求関連情報の各領域を特定する領域特定情報を、請求関連情報ごとに受け付けることは好適である。
The region specifying
領域特定情報受付部113が受け付ける領域特定情報は、種類識別子に対応付いていることは好適である。領域特定情報受付部113は、例えば、領域特定情報と種類識別子との組を、1組以上取得する。種類識別子は、請求関連情報の種類を特定する情報である。種類識別子は、例えば、「会社名」「住所」「請求額」「支払先」「支払期日」である。
It is preferable that the area specifying information received by the area specifying
ここで、領域特定情報は、請求書画像の中の部分の領域を特定する情報である。領域特定情報は、例えば、請求書画像の中の領域の左上座標値と右下座標値、請求書画像の中の領域の左上座標値と幅と高さ、請求書画像の中の矩形領域の重心点などである。領域特定情報のデータ構造は問わない。 Here, the area specifying information is information that specifies the area of a portion within the bill image. The area identification information includes, for example, the upper left coordinate value and lower right coordinate value of the area in the invoice image, the upper left coordinate value, width and height of the area in the invoice image, and the rectangular area in the invoice image. such as the center of gravity. The data structure of the area identification information does not matter.
また、請求関連情報は、請求に関連する情報である。請求関連情報は、請求書画像の中に表出した情報である。請求関連情報は、例えば、請求元の組織名を特定する組織名情報、組織の住所を特定する住所情報、請求額を特定する請求額情報、支払先を特定する支払先情報、支払期日を特定する支払期日情報のうちの1または2種類以上の情報である。2種類以上の請求関連情報は、組織名情報、住所情報、請求額情報、支払先情報、支払期日情報であることは好適である。また、2種類以上の請求関連情報は、請求元の組織名を含む請求元の組織に関する請求元組織情報、1または2以上の支払先情報、請求額情報、支払期日情報を含むことは好適である。請求元組織情報は、例えば、組織名情報、住所情報を含む。なお、支払先情報は、例えば、振込先の口座の情報である。支払先情報は、例えば、銀行名、支店名、口座種類、口座番号、および口座名名義である。支払先情報は、例えば、クレジットカード番号、名義、および有効期限でも良い。 Moreover, billing related information is information related to billing. The billing-related information is information displayed in the bill image. Billing-related information includes, for example, organization name information that specifies the name of the billing organization, address information that specifies the address of the organization, bill amount information that specifies the bill amount, payee information that specifies the payment destination, and payment date. This is one or more types of payment date information. Preferably, the two or more types of billing-related information are organization name information, address information, billing amount information, payee information, and payment date information. In addition, it is preferable that the two or more types of billing-related information include billing organization information regarding the billing organization including the billing organization name, one or more payment destination information, billing amount information, and payment date information. be. The billing organization information includes, for example, organization name information and address information. Note that the payee information is, for example, information on the account of the transferee. The payee information includes, for example, bank name, branch name, account type, account number, and account name. The payee information may be, for example, a credit card number, name, and expiration date.
請求関連情報は、例えば、固定的な情報である固定請求関連情報、または変動的な情報である変動請求関連情報である。固定請求関連情報は、動的には変化しない情報であり、例えば、種類識別子「会社名」または「住所」と対になる請求関連情報である。変動請求関連情報は、通常、請求書画像によって異なる情報であり、例えば、種類識別子「請求額」「支払先」「支払期日」と対になる請求関連情報である。 The billing-related information is, for example, fixed billing-related information that is fixed information, or variable billing-related information that is variable information. Fixed billing-related information is information that does not change dynamically, and is, for example, billing-related information paired with a type identifier "company name" or "address." The variable billing-related information is usually information that differs depending on the bill image, and is, for example, billing-related information paired with the type identifiers "billing amount," "payee," and "payment date."
領域特定情報受付部113における受け付けとは、通常、第二端末3からの受信である。なお、第二端末3は、学習情報製造装置1を管理する組織の第二ユーザの端末である。第二ユーザは、例えば、請求書の管理サービスを提供する側のユーザである。
The reception by the area specifying
領域特定情報受付部113における受け付けは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどでも良い。
The area specifying
処理部13は、各種の処理を行う。各種の処理とは、例えば、請求関連情報取得部131、学習情報構成部132、学習情報蓄積部133等が行う処理である。各種の処理とは、例えば、切取指示画面を構成する処理である。切取指示画面は、領収書画像を含む画面である。切取指示画面は、領収書画像に対して、2以上の領域特定情報を入力させる指示の画面である。切取指示画面は、領収書画像に対して、2以上の各請求関連情報を切り取らせるための画面と言っても良い。また、切取指示画面は、領収書画像に対して、2以上の各請求関連情報の領域を特定させるための画面と言っても良い。
The
請求関連情報取得部131は、領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を取得する。ここで、取得とは、ユーザが手入力した情報の取得、または自動取得である。ここでのユーザは、第二端末3の第二ユーザである。
The billing-related
請求関連情報の取得とは、通常、請求関連情報と種類識別子との組を、1組以上取得することである。 Obtaining billing-related information usually means acquiring one or more pairs of billing-related information and type identifier.
請求関連情報取得部131は、例えば、手入力された1または2以上の請求関連情報を受け付ける。ここでの受け付けは、例えば、第二端末3からの受信である。ただし、受け付けは、例えば、ユーザの手入力の受け付けでも良い。
The billing-related
請求関連情報取得部131は、例えば、請求書画像に対して、文字認識処理を行い、1または2以上の請求関連情報を取得する。なお、文字認識処理について、後述する文字認識手段1311が行う。
For example, the billing-related
請求関連情報取得部131は、例えば、1または2以上の各領域特定情報の各領域に対して文字認識処理を行い、1以上の第一の請求関連情報を取得する。なお、文字認識処理について、公知技術であるので、詳細な説明を省略する。また、請求関連情報取得部131は、通常、領域特定情報ごとに第一の請求関連情報を取得する。つまり、請求関連情報取得部131は、通常、2以上の第一の請求関連情報を取得する。なお、第一の請求関連情報は、文字認識処理により自動的に取得された請求関連情報である。そして、ユーザにより入力された請求関連情報は、第一の請求関連情報と区別するために、適宜、第二の請求関連情報と言う。
For example, the billing-related
請求関連情報取得部131は、種類識別子に対応付けて、1以上の第一の請求関連情報を取得することは好適である。
It is preferable that the billing-related
文字認識手段1311は、請求書画像受付部112が受け付けた請求書画像に対して文字認識処理を行い、第一の請求関連情報を取得する。
The
文字認識手段1311は、1または2以上の各領域特定情報の各領域に対して文字認識処理を行い、1以上の第一の請求関連情報を取得することは好適である。
It is preferable that the
請求関連情報受付手段1312は、手入力された第二の請求関連情報を受け付ける。手入力された第二の請求関連情報は、第一の請求関連情報を修正した請求関連情報でも良い。請求関連情報受付手段1312は、種類識別子に対応付いた、1以上の第一の請求関連情報を受け付けることは好適である。ここで、手入力とは、通常、第二端末3のユーザによる入力である。また、ここでの受け付けとは、通常、第二端末3からの受信である。 Billing related information receiving means 1312 receives manually inputted second billing related information. The manually inputted second billing-related information may be billing-related information that is a modified version of the first billing-related information. It is preferable that the billing-related information receiving means 1312 receives one or more pieces of first billing-related information associated with a type identifier. Here, manual input is usually input by the user of the second terminal 3. Moreover, the reception here usually means reception from the second terminal 3.
請求関連情報受付手段1312は、2以上の各ユーザにより手入力された2以上の第二の請求関連情報を受け付けることは好適である。2以上の各ユーザにより手入力された2以上の第二の請求関連情報は、2以上の各第二端末3から受信された情報である。 It is preferable that the billing-related information receiving means 1312 receives two or more pieces of second billing-related information manually input by two or more users. The two or more second billing-related information manually input by each of the two or more users is information received from each of the two or more second terminals 3.
決定手段1313は、蓄積される請求関連情報を決定する。 The determining means 1313 determines billing related information to be accumulated.
決定手段1313は、例えば、第一の請求関連情報と第二の請求関連情報とを用いて、蓄積される請求関連情報を決定する。決定手段1313は、例えば、第一の請求関連情報と第二の請求関連情報とを比較し、一方の情報を、蓄積される請求関連情報を決定する。 The determining means 1313 determines the billing-related information to be accumulated, for example, using the first billing-related information and the second billing-related information. The determining means 1313, for example, compares the first billing-related information and the second billing-related information, and determines one of the pieces of information as the billing-related information to be accumulated.
決定手段1313は、例えば、予め決められた種類の請求関連情報について、第一の請求関連情報と第二の請求関連情報とが一致すれば、蓄積される請求関連情報として決定する。ここで、予め決められた種類の請求関連情報は、例えば、組織名情報、住所情報、支払先情報のうちの1種類以上の情報である。
For example, if the first billing-related information and the second billing-related information match regarding a predetermined type of billing-related information, the determining
決定手段1313は、例えば、第一の請求関連情報と1以上の第二の請求関連情報とが同一の場合に、第一の請求関連情報または第二の請求関連情報を、蓄積される請求関連情報として取得する。第一の請求関連情報と第二の請求関連情報とが異なる場合、決定手段1313は、例えば、ユーザに確認するための確認情報を出力する。確認情報は、例えば、「入力された情報が正しいか否か確認してください。」である。ここで、出力とは、通常、第二端末3への送信である。
For example, when the first billing-related information and one or more second billing-related information are the same, the determining
決定手段1313は、例えば、2以上の第二の請求関連情報を用いて、蓄積される請求関連情報を決定する。決定手段1313は、例えば、予め決められた種類の請求関連情報について、2以上の第二の請求関連情報が一致すれば、第二の請求関連情報を蓄積される請求関連情報として決定する。決定手段1313は、例えば、3以上の第二の請求関連情報のうち一致する割合が高い第二の請求関連情報を蓄積される請求関連情報として決定する。例えば、予め決められた条件に合致するほど、一致度が低い場合には、ユーザに確認するための確認情報を出力する。なお、予め決められた種類の請求関連情報は、例えば、組織名情報、住所情報、支払先情報のうちの1種類以上の情報である。2以上のすべての第二の請求関連情報が同一でない場合、決定手段1313は、例えば、ユーザに確認するための確認情報を出力する。ここで、出力とは、通常、第二端末3への送信である。
The determining means 1313 determines the billing-related information to be accumulated, for example, using two or more pieces of second billing-related information. For example, if two or more pieces of second billing-related information match for a predetermined type of billing-related information, the determining
なお、請求関連情報の決定とは、請求関連情報の取得でも良いし、請求関連情報へのリンクの取得でも良いし、請求関連情報のIDの取得等でも良い。 Note that the determination of the billing-related information may be the acquisition of the billing-related information, the acquisition of a link to the billing-related information, the acquisition of the ID of the billing-related information, or the like.
学習情報構成部132は、1または2以上の組情報を用いて、学習情報を構成する。組情報とは、領域特定情報と、当該領域特定情報に対応する請求関連情報との組の情報である。領域特定情報に対応する請求関連情報とは、領域特定情報で特定される領域に記載された文字列である請求関連情報である。組情報は、通常、種類識別子をも有する。学習情報とは、後述する請求書情報の入力を支援する際に使用する情報である。学習情報は、例えば、後述する請求書元情報、後述する学習器のうちの1種類以上の情報である。
The learning
学習情報構成部132は、通常、2以上の組情報を用いて、学習情報を構成する。
The learning
学習情報構成部132は、領域特定情報と、決定手段1313が決定した請求関連情報との組の情報である1以上の組情報を用いて、学習情報を構成する。
The learning
請求書元情報構成手段1321は、領域特定情報と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を有する請求書元情報を構成する。請求書元情報は、例えば、請求書画像をも含むことは好適である。請求書元情報は、例えば、各請求関連情報に対応する部分画像を有しても良い。組情報や請求書元情報等のデータ構造は問わないことは言うまでもない。 The bill source information configuration means 1321 configures bill source information having two or more sets of information, each of which is a pair of area specifying information and billing related information corresponding to the area specifying information. It is preferable that the billing source information also includes a billing image, for example. The bill source information may include, for example, a partial image corresponding to each bill related information. It goes without saying that the data structure of group information, billing source information, etc. does not matter.
学習手段1322は、領域特定情報と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、機械学習のアルゴリズムにより、学習器を生成する。なお、学習器は、分類器と言っても良い。
The
学習手段1322は、通常、請求書画像と2以上の組情報とを用いて、機械学習のアルゴリズムにより、学習器を生成する。
The
ここで、機械学習において、使用するアルゴリズムは問わないことは言うまでもない。機械学習は、例えば、深層学習、SVM、SVR、ランダムフォレスト、決定木等が使用可能である。また、機械学習において、学習器を構成するためには、例えば、機械学習のモジュール(例えば、fasttext、tiny_svm、各種のrandomForest関数等)に、入力となる情報群と出力させたい情報とを引数として与えると学習器が得られる。また、機械学習において、予測する場合、機械学習のモジュールに学習器と入力となる情報群とを引数として与えると、予測された情報が得られる。なお、予測された情報は、分類の結果の情報である、と言っても良い。 It goes without saying that the algorithm used in machine learning does not matter. For machine learning, for example, deep learning, SVM, SVR, random forest, decision tree, etc. can be used. In addition, in machine learning, in order to configure a learning device, for example, input information groups and information to be output are passed to machine learning modules (e.g. fasttext, tiny_svm, various randomForest functions, etc.) as arguments. If you give it, you will get a learning device. Furthermore, when making predictions in machine learning, predicted information can be obtained by giving a learning device and a group of input information as arguments to a machine learning module. Note that the predicted information may be said to be information as a result of classification.
なお、入力となる情報群は、ここでは、例えば、「請求書画像、2以上の領域特定情報」、または「2以上の部分画像、2以上の領域特定情報」、または「請求書画像、種類識別子と領域特定情報の組を2組以上」、または「2以上の部分画像、種類識別子と領域特定情報の組を2組以上」である。部分画像とは、請求書画像の一部の領域の画像であり、領域特定情報により特定される領域の画像である。また、出力させたい情報は、「請求関連情報」または「種類識別子と請求関連情報」である。 Note that the input information group is, for example, "bill image, two or more area specifying information," or "two or more partial images, two or more area specifying information," or "bill image, type. ``Two or more sets of an identifier and area specifying information,'' or ``Two or more sets of partial images, type identifier, and area specifying information.'' The partial image is an image of a part of the bill image, and is an image of the area specified by the area specifying information. Further, the information to be outputted is "billing related information" or "type identifier and billing related information".
学習情報蓄積部133は、学習情報を蓄積する。学習情報蓄積部133は、学習情報構成部132が構成した学習情報を蓄積する。学習情報の蓄積先は、例えば、学習情報格納部111であるが、外部の装置でも良い。
The learning
出力部14は、各種の情報を出力する。各種の情報とは、例えば、請求書画像、切取指示画面である。また、ここでの出力とは、通常、第二端末3への送信である。ただし、出力とは、例えば、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である場合もあり得る。
The
請求書画像出力部141は、請求書画像受付部112が受け付けた請求書画像を出力する。ここでの出力とは、通常、第二端末3への送信である。
The bill
第一端末2を構成する第一格納部21には、各種の情報が格納される。各種の情報とは、例えば、第一ユーザを識別する第一ユーザ識別子、第一端末2を識別する第一端末識別子等である。なお、第一ユーザ識別子は、第一端末識別子と同一でも良い。
The
第一受付部22は、各種の情報や指示等を受け付ける。各種の情報や指示等とは、例えば、請求書画像、確認情報である。
The
第一処理部23は、各種の処理を行う。各種の処理とは、例えば、第一受付部22が受け付けた情報を送信するデータ構造にすること、第一受信部25が受信した情報を表示するデータ構造にすることである。
The
第一送信部24は、各種の情報や指示等を外部の装置に送信する。各種の情報とは、例えば、請求書画像である。外部の装置とは、例えば、学習情報製造装置1、後述する情報処理装置4である。
The
第一受信部25は、各種の情報を外部の装置から受信する。外部の装置とは、例えば、学習情報製造装置1、後述する情報処理装置4である。
The
第一出力部26は、第一受信部25が受信した情報、第一処理部23が取得した情報、第一受付部22が受け付けた情報等を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
The
第二端末3を構成する第二格納部31には、各種の情報が格納される。各種の情報とは、例えば、第二ユーザを識別する第二ユーザ識別子、第二端末3を識別する第二端末識別子等である。なお、第二ユーザ識別子は、第二端末識別子と同一でも良い。
The
第二受付部32は、各種の情報や指示等を受け付ける。各種の情報や指示等とは、例えば、領域特定情報、請求関連情報である。各種の情報や指示等の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。第二受付部32は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
The
第二処理部33は、各種の処理を行う。各種の処理とは、例えば、第二受付部32が受け付けた情報を送信するデータ構造にすること、第二受信部35が受信した情報を表示するデータ構造にすることである。
The
第二送信部34は、各種の情報や指示等を外部の装置に送信する。各種の情報とは、例えば、領域特定情報、請求関連情報である。外部の装置とは、例えば、学習情報製造装置1、後述する情報処理装置4である。
The
第二受信部35は、各種の情報を外部の装置から受信する。各種の情報とは、例えば、切取指示画面、確認情報である。外部の装置とは、例えば、学習情報製造装置1、後述する情報処理装置4である。
The
第二出力部36は、第二受信部35が受信した情報、第二処理部33が取得した情報、第二受付部32が受け付けた情報等を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
The
格納部11、学習情報格納部111、第一格納部21、および第二格納部31は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
The
格納部11等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部11等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部11等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部11等で記憶されるようになってもよい。
The process by which information is stored in the
受付部12、請求書画像受付部112、領域特定情報受付部113、第一受信部25、および第二受信部35は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
The
処理部13、請求関連情報取得部131、学習情報構成部132、学習情報蓄積部133、文字認識手段1311、請求関連情報受付手段1312、決定手段1313、請求書元情報構成手段1321、学習手段1322、第一処理部23、および第二処理部33は、通常、MPUやメモリ等から実現され得る。処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
Processing
出力部14、請求書画像出力部141、第一送信部24、および第二送信部34は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
The
第一受付部22、および第二受付部32は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
The
第一出力部26、および第二出力部36は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。第一出力部26、および第二出力部36は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
The
次に、情報システムAの動作例について説明する。まず、学習情報製造装置1の動作例について、図4のフローチャートを用いて説明する。
Next, an example of the operation of the information system A will be explained. First, an example of the operation of the learning
(ステップS401)請求書画像受付部112は、請求書画像を受信したか否かを判断する。請求書画像を受信した場合はステップS402に行き、請求書画像を受信しなかった場合はステップS410に行く。 (Step S401) The bill image reception unit 112 determines whether or not a bill image has been received. If the bill image is received, the process goes to step S402, and if the bill image is not received, the process goes to step S410.
(ステップS402)処理部13は、ステップS401で受信された請求書画像を格納部11に蓄積する。処理部13は、例えば、請求書画像と対に受け付けられた第一ユーザ識別子と対にして、ステップS401で受信された請求書画像を格納部11に蓄積する。
(Step S402) The
(ステップS403)処理部13は、ステップS401で受信された請求書画像等を含む切取指示画面を構成する。
(Step S403) The
(ステップS404)請求書画像出力部141は、ステップS403で構成された切取指示画面を、1または2以上の第二端末3に送信する。
(Step S404) The bill
(ステップS405)領域特定情報受付部113は、領域特定情報等を1または2以上の第二端末3から受信したか否かを判断する。切取指示画面を送信した1以上のすべての第二端末3から領域特定情報等を受信した場合はステップS406に行き、切取指示画面を送信した1以上のすべての第二端末3から領域特定情報等を受信していない場合はステップS405に戻る。なお、受信される領域特定情報等とは、例えば、領域特定情報と種類識別子との組の情報の集合である。また、受信される領域特定情報等とは、例えば、領域特定情報と種類識別子と請求関連情報とを有する複数の組の情報である。
(Step S405) The area specifying
(ステップS406)請求関連情報取得部131は、組情報等取得処理を行う。組情報等取得処理とは、蓄積する組情報の集合を取得する処理である。組情報等取得処理について、図5のフローチャートを用いて説明する。なお、組情報とは、領域特定情報と請求関連情報との組の情報である。
(Step S406) The billing related
(ステップS407)請求関連情報取得部131は、ステップS406で取得した組情報の集合を格納部11に蓄積する。
(Step S407) The billing-related
(ステップS408)処理部13は、ステップS406で取得した組情報の集合を用いて、蓄積する請求書情報を取得する。請求書情報は、2種類以上の請求関連情報を有する。請求書情報は、例えば、種類識別子に対応付いた2以上の各請求関連情報の集合である。
(Step S408) The
(ステップS409)処理部13は、ステップS408で取得した請求書情報を、請求書画像と対に受け付けられた第一ユーザ識別子または/およびステップS401で受信された請求書画像と対にして、格納部11に蓄積する。ステップS401に戻る。
(Step S409) The
(ステップS410)学習情報構成部132は、学習情報を構成する処理を行うか否かを判断する。学習情報を構成する処理を行う場合はステップS411に行き、学習情報を構成する処理を行わない場合はステップS401に戻る。なお、学習情報構成部132は、例えば、ステップS407における組情報の集合の蓄積数が予め決められた条件を満たすほど多いと判断した場合(例えば、組情報の集合の蓄積数が閾値以上)、予め決められた時刻になった場合、ユーザからの指示を受け付けた場合等に、学習情報を構成する処理を行うと判断する。
(Step S410) The learning
(ステップS411)学習情報構成部132は、格納部11に格納されている組情報の集合を用いて、学習情報を構成する処理を行う。ステップS401に戻る。なお、学習情報構成処理について、図6のフローチャートを用いて説明する。
(Step S411) The learning
なお、図4のフローチャートにおいて、学習器を構成しない場合、ステップS410、ステップS411は存在しない。 Note that in the flowchart of FIG. 4, if a learning device is not configured, steps S410 and S411 do not exist.
また、図4のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 Further, in the flowchart of FIG. 4, the process is terminated by turning off the power or by an interrupt to terminate the process.
次に、ステップS406の組情報等取得処理の例について、図5のフローチャートを用いて説明する。 Next, an example of the group information etc. acquisition process in step S406 will be explained using the flowchart of FIG.
(ステップS501)請求関連情報取得部131は、カウンタiに1を代入する。
(Step S501) The billing-related
(ステップS502)請求関連情報取得部131は、領域特定情報受付部113が受け付けた領域特定情報等の中に、i番目の種類識別子またはi番目の領域特定情報が存在するか否かを判断する。i番目の種類識別子等が存在すればステップS503に行き、存在しなければステップS509に行く。
(Step S502) The billing-related
(ステップS503)請求関連情報取得部131は、i番目の領域特定情報により特定される領域に対して、文字認識処理を行うか否かを判断する。文字認識処理を行う場合はステップS504に行き、文字認識処理を行わない場合はステップS506に行く。なお、例えば、請求関連情報取得部131は、i番目の種類識別子が予め決められた種類識別子(例えば、変動請求関連情報に対応する種類識別子)である場合に、文字認識処理を行うと決定し、i番目の種類識別子が他の種類識別子(例えば、固定請求関連情報に対応する種類識別子)である場合に、文字認識処理を行わないと決定する。
(Step S503) The billing-related
(ステップS504)文字認識手段1311は、i番目の領域特定情報を取得する。 (Step S504) The character recognition means 1311 acquires the i-th area specifying information.
(ステップS505)文字認識手段1311は、i番目の領域特定情報により特定される領域の部分画像に対して、文字認識処理を行い、文字列を取得する。
(Step S505) The
(ステップS506)決定手段1313は、1または2以上の請求関連情報の候補から採用する請求関連情報を決定する。なお、1または2以上の請求関連情報の候補は、例えば、ステップS405で領域特定情報受付部113が受け付けた1または2以上のi番目の領域特定情報またはi番目の種類識別子と対になる請求関連情報、またはステップS505で取得された文字列のうちの1以上の文字列である。また、決定手段1313が採用する請求関連情報を決定する方法について、上述したので、ここでの説明は省略する。
(Step S506) The determining
(ステップS507)請求関連情報取得部131は、i番目の組情報を取得する。i番目の組情報は、i番目の領域特定情報とi番目の請求関連情報とを対応付ける情報である。i番目の組情報は、i番目の種類識別子とi番目の領域特定情報とi番目の請求関連情報とを対応付ける情報であることは好適である。i番目の組情報は、例えば、i番目の種類識別子とi番目の領域特定情報とi番目の請求関連情報とを含む情報である。i番目の組情報は、例えば、i番目の種類識別子とi番目の領域特定情報とi番目の請求関連情報とi番目の部分画像とを含む情報である。
(Step S507) The billing related
ここで、複数の情報を対応付ける情報とは、複数の情報を含む情報でも良いし、複数の情報を取得するための各情報のリンク情報を含む情報等でも良い。複数の情報を対応付ける情報は、複数の情報を取得するための情報であれば良く、そのデータ構造は問わない。 Here, the information that associates a plurality of pieces of information may be information that includes a plurality of pieces of information, or information that includes link information for each piece of information for acquiring a plurality of pieces of information. The information that associates multiple pieces of information may be information for acquiring multiple pieces of information, and its data structure does not matter.
(ステップS508)請求関連情報取得部131は、カウンタiを1、インクリメントする。ステップS502に戻る。
(Step S508) The billing-related
(ステップS509)請求関連情報取得部131は、ステップS507で取得された2以上の組情報を用いて、蓄積する組情報等を構成し、格納部11に蓄積する。上位処理にリターンする。なお、蓄積する組情報等は、通常、請求書画像と2以上の組情報である。ただし、蓄積する組情報等は、例えば、請求書画像を有さず、2以上の組情報でも良い。
(Step S509) The billing-related
次に、ステップS411の学習情報構成処理の例について、図6のフローチャートを用いて説明する。 Next, an example of the learning information configuration process in step S411 will be explained using the flowchart of FIG. 6.
(ステップS601)学習情報構成部132は、カウンタiに1を代入する。
(Step S601) The learning
(ステップS602)学習情報構成部132は、格納部11に、学習対象のi番目の請求書画像が存在するか否かを判断する。i番目の請求書画像が存在する場合はステップS603に行き、i番目の請求書画像が存在しない場合はステップS612に行く。なお、格納部11に請求書画像が蓄積されていない場合、i番目の請求書画像に対応するi番目の組情報の集合が存在するか否かを判断する。
(Step S602) The learning
(ステップS603)請求書元情報構成手段1321は、格納部11にi番目の組情報の集合を取得する。i番目の組情報の集合は、2以上の組情報であり、学習対象のi番目の請求書画像に対応する情報である。
(Step S603) The invoice source information configuration means 1321 acquires the i-th set of information into the
(ステップS604)学習情報構成部132は、カウンタjに1を代入する。
(Step S604) The learning
(ステップS605)学習情報構成部132は、ステップS603で取得したi番目の組情報の集合の中に、j番目の組情報が存在するか否かを判断する。j番目の組情報が存在する場合はステップS606に行き、j番目の組情報が存在しない場合はステップS608に行く。
(Step S605) The learning
(ステップS606)請求書元情報構成手段1321は、j番目の組情報に対応するj番目の部分画像を取得する。学習情報構成部132は、例えば、j番目の組情報が有する部分画像を取得する。また、学習情報構成部132は、例えば、j番目の組情報が有する領域特定情報が特定する領域の画像を、j番目の組情報と対になる請求書画像から切り出して、部分画像を取得する。
(Step S606) The bill source information configuration means 1321 acquires the j-th partial image corresponding to the j-th set of information. The learning
(ステップS607)学習情報構成部132は、カウンタjを1、インクリメントする。ステップS605に戻る。
(Step S607) The learning
(ステップS608)請求書元情報構成手段1321は、ステップS603で取得した組情報、またはステップS603で取得した組情報とステップS606で取得した部分画像を用いて、機械学習の関数に渡すベクトルを構成する。なお、ベクトルは、特徴量ベクトルと言っても良い。
(Step S608) The billing source
(ステップS609)請求書元情報構成手段1321は、ステップS608で構成したベクトルを用いて、請求書元情報を構成する。 (Step S609) The billing source information configuration means 1321 configures billing source information using the vector configured in step S608.
(ステップS610)請求書元情報構成手段1321は、ステップS609で構成した請求書元情報を一時蓄積する。なお、一時蓄積先は、例えば、格納部11であるが、問わない。
(Step S610) The bill source information configuration means 1321 temporarily stores the bill source information configured in step S609. Note that the temporary storage destination is, for example, the
(ステップS611)学習情報構成部132は、カウンタiを1、インクリメントする。ステップS602に戻る。
(Step S611) The learning
(ステップS612)学習手段1322は、ステップS608で構成したベクトルの集合を機械学習のアルゴリズムを実現するモジュールに引数として与え、モジュールを実行し、学習器を取得する。 (Step S612) The learning means 1322 gives the set of vectors configured in step S608 as an argument to a module that implements a machine learning algorithm, executes the module, and obtains a learning device.
(ステップS613)学習手段1322は、ステップS612で取得した学習器を学習情報格納部111に蓄積する。上位処理にリターンする。 (Step S613) The learning means 1322 stores the learning device acquired in step S612 in the learning information storage unit 111. Return to upper level processing.
なお、図6のフローチャートにおいて、一つの学習器を蓄積した。しかし、図6のフローチャートにおいて、種類識別子ごとに学習器を生成し、蓄積しても良い。かかる場合、学習手段1322は、種類識別子ごとにステップS608で構成したベクトルの集合を機械学習のアルゴリズムを実現するモジュールに引数として与え、モジュールを実行し、学習器を取得する。また、かかる場合、学習手段1322は、例えば、種類識別子ごとに、正例の請求書元情報と負例の請求書元情報とを用いて、機械学習のアルゴリズムにより、学習器を生成することは好適である。
In addition, in the flowchart of FIG. 6, one learning device was accumulated. However, in the flowchart of FIG. 6, learning devices may be generated and stored for each type identifier. In such a case, the learning means 1322 provides the set of vectors configured in step S608 for each type identifier as an argument to a module that implements a machine learning algorithm, executes the module, and obtains a learning device. Furthermore, in such a case, the
次に、第一端末2の動作について説明する。第一端末2の第一受付部22は請求書画像を受け付ける。次に、第一処理部23は、第一受付部22が受け付けた請求書画像を送信するデータ構造の請求書画像にする。次に、第一送信部24は、第一処理部23が構成した請求書画像を学習情報製造装置1に送信する。次に、第一受信部25は、請求書画像等が登録された旨の情報を受信する。次に、第一処理部23は、請求書画像等が登録された旨の情報を出力するデータ構造にする。第一出力部26は、第一処理部23が取得した請求書画像等が登録された旨の情報を出力する。なお、請求書画像等とは、例えば、請求書画像と請求書情報である。また、第一受信部25は、請求書情報が正しいか否かを確認する問合せを受信し、第一出力部26が問合せを出力し、第一受付部22が確認情報を受け付け、第一送信部24が確認情報を学習情報製造装置1に送信する等しても良い。
Next, the operation of the first terminal 2 will be explained. The
次に、第二端末3の動作例について、図7のフローチャートを用いて説明する。 Next, an example of the operation of the second terminal 3 will be explained using the flowchart of FIG.
(ステップS701)第二受信部35は、学習情報製造装置1から切取指示画面を受信したか否かを判断する。切取指示画面を受信した場合はステップS702に行き、切取指示画面を受信しなかった場合はステップS701に戻る。
(Step S701) The
(ステップS702)第二処理部33は、ステップS701で受信された切取指示画面から、出力する切取指示画面を構成する。次に、第二出力部36は、切取指示画面を出力する。
(Step S702) The
(ステップS703)第二処理部33は、カウンタiに1を代入する。
(Step S703) The
(ステップS704)第二処理部33は、i番目の種類識別子が存在するか否かを判断する。i番目の種類識別子が存在する場合はステップS705に行き、i番目の種類識別子が存在しない場合はステップS708に行く。なお、i番目の種類識別子は、切取指示画面に対するi番目の領域特定情報である。
(Step S704) The
(ステップS705)第二受付部32は、i番目の種類識別子に対応する、i番目の領域特定情報等を受け付けたか否かを判断する。i番目の領域特定情報等を受け付けた場合はステップS706に行き、i番目の領域特定情報等を受け付けなかった場合はステップS705に戻る。i番目の領域特定情報等とは、例えば、i番目の領域特定情報とi番目の請求関連情報、またはi番目の領域特定情報のみである。また、i番目の領域特定情報等とは、第二処理部33がi番目の領域特定情報により特定される部分画像に対して文字認識処理を行い取得した請求関連情報を含んでも良い。また、i番目の領域特定情報等とは、第二ユーザにより入力された請求関連情報を含んでも良い。また、領域特定情報等を構成する請求関連情報の中には、文字認識処理を行い取得された請求関連情報と第二ユーザにより入力された請求関連情報とが混在しても良い。さらに、領域特定情報等を構成する請求関連情報の中には、文字認識処理を行い取得された文字列に対して、第二ユーザが修正し、受け付けられた請求関連情報を含んでも良い。
(Step S705) The
(ステップS706)第二処理部33は、ステップS705で受け付けられたi番目の領域特定情報等を一時蓄積する。
(Step S706) The
(ステップS707)第二処理部33は、カウンタiを1、インクリメントする。ステップS704に戻る。
(Step S707) The
(ステップS708)第二送信部34は、ステップS706で蓄積された領域特定情報等の集合を学習情報製造装置1に送信する。ステップS701に戻る。
(Step S708) The
以下、本実施の形態における情報システムAの具体的な動作例について説明する。情報システムAの概念図は図1である。 A specific example of the operation of the information system A in this embodiment will be described below. A conceptual diagram of information system A is shown in FIG.
今、第一ユーザは、第一端末2に対して、図8の請求書画像を入力した、とする。すると、第一端末2の第一受付部22は請求書画像を受け付ける。次に、第一処理部23は、第一受付部22が受け付けた請求書画像を送信するデータ構造の請求書画像にする。次に、第一送信部24は、第一処理部23が構成した請求書画像を学習情報製造装置1に送信する。
It is now assumed that the first user inputs the bill image shown in FIG. 8 into the first terminal 2. Then, the
次に、学習情報製造装置1の請求書画像受付部112は、図8の請求書画像を受信する。そして、処理部13は、受信された請求書画像を格納部11に蓄積する。なお、処理部13は、ユニークなID「ID892.pdf」というファイル名で、受信された請求書画像を蓄積した、とする。
Next, the bill image receiving unit 112 of the learning
次に、処理部13は、ステップS401で受信された請求書画像等を含む切取指示画面を構成する。
Next, the
次に、請求書画像出力部141は、構成された切取指示画面を、予め管理された1以上の第二端末3に送信する。
Next, the bill
次に、1以上の各第二端末3の第二受信部35は、学習情報製造装置1から切取指示画面を受信する。次に、第二処理部33は、受信された切取指示画面から、出力する切取指示画面を構成する。次に、第二出力部36は、切取指示画面を出力する。かかる切取指示画面の例は、図9である。図9において、「会社名」のみを切り取る指示である。
Next, the
なお、第二受信部35が図9の切取指示画面を受信する前に、後述する図18の請求書の種別選択の画面を受信し、第二出力部36が当該切取指示画面を出力しても良い。そして、第二端末3のユーザが種別を選択した後(種別選択の複数のボタンのうちの一のボタンを指示した後)、図9の切取指示画面が第二端末3に出力されても良い。また、第二端末3のユーザが種別を選択した後、当該種別が予め決められた1以上の種別(例えば、「請求書(国内)」または「その他」以外)である場合のみ、図9の切取指示画面が第二端末3に出力されても良い。かかる場合、例えば、第二端末3から学習情報製造装置1に種別を特定する種別情報が送信され、学習情報製造装置1が種別情報を受信し、当該種別情報に応じて、切取指示画面を第二端末3に送信したり、しなかったりする送信制御を行っても良い。なお、切取指示画面を第二端末3に送信しない場合、例えば、第二端末3のユーザが手入力で、第二端末3に必要な情報を入力し、当該必要な情報が第二端末3から学習情報製造装置1に送信され、学習情報製造装置1が受信し、蓄積しても良い。 第二ユーザは、図9の指示に従って、マウス等の入力手段を用いて、「会社名」の領域を指示する。ここで、切取指示画面は、5つの画面からなり、第二出力部36は、請求元の「会社名」以外にも、会社の「住所」、「請求額」「支払先」「支払期日」の各領域を指定させる(切り取らせる)指示の画面を、順次、出力する、とする。そして、第二ユーザは、5種類の種類識別子「会社名」「住所」、「請求額」「支払先」「支払期日」に対応する領域を特定する領域特定情報を入力した、とする。つまり、第二ユーザは、図10で示すように、「会社名」「住所」、「請求額」「支払先」「支払期日」の領域を示す領域特定情報、第二端末3の画面上に入力した、とする。
Note that before the
すると、第二受付部32は、各種類識別子(「会社名」「住所」、「請求額」「支払先」「支払期日」)に対応する、領域特定情報を受け付ける。
Then, the
次に、第二端末3は、「会社名」「住所」、「請求額」「支払先」「支払期日」の各情報である、5つの請求関連情報を入力する画面を出力する。かかる画面は、例えば、図11、図12、図13の画面である。また、かかる画面は、例えば、切取指示画面と一緒に学習情報製造装置1から送信された画面である。
Next, the second terminal 3 outputs a screen for inputting five pieces of billing-related information: "company name," "address," "billing amount," "payee," and "payment date." Such screens are, for example, the screens shown in FIGS. 11, 12, and 13. Further, such a screen is, for example, a screen transmitted from the learning
次に、第二ユーザは、図11、図12、図13の各画面に対して、請求書画像を見ながら、「会社名」「請求金額」「支払期日」等を入力する。なお、ここで、請求書画像に対する文字認識処理により、「会社名」「請求金額」「支払期日」等に対応するフィールドに文字列が入力されても良い。 Next, the second user inputs "company name", "billed amount", "payment date", etc. on each screen of FIGS. 11, 12, and 13 while looking at the bill image. Here, character strings may be input into fields corresponding to "company name," "billing amount," "payment date," etc. by character recognition processing on the bill image.
すると、第二受付部32は、各種類識別子(「会社名」「住所」、「請求額」「支払先」「支払期日」)に対応する、請求関連情報を受け付ける。なお、第二受付部32は、種別情報をも受け付けても良い。
Then, the
次に、第二処理部33は、種類識別子と領域特定情報と請求関連情報との組の集合(5組の情報)を構成する。なお、第二処理部33は、種別情報をも有する情報を構成しても良い。
Next, the
そして、第二送信部34は、構成された種類識別子と領域特定情報と請求関連情報との組の集合(領域特定情報等の集合)を学習情報製造装置1に送信する。なお、第二送信部34は、種別情報をも有する情報を学習情報製造装置1に送信しても良い。
Then, the
次に、学習情報製造装置1は、領域特定情報受付部113は、領域特定情報等を1以上の第二端末3から受信する。ここで、領域特定情報等は、上述した種類識別子と領域特定情報と請求関連情報との組の集合(5組の情報)である。なお、2以上の第二端末3から領域特定情報等を受信する場合、受信された請求関連情報は、蓄積される請求関連情報の候補である。
Next, in the learning
次に、請求関連情報取得部131の決定手段1313は、種類識別子ごとに、1以上の請求関連情報の候補から採用する請求関連情報を決定する。なお、採用する請求関連情報を決定するアルゴリズム例については、上述したので、ここでの詳細な説明は省略する。
Next, the determining
次に、請求関連情報取得部131は、種類識別子ごとの請求関連情報と領域特定情報とを用いて、請求書元情報を構成する。なお、請求書元情報は、例えば、「会社名:Sansan株式会社|住所:〒150-0001 東京都渋谷区宮前町・・・|請求額:1|支払先:りそな銀行・・・,みずほ銀行・・・,三井住友銀行・・・|支払期日:2017年10月31日|領域特定情報:(1)(x11,y11)(x12,y12)(2)(x21,y21)(x22,y22)(3)(x31,y31)(x32,y32)(4)(x41,y41)(x42,y42)(5)(x51,y51)(x52,y52)|請求書画像:ID892.pdf」である。
Next, the billing-related
次に、請求関連情報取得部131は、構成した請求書元情報を学習情報格納部111に蓄積する。なお、かかる蓄積された請求書元情報の例は、図14の「ID=892」のレコードである。なお、図14は、請求書元情報管理表である。請求書元情報管理表は、学習情報に含まれる請求書元情報を管理する表であり、学習情報格納部111に格納されている。また、請求関連情報取得部131は、請求書元情報を、受信された種別情報に対応付けて蓄積しても良い。また、請求書元情報は、種別情報を有する、と考えても良い。
Next, the billing-related
以上の処理が繰り返され、請求書元情報管理表には、多数の請求書元情報が格納された、とする。 It is assumed that the above processing is repeated and a large number of pieces of billing source information are stored in the billing source information management table.
そして、閾値以上の数の請求書元情報が請求書元情報管理表に蓄積されたことをトリガーとして、学習情報製造装置1は、以下のように学習処理を行う。
Then, using the fact that the number of billing sources information that is equal to or greater than the threshold value is accumulated in the billing source information management table as a trigger, the learning
つまり、学習情報構成部132は、図14の請求書元情報管理表の多数の組情報(ここでは、「(1)会社名」「(2)住所」「(3)請求額」「(4)支払先」「(5)支払期日」「領域特定情報」「請求書画像」の実体の画像データ)を用いて、機械学習のアルゴリズム(例えば、深層学習)により、学習器を生成する。なお、この学習器は、画像データ(請求書画像)を入力として、「(1)会社名」「(2)住所」「(4)支払先」を出力するための学習器である。なお、学習情報構成部132は、図14の請求書元情報管理表の多数の組情報の中の「(1)会社名」「(2)住所」「(4)支払先」「領域特定情報」「請求書画像」の実体の画像データを用いて、機械学習のアルゴリズムにより、学習器を生成しても良い。
In other words, the learning
次に、学習手段1322は、生成された学習器を学習情報格納部111に蓄積する。 Next, the learning means 1322 stores the generated learning device in the learning information storage unit 111.
以上の処理により、学習情報製造装置1は、学習情報格納部111に、請求書元情報、および学習器を蓄積できた。なお、学習情報製造装置1は、学習情報格納部111に、請求書元情報、学習器のうちの一方のみを蓄積しても良い。
Through the above processing, the learning
以上、本実施の形態によれば、請求書画像から学習情報を容易に取得できる。なお、学習情報は、請求書画像から管理すべき情報を容易に精度高く取得し、蓄積するための元になる情報である。 As described above, according to this embodiment, learning information can be easily acquired from a bill image. Note that the learning information is information that becomes the basis for easily and accurately acquiring and accumulating information to be managed from bill images.
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における学習情報製造装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、請求書画像を受け付ける請求書画像受付部と、前記請求書画像受付部が受け付けた請求書画像を出力する請求書画像出力部と、前記請求書画像出力部が出力した請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報ごとに受け付ける領域特定情報受付部と、前記領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を取得する請求関連情報取得部と、前記領域特定情報と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成部と、前記学習情報を蓄積する学習情報蓄積部として機能させるためのプログラムである。
Note that the processing in this embodiment may be realized by software. Then, this software may be distributed by software download or the like. Furthermore, this software may be recorded on a recording medium such as a CD-ROM and distributed. Note that this also applies to other embodiments in this specification. Note that the software that implements the learning
(実施の形態2) (Embodiment 2)
本実施の形態において、実施の形態1で説明した学習情報製造装置1で製造した学習情報を用いて、受け付けた請求書画像に関する受付情報に対応する請求書元情報を有する請求書情報を取得し、出力する情報処理装置を含む情報システムについて説明する。なお、受付情報は、例えば、請求関連情報(例えば、口座番号)である。
In this embodiment, using the learning information produced by the learning
また、本実施の形態において、口座番号を含む受付情報に対応する請求書元情報が存在しない場合に、実施の形態1で説明した学習のための処理を行う情報処理装置を含む情報システムについて説明する。
Furthermore, in this embodiment, an information system including an information processing device that performs the learning process described in
また、本実施の形態において、受付情報が請求書画像であり、当該請求書画像を画像認識し、類似する請求書画像を取得し、当該請求書画像に対応する請求書情報を取得し、出力する情報処理装置を含む情報システムについて説明する。 Furthermore, in this embodiment, the reception information is a bill image, the bill image is image recognized, a similar bill image is acquired, bill information corresponding to the bill image is acquired, and the bill image is output. An information system including an information processing device will be described.
さらに、本実施の形態において、出力された請求書情報に対して、第二ユーザによる修正の入力を受け付け、蓄積する請求書情報を取得する情報処理装置を含む情報システムについて説明する。 Furthermore, in the present embodiment, an information system including an information processing device that receives input of corrections from a second user to output bill information and acquires bill information to be stored will be described.
情報システムBの概念図は、符号を除いて、図1と同じである。情報システムBは、情報処理装置4、1または2以上の第一端末2、および1または2以上の第二端末3を備える。情報処理装置4は、例えば、いわゆるサーバである。サーバは、例えば、いわゆるクラウドサーバ、ASPサーバ等、その種類や設置場所等は問わない。 The conceptual diagram of information system B is the same as FIG. 1 except for the symbols. The information system B includes an information processing device 4, one or more first terminals 2, and one or more second terminals 3. The information processing device 4 is, for example, a so-called server. The server may be, for example, a so-called cloud server, an ASP server, etc., and its type, installation location, etc. do not matter.
図15は、本実施の形態における情報システムBのブロック図である。図16は、情報システムBを構成する情報処理装置4のブロック図である。 FIG. 15 is a block diagram of information system B in this embodiment. FIG. 16 is a block diagram of the information processing device 4 that constitutes the information system B. As shown in FIG.
情報処理装置4は、格納部41、受付部42、処理部43、および出力部44を備える。格納部41は、学習情報格納部111を備える。受付部42は、請求書画像受付部112、領域特定情報受付部113、受付情報受付部421、および修正受付部422を備える。処理部43は、請求書情報取得部431、請求書情報蓄積部432、請求関連情報取得部131、学習情報構成部132、および学習情報蓄積部133を備える。請求書情報取得部431は、判断手段4311、および請求書情報取得手段4312を備える。出力部44は、請求書画像出力部141、および請求書情報出力部441を備える。
The information processing device 4 includes a
情報処理装置4を構成する格納部41には、各種の情報が格納される。各種の情報とは、例えば、学習情報である。学習情報は、上述した通り、例えば、1または2以上の請求書元情報、学習器のうちの1種類以上の情報である。
A
受付部42は、情報や指示等を受け付ける。情報や指示等とは、例えば、請求書画像、領域特定情報、受付情報、修正指示である。修正指示は、請求書情報に対する修正の指示である。修正指示は、単に修正、と言っても良い。
The
受付部42は、通常、情報や指示等を、第一端末2または第二端末3から受信する。ただし、受付部42は、ユーザからの情報や指示等を受け付けても良い。かかる場合の情報や指示等の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。かかる場合、受付部42は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
The
受付情報受付部421は、受付情報を受け付ける。
受付情報とは、請求書画像受付部112が受け付けた請求書画像に関する情報であり、例えば、口座番号を含む情報である。なお、ここでの受け付けは、通常、第二端末3からの受信である。ただし、受付情報の受け付けは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどでも良い。
The reception
The reception information is information regarding the bill image received by the bill image reception unit 112, and is information including an account number, for example. Note that the reception here is usually from the second terminal 3. However, the reception information may be received from an input device such as a keyboard, a mouse, or a touch panel, or information read from a recording medium such as an optical disk, a magnetic disk, or a semiconductor memory.
修正受付部422は、請求書情報出力部441が出力した請求書情報に対する修正を受け付ける。ここでの受け付けも、通常、第二端末3からの受信である。ただし修正の受け付けは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどでも良い。
The
処理部43は、各種の処理を行う。各種の処理とは、例えば、請求書情報取得部431、請求書情報蓄積部432、請求関連情報取得部131、学習情報構成部132、学習情報蓄積部133等が行う処理である。各種の処理とは、例えば、入力画面を構成する処理である。入力画面とは、第二ユーザが請求書画像を見ながら、請求書情報を構成する請求関連情報を入力したり、修正したりするための画面である。入力画面は、請求書画像を含む。また、各種の処理とは、例えば、切取指示画面を構成する処理である。
The
請求書情報取得部431は、1または2種類以上の請求関連情報を有する。請求書情報取得部431は、請求書情報を取得する。請求書情報取得部431が請求関連情報または請求書情報を取得する方法は、種々、あり得る。なお、請求書情報は、2種類以上の請求関連情報を有する。請求書情報は、例えば、組織名情報(例えば、請求元の会社名)、住所情報(例えば、請求元の会社の住所)、請求額情報、支払先情報、支払期日情報である。
The bill
請求書情報取得部431は、例えば、受付情報受付部421が受け付けた受付情報を用いて、請求書情報を取得する。請求書情報取得部431は、例えば、受付情報受付部421が受け付けた受付情報をキーとして請求書元情報を検索し、受付情報に対応する請求書元情報の全部または一部を有する請求書情報を取得する。
The bill
請求書情報取得部431は、請求関連情報取得部131が取得した2種類以上の請求関連情報を有する請求書情報を取得する。
The bill
請求書情報取得部431は、例えば、請求書画像受付部112が受け付けた請求書画像に関する情報である受付情報と、学習情報格納部111の学習情報とを用いて、2種類以上の請求関連情報を有する請求書情報を取得する。
The bill
請求書情報取得部431は、例えば、請求書画像受付部112が受け付けた請求書画像に類似する請求書画像を格納部41から検索する。そして、請求書情報取得部431は、例えば、当該類似する請求書画像と対になる2種類以上の請求関連情報を取得し、当該2種類以上の請求関連情報を有する請求書情報を構成する。
For example, the bill
なお、請求書画像受付部112が受け付けた請求書画像に類似する請求書画像を検索する方法は種々あり得る。請求書情報取得部431は、例えば、請求書画像と類似度が最も高く、類似度が閾値以上の格納部41から検索する。請求書情報取得部431は、例えば、請求書画像受付部112が受け付けた請求書画像をベクトル化し、当該ベクトルと格納部41の請求書画像から取得されたベクトルとの距離を算出し、距離をパラメータとする類似度を算出する。
Note that there may be various methods of searching for a bill image similar to the bill image received by the bill image receiving unit 112. The bill
また、請求書情報取得部431は、例えば、請求書画像受付部112が受け付けた請求書画像を、機械学習のアルゴリズムにより、学習器に適用し、2種類以上の請求関連情報を有する請求書情報を取得しても良い。かかる場合も、請求書情報取得部431は、請求書画像受付部112が受け付けた請求書画像に類似する請求書画像を検索した、と言える。
In addition, the bill
ここで、機械学習において、使用するアルゴリズムは問わないことは言うまでもない。機械学習は、例えば、深層学習、SVM、SVR、ランダムフォレスト、決定木等が使用可能である。また、機械学習において、予測する場合(ここでは、請求書情報を取得する場合)、機械学習のモジュールに学習器と入力となる情報群とを引数として与えると、予測された情報(ここでは、請求書情報)が得られる。なお、予測された情報は、分類の結果の情報である、と言っても良い。 It goes without saying that the algorithm used in machine learning does not matter. For machine learning, for example, deep learning, SVM, SVR, random forest, decision tree, etc. can be used. In addition, in machine learning, when making a prediction (here, when obtaining bill information), if you give a learning device and a group of input information as arguments to the machine learning module, the predicted information (here, when obtaining bill information), billing information). Note that the predicted information may be said to be information as a result of classification.
請求書情報取得部431は、請求書画像受付部112が受け付けた請求書画像を文字認識し、文字が閾値以内の間隔で連続して出現する矩形領域の1または2以上の領域情報(例えば、左上座標(x1,y1)と右下座標(x2,y2))を取得し、かかる1以上の領域情報と、1以上の各領域情報が示す領域の画像である1以上の部分画像と、請求書画像のうちの2種類以上の情報を入力として、機械学習のモジュールに与え、学習情報格納部111の学習器を用いて、機械学習のアルゴリズムにより、予測処理を行い、2種類以上の請求関連情報を有する請求書情報を取得しても良い。
The bill
請求書情報取得部431は、上述した決定手段1313と同様の処理により、蓄積される請求関連情報を決定することは好適である。2以上の各第二端末3から送信された請求関連情報が存在する際に、請求書情報取得部431は、例えば、すべての請求関連情報が一致した場合に、蓄積される請求関連情報を決定しても良い(全員一致方式)。また、3以上の各第二端末3から送信された請求関連情報が存在する際に、請求書情報取得部431は、例えば、多くの一致する請求関連情報を、蓄積される請求関連情報を決定しても良い(多数決方式)。また、全員一致方式または多数決方式を採用するのは、変動請求関連情報に対してのみでも良い。
It is preferable that the bill
判断手段4311は、受付情報受付部421が受け付けた受付情報をキーとして、学習情報格納部111に格納されている請求書元情報を検索し、当該受付情報に対応する請求書元情報が存在するか否かを判断する。なお、受付情報に対応する請求書元情報とは、例えば、受付情報と一致する情報を有する請求書元情報、または受付情報と一致する情報と対になる請求書元情報である。受付情報に対応する請求書元情報とは、例えば、受付情報である口座番号と一致する口座番号を有する請求書元情報である。
The determining means 4311 searches the billing source information stored in the learning information storage section 111 using the reception information received by the reception
請求書情報取得手段4312は、判断手段4311が受付情報に対応する請求書元情報が存在すると判断した場合に、当該請求書元情報の全部または一部を含む請求書情報を取得する。
The bill
請求書情報蓄積部432は、修正受付部422が受け付けた修正により、修正された請求書情報を蓄積する。請求書情報蓄積部432は、請求書情報取得手段4312が取得した請求書情報を蓄積しても良い。
The bill
請求書情報蓄積部432は、請求書画像受付部112が受け付けた請求書画像に対して画像認識処理を行い、取得した請求書情報(例えば、会社名、住所、請求額情報、支払先情報、支払期日情報を有する情報)に対して、修正受付部422が受け付けた一部または全部の修正により、請求書情報を構成し、当該構成した請求書情報を蓄積しても良い。
The bill
なお、請求書情報蓄積部432が請求書情報を蓄積する前に、第一端末2の承認が必要であっても良い。つまり、請求書情報蓄積部432は、第一端末2からの承認の受信があった場合に、蓄積しても良い。なお、承認は、確認情報と言っても良い。
Note that approval from the first terminal 2 may be required before the bill
出力部44は、各種の情報を出力する。各種の情報とは、例えば、請求書画像、請求書情報、入力画面、切取指示画面である。また、ここでの出力とは、通常、第二端末3への送信である。ただし、出力とは、例えば、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である場合もあり得る。
The
請求書情報出力部441は、請求書情報取得部431が取得した請求書情報を出力する。ここで、出力とは、例えば、格納部41への蓄積である。また、出力とは、例えば、第二端末3への送信である。
The bill
次に、情報システムBを構成する情報処理装置4の動作例について、図17のフローチャートを用いて説明する。なお、図17のフローチャートにおいて、図4のフローチャートと同一のステップについて、説明を省略する。 Next, an example of the operation of the information processing device 4 that constitutes the information system B will be described using the flowchart of FIG. 17. Note that in the flowchart of FIG. 17, descriptions of the same steps as in the flowchart of FIG. 4 will be omitted.
(ステップS1701)請求書画像受付部112は、請求書画像を受信したか否かを判断する。請求書画像を受信した場合はステップS1702に行き、請求書画像を受信しなかった場合はステップS410に行く。 (Step S1701) The bill image reception unit 112 determines whether or not a bill image has been received. If the bill image has been received, the process advances to step S1702; if the bill image has not been received, the process advances to step S410.
(ステップS1702)処理部43は、ステップS1701で受信された請求書画像を格納部11に蓄積する。処理部43は、例えば、請求書画像と対に受信された第一ユーザ識別子と対にして、ステップS1701で受信された請求書画像を格納部11に蓄積する。
(Step S1702) The
(ステップS1703)請求書情報取得部431は、ステップS1701で受信された請求書画像に類似する請求書画像を格納部41から検索する。
(Step S1703) The bill
(ステップS1704)請求書情報取得部431は、ステップS1703で類似する請求書画像を検索できたか否かを判断する。検索できた場合はステップS1705に行き、検索できなかった場合はステップS1706に行く。
(Step S1704) The bill
(ステップS1705)請求書情報取得部431は、検索した請求書画像と対になる1種類以上の請求関連情報を学習情報格納部111から取得する。なお、ここで取得される1種類以上の請求関連情報は、固定請求関連情報であることは好適である。固定請求関連情報は、例えば、組織名情報、住所情報、支払先情報である。
(Step S1705) The bill
(ステップS1706)処理部43は、ステップS1701で受信した請求書画像を含む画面である入力画面を構成する。なお、入力画面は、1種類以上の請求関連情報を含むことは好適である。また、1種類以上の請求関連情報は、例えば、ステップS1705で請求書情報取得部431が取得した情報である。また、1種類以上の請求関連情報は、例えば、請求関連情報取得部131が請求書画像に対する文字認識処理により取得した情報である。なお、文字認識処理について、図17のフローチャートにおいて省略している。
(Step S1706) The
(ステップS1707)出力部44は、ステップS1706で構成された入力画面を、1または2以上の第二端末3に送信する。
(Step S1707) The
(ステップS1708)受付部42は、1以上のすべての第二端末3から、1以上の変動請求関連情報を受信したか否かを判断する。1以上のすべての第二端末3から、1以上の変動請求関連情報を受信した場合はステップS1709に行き、1以上の変動請求関連情報を受信しなかった場合はステップS1711に行く。なお、変動請求関連情報は、例えば、請求額情報、支払期日情報である。また、ここで、受付部42は、固定請求関連情報をも受信しても良い。
(Step S1708) The
(ステップS1709)請求書情報取得部431は、2以上の請求関連情報を有する請求書情報を構成する。なお、請求書情報取得部431は、上述した決定手段1313と同様の処理により、蓄積される請求関連情報を決定し、当該請求関連情報を用いて、請求書情報を構成することは好適である。
(Step S1709) The bill
(ステップS1710)請求書情報蓄積部432は、ステップS1709で構成された請求書情報を、ステップS1701で受信された請求書画像と対にして、格納部41に蓄積する。ステップS1701に戻る。
(Step S1710) The bill
(ステップS1711)受付部42は、第二端末3から受付情報(例えば、口座番号)を受信したか否かを判断する。受付情報を受信した場合はステップS1712に行き、受付情報を受信しなかった場合はステップS1711に戻る。
(Step S1711) The
(ステップS1712)請求書情報取得部431は、ステップS1711で受信された受付情報をキーとして請求書元情報を検索する。
(Step S1712) The bill
(ステップS1713)請求書情報取得部431は、ステップS1712で請求書元情報を検索できたか否かを判断する。検索できた場合はステップS1714に行き、検索できなかった場合はステップS403に行く。
(Step S1713) The bill
(ステップS1714)請求書情報取得部431は、ステップS1711で受信された受付情報に対応する1または2以上の固定請求関連情報を取得する。なお、ここで、請求書情報取得部431は、変動請求関連情報をも取得しても良い。また、請求書情報取得部431は、ステップS1711で受信された受付情報に対応する学習情報の中で、最も新しい(最近に蓄積された)学習情報が有する固定請求関連情報、または変動請求関連情報を取得することは好適である。
(Step S1714) The bill
(ステップS1715)請求書情報取得部431は、ステップS1701で受信された請求書画像に対して文字認識処理を行い、変動請求関連情報を取得する。なお、請求書情報取得部431は、文字認識処理の代わりに、ステップS1714において記載した処理により変動請求関連情報を取得しても良い。
(Step S1715) The bill
(ステップS1716)処理部43は、入力画面を構成する。かかる処理は、ステップS1706と同様の処理である。
(Step S1716) The
(ステップS1717)出力部44は、ステップS1716で構成された入力画面を、1または2以上の第二端末3に送信する。かかる処理は、ステップS1707と同様の処理である。
(Step S1717) The
(ステップS1718)受付部42は、1以上のすべての第二端末3から、1以上の変動請求関連情報を受信したか否かを判断する。1以上のすべての第二端末3から、1以上の変動請求関連情報を受信した場合はステップS1719に行き、1以上の変動請求関連情報を受信しなかった場合はステップS1718に戻る。なお、変動請求関連情報は、例えば、請求額情報、支払期日情報である。また、ここで、受付部42は、固定請求関連情報をも受信しても良い。
(Step S1718) The receiving
(ステップS1719)請求書情報取得部431は、2以上の請求関連情報を有する請求書情報を構成する。なお、請求書情報取得部431は、上述した決定手段1313と同様の処理により、蓄積される請求関連情報を決定し、当該請求関連情報を用いて、請求書情報を構成することは好適である。また、請求書情報を構成する2以上の請求関連情報は、例えば、ステップS1718で受信された請求関連情報をそのまま含んでも良い。
(Step S1719) The bill
(ステップS1720)請求書情報蓄積部432は、ステップS1719で構成された請求書情報を、ステップS1701で受信された請求書画像と対にして、格納部41に蓄積する。ステップS1701に戻る。
(Step S1720) The bill
なお、図17のフローチャートにおいて、請求書情報を取得し、蓄積するまでの処理として、ステップS1703からステップS1710までの第一の処理と、ステップS1711からステップS1720までの第二の処理が存在するが、情報処理装置4は、第一の処理と第二の処理のいずれか一方のみを行っても良い。 Note that in the flowchart of FIG. 17, there are a first process from step S1703 to step S1710 and a second process from step S1711 to step S1720 as the process to obtain and accumulate bill information. , the information processing device 4 may perform only one of the first process and the second process.
また、図17のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。 Further, in the flowchart of FIG. 17, the process is terminated by turning off the power or by an interrupt to terminate the process.
以下、本実施の形態における情報システムBの具体的な動作例について説明する。情報システムBの概念図は図1である。 A specific example of the operation of the information system B in this embodiment will be described below. A conceptual diagram of information system B is shown in FIG.
今、学習情報格納部111には、図14に示す構造を有する請求書元情報管理表が格納されている。また、学習情報格納部111には、機械学習により取得された学習器も格納されている。 The learning information storage unit 111 currently stores a billing source information management table having the structure shown in FIG. The learning information storage unit 111 also stores learning devices acquired by machine learning.
ここで、第一ユーザは、第一端末2に対して、図8の請求書画像を入力した、とする。すると、第一端末2の第一受付部22は請求書画像を受け付ける。次に、第一処理部23は、第一受付部22が受け付けた請求書画像を送信するデータ構造の請求書画像にする。次に、第一送信部24は、第一処理部23が構成した請求書画像を情報処理装置4に送信する。
Here, it is assumed that the first user inputs the bill image shown in FIG. 8 into the first terminal 2. Then, the
次に、情報処理装置4の請求書画像受付部112は、図8の請求書画像を受信する。そして、処理部43は、受信された請求書画像を格納部11に蓄積する。
Next, the bill image reception unit 112 of the information processing device 4 receives the bill image shown in FIG. Then, the
次に、請求書情報取得部431は、図8の請求書画像に受信された請求書画像に類似する請求書画像を格納部41から検索する。しかし、ここで、類似度が閾値以内の請求書画像が格納部41に存在しなかった、とする。
Next, the bill
次に、処理部13は、1以上の第二端末3に送信する画面を構成する。そして、出力部44は、当該画面を1以上の第二端末3に送信する。
Next, the
次に、第二端末3の第二受信部35は、当該画面を受信する。次に、第二処理部33は、受信された画面から出力される画面を構成する。そして、第二出力部36は、構成された画面を出力する。かかる画面例は、図18である。
Next, the
次に、第二ユーザは、請求書画像を見て、「請求書(国内)」1801を選択し、「確定」ボタンを押下した、とする。すると、第二受付部32は、「請求書(国内)」1801を識別する情報を受け付け、第二送信部34は、かかる情報を情報処理装置4に送信する。
Next, it is assumed that the second user views the bill image, selects "Bill (Domestic)" 1801, and presses the "Confirm" button. Then, the
次に、情報処理装置4の受付部42は、「請求書(国内)」1801を識別する情報を受信する。そして、処理部43は、かかる情報に対応する画面であり、受付情報を入力するための画面を構成する。次に、出力部44は、かかる画面を第二端末3に送信する。
Next, the receiving
なお、図18の請求書の種別選択において、「請求書(国内)」「請求書(国外)」「口座引落」「その他」のうち、例えば、「請求書(国内)」の場合のみ、受付情報を入力するための画面が構成さる。また、図18の請求書の種別選択において、「請求書(国内)」「請求書(国外)」「口座引落」「その他」のうち、例えば、「その他」の場合のみ、受付情報を入力するための画面が構成されないような処理としても良い。つまり、処理部43は、予め決められた請求書の種別か否かを判断し、予め決められた請求書の種別の場合のみ、受付情報を入力するための画面を構成しても良い。また、処理部43は、予め決められた請求書の種別か否かを判断し、予め決められた請求書の種別の場合のみ、受付情報を入力するための画面を構成しないようにしても良い。
In addition, when selecting the type of bill in Figure 18, for example, only ``Bill (domestic)'' is accepted among ``Bill (domestic)'', ``Bill (overseas)'', ``Direct debit'', and ``Other''. A screen for inputting information is configured. In addition, when selecting the type of bill in Figure 18, for example, enter reception information only in the case of "Other" among "Bill (domestic)", "Bill (overseas)", "Direct debit", and "Other". It is also possible to perform processing such that no screen is configured for this purpose. That is, the
次に、第二端末3の第二受信部35は、受付情報を入力するための画面を受信する。そして、第二処理部33は、出力するための画面を構成する。次に、第二出力部36は、受付情報を入力するための画面を出力する。なお、かかる画面は、請求書画像と受付情報を入力するためのフィールドとを有する。
Next, the
次に、第二端末3の第二ユーザは、出力された画面に対して、会社名「Sansan株式会社」と口座番号「1407848」を入力した、とする。なお、ここで、会社名と口座番号とは受付情報の例である。ただし、受付情報は口座番号だけでも良い。 Next, it is assumed that the second user of the second terminal 3 inputs the company name "Sansan Co., Ltd." and the account number "1407848" on the output screen. Note that here, the company name and account number are examples of reception information. However, the reception information may be just the account number.
次に、第二端末3の第二受付部32は、受付情報を受け付ける。次に、第二処理部33は、受け付けられた受付情報を送信するデータ構造にする。次に、第二送信部34は、受付情報を情報処理装置4に送信する。
Next, the
次に、情報処理装置4の受付部42は、第二端末3から受付情報を受信する。
Next, the
次に、請求書情報取得部431は、受信された受付情報をキーとして、格納部41の請求書元情報を検索する。ここで、請求書情報取得部431は、請求書元情報が検索できなかった、とする。つまり、格納部41には、口座番号「1407848」等が存在しなかった、とする。
Next, the bill
次に、処理部43は、受付情報に対応する請求書元情報が存在しなかった場合の画面を構成する。そして、出力部44は、当該画面を第二端末3に送信する。
Next, the
次に、第二端末3の第二受信部35は、当該画面を受信する。そして、第二処理部33は、受信された画面から出力する画面を構成する。次に、第二出力部36は、当該画面を出力する。なお、かかる画面例は、図19である。また、図19において、対象の振込口座(口座番号)が存在しなかった場合、振込口座の表示フィールド1901に「該当なし」と表示される。
Next, the
次に、実施の形態1で説明した処理であり、図17のフローチャートのステップS403からステップS409の処理が実行される。 Next, the processing described in the first embodiment, from step S403 to step S409 in the flowchart of FIG. 17, is executed.
一方、例えば、学習情報格納部111には、図14に示す請求書元情報管理表が格納されている、とした場合、請求書情報取得部431が受信された受付情報をキーとして、格納部41の請求書元情報を検索した結果、図14の「ID=892」の請求書元情報が検索できた、とする。
On the other hand, for example, if the learning information storage section 111 stores the invoice source information management table shown in FIG. 14, the invoice
そして、請求書情報取得部431は、図14の「ID=892」のレコードの属性値のうち、3つの固定請求関連情報を取得する。なお、3つの固定請求関連情報は、(1)会社名「Sansan株式会社」、(2)住所「〒150-0001 東京都渋谷区神宮前・・・」、(4)支払先「りそな銀行・・・,みずほ銀行・・・,三井住友銀行・・・」を取得する。
Then, the bill
次に、請求書情報取得部431は、受信された請求書画像に対して文字認識処理を行い、変動請求関連情報を取得する。ここで変動請求関連情報は、請求額「1」、支払期日「2017年10月31日」である。
Next, the bill
次に、処理部43は、請求書情報を取得するために、第二ユーザが請求関連情報を修正する入力画面を構成する。
Next, the
次に、出力部44は、構成された入力画面を、1または2以上の第二端末3に送信する。
Next, the
次に、1以上の第二端末3の第二受信部35は、入力画面を受信する。そして、第二処理部33は、受信された入力画面を用いて、表示する入力画面を構成する。次に、第二出力部36は、構成された入力画面を表示する。かかる入力画面の例は、図20である。図20において、会社名が2001のフィールドに表示され、住所を構成する郵便番号が2002のフィールドに表示され、支払先が2003のフィールドに表示されている。
Next, the
そして、第二ユーザは、図20の画面、図11から図13の画面等を用いて、第二端末3に表示された請求書情報を確認したり、修正したり、請求額等の変動請求関連情報を入力したりする。次に、第二端末3の第二受付部32は、変動請求関連情報を含む請求書情報を受け付ける。次に、第二処理部33は、送信するデータ構造の請求書情報を構成する。そして、第二送信部34は、請求書情報を情報処理装置4に送信する。
The second user then uses the screen in FIG. 20, the screens in FIGS. 11 to 13, etc. to check or modify the bill information displayed on the second terminal 3, and to request changes in the bill amount, etc. Enter related information. Next, the
次に、情報処理装置4の受付部42は、1以上のすべての第二端末3から、1以上の変動請求関連情報を含む請求書情報を受信する。
Next, the
次に、請求書情報取得部431は、1以上の第二端末3から受信された請求書情報を用いて、蓄積する請求書情報を構成する。
Next, the bill
次に、請求書情報蓄積部432は、構成された請求書情報を受信された請求書画像と対にして、格納部41に蓄積する。
Next, the bill
以上の処理により、情報処理装置4は、学習情報を効率的に精度高く蓄積できた。 Through the above processing, the information processing device 4 was able to efficiently accumulate learning information with high accuracy.
以上、本実施の形態によれば、請求書画像から、管理すべき情報を容易に精度高く取得し、蓄積することができる。 As described above, according to the present embodiment, information to be managed can be easily and accurately acquired and stored from bill images.
また、本実施の形態によれば、学習情報を用いて、請求書画像から、管理すべき情報を容易に精度高く取得し、蓄積することができるとともに、学習情報を進化させることができる。 Further, according to the present embodiment, information to be managed can be easily and accurately acquired and stored from invoice images using learning information, and learning information can be evolved.
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置4を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、学習情報製造装置1が蓄積した学習情報が格納される学習情報格納部にアクセス可能なコンピュータを、請求書画像を受け付ける請求書画像受付部と、前記請求書画像受付部が受け付けた請求書画像に関する情報である受付情報と、前記学習情報格納部の学習情報とを用いて、2種類以上の請求関連情報を有する請求書情報を取得する請求書情報取得部と、前記請求書情報を出力する請求書情報出力部として機能させるためのプログラムである。
Note that the processing in this embodiment may be realized by software. Then, this software may be distributed by software download or the like. Furthermore, this software may be recorded on a recording medium such as a CD-ROM and distributed. Note that this also applies to other embodiments in this specification. Note that the software that implements the information processing device 4 in this embodiment is the following program. In other words, this program connects a computer that can access the learning information storage section in which the learning information accumulated by the learning
また、図21は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の情報処理装置4等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図21は、このコンピュータシステム300の概観図であり、図22は、システム300のブロック図である。
Further, FIG. 21 shows the external appearance of a computer that executes the programs described in this specification and realizes the information processing apparatus 4 and the like of the various embodiments described above. The embodiments described above may be implemented in computer hardware and computer programs executed thereon. FIG. 21 is an overview diagram of this
図21において、コンピュータシステム300は、CD-ROMドライブを含むコンピュータ301と、キーボード302と、マウス303と、モニタ304とを含む。
In FIG. 21,
図22において、コンピュータ301は、CD-ROMドライブ3012に加えて、MPU3013と、CD-ROMドライブ3012等に接続されたバス3014と、ブートアッププログラム等のプログラムを記憶するためのROM3015と、MPU3013に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3016と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3017とを含む。ここでは、図示しないが、コンピュータ301は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
In FIG. 22, the
コンピュータシステム300に、上述した実施の形態の情報処理装置4等の機能を実行させるプログラムは、CD-ROM3101に記憶されて、CD-ROMドライブ3012に挿入され、さらにハードディスク3017に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ301に送信され、ハードディスク3017に記憶されても良い。プログラムは実行の際にRAM3016にロードされる。プログラムは、CD-ROM3101またはネットワークから直接、ロードされても良い。
A program that causes the
プログラムは、コンピュータ301に、上述した実施の形態の情報処理装置4等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム300がどのように動作するかは周知であり、詳細な説明は省略する。
The program does not necessarily need to include an operating system (OS) or a third party program that causes the
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。 Further, the number of computers that execute the above program may be one or more. That is, centralized processing or distributed processing may be performed.
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。 Furthermore, in each of the above embodiments, it goes without saying that two or more communication means existing in one device may be physically realized by one medium.
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。 Furthermore, in each of the above embodiments, each process may be realized by being centrally processed by a single device, or may be realized by being distributed by a plurality of devices.
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。 It goes without saying that the present invention is not limited to the above-described embodiments, and that various modifications can be made, and these are also included within the scope of the present invention.
以上のように、本発明にかかる学習情報製造装置は、請求書画像から管理すべき情報を容易に、かつ精度高く取得し、蓄積することができるという効果を有し、学習情報製造装置等として有用である。 As described above, the learning information manufacturing device according to the present invention has the effect of being able to easily and accurately acquire and store information to be managed from invoice images, and can be used as a learning information manufacturing device, etc. Useful.
1 学習情報製造装置
2 第一端末
3 第二端末
4 情報処理装置
11、41 格納部
12、42 受付部
13、43 処理部
14、44 出力部
21 第一格納部
22 第一受付部
23 第一処理部
24 第一送信部
25 第一受信部
26 第一出力部
31 第二格納部
32 第二受付部
33 第二処理部
34 第二送信部
35 第二受信部
36 第二出力部
111 学習情報格納部
112 請求書画像受付部
113 領域特定情報受付部
131 請求関連情報取得部
132 学習情報構成部
133 学習情報蓄積部
141 請求書画像出力部
421 受付情報受付部
422 修正受付部
431 請求書情報取得部
432 請求書情報蓄積部
441 請求書情報出力部
1311 文字認識手段
1312 請求関連情報受付手段
1313 決定手段
1321 請求書元情報構成手段
1322 学習手段
4311 判断手段
4312 請求書情報取得手段
1 Learning information production device 2 First terminal 3 Second terminal 4
Claims (14)
前記請求書画像受付部が受け付けた請求書画像を出力する請求書画像出力部と、
前記請求書画像出力部が出力した請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報の種類を特定する種類識別子に対応付けて、請求関連情報ごとに受け付ける領域特定情報受付部と、
前記領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を、種類識別子に対応付けて取得する請求関連情報取得部と、
前記領域特定情報と前記種類識別子と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成部と、
前記学習情報を蓄積する学習情報蓄積部とを具備し、
前記請求関連情報取得部は、
前記請求書画像受付部が受け付けた請求書画像に対して文字認識処理を行い、第一の請求関連情報を取得する文字認識手段と、
手入力された第二の請求関連情報を受け付ける請求関連情報受付手段と、
前記第一の請求関連情報と前記第二の請求関連情報とが一致する場合に、前記第一の請求関連情報または前記第二の請求関連情報を蓄積される請求関連情報として決定する決定手段とを具備し、
前記学習情報構成部は、
前記領域特定情報と、前記決定手段が決定した前記請求関連情報との組を、1組以上を用いて、前記学習情報を構成する学習情報製造装置。 a bill image reception unit that accepts bill images;
a bill image output unit that outputs the bill image received by the bill image reception unit;
For the bill image output by the bill image output unit, area specifying information that specifies areas of two or more types of billing-related information related to billing is associated with a type identifier that specifies the type of billing-related information. an area specific information reception department that accepts each billing-related information;
a billing-related information acquisition unit that acquires billing-related information, which is a character string written in each of two or more areas specified by the area specifying information, in association with a type identifier;
a learning information configuration unit that configures learning information using two or more sets of information that are a set of the area specifying information, the type identifier, and billing related information corresponding to the area specifying information;
and a learning information storage unit that stores the learning information,
The billing-related information acquisition unit includes:
character recognition means for performing character recognition processing on the bill image received by the bill image receiving unit and acquiring first bill-related information;
billing-related information receiving means for receiving manually input second billing-related information;
determining means for determining the first billing-related information or the second billing-related information as the billing-related information to be accumulated when the first billing-related information and the second billing-related information match; Equipped with
The learning information configuration section includes:
The learning information manufacturing device configures the learning information using one or more sets of the area specifying information and the billing related information determined by the determining means.
前記請求書画像受付部が受け付けた請求書画像を出力する請求書画像出力部と、
前記請求書画像出力部が出力した請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報の種類を特定する種類識別子に対応付けて、請求関連情報ごとに受け付ける領域特定情報受付部と、
前記領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を、種類識別子に対応付けて取得する請求関連情報取得部と、
前記領域特定情報と前記種類識別子と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成部と、
前記学習情報を蓄積する学習情報蓄積部とを具備し、
前記請求関連情報取得部は、
2以上の各ユーザにより手入力された2以上の第二の請求関連情報を受け付ける請求関連情報受付手段と、
前記2以上の第二の請求関連情報の一致度が条件を満たす場合に、当該第二の請求関連情報を蓄積される請求関連情報として決定する決定手段とを具備し、
前記学習情報構成部は、
前記領域特定情報と、前記決定手段が決定した請求関連情報との組を、1組以上を用いて、学習情報を構成する学習情報製造装置。 a bill image reception unit that accepts bill images;
a bill image output unit that outputs the bill image received by the bill image reception unit;
For the bill image output by the bill image output unit, area specifying information that specifies areas of two or more types of billing-related information related to billing is associated with a type identifier that specifies the type of billing-related information. an area specific information reception department that accepts each billing-related information;
a billing-related information acquisition unit that acquires billing-related information, which is a character string written in each of two or more areas specified by the area specifying information, in association with a type identifier;
a learning information configuration unit that configures learning information using two or more sets of information that are a set of the area specifying information, the type identifier, and billing related information corresponding to the area specifying information;
and a learning information storage unit that stores the learning information,
The billing-related information acquisition unit includes:
billing-related information receiving means for receiving two or more pieces of second billing-related information manually input by each of the two or more users;
determining means for determining the second billing-related information as the billing-related information to be accumulated when the degree of coincidence of the two or more second billing-related information satisfies a condition;
The learning information configuration section includes:
A learning information manufacturing device that configures learning information using one or more sets of the area specifying information and billing-related information determined by the determining means.
前記領域特定情報と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を有する請求書元情報を構成する請求書元情報構成手段を具備し、
前記学習情報は、前記請求書元情報を含む、請求項2記載の学習情報製造装置。 The learning information configuration section includes:
comprising billing source information configuring means for configuring billing source information having two or more sets of information, each of which is a pair of the area specifying information and billing related information corresponding to the area specifying information;
The learning information manufacturing device according to claim 2 , wherein the learning information includes the billing source information.
前記領域特定情報と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、機械学習のアルゴリズムにより、学習器を生成する学習手段を具備し、
前記学習情報は、前記学習器を含む、請求項1から請求項3いずれか一項に記載の学習情報製造装置。 The learning information configuration section includes:
comprising a learning means for generating a learning device by a machine learning algorithm using two or more sets of information that are a set of the area specifying information and billing related information corresponding to the area specifying information,
The learning information manufacturing device according to any one of claims 1 to 3 , wherein the learning information includes the learning device.
請求書画像を受け付ける請求書画像受付部と、
前記請求書画像受付部が受け付けた請求書画像に関する情報である受付情報と、前記学習情報格納部の学習情報とを用いて、2種類以上の請求関連情報を有する請求書情報を取得する請求書情報取得部と、
前記請求書情報を出力する請求書情報出力部とを具備し、
前記学習情報は、請求書元情報を含み、
前記請求書情報取得部は、
前記請求書画像受付部が受け付けた前記請求書画像を用いて、前記学習情報格納部を検索し、当該受付情報に対応する請求書元情報の一部であり、固定的な情報である1以上の固定請求関連情報を取得し、当該1以上の固定請求関連情報を含む請求書情報を取得する、情報処理装置。 Learning configured using two or more sets of information, which are a set of billing-related information related to a billing, a type identifier that specifies the type of the billing-related information, and area specifying information that specifies the area of the billing-related information. a learning information storage section in which information is stored;
a bill image reception unit that accepts bill images;
A bill that obtains bill information having two or more types of bill-related information using reception information that is information regarding a bill image received by the bill image reception unit and learning information in the learning information storage unit. Information acquisition department;
and a bill information output unit that outputs the bill information,
The learning information includes billing source information,
The bill information acquisition unit includes:
Using the invoice image received by the invoice image reception unit, the learning information storage unit is searched, and one or more pieces of fixed information that are part of the invoice source information corresponding to the reception information are searched. An information processing device that acquires fixed billing related information of , and obtains bill information including the one or more fixed billing related information .
前記請求書画像に対応する請求書元情報が存在するか否かを判断する判断手段と、
前記判断手段が前記請求書画像に対応する請求書元情報が存在すると判断した場合に、前記1以上の固定請求関連情報を取得し、当該1以上の固定請求関連情報を含む請求書情報を取得する請求書情報取得手段とを具備し、
前記請求書画像受付部が受け付けた請求書画像を出力する請求書画像出力部と、
前記判断手段が前記請求書画像に対応する請求書元情報が存在しないと判断した場合に、前記請求書画像出力部が出力した請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報ごとに受け付ける領域特定情報受付部と、
前記領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を取得する請求関連情報取得部と、
前記領域特定情報と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成部と、
前記学習情報を蓄積する学習情報蓄積部とをさらに具備し、
前記請求書情報取得部は、
前記請求関連情報取得部が取得した2種類以上の請求関連情報を有する請求書情報を取得する請求項6記載の情報処理装置。 The bill information acquisition unit includes:
determining means for determining whether or not invoice source information corresponding to the invoice image exists;
If the determining means determines that bill source information corresponding to the bill image exists, the one or more pieces of fixed billing related information are acquired, and the billing information including the one or more fixed billing related information is obtained. and bill information acquisition means,
a bill image output unit that outputs the bill image received by the bill image reception unit;
If the determining means determines that there is no billing source information corresponding to the billing image , the billing image output unit outputs two or more types of billing information related to billing. an area specifying information reception unit that accepts area specifying information specifying an information area for each billing-related information;
a billing-related information acquisition unit that acquires billing-related information that is a character string written in each of two or more areas specified by the area specifying information;
a learning information configuration unit that configures learning information using two or more sets of information that are a set of the area specifying information and billing related information corresponding to the area specifying information;
further comprising a learning information storage unit that stores the learning information,
The bill information acquisition unit includes:
The information processing apparatus according to claim 6 , wherein the billing-related information acquisition unit acquires bill information having two or more types of billing-related information.
前記修正受付部が受け付けた修正により、修正された請求書情報を蓄積する請求書情報蓄積部とを具備する請求項6または請求項7記載の情報処理装置。 a modification reception unit that accepts modifications to the bill information output by the bill information output unit;
8. The information processing apparatus according to claim 6, further comprising a bill information storage section that stores bill information modified by the modification received by the modification reception section.
前記請求書画像受付部が、請求書画像を受け付ける請求書画像受付ステップと、
前記請求書画像出力部が、前記請求書画像受付ステップで受け付けられた請求書画像を出力する請求書画像出力ステップと、
前記領域特定情報受付部が、前記請求書画像出力ステップで出力された請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報の種類を特定する種類識別子に対応付けて、請求関連情報ごとに受け付ける領域特定情報受付ステップと、
前記請求関連情報取得部が、前記領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を、種類識別子に対応付けて取得する請求関連情報取得ステップと、
前記学習情報構成部が、前記領域特定情報と前記種類識別子と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成ステップと、
前記学習情報蓄積部が、前記学習情報を蓄積する学習情報蓄積ステップとを具備し、
前記請求関連情報取得ステップにおいて、
前記請求書画像受付部が受け付けた請求書画像に対して文字認識処理を行い、第一の請求関連情報を取得する文字認識サブステップと、
手入力された第二の請求関連情報を受け付ける請求関連情報受付サブステップと、
前記第一の請求関連情報と前記第二の請求関連情報とが一致する場合に、前記第一の請求関連情報または前記第二の請求関連情報を蓄積される請求関連情報として決定する決定サブステップとを具備し、
前記学習情報構成ステップにおいて、
前記領域特定情報と、前記決定サブステップにおいて決定された前記請求関連情報との組、1組以上を用いて、前記学習情報を構成する、学習情報の製造方法。 A learning information manufacturing method realized by a bill image receiving section, a bill image outputting section, an area specifying information receiving section, a billing related information acquiring section, a learning information composition section, and a learning information storage section. hand,
a bill image receiving step in which the bill image receiving unit receives a bill image;
a bill image output step in which the bill image output unit outputs the bill image accepted in the bill image receiving step;
The area specifying information receiving unit adds area specifying information that specifies areas of two or more types of billing related information related to billing to the bill image output in the bill image output step. an area specifying information receiving step of accepting each piece of billing-related information in association with a type identifier that specifies the type;
a billing-related information acquisition step in which the billing-related information acquisition unit acquires billing-related information, which is a character string written in each of two or more areas specified by the area specifying information, in association with a type identifier;
A learning information configuration step in which the learning information configuration unit configures learning information using two or more sets of information, which are a pair of the area specifying information, the type identifier, and billing related information corresponding to the area specifying information. and,
The learning information storage unit includes a learning information storage step for storing the learning information ,
In the billing related information acquisition step,
a character recognition substep of performing character recognition processing on the bill image received by the bill image receiving unit to obtain first bill-related information;
a billing-related information reception substep of receiving manually input second billing-related information;
a determining substep of determining the first billing-related information or the second billing-related information as the billing-related information to be accumulated when the first billing-related information and the second billing-related information match; and
In the learning information configuration step,
A method for producing learning information, wherein the learning information is configured using one or more sets of the area specifying information and the billing-related information determined in the determining substep .
前記請求書画像受付部が、請求書画像を受け付ける請求書画像受付ステップと、a bill image receiving step in which the bill image receiving unit receives a bill image;
前記請求書画像出力部が、前記請求書画像受付ステップで受け付けられた請求書画像を出力する請求書画像出力ステップと、a bill image output step in which the bill image output unit outputs the bill image accepted in the bill image receiving step;
前記領域特定情報受付部が、前記請求書画像出力ステップで出力された請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報の種類を特定する種類識別子に対応付けて、請求関連情報ごとに受け付ける領域特定情報受付ステップと、The area specifying information receiving unit sends area specifying information that specifies areas of two or more types of billing related information related to billing to the bill image output in the bill image output step. an area specifying information receiving step of accepting each piece of billing-related information in association with a type identifier that specifies the type;
前記請求関連情報取得部が、前記領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を、種類識別子に対応付けて取得する請求関連情報取得ステップと、a billing-related information acquisition step in which the billing-related information acquisition unit acquires billing-related information, which is a character string written in each of two or more areas specified by the area specifying information, in association with a type identifier;
前記学習情報構成部が、前記領域特定情報と前記種類識別子と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成ステップと、a learning information configuration step in which the learning information configuration unit configures learning information using two or more sets of information that are a set of the area specifying information, the type identifier, and billing related information corresponding to the area specifying information; and,
前記学習情報蓄積部が、前記学習情報を蓄積する学習情報蓄積ステップとを具備し、The learning information storage unit includes a learning information storage step for storing the learning information,
前記請求関連情報取得ステップは、The billing related information acquisition step includes:
2以上の各ユーザにより手入力された2以上の第二の請求関連情報を受け付ける請求関連情報受付サブステップと、a billing-related information reception substep of receiving two or more pieces of second billing-related information manually input by each of the two or more users;
前記2以上の第二の請求関連情報の一致度が条件を満たす場合に、当該第二の請求関連情報を蓄積される請求関連情報として決定する決定サブステップとを具備し、a determining substep of determining the second billing-related information as billing-related information to be accumulated when the degree of coincidence of the two or more pieces of second billing-related information satisfies a condition;
前記学習情報構成ステップにおいて、In the learning information configuration step,
前記領域特定情報と、前記決定サブステップで決定された前記請求関連情報との組を、1組以上を用いて、前記学習情報を構成する、学習情報の製造方法。A method for producing learning information, wherein the learning information is configured using one or more sets of the area specifying information and the billing-related information determined in the determining substep.
前記請求書画像受付部が、請求書画像を受け付ける請求書画像受付ステップと、
前記請求書情報取得部が、前記請求書画像受付ステップで受け付けられた請求書画像に関する情報である受付情報と、前記学習情報格納部の学習情報とを用いて、2種類以上の請求関連情報を有する請求書情報を取得する請求書情報取得ステップと、
前記請求書情報出力部が、前記請求書情報を出力する請求書情報出力ステップとを具備し、
前記学習情報は、請求書元情報を含み、
前記請求書情報取得ステップにおいて、
前記請求書画像受付部が受け付けた前記請求書画像を用いて、前記学習情報格納部を検索し、当該受付情報に対応する請求書元情報の一部であり、固定的な情報である1以上の固定請求関連情報を取得し、当該1以上の固定請求関連情報を含む請求書情報を取得する、情報処理方法。 Learning configured using two or more sets of information, which are a set of billing-related information related to a billing, a type identifier that specifies the type of the billing-related information, and area specifying information that specifies the area of the billing-related information. An information processing method realized by a learning information storage section in which information is stored, a bill image reception section, a bill information acquisition section, and a bill information output section,
a bill image receiving step in which the bill image receiving unit receives a bill image;
The bill information acquisition unit obtains two or more types of bill-related information using reception information that is information regarding the bill image received in the bill image reception step and learning information in the learning information storage unit. a bill information acquisition step of acquiring bill information having the
The bill information output unit includes a bill information output step of outputting the bill information ,
The learning information includes billing source information,
In the bill information acquisition step,
Using the invoice image received by the invoice image reception unit, the learning information storage unit is searched, and one or more pieces of fixed information that are part of the invoice source information corresponding to the reception information are searched. An information processing method comprising: acquiring fixed billing related information of the fixed billing related information, and obtaining bill information including the one or more fixed billing related information .
請求書画像を受け付ける請求書画像受付部と、
前記請求書画像受付部が受け付けた請求書画像を出力する請求書画像出力部と、
前記請求書画像出力部が出力した請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報の種類を特定する種類識別子に対応付けて、請求関連情報ごとに受け付ける領域特定情報受付部と、
前記領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を、種類識別子に対応付けて取得する請求関連情報取得部と、
前記領域特定情報と前記種類識別子と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成部と、
前記学習情報を蓄積する学習情報蓄積部として機能させるためのプログラムであって、
前記請求関連情報取得部は、
前記請求書画像受付部が受け付けた請求書画像に対して文字認識処理を行い、第一の請求関連情報を取得する文字認識手段と、
手入力された第二の請求関連情報を受け付ける請求関連情報受付手段と、
前記第一の請求関連情報と前記第二の請求関連情報とが一致する場合に、前記第一の請求関連情報または前記第二の請求関連情報を蓄積される請求関連情報として決定する決定手段とを具備し、
前記学習情報構成部は、
前記領域特定情報と、前記決定手段が決定した前記請求関連情報との組を、1組以上を用いて、前記学習情報を構成するものとして、前記コンピュータを機能させるためのプログラム。 computer,
a bill image reception unit that accepts bill images;
a bill image output unit that outputs the bill image received by the bill image reception unit;
For the bill image output by the bill image output unit, area specifying information that specifies areas of two or more types of billing-related information related to billing is associated with a type identifier that specifies the type of billing-related information. an area specific information reception department that accepts each billing-related information;
a billing-related information acquisition unit that acquires billing-related information, which is a character string written in each of two or more areas specified by the area specifying information, in association with a type identifier;
a learning information configuration unit that configures learning information using two or more sets of information that are a set of the area specifying information, the type identifier, and billing related information corresponding to the area specifying information;
A program for functioning as a learning information storage unit that stores the learning information ,
The billing-related information acquisition unit includes:
character recognition means for performing character recognition processing on the bill image received by the bill image receiving unit and acquiring first bill-related information;
billing-related information receiving means for receiving manually input second billing-related information;
determining means for determining the first billing-related information or the second billing-related information as the billing-related information to be accumulated when the first billing-related information and the second billing-related information match; Equipped with
The learning information configuration section includes:
A program for causing the computer to function as configuring the learning information using one or more sets of the area specifying information and the billing-related information determined by the determining means.
請求書画像を受け付ける請求書画像受付部と、a bill image reception unit that accepts bill images;
前記請求書画像受付部が受け付けた請求書画像を出力する請求書画像出力部と、a bill image output unit that outputs the bill image received by the bill image reception unit;
前記請求書画像出力部が出力した請求書画像に対して、請求に関連する2種類以上の請求関連情報の領域を特定する領域特定情報を、請求関連情報の種類を特定する種類識別子に対応付けて、請求関連情報ごとに受け付ける領域特定情報受付部と、For the bill image output by the bill image output unit, area specifying information that specifies areas of two or more types of billing-related information related to billing is associated with a type identifier that specifies the type of billing-related information. an area specific information reception department that accepts each billing-related information;
前記領域特定情報により特定される2以上の各領域に記載された文字列である請求関連情報を、種類識別子に対応付けて取得する請求関連情報取得部と、a billing-related information acquisition unit that acquires billing-related information, which is a character string written in each of two or more areas specified by the area specifying information, in association with a type identifier;
前記領域特定情報と前記種類識別子と、当該領域特定情報に対応する請求関連情報との組である2以上の組情報を用いて、学習情報を構成する学習情報構成部と、a learning information configuration unit that configures learning information using two or more sets of information that are a set of the area specifying information, the type identifier, and billing related information corresponding to the area specifying information;
前記学習情報を蓄積する学習情報蓄積部として機能させるためのプログラムであって、A program for functioning as a learning information storage unit that stores the learning information,
前記請求関連情報取得部は、The billing-related information acquisition unit includes:
2以上の各ユーザにより手入力された2以上の第二の請求関連情報を受け付ける請求関連情報受付手段と、billing-related information receiving means for receiving two or more pieces of second billing-related information manually input by each of the two or more users;
前記2以上の第二の請求関連情報の一致度が条件を満たす場合に、当該第二の請求関連情報を蓄積される請求関連情報として決定する決定手段とを具備し、determining means for determining the second billing-related information as the billing-related information to be accumulated when the degree of coincidence of the two or more second billing-related information satisfies a condition;
前記学習情報構成部は、The learning information configuration section includes:
前記領域特定情報と、前記決定手段が決定した請求関連情報との組を、1組以上を用いて、学習情報を構成するものとして、前記コンピュータを機能させるためのプログラム。A program for causing the computer to function as configuring learning information using one or more sets of the area specifying information and billing related information determined by the determining means.
請求書画像を受け付ける請求書画像受付部と、
前記請求書画像受付部が受け付けた請求書画像に関する情報である受付情報と、前記学習情報格納部の学習情報とを用いて、2種類以上の請求関連情報を有する請求書情報を取得する請求書情報取得部と、
前記請求書情報を出力する請求書情報出力部として機能させるためのプログラムであって、
前記学習情報は、請求書元情報を含み、
前記請求書情報取得部は、
前記請求書画像受付部が受け付けた前記請求書画像を用いて、前記学習情報格納部を検索し、当該受付情報に対応する請求書元情報の一部であり、固定的な情報である1以上の固定請求関連情報を取得し、当該1以上の固定請求関連情報を含む請求書情報を取得するものとして、前記コンピュータを機能させるためのプログラム。 Learning configured using two or more sets of information, which are a set of billing-related information related to a billing, a type identifier that specifies the type of the billing-related information, and area specifying information that specifies the area of the billing-related information. A computer that can access the learning information storage section where information is stored.
a bill image reception unit that accepts bill images;
A bill that obtains bill information having two or more types of bill-related information using reception information that is information regarding a bill image received by the bill image reception unit and learning information in the learning information storage unit. Information acquisition department;
A program for functioning as a bill information output unit that outputs the bill information ,
The learning information includes billing source information,
The bill information acquisition unit includes:
Using the invoice image received by the invoice image reception unit, the learning information storage unit is searched, and one or more pieces of fixed information that are part of the invoice source information corresponding to the reception information are searched. A program for causing the computer to function as a program for acquiring fixed billing related information of 1 and acquiring bill information including the one or more fixed billing related information .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019043848A JP7421866B2 (en) | 2019-03-11 | 2019-03-11 | Learning information manufacturing device, information processing device, learning information manufacturing method, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019043848A JP7421866B2 (en) | 2019-03-11 | 2019-03-11 | Learning information manufacturing device, information processing device, learning information manufacturing method, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020149113A JP2020149113A (en) | 2020-09-17 |
JP7421866B2 true JP7421866B2 (en) | 2024-01-25 |
Family
ID=72432018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019043848A Active JP7421866B2 (en) | 2019-03-11 | 2019-03-11 | Learning information manufacturing device, information processing device, learning information manufacturing method, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7421866B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7242819B1 (en) * | 2021-12-09 | 2023-03-20 | PayPay株式会社 | Information processing device, information processing method and information processing program |
JP7373820B1 (en) * | 2023-01-06 | 2023-11-06 | 株式会社Tokium | Programs, computers, information processing systems and information processing methods |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003115028A (en) | 2001-10-03 | 2003-04-18 | Hitachi Ltd | Method for automatically generating document identification dictionary and document processing system |
JP2006127499A (en) | 2005-09-30 | 2006-05-18 | Hitachi Omron Terminal Solutions Corp | Image processing device |
JP2008204457A (en) | 2007-02-19 | 2008-09-04 | Toshiba Corp | Document management device and document management method |
JP2017134502A (en) | 2016-01-26 | 2017-08-03 | 株式会社東芝 | Document management device, document management method, and program |
JP2018067180A (en) | 2016-10-20 | 2018-04-26 | 三菱電機インフォメーションシステムズ株式会社 | Work supporting device and work supporting program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07152856A (en) * | 1993-11-29 | 1995-06-16 | Toshiba Corp | Optical character reader |
-
2019
- 2019-03-11 JP JP2019043848A patent/JP7421866B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003115028A (en) | 2001-10-03 | 2003-04-18 | Hitachi Ltd | Method for automatically generating document identification dictionary and document processing system |
JP2006127499A (en) | 2005-09-30 | 2006-05-18 | Hitachi Omron Terminal Solutions Corp | Image processing device |
JP2008204457A (en) | 2007-02-19 | 2008-09-04 | Toshiba Corp | Document management device and document management method |
JP2017134502A (en) | 2016-01-26 | 2017-08-03 | 株式会社東芝 | Document management device, document management method, and program |
JP2018067180A (en) | 2016-10-20 | 2018-04-26 | 三菱電機インフォメーションシステムズ株式会社 | Work supporting device and work supporting program |
Also Published As
Publication number | Publication date |
---|---|
JP2020149113A (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11600090B2 (en) | Image processing apparatus, control method therefor, and storage medium | |
US10332213B2 (en) | Expense report system with receipt image processing by delegates | |
CN101010694A (en) | Searching system and searching method | |
US9088676B2 (en) | Information processing apparatus, information processing method, and computer readable medium | |
US20130251211A1 (en) | Automated processing of documents | |
US11941672B2 (en) | Information processing system, information processing method, and non-transitory recording medium | |
JP7421866B2 (en) | Learning information manufacturing device, information processing device, learning information manufacturing method, information processing method, and program | |
CN111126952A (en) | Electronic file filing processing system and method | |
US10798078B2 (en) | System for using login information and historical data to determine processing for data received from various data sources | |
US10097724B2 (en) | System, control method, and recording medium | |
US11887390B2 (en) | Information processing apparatus, information processing system, information processing method, and non-transitory recording medium | |
US11875587B2 (en) | Information processing system, information processing method, and non-transitory recording medium | |
US20160092582A1 (en) | System for image intelligence exploitation and creation | |
JP6368135B2 (en) | Accounting information processing apparatus, accounting information processing method, and program | |
JP2019023793A (en) | Journalizing information processing apparatus, journalizing information processing method, and program | |
US11804055B2 (en) | Information processing apparatus, information processing method, and information processing system | |
CN114004587B (en) | Design system and method for automatic control of whole machine model | |
US20210110149A1 (en) | Information processing apparatus and non-transitory computer readable medium | |
US11960949B2 (en) | Information processing apparatus, information processing system, and information processing method | |
US20230244860A1 (en) | Information processing apparatus, information processing method, and information processing system | |
WO2024103649A1 (en) | Image color recognition method and device, and image recommendation method and device | |
JP6313110B2 (en) | Voucher processing device, terminal device, voucher processing method, and program | |
WO2023242658A1 (en) | Information management apparatus, information management method, and recording medium | |
JP2023139498A (en) | Recommendation management apparatus, recommendation management system, recommendation management method, and program | |
JP2023137727A (en) | Recommendation management apparatus, recommendation management system, recommendation management method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7421866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |