JP2022125220A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2022125220A JP2022125220A JP2022108466A JP2022108466A JP2022125220A JP 2022125220 A JP2022125220 A JP 2022125220A JP 2022108466 A JP2022108466 A JP 2022108466A JP 2022108466 A JP2022108466 A JP 2022108466A JP 2022125220 A JP2022125220 A JP 2022125220A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- feature amount
- image data
- recorded
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 220
- 238000003672 processing method Methods 0.000 title claims description 5
- 239000000284 extract Substances 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims description 35
- 238000010801 machine learning Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 19
- 238000012015 optical character recognition Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 25
- 238000012790 confirmation Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、プログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.
スキャナ等を用いて取得した文書の画像をOCR(Optical Character Recognition)処理し、文書を読み取る画像処理装置がある。文書の書式が様々である場合にはこのような画像処理装置では文書の書式定義の情報を予め記憶しておき、読取対象領域を特定することでOCR処理の精度を高めている。これに関連する技術が特許文献1に開示されている。
2. Description of the Related Art There is an image processing apparatus that performs OCR (Optical Character Recognition) processing on an image of a document obtained using a scanner or the like and reads the document. When documents have various formats, such an image processing apparatus stores format definition information of documents in advance and specifies a reading target area to improve the accuracy of OCR processing. A technique related to this is disclosed in
しかしながら上述のように文書の書式の種類が多い場合、その全ての書式定義の情報を画像処理装置に対して記憶させておくことは作業者の労力がかかる。 However, when there are many types of document formats as described above, it takes a lot of work for the operator to store all the format definition information in the image processing apparatus.
そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an image processing apparatus, an image processing method, and a program that solve the above-described problems.
本発明の第1の態様によれば、画像処理装置は、文書帳票の画像データと、前記画像データに含まれる文字列のうち作業者が記録した記録文字列と、を取得する取得部と、前記画像データに対する文字認識処理により認識された文字列のうち、前記記録文字列と一致する前記文字列の特徴量を抽出する特徴量抽出部と、同じフォーマットの複数の文書帳票それぞれの画像データから抽出された前記文字列の特徴量を機械学習して、読取対象の特徴量を生成する読取対象特徴量生成部と、前記取得部により取得された新たな文書帳票の画像データに対する文字認識処理により認識された文字列から抽出された特徴量と、前記読取対象の特徴量とが一致する場合に、前記新たな文書帳票の画像データから認識された文字列を記録する記録部と、を備え、前記特徴量は、前記文字列の属性と、前記文書帳票の画像における前記文字列の範囲とを示す情報である。 According to a first aspect of the present invention, an image processing apparatus includes an acquisition unit that acquires image data of a document form and a recorded character string recorded by an operator among character strings included in the image data; a feature amount extracting unit for extracting a feature amount of the character string that matches the recorded character string among character strings recognized by character recognition processing on the image data; Through machine learning of the feature amount of the extracted character string to generate the feature amount to be read, and character recognition processing for the image data of the new document acquired by the acquisition unit a recording unit that records the character string recognized from the image data of the new document form when the feature amount extracted from the recognized character string and the feature amount to be read match, The feature amount is information indicating the attribute of the character string and the range of the character string in the image of the document form.
本発明の第2の態様によれば、画像処理方法は、文書帳票の画像データと、前記画像データに含まれる文字列のうち作業者が記録した記録文字列と、を取得し、前記画像データに対する文字認識処理により認識された文字列のうち、前記記録文字列と一致する前記文字列の特徴量を抽出し、同じフォーマットの複数の文書帳票それぞれの画像データから抽出された前記文字列の特徴量を機械学習して、読取対象の特徴量を生成し、新たな文書帳票の画像データに対する文字認識処理により認識された文字列から抽出された特徴量と、前記読取対象の特徴量とが一致する場合に、前記新たな文書帳票の画像データから認識された文字列を記録し、前記特徴量は、前記文字列の属性と、前記文書帳票の画像における前記文字列の範囲とを示す情報である。 According to a second aspect of the present invention, an image processing method acquires image data of a document and a recorded character string recorded by an operator among character strings included in the image data, and obtains the image data. out of the character strings recognized by character recognition processing for the character string that matches the recorded character string; machine-learning the amount to generate a feature amount to be read, and the feature amount extracted from the character string recognized by character recognition processing for the image data of the new document form matches the feature amount to be read. character strings recognized from the image data of the new document form are recorded, and the feature quantity is information indicating the attributes of the character strings and the range of the character strings in the image of the document form. be.
本発明の第3の態様によれば、プログラムは、コンピュータに、文書帳票の画像データと、前記画像データに含まれる文字列のうち作業者が記録した記録文字列と、を取得する工程と、前記画像データに対する文字認識処理により認識された文字列のうち、前記記録文字列と一致する前記文字列の特徴量を抽出する工程と、同じフォーマットの複数の文書帳票それぞれの画像データから抽出された前記文字列の特徴量を機械学習して、読取対象の特徴量を生成する工程と、前記取得する工程により取得された新たな文書帳票の画像データに対する文字認識処理により認識された文字列から抽出された特徴量と、前記読取対象の特徴量とが一致する場合に、前記新たな文書帳票の画像データから認識された文字列を記録する工程と、を実行させるプログラムであり、前記特徴量は、前記文字列の属性と、前記文書帳票の画像における前記文字列の範囲とを示す情報である。 According to a third aspect of the present invention, a program obtains, in a computer, image data of a document and a recorded character string recorded by an operator among character strings included in the image data; a step of extracting a feature amount of the character string that matches the recorded character string among character strings recognized by character recognition processing on the image data; a step of performing machine learning on the feature quantity of the character string to generate a feature quantity to be read; and recording a character string recognized from the image data of the new document form when the read feature amount matches the feature amount to be read, wherein the feature amount is , the attribute of the character string and the range of the character string in the image of the document form.
本発明によれば、文書の書式種類が多い場合でもそれら書式の種類に応じた任意の書類における任意の記録対象文字を記録することができる。 According to the present invention, even if there are many kinds of document formats, arbitrary characters to be recorded in arbitrary documents corresponding to the kinds of formats can be recorded.
以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。
図1は本実施形態による画像処理装置を含む画像処理システムの概要を示す図である。 図1で示すように画像処理システム100は画像処理装置1、画像読取装置2、記録装置3、データベース4により構成される。
画像処理装置1は画像読取装置2と通信ケーブルにより接続されている。画像読取装置2は光学的に文書帳票などの画像データを取得して画像処理装置1へ出力する。画像処理装置1は文書帳票の画像データをOCR処理し文字認識する。画像処理装置1は文字認識結果を記録装置3に出力し、記録装置3がその文字認識結果をデータベースに記録する。データベース4は画像処理装置1と記録装置3とに接続されている。データベース4は記録装置3から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち記録対象となる文字列を示す記録文字列の対応関係を記憶している。記録文字列が示す文字列は文書帳票に記述される文字列のうちデータベース4に記録、保存しておくべき重要な文字列である。画像処理システム100を利用する作業者は予め、記録装置3を用いて過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうちの記録文字列をデータベース4に登録しておく。
An image processing apparatus according to an embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing an overview of an image processing system including an image processing apparatus according to this embodiment. As shown in FIG. 1, the
The
そして記録装置3には文書帳票の画像データとその画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報との対応関係が、多くの文書帳票について十分に記録されているものとする。このような状態において、画像処理装置1は処理を行う。
In the
図2は画像処理装置のハードウェア構成を示す図である。
画像処理装置1は図2で示すように、CPU(Central Processing Unit)11、IF(Interface)12、通信モジュール13、ROM(Read Only Memory)14、RAM(Random Access Memory)15、HDD(Hard Disk Drive)16などの構成を備えたコンピュータである。通信モジュール13は画像読取装置2、記録装置3、データベース4との間で無線通信を行うものであっても、有線通信を行うものであってもよく、それら2つの機能を有していてもよい。
FIG. 2 is a diagram showing the hardware configuration of the image processing apparatus.
As shown in FIG. 2, the
図3は画像処理装置の機能ブロック図である。
画像処理装置1のCPU11は記憶するプログラムを実行することにより、制御部101、取得部102、特徴量抽出部103、読取対象特徴量生成部104、記録部105の機能を備える。
FIG. 3 is a functional block diagram of the image processing apparatus.
The
制御部101は、他の機能部を制御する。
取得部102は、文書帳票の画像データを取得する。
特徴量抽出部103は、複数の文書帳票の画像データの文字認識処理結果に基づいて、文書帳票の画像データに含まれる記録文字列の特徴を示す特徴量を文書帳票の画像データ毎に抽出する。
読取対象特徴量生成部104は、文書帳票の画像データに対応する特徴量を用いて記録文字列の第一特徴量を生成する。
記録部105は、第一特徴量を用いて、新たな文書帳票の画像データから読み取った文字列の情報のうちの記録文字列を抽出して記録する。
A
The
A feature
The reading target feature
The
このような処理により画像処理装置1は新たな文書帳票の画像データに含まれる記録するべき文字列情報の記録の労力を軽減する。
Through such processing, the
図4は文書帳票の一例を示す図である。
この図が示すように文書帳票には、その文書を作成した企業のマーク、作成日、作成担当者、文書内容が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が1つまたは複数を示す。作業者はある1つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の記録文字列を、記録装置3を用いてデータベース4へ記録する。具体的には作業者は文書帳票を見ながら記録装置3がデータベース4に記録すべき特定の記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置2に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置2が読み取り画像処理装置1へ出力する。そして記録装置3は作業者の操作と画像処理装置1の制御とに基づいて、1つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録すべき特定の記録文字列を対応付けてデータベース4に記録する。図4の例においては、日付51、発注先52、商品名53、数量54、金額55が記録すべき特定の記録文字列である。文書帳票5には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称501、発注者のエンブレム画像502、文書帳票のタイトル503、挨拶文504などである。
FIG. 4 is a diagram showing an example of a document form.
As shown in this figure, in the document form, the mark of the company that created the document, the date of creation, the person in charge of creation, and the content of the document are described in a format unique to the document form. For example, if the document form is an order form, the document content indicates one or more sets of information such as the name of the ordered product and the number of ordered products. Based on one document form, the operator uses the
図5はデータベースが記憶するデータテーブルの概要を示す図である。
図5で示すようにデータベース4は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録すべき特定の記録文字列を対応付けて記録テーブルに記憶する。
FIG. 5 is a diagram showing an outline of a data table stored in the database.
As shown in FIG. 5, the
<第一実施形態>
図6は第一実施形態による画像処理装置の処理フローを示す第一の図である。
次に画像処理装置1の処理フローについて順を追って説明する。
まずデータベース4にはある文書帳票についての画像データと、その文書帳票に記述されている特定の記録文字列の組み合わせが、その同じ文書帳票複数枚分記録されている。例えば図4で示す文書帳票5についての特定の記録文字列情報が同じ複数枚分記録されているとする。このような状態で作業者が画像処理装置1を起動し、当該画像処理装置1へ処理開始を指示する。
<First Embodiment>
FIG. 6 is a first diagram showing the processing flow of the image processing apparatus according to the first embodiment.
Next, the processing flow of the
First, in the
画像処理装置1の取得部102はデータベース4から文書帳票5の画像データとその画像データに対応する記録文字列の情報を読み取る(ステップS601)。取得部102は画像データと記録文字列とを特徴量抽出部103へ出力する。特徴量抽出部103は画像データをOCR処理して画像データ中の全ての文字列と当該文字列の範囲を示す画像データ内の座標を検出する(ステップS602)。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部103は他の文字との間隔などによってその1つの纏まりの範囲を解析し、その範囲に含まれる1つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
The
特徴量抽出部103はOCR処理により画像データから抽出した文字列と、画像データと共にデータベース4から読み取った記録文字列とを比較する。特徴量抽出部103はOCR処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する(ステップS603)。文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標には文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報である。特徴量抽出部103はそれら特定した情報を含む特徴量を複数枚の同じ文書帳票5について生成する(ステップS604)。
The feature
特徴量は特徴量抽出部103によって文書帳票5における記録文字列ごとに生成される。読取対象特徴量生成部104はそれら複数枚の同じ文書帳票5における特徴量を取得し、記録文字列に対応する各特徴量に含まれる文字の属性、文字列の範囲を示す座標を解析してそれぞれ1つの特徴量を生成する。この特徴量の解析は機械学習などの処理により行う。機械学習のことを単に学習とも称する。
読取対象特徴量生成部104が機械学習などの解析により生成した特徴量を第一特徴量と呼ぶ。つまり読取対象特徴量生成部104は同じ文書帳票5の複数枚を用いて、その文書帳票5における記録文字列それぞれの第一特徴量を生成する(ステップS605)。第一特徴量は記録文字列を認識するための特徴量であり、文字の属性、文字列の範囲を示す座標を含む。読取対象特徴量生成部104は文書帳票5における1つ又は複数の記録文字列それぞれの第一特徴量を、文書帳票5の識別子に紐づけてデータベース4に記録する(ステップS606)。
A feature amount is generated for each recorded character string in the document form 5 by the feature
A feature amount generated by the reading target feature
例えば読取対象特徴量生成部104は、文書帳票5に含まれる記録文字列である日付51、発注先52、商品名53、数量54、金額55それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票5の識別子に紐づけてデータベース4に記録する。
For example, the reading target feature
以上の処理により画像処理装置1は、作業者の記録文字列を記録する労力を軽減するために利用する情報(第一特徴量)を機械学習等により生成してデータベース4に蓄積することができる。これにより画像処理装置1は新たな文書帳票についての画像データに基づいて記録文字列を自動でデータベース4に記録していくことができる。以下、その処理について説明する。
Through the above processing, the
図7は第一実施形態による画像処理装置の処理フローを示す第二の図である。
作業者は新たな文書帳票を画像読取装置2に読み取らせる操作を行う。これにより画像読取装置2は文書帳票の画像データを生成して画像処理装置1へ出力する。画像処理装置1の取得部102は画像データを取得する(ステップS701)。取得部102は画像データを特徴量抽出部103へ出力する。特徴量抽出部103は画像データをOCR処理して、文字列と、文字列に含まれる文字の特徴と、その文字列の範囲の画像データ中の座標を検出する(ステップS702)。特徴量抽出部103はそれら検出した情報を含む第三特徴量を、画像データ中の文字列ごとに生成する(ステップS703)。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、グループ特定部107はデータベース4から、処理対象画像データの文書帳票についての1つまたは複数の第一特徴量を読み出す(ステップS704)。グループ特定部107は記録部105へ第三特徴量と第一特徴量を出力する。
FIG. 7 is a second diagram showing the processing flow of the image processing apparatus according to the first embodiment.
The operator performs an operation to cause the
記録部105は画像データ中の1つまたは複数の文字列についての第三特徴量と、1つ又は複数の第一特徴量とを取得する。記録部105は各第一特徴量に含まれる文字列の範囲を示す座標を用いて、各第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する(ステップS705)。各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。
The
ステップS705でYESの場合、記録部105は、第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する(ステップS706)。
In the case of YES in step S705, the
記録部105は、ステップS706の判定結果がYESとなり文字属性が一致する場合、現在処理している画像データにおいて1つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部105はその確認画面をモニタに出力する(ステップS707)。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置1が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。確認画面にはOKまたはNGの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちOKのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちNGのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。
If the determination result in step S706 is YES and the character attributes match, the
なお確認画面をモニタに出力する理由を、図4を用いて説明する。図4では、記録文字列のうち商品名53が6つ記入されている。過去の文書帳票においても6つの商品名53の記入が最大だった場合、新たな文書帳票に対して、商品名53は1~6個の範囲内で自動的に記録文字列と判定される。したがって、例えば新たな帳票では商品名53が7つ記載されていた場合、1~6個目までの部分については、ステップS705、S706いずれもYESとなるため、画像処理装置1は7個目の文字列を記録せずに終了してしまう。このような事象が改善されるように、画像処理装置1は、ステップS707で記録文字列を記録する前に、確認画面を表示して、作業者に対して、記録して終了してよいかの確認を行う。
The reason why the confirmation screen is output to the monitor will be explained with reference to FIG. In FIG. 4, six
記録部105は作業者のボタンのアイコン画像の押下に応じて、記録文字列の選択に不足が無いかを判定する(ステップS708)。記録部105は不足が無い場合には、第三特徴量に含まれる文字列を、文書帳票の識別情報に対応付けて記録テーブルに記録する(ステップS709)。
The
例えば、文書帳票の画像データ中から第三特徴量a3、第三特徴量b3、第三特徴量c3、第三特徴量d3が取得できたとする。そして第三特徴量a3が予めデータベースに記録されている第一特徴量a1と、第三特徴量b3が第一特徴量b1と、第三特徴量c3が第一特徴量c1と、第三特徴量d3が第一特徴量d1とそれぞれ特徴量が一致したとする。この場合、記録部105は、第三特徴量a3、第三特徴量b3、第三特徴量c3、第三特徴量d3それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する。
For example, assume that a third feature amount a3, a third feature amount b3, a third feature amount c3, and a third feature amount d3 have been acquired from the image data of the document form. Then, the third feature amount a3 is the first feature amount a1 recorded in advance in the database, the third feature amount b3 is the first feature amount b1, the third feature amount c3 is the first feature amount c1, and the third feature amount It is assumed that the feature amount of the quantity d3 matches the first feature amount d1. In this case, the
上述のステップS705でNOの場合、またはステップS706でNOの場合、またはステップS708でNOの場合、記録部105は、第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部105は、画像データ中の対応する座標の第三特徴量が存在しなかった第一特徴量の座標の範囲に入力欄を設けた帳票画像の入力用画像データを生成してモニタに出力する(ステップS710)。入力用画像データはHTMLやXMLなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置1のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部105は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を生成する(ステップS711)。記録部105は帳票画像データの識別子と入力欄に入力された文字列とを対応付けてデータベース4に記録する。画像処理装置1は図6で示した処理フローを再度実施することにより第一特徴量が更新され、自動的に記録できる文字列の範囲を拡張することができる。これにより、次に同じ文書帳票を処理したときには、自動的に文字列を記録できるようになり、作業者が文字列を入力する手間を省くことができる。記録部105は、全ての第三特徴量それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する(ステップS712)。
In the case of NO in step S705, or in the case of NO in step S706, or in the case of NO in step S708, the
このような処理によれば、画像処理装置1は予め作業者が記録しておいた文書帳票の画像データと記録文字列によって、新たに入力させた文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置1は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置1は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。
According to such processing, the
Also, even if the recorded character string is not described in the document form, if the description corresponding to the recorded character string that should be originally described is not described, the
<第二実施形態>
図8は第二実施形態による画像処理装置の機能ブロック図である。
この図が示すように第二実施形態による画像処理装置1は、図3で示した各機能部に加え、さらにグループ分類部106、グループ特定部107の機能を有する。画像処理装置1のハードウェア構成は図2で示した構成と同様である。
<Second embodiment>
FIG. 8 is a functional block diagram of the image processing device according to the second embodiment.
As shown in this figure, the
図9は第二実施形態による画像処理装置の処理フローを示す第一の図である。
次に第二実施形態による画像処理装置1の処理フローについて順を追って説明する。 データベース4には異なる複数の文書帳票についての画像データと、各文書帳票に記述されている特定の記録文字列の組み合わせが、その文書帳票ごとに多数記録されている。例えば図4で示す異なる文書帳票5それぞれについての特定の記録文字列情報が複数枚分記録されているとする。このような状態で作業者が画像処理装置1を起動し、当該画像処理装置1へ処理開始を指示する。
FIG. 9 is a first diagram showing the processing flow of the image processing apparatus according to the second embodiment.
Next, the processing flow of the
画像処理装置1の取得部102はデータベース4から文書帳票5の画像データとその画像データに対応する記録文字列の情報を全て読み込んだかを判定する(ステップS901)。NOの場合、取得部102はデータベース4から文書帳票5の画像データとその画像データに対応する記録文字列の情報を読み取る(ステップS902)。取得部102は画像データと記録文字列とを特徴量抽出部103へ出力する。特徴量抽出部103は画像データをOCR処理して画像データ中の全ての文字列とその画像データ内の座標を検出する(ステップS903)。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部103は他の文字との間隔などによってその1つの纏まりの範囲を解析し、その範囲に含まれる1つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。
The
特徴量抽出部103はOCR処理により画像データから抽出した文字列と、画像データと共にデータベース4から読み取った記録文字列とを比較する。特徴量抽出部103はOCR処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する(ステップS904)。文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標には文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報である。特徴量抽出部103はそれら特定した情報を含む特徴量を1つの文書帳票5について生成する(ステップS905)。
The feature
特徴量は特徴量抽出部103によって文書帳票5における記録文字列ごとに生成される。すなわち、特徴量抽出部103は、文書帳票毎かつ記録文字列毎に特徴量を生成する。この文書帳票毎かつ記録文字列毎の特徴量を個別第一特徴量と称する。個別第一特徴量は、文字の属性、文字列の範囲を示す座標の何れか一方または両方を含んでいてもよい。特徴量抽出部103は個々の文書帳票5における1つ又は複数の記録文字列それぞれの個別第一特徴量を、文書帳票5の識別子および記録文字列の識別子に紐づけてデータベース4に記録する(ステップS906)。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。
A feature amount is generated for each recorded character string in the document form 5 by the feature
例えば特徴量抽出部103は、文書帳票5に含まれる記録文字列である日付51、発注先52、商品名53、数量54、金額55それぞれの、文字属性、文字列の範囲を示す座標などを示す各個別第一特徴量を、文書帳票5の識別子および記録文字列の識別子に紐づけてデータベース4に記録する。
For example, the feature
特徴量抽出部103はまた、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列に含まれる文字の属性と、その範囲の座標とを特定する(ステップS907)。特徴量抽出部103はそれら特定した情報を含む特徴量を文書帳票5について生成する(ステップS908)。
The feature
特徴量は特徴量抽出部103によって文書帳票5における非記録文字列ごとに生成される。すなわち、特徴量抽出部103は、文書帳票毎かつ非記録文字列毎に特徴量を生成する。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。個別第二特徴量は、文字の属性、文字列の範囲を示す座標の何れか一方または両方を含んでいてもよい。特徴量抽出部103は個々の文書帳票5における1つ又は複数の非記録文字列それぞれの個別第二特徴量を、文書帳票5の識別子および非記録文字列の識別子に紐づけてデータベース4に記録する(ステップS909)。非記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。
A feature amount is generated for each non-recorded character string in the document form 5 by the feature
例えば特徴量抽出部103は、文書帳票5に含まれる非記録文字列である発注者の名称501、発注者のエンブレム画像、文書帳票のタイトル503、挨拶文504などを示す各個別第二特徴量を、文書帳票5の識別子および記録文字列の識別子に紐づけてデータベース4に記録する。
For example, the feature
データベース4には異なる複数の文書帳票5の画像データとその画像データに対応する記録文字列の情報が記録されている。画像処理装置1の取得部102は全ての文書帳票5についての画像データと記録文字列の情報を読み込むまでステップS901~ステップS911の処理を繰り返す。そしてステップS901において全て読み込んだと判定したとする(ステップS901:YES)。
Image data of a plurality of different document forms 5 and information of recorded character strings corresponding to the image data are recorded in the
その場合、グループ分類部106が文書帳票5の画像データに含まれる個別第二特徴量に基づいて、文書帳票5をグループ分けする(ステップS912)。例えばグループ分類部106は、各文書帳票5を、個別第二特徴量が示す非記録文字列の一致度や、エンブレム画像の一致度、非記録文字列の座標範囲の一致度などに基づいてグループ分けする。グループ分類部106はこのグループ分けの処理において文書帳票5のグループ識別子を決定する。グループ分類部106は全ての文書帳票5についてグループ分けが終了したかを判定する(ステップS913)。
In this case, the
グループ分類部106は全ての文書帳票5のグループ分けが完了していない場合にはステップS912の処理を繰り返す。グループ分類部106は、全ての文書帳票5のグループ分けが完了した場合には、文書帳票5の識別子とその文書帳票5に付与されたグループ識別子とを対応付けてデータベース4のグループテーブルに記録する(ステップS914)。
The
そして読取対象特徴量生成部104はあるグループに属する1つまたは複数の文書帳票5の各個別第一特徴量および各個別第二特徴量をデータベース4から読み取り、グループに属する文書帳票5の各個別第一特徴量および各個別第二特徴量に対応する各グループ第一特徴量、各グループ第二特徴量を生成する(ステップS915)。各グループ第一特徴量はグループに属する文書帳票5の各個別第一特徴量の平均等の値であってもよい。同様に各グループ第二特徴量はグループに属する文書帳票5の各個別第二特徴量の平均等の値であってもよい。各グループ第一特徴量、各グループ第二特徴量は、各個別第一特徴量の平均、各個別第二特徴量の平均でなくとも、所定の統計処理や機械学習等の手法を用いて、グループに属する1つ又は複数の文書帳票5の記録文字列や非記録文字列を特定できるよう算出された特徴量であれば、どのようなもの手法を用いて、各グループ第一特徴量、各グループ第二特徴量を生成してもよい。読取対象特徴量生成部104は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース4に記録する(ステップS916)。
Then, the reading target feature
以上の処理により画像処理装置1は、作業者の記録文字列を記録する労力を軽減するために必要な情報を文書帳票のグループ毎に生成してデータベース4に蓄積することができる。これにより画像処理装置1は新たな文書帳票についての画像データに基づいて記録文字列を自動でデータベース4に記録していくことができる。以下、その処理について説明する。
Through the above-described processing, the
図10は第二実施形態による画像処理装置の処理フローを示す第二の図である。
作業者は新たな文書帳票を画像読取装置2に読み取らせる操作を行う。これにより画像読取装置2は文書帳票の画像データを生成して画像処理装置1へ出力する。画像処理装置1の取得部102は画像データを取得する(ステップS1001)。取得部102は画像データを特徴量抽出部103へ出力する。特徴量抽出部103は画像データをOCR処理して、文字列と、文字列に含まれる文字の特徴と、その文字列の範囲の画像データ中の座標を検出する(ステップS1002)。特徴量抽出部103はそれら検出した情報を含む第三特徴量を、画像データ中の文字列ごとに生成する(ステップS1003)。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。
FIG. 10 is a second diagram showing the processing flow of the image processing apparatus according to the second embodiment.
The operator performs an operation to cause the
次にグループ特定部107が、データベース4からあるグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像502に対応する特徴量であってよい。グループ特定部107はあるグループ第二特徴量に示す情報が、ステップS1001で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部107は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。グループ特定部107はデータベース4から読み取ったグループ第二特徴量に一致する情報が新たに読み込んだ文書帳票の画像データから特定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する(ステップS1004)。その後、グループ特定部107はデータベース4からそのグループについての1つまたは複数のグループ第一特徴量を読み出す(ステップS1005)。グループ特定部107は記録部105へ第三特徴量と1つまたは複数のグループ第一特徴量を出力する。グループ第一特徴量はそのグループに属する文書帳票内の1つまたは複数の記録文字列を特定するための特徴量である。
Next, the
記録部105は画像データ中の1つまたは複数の文字列についての第三特徴量と、1つまたは複数のグループ第一特徴量とを取得する。記録部105は各グループ第一特徴量に含まれる文字列の範囲を示す座標を用いて、各グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するかを判定する(ステップS1006)。各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には、文書帳票内の何れかの記載事項に文字の記載が無い状態である。
The
ステップS1006でYESの場合、記録部105は、グループ第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する(ステップS1007)。
In the case of YES in step S1006, the
記録部105は、ステップS1007の判定結果がYESとなり文字属性が一致する場合、現在処理している画像データにおいて1つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部105はその確認画面をモニタに出力する(ステップS1008)。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置1が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いかを確認することができる。確認画面にはOKまたはNGの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちOKのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちNGのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。
If the determination result in step S1007 is YES and the character attributes match, the
記録部105は作業者のボタンのアイコン画像の押下に応じて、記録文字列の選択に不足が無いかを判定する(ステップS1009)。記録部105は不足が無い場合には、第三特徴量に含まれる文字列を、文書帳票の識別情報に対応付けて記録テーブルに記録する(ステップS1010)。
The
例えば、文書帳票の画像データ中から第三特徴量a3、第三特徴量b3、第三特徴量c3、第三特徴量d3が取得できたとする。そして第三特徴量a3が予めデータベースに記録されているグループ第一特徴量g11と、第三特徴量b3がグループ第一特徴量g12と、第三特徴量c3がグループ第一特徴量g13と、第三特徴量d3がグループ第一特徴量g14とそれぞれ特徴量が一致したとする。この場合、記録部105は、第三特徴量a3、第三特徴量b3、第三特徴量c3、第三特徴量d3それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する。
For example, assume that a third feature amount a3, a third feature amount b3, a third feature amount c3, and a third feature amount d3 have been acquired from the image data of the document form. Then, the third feature amount a3 is the group first feature amount g11 recorded in advance in the database, the third feature amount b3 is the group first feature amount g12, the third feature amount c3 is the group first feature amount g13, Assume that the third feature amount d3 matches the group first feature amount g14. In this case, the
上述のステップS1006でNOの場合、またはステップS1007でNOの場合、またはステップS1009でNOの場合、記録部105は、グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部105は、画像データ中の対応する座標の第三特徴量が存在しなかったグループ第一特徴量の座標の範囲に入力欄を設けた帳票画像の入力用画像データを生成してモニタに出力する(ステップS1011)。入力用画像データはHTMLやXMLなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置1のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部105は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を生成する(ステップS1012)。記録部105は帳票画像データの識別子と入力欄に入力された文字列とを対応付けてデータベース4に記録する。画像処理装置1は図9で示した処理フローを再度実施することによりグループ第一特徴量およびグループ第二特徴量が更新され、自動的に記録できる文字列の範囲を拡張することができる。これにより、次に同じ文書帳票を処理したときには、自動的に文字列を記録できるようになり、作業者が文字列を入力する手間を省くことができる。記録部105は、全ての第三特徴量それぞれに含まれる文字列を、文書帳票の記録テーブルに記録する(ステップS1013)。
If NO in step S1006, NO in step S1007, or NO in step S1009, the
このような処理によれば、画像処理装置1は予め作業者が記録しておいた複数の異なる文書帳票の画像データと記録文字列によって、新たに入力させた文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置1は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置1は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。
According to such processing, the
Also, even if the recorded character string is not described in the document form, if the description corresponding to the recorded character string that should be originally described is not described, the
<第三実施形態>
なお、画像処理装置1の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置1に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース4に登録しておく。これにより、同一グループ内に画像処理装置1の処理誤り等により異種の帳票が混じることがなくなり、精度のよいグループ第一特徴量およびグループ第二特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップS1004と同じく、グループ第二特徴量を用いてグループ特定する。
<Third Embodiment>
As another example of the processing of the
<第四実施形態>
また、画像処理装置1の処理の他の例としては、ステップS912で画像処理装置1は個別第二特徴量を用いて文書帳票をグループ分けするだけでなく、個別第一特徴量を用いて、また個別第二特徴量と共に個別第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。個別第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、個別第一特徴量を用いて帳票をグループ分けすることが可能となる。
この場合、取得部102が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部106が個別第一特徴量に基づいて帳票画像データをグループ分けする。そして、読取対象特徴量生成部104は、グループに含まれる帳票画像データに対応する個別第一特徴量を用いて当該グループごとの記録文字列のグループ第一特徴量を生成する。
また、最初のグループ分けを第三実施形態で示すように作業者が行い、新たな文書帳票に対してはステップS1004の処理により個別第一特徴量を用いてグループ分けするようにしてもよい。これにより、OCR処理において精度よく記録文字列を読み取ることが可能となる。
<Fourth embodiment>
As another example of the processing of the
In this case, the
Alternatively, the first grouping may be performed by the operator as shown in the third embodiment, and the new document form may be grouped using the individual first feature amount in the process of step S1004. This makes it possible to accurately read the recorded character string in OCR processing.
<第五実施形態>
第二実施形態においてはステップS1004において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置1はグループを特定する処理を行わずに、作業者により設定された全グループに対して、1グループごとに順に特定してグループ第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多くグループ第一特徴量と第三特徴量とが一致するはずなので、画像処理装置1は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列をステップS1008において記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
この場合、グループ第一特徴量の生成用にデータベース4に蓄えられる文書帳票の画像データが、作業者によって予めグループ分けされていてもよい。取得部102は、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部103は、取得部102の取得した帳票画像データを文字認識処理した結果に基づいて、記録文字列の特徴を示す個別第一特徴量を抽出する。読取対象特徴量生成部104は、予め設定された所定のグループに含まれる帳票画像データに対応する個別第一特徴量を用いて当該グループごとの記録文字列のグループ第一特徴量を生成する。
<Fifth Embodiment>
In the second embodiment, in step S1004, a new group of forms is specified based on the second feature amount. However, as another processing mode, the
In this case, the image data of the document form stored in the
<第六実施形態>
第一実施形態の図7の処理で、画像処理装置1が、文字認識に成功した場合、失敗した場合のいずれも特徴量の機械学習を行うようにしてもよい。第六実施形態では、この点について説明する。
第六実施形態は、第一実施形態の図7の処理以外は第一実施形態と同様であり、図1~6を援用する。
<Sixth embodiment>
In the processing of FIG. 7 of the first embodiment, the
The sixth embodiment is the same as the first embodiment except for the processing in FIG. 7 of the first embodiment, and FIGS.
図11は、第六実施形態による画像処理装置の処理フローを示す図である。図11のステップS1101~S1108は、図7のステップS701~S708と同様である。図11のステップS1110~1112は、図7のステップS709~S711と同様である。図11のステップS1114は、図7のステップS712と同様である。
従って、図11の処理では、図7のステップS708とS709との間にステップS1109が入り、図7のステップS711とS712との間にステップS1113が入っていることになり、それ以外は、図7と同様である。
ステップS1109、S1113の何れでも、画像処理装置1の読取対象特徴量生成部104が図6の処理を行って第一特徴量を更新する。読取対象特徴量生成部104は、未学習の状態から図6の処理をやり直す必要はなく、画像データ1枚分の追加学習を行えばよい。
FIG. 11 is a diagram showing the processing flow of the image processing apparatus according to the sixth embodiment. Steps S1101 to S1108 in FIG. 11 are the same as steps S701 to S708 in FIG. Steps S1110-1112 in FIG. 11 are the same as steps S709-S711 in FIG. Step S1114 in FIG. 11 is the same as step S712 in FIG.
Therefore, in the process of FIG. 11, step S1109 is inserted between steps S708 and S709 of FIG. 7, and step S1113 is inserted between steps S711 and S712 of FIG. Similar to 7.
In both steps S1109 and S1113, the reading target feature
ここで、OCR処理に失敗した場合(OCR処理では記録文字列を適切に得られなかった場合)のみ学習を行うように、図11のステップS1109では機械学習を行わず、ステップS1113でのみ機械学習を行うことが考えられる。しかし、この場合、画像処理装置1がOCR処理に成功すると機械学習を行わない結果、文書帳票の書式の統計的な情報が機械学習に反映されない場合がある。
例えば、文書帳票100枚中99枚まで左下に記録文字列があり、1枚だけ右上に記録文字列がある場合を考える。この場合、画像処理装置1が、同じ位置に記録文字列がある文書帳票では画像処理装置1がOCR処理に成功する(ステップS1108:YESとなる)と、記録文字列が左下にある場合、右上にある場合とも1回ずつ学習を行う。実際には99対1の割合であるのに、画像処理装置1の学習では1対1の割合で学習を行うことになり、記録文字列が右上にある場合について過学習してしまう可能性がある。
これに対し図11のように、画像処理装置1がOCR処理に成功した場合、失敗した場合のいずれも機械学習(第一特徴量の更新)を行うことで、文書帳票の書式の統計的な情報を機械学習に反映させることができる。
第二実施形態~第五実施形態についても同様に、画像処理装置1が、図10のステップS1009とS1010との間、ステップS1012とS1013との間のいずれでも図9の処理を行うようにしてもよい。
Here, machine learning is not performed in step S1109 of FIG. can be considered. However, in this case, if the
For example, consider a case where 99 out of 100 document forms have a recorded character string in the lower left corner and only one sheet has a recorded character string in the upper right corner. In this case, if the
On the other hand, as shown in FIG. 11, both when the
Similarly, in the second to fifth embodiments, the
<第七実施形態>
画像処理装置1が、例えば既存のOCRシステムなど、文書帳票のスキャンまたは撮影を行うシステムからデータを取得して機械学習を行うようにしてもよい。第七実施形態ではこの点について説明する。以下では、画像処理装置1が既存のOCRシステムからデータを取得する場合を例に説明する。但し、画像処理装置1へのデータ提供元は、既存のOCRシステムに限定されずいろいろなシステムまたは装置とすることができる。例えば、画像処理装置1が、売り上げの日付、売り先、金額、証跡となる画像データをデータベースに保存するシステム(例えば、営業情報システム、または、経理情報システム)からデータを取得するようにしてもよい。特に、情報提供元のシステムまたは装置が、OCR機能を有している必要はない。
<Seventh Embodiment>
The
図12は、第七実施形態による画像処理システムと既存OCRシステムとの接続例を示す図である。図12に示す構成では、図1の構成に加えて既存OCRシステム9が画像処理装置1に接続されている。この構成で、既存OCRシステム9については、画像データ生成機能(スキャン機能)およびユーザインタフェースを使用し、文字認識機能は使用しない。文字認識については画像処理装置1が行う。その他の点は第一実施形態と同様である。図1~7を援用し画像データの取得、およびユーザインタフェースについては既存OCRシステム9を用いるものと読み替える。
FIG. 12 is a diagram showing an example of connection between an image processing system according to the seventh embodiment and an existing OCR system. In the configuration shown in FIG. 12, an existing
図13は、第七実施形態による画像処理装置の処理フローを示す図である。図13では、画像処理装置1が行う処理と既存OCRシステム9が行う処理との関係を示している。 図13の処理で、既存OCRシステムが作業者の操作に従ってスキャンを行い画像データを生成する(シーケンスS1301)。既存OCRシステム9は、得られた画像データを画像処理装置1へ送信する(シーケンスS1302)。
画像処理装置1は、画像データを受信するとOCR処理を行う(シーケンスS1303)。例えば、画像処理装置1は、図7のステップS702以下の処理を行い、記録文字列を取得する。特に、記録部105が、OCR処理結果の文字列の中から記録文字列を特定する。
画像処理装置1は、文字認識結果の文字列(記録文字列)を既存OCRシステム9へ送信する(シーケンスS1304)。
既存OCRシステム9は、文字認識結果を作業者に提示して、文字認識結果の確認および修正の後確定操作を受ける(シーケンスS1305)。既存OCRシステム9は、確定された文字列(修正結果の記録文字列)を画像処理装置1へ送信する(シーケンスS1306)。
画像処理装置1は、修正結果を受信すると、機械学習を行う(シーケンスS1307)。
画像処理装置1は、シーケンスS1302で画像データを取得し、シーケンスS1306で作業者が確定している修正結果の文字列を取得している。この画像データおよび文字列を用いて、例えば図6の処理手順で機械学習を行うことができる。画像処理装置1が、ある程度データがたまってから纏めて機械学習を行うようにしてもよいし、データを入手する毎に追加学習を行うようにしてもよい。
このように、第七実施形態によれば画像処理装置1は、作業者による既存OCRシステム9の一般的な使用を利用して、機械学習を行うことができる。特に、読取対象特徴量生成部104が、第一特徴量を更新することができる。
第二実施形態~第六実施形態についても同様に、画像処理装置が既存OCRシステムを用いて機械学習を行うようにしてもよい。
FIG. 13 is a diagram showing the processing flow of the image processing apparatus according to the seventh embodiment. FIG. 13 shows the relationship between the processing performed by the
Upon receiving the image data, the
The
The existing
Upon receiving the correction result, the
The
Thus, according to the seventh embodiment, the
Similarly, in the second to sixth embodiments, the image processing apparatus may perform machine learning using an existing OCR system.
<第八実施形態>
画像処理装置の学習機能をサーバ化して学習を加速させるようにしてもよい。第八実施形態ではこの点について説明する。
図14は、第八実施形態による画像処理システム200の概要を示す図である。図14の構成で、画像読取装置2は、図1の場合と同様である。
図1の画像処理装置1の機能は、機械学習を行う学習機能部1bと、それ以外の機能を実行するOCR機能部1aとに分けられ、サーバクライアントの構成となっている。特に、学習機能部1bは、第一特徴量の生成および更新を行う。また、学習機能部1bは、記録装置3の機能も実行して、学習結果データベース4bを管理する。OCR機能部1aは、OCR処理、第三特徴量の抽出、記録文字列の特定、作業者に対するユーザインタフェース等の機能を実行する。OCR機能部1aは、OCR処理にて文字列の検出、文字列に含まれる文字の特徴の検出、および、文字列の範囲の座標の検出を行う。
OCR機能部1aは、端末装置6に格納されている。学習機能部1bはサーバ装置7に格納されている。
図1のデータベース4は、OCR結果データベース4aと、学習結果データベース4bとに分けられている。OCR結果データベース4aは、記録テーブルなどOCR処理の結果を記憶する。学習結果データベース4bは、第一特徴量など機械学習の際に得られるデータを記憶する。学習結果データベース4bは、サーバ装置7に格納されている。一方、OCR結果データベースは1つの装置として構成されている。
<Eighth Embodiment>
The learning function of the image processing apparatus may be implemented as a server to accelerate learning. This point will be explained in the eighth embodiment.
FIG. 14 is a diagram showing an outline of an
The functions of the
The
The
図15は、第八実施形態による端末装置の処理フローを示す図である。
図15の処理で、端末装置6は、画像処理装置2により文書帳票の画像データを読み取り、画像データに対応する学習結果をサーバ装置7からダウンロードする(ステップS1501)。特に、端末装置6は、学習結果として第一特徴量を取得する。
端末装置6は、画像データに含まれる全ての文字列をOCR処理し、学習結果に当てはまるものを画面表示する(ステップS1502)。具体的には、端末装置6は、学習結果である第一特徴量を用いて、第一特徴量に当てはまる記録文字列を特定する。
FIG. 15 is a diagram showing the processing flow of the terminal device according to the eighth embodiment.
In the process of FIG. 15, the
The
端末装置6は、画像データ内の全てのOCR対象文字列が正しく読み取れているか判定する(ステップS1503)。読み取れていない文字列があると判定した場合(ステップS1503:NO)、端末装置6は、OCR結果を画面表示にて作業者に提示し、修正操作を受ける(ステップS1504)。
端末装置6は、読み取った文字列(作業者の修正を受けた場合は修正後の文字列)をOCR結果データベース4aに送信し記録する(ステップS1505)。具体的には、端末装置6は、記録文字列をOCR結果データベース4aに記憶させる。ステップS1503でYESの場合も、処理がステップS1505へ進む。
端末装置6は、読み取った文字列および位置情報など学習用データをサーバ装置7へ送信する(ステップS1506)。
図15の処理により、端末装置6は、OCR結果として記録すべき記録文字列をOCR結果データベースに記録し、また、サーバ装置7に学習用データを提供している。
The
The
The
15, the
図16は、第八実施形態によるサーバ装置の処理フローを示す図である。
図16の処理で、サーバ装置7は、端末装置6から学習用データを受信して保存する(ステップS1601)。
サーバ装置7は、未学習の学習用データがN個(Nは、正整数)蓄積されたかを判定する(ステップS1602)。蓄積されていないと判定した場合(ステップS1602:NO)、ステップS1601へ戻る。
一方、未学習の学習用データがN個蓄積されたと判定した場合(ステップS1602:YES)、サーバ装置7は、学習用データとして受信した帳票の受信結果データを学習結データベースから読み込む(ステップS1603)。
次に、サーバ装置7は、読み込んだ学習結果データに新しい学習用データを追加し、再学習する(ステップS1604)。
サーバ装置7は、再学習結果を学習結果データベース4bに登録する(ステップS1605)。
そして、サーバ装置7は、端末装置6から学習用データを受信するまで待機する(ステップS1606)。ステップS1606の後、処理がステップS1601へ戻る。
図16の処理で、サーバ装置7は、学習結果としての第一特徴量を更新している。更新された第一特徴量は、学習結果データベース4bに登録されて端末装置6の利用に供される。
第八実施形態によれば、画像処理装置の学習機能をサーバ化して学習用データを集約し学習を加速させることができる。
FIG. 16 is a diagram showing the processing flow of the server device according to the eighth embodiment.
In the process of FIG. 16, the
The
On the other hand, if it is determined that N pieces of unlearned learning data have been accumulated (step S1602: YES), the
Next, the
The
Then, the
In the process of FIG. 16, the
According to the eighth embodiment, the learning function of the image processing apparatus can be implemented as a server to aggregate learning data and accelerate learning.
なお、サーバ装置7が再学習等の機械学習を行うタイミングは、図16のステップS1602に示される、学習用データが一定数蓄積されたタイミングに限定されない。例えば、サーバ装置7が、一定期間ごとに学習を行うようにしてもよい。特に、サーバ装置7が、データ数の条件に加えてあるいは代えて、時間的な条件に従って学習を開始するようにしてもよい。
Note that the timing at which the
サーバ装置7が一定期間ごとに学習を行う例として、サーバ装置7が、端末装置6が稼働しない夜間または休業日に学習を行う場合が挙げられる。ここで、端末装置6の稼働中にサーバ装置7が学習を行うと、サーバ装置7の学習機能部1bによる学習結果データベースへのアクセスが生る。これにより、端末装置6から学習結果データベース4bへのアクセスに遅延が生じる、あるいは、アクセスが必要なタイミングでアクセスできないといった不都合が生じる可能性がある。そこで、サーバ装置7が、端末装置6が稼働していないときに学習を行うことで、端末装置6から学習結果データベース4bへのアクセスへの影響を回避できる。
As an example in which the
なお、サーバ装置7に加えて、あるいは代えて、端末装置6が機械学習を行うようにしてもよい。
ここで、サーバ装置7が機械学習を行い、端末装置6は学習を行わない場合、サーバ装置7が機械学習を行って学習結果(第一特徴量)を更新し、端末装置6と学習結果を共有するまで、端末装置6の処理の精度は向上しない。例えば、サーバ装置7が毎日夜間のみ機械学習を行う場合、端末装置6が更新後の学習結果を使用できるのは翌朝以降となってしまう。例えば端末装置6が午前中に学習用データを生成してサーバ装置7へ送信した場合でも、その学習の結果が端末装置6の処理に反映されるのは、約一日後の翌日朝となる。
In addition to or instead of the
Here, when the
そこで、端末装置6の各々が、帳票を一枚処理する毎に機械学習を行う。端末装置6は、学習結果を自らの処理に反映させるとともに、学習結果または学習用データをサーバ装置7へ送信する。端末装置6は、帳票の処理で特徴量(第三特徴量)を生成する。そして、端末装置6は、学習結果データベースから取得した第一特徴量を、生成した特徴量を用いて更新する。例えば、端末装置6は、図15のステップS1506で、学習用データをサーバ装置7へ送信するとともに、その学習用データを用いて自ら機械学習を行い、端末装置6自らが記憶している第一特徴量を更新する。あるいは、端末装置6が、図15のステップS1506で、学習用データに加えて学習結果(得られた特徴量)をサーバ装置7へ送信するようにしてもよい。
端末装置6は、自ら学習を行うことで、自らの学習結果を自らの処理に反映させることができる。この点で、端末装置6自らは機械学習を行わずサーバ装置7による学習結果の更新を待ち受ける場合よりも早く端末装置6の処理制度が向上することが期待される。 端末装置6の各々が行う機械学習を仮学習と称する。
Therefore, each of the
By learning by itself, the
端末装置6がサーバ装置7へ学習用データを送信する場合、サーバ装置7が行う処理は、図16を参照して説明したのと同じである。
一方、端末装置6がサーバ装置7へ学習結果を送信する場合、サーバ装置7は、各端末装置6からの学習結果を蓄積しておく。そして、サーバ装置7は、例えば夜間に端末装置6から得られた学習結果を、学習結果データベース4bが記憶している学習結果に反映させる。具体的には、サーバ装置7の学習機能部1bが、端末装置6が学習で取得した特徴量を用いて、学習用データベース4bが記憶している第一特徴量を更新する。
学習結果データベースが記憶している第一特徴量を更新する処理を本学習と称する。
When the
On the other hand, when the
A process of updating the first feature amount stored in the learning result database is referred to as main learning.
図17は画像処理装置の最小構成を示す図である。
この図が示すように画像処理装置1は、少なくとも特徴量抽出部103と、読取対象特徴量生成部104とを備えればよい。
特徴量抽出部103は、過去に登録された複数の帳票画像データを文字認識処理した結果に基づいて、帳票画像データに含まれる文字列の特徴を示す特徴量を帳票画像データ毎に抽出する。
読取対象特徴量生成部104は、帳票画像データに対応する特徴量を用いて当該帳票画像データ中の記録文字列の第一特徴量を生成する。
FIG. 17 is a diagram showing the minimum configuration of the image processing apparatus.
As shown in this figure, the
The feature
The reading target feature
上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、それら装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 Each of the devices described above has an internal computer system. A program for causing each device to perform each process described above is stored in a computer-readable recording medium of each device. done. Here, the computer-readable recording medium refers to magnetic disks, magneto-optical disks, CD-ROMs, DVD-ROMs, semiconductor memories, and the like. Alternatively, the computer program may be distributed to a computer via a communication line, and the computer receiving the distribution may execute the program.
また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 Further, the program may be for implementing part of the functions of the processing units described above. Further, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.
1・・・画像処理装置
1a・・・OCR機能部
1b・・・学習機能部
2・・・画像読取装置
3・・・記録装置
4・・・データベース
4a・・・学習結果データベース
4b・・・OCR結果データベース
5・・・文書帳票
6・・・端末装置
7・・・サーバ装置
101・・・制御部
102・・・取得部
103・・・特徴量抽出部
104・・・読取対象特徴量生成部
105・・・記録部
106・・・グループ分類部
107・・・グループ特定部
108・・・作業対象判定部
109・・・作業データ生成部
Claims (7)
前記画像データに対する文字認識処理により認識された文字列のうち、前記記録文字列と一致する前記文字列の特徴量を抽出する特徴量抽出部と、
同じフォーマットの複数の文書帳票それぞれの画像データから抽出された前記文字列の特徴量を機械学習して、読取対象の特徴量を生成する読取対象特徴量生成部と、
前記取得部により取得された新たな文書帳票の画像データに対する文字認識処理により認識された文字列から抽出された特徴量と、前記読取対象の特徴量とが一致する場合に、前記新たな文書帳票の画像データから認識された文字列を記録する記録部と、
を備え、
前記特徴量は、前記文字列の属性と、前記文書帳票の画像における前記文字列の範囲とを示す情報である
画像処理装置。 an acquisition unit for acquiring image data of a document form and a recorded character string recorded by an operator among character strings included in the image data;
a feature amount extracting unit for extracting a feature amount of the character string that matches the recorded character string from among the character strings recognized by character recognition processing on the image data;
a read target feature quantity generation unit that performs machine learning on the feature quantity of the character string extracted from the image data of each of a plurality of document forms having the same format to generate a read target feature quantity;
When the feature amount extracted from the character string recognized by the character recognition processing for the image data of the new document form acquired by the acquisition unit matches the feature amount of the reading target, the new document form is obtained. a recording unit that records the character string recognized from the image data of the
with
The image processing apparatus, wherein the feature amount is information indicating an attribute of the character string and a range of the character string in the image of the document form.
請求項1に記載の画像処理装置。 The reading target feature amount generation unit machine-learns the feature amount of the character string extracted from the image data for each group in which the image data of each of the plurality of document forms is grouped in advance, and performs machine learning on each group. The image processing apparatus according to claim 1, wherein the feature amount of the reading object of is generated.
を備える請求項2に記載の画像処理装置。 Grouping the image data of each of the plurality of document forms based on the degree of matching indicating the degree of mutual matching of the feature quantity of the character string that matches the recorded character string extracted from the image data of each of the plurality of document forms. a group classification unit for dividing;
The image processing apparatus according to claim 2, comprising:
前記複数の文書帳票それぞれの画像データから抽出された、前記記録文字列と一致する文字列以外の文字列の特徴量の互いの一致度合いを示す一致度に基づいて、前記複数の文書帳票それぞれの画像データをグループ分けするグループ分類部と、
を備える請求項2に記載の画像処理装置。 The feature quantity extraction unit further extracts a feature quantity of a character string other than the character string matching the recorded character string,
each of the plurality of document forms based on the degree of matching indicating the degree of mutual matching of feature quantities of character strings other than the character string matching the recorded character string, extracted from the image data of each of the plurality of document forms; a grouping unit for grouping image data;
The image processing apparatus according to claim 2, comprising:
前記グループ毎の特徴量と、前記新たな文書帳票の画像データから抽出された前記特徴量と、に基づいて、前記新たな文書帳票の画像データの属する前記グループを特定するグループ特定部と、を備え、
前記記録部は、前記新たな文書帳票の画像データから抽出された前記特徴量と、特定された前記グループの前記読取対象の特徴量とが一致する場合に、前記新たな文書帳票の画像データから認識された文字列を記録する、
請求項4に記載の画像処理装置。 The reading target feature quantity generation unit generates a feature quantity for each group based on a feature quantity of a character string other than the character string matching the recorded character string,
a group identification unit that identifies the group to which the image data of the new document form belongs based on the feature amount of each group and the feature amount extracted from the image data of the new document form; prepared,
If the feature amount extracted from the image data of the new document form matches the feature amount of the read target of the specified group, the recording unit record recognized strings,
The image processing apparatus according to claim 4.
前記画像データに対する文字認識処理により認識された文字列のうち、前記記録文字列と一致する前記文字列の特徴量を抽出し、
同じフォーマットの複数の文書帳票それぞれの画像データから抽出された前記文字列の特徴量を機械学習して、読取対象の特徴量を生成し、
新たな文書帳票の画像データに対する文字認識処理により認識された文字列から抽出された特徴量と、前記読取対象の特徴量とが一致する場合に、前記新たな文書帳票の画像データから認識された文字列を記録し、
前記特徴量は、前記文字列の属性と、前記文書帳票の画像における前記文字列の範囲とを示す情報である
画像処理方法。 Acquiring image data of a document form and a recorded character string recorded by an operator among the character strings included in the image data,
extracting a feature amount of the character string that matches the recorded character string, from among the character strings recognized by character recognition processing on the image data;
machine-learning the feature amount of the character string extracted from the image data of each of a plurality of document forms of the same format to generate the feature amount to be read;
When the feature amount extracted from the character string recognized by the character recognition processing for the image data of the new document form matches the feature amount of the reading target, the character string is recognized from the image data of the new document form. record the string
The image processing method, wherein the feature amount is information indicating an attribute of the character string and a range of the character string in the image of the document form.
文書帳票の画像データと、前記画像データに含まれる文字列のうち作業者が記録した記録文字列と、を取得する工程と、
前記画像データに対する文字認識処理により認識された文字列のうち、前記記録文字列と一致する前記文字列の特徴量を抽出する工程と、
同じフォーマットの複数の文書帳票それぞれの画像データから抽出された前記文字列の特徴量を機械学習して、読取対象の特徴量を生成する工程と、
前記取得する工程により取得された新たな文書帳票の画像データに対する文字認識処理により認識された文字列から抽出された特徴量と、前記読取対象の特徴量とが一致する場合に、前記新たな文書帳票の画像データから認識された文字列を記録する工程と、
を実行させ、
前記特徴量は、前記文字列の属性と、前記文書帳票の画像における前記文字列の範囲とを示す情報である
プログラム。 to the computer,
a step of acquiring image data of a document form and a recorded character string recorded by an operator among the character strings included in the image data;
a step of extracting a feature amount of the character string that matches the recorded character string, from among the character strings recognized by the character recognition process for the image data;
a step of machine-learning the feature amount of the character string extracted from the image data of each of a plurality of document forms of the same format to generate a feature amount to be read;
When the feature amount extracted from the character string recognized by the character recognition processing for the image data of the new document form obtained in the obtaining step matches the feature amount of the reading target, the new document is obtained. a step of recording a character string recognized from the image data of the form;
and
The program, wherein the feature amount is information indicating an attribute of the character string and a range of the character string in the image of the document form.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017122416 | 2017-06-22 | ||
JP2017122416 | 2017-06-22 | ||
JP2018071141A JP2019008775A (en) | 2017-06-22 | 2018-04-02 | Image processing device, image processing system, image processing method, program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018071141A Division JP2019008775A (en) | 2017-06-22 | 2018-04-02 | Image processing device, image processing system, image processing method, program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022125220A true JP2022125220A (en) | 2022-08-26 |
Family
ID=65029653
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018071141A Pending JP2019008775A (en) | 2017-06-22 | 2018-04-02 | Image processing device, image processing system, image processing method, program |
JP2022108466A Pending JP2022125220A (en) | 2017-06-22 | 2022-07-05 | Image processing apparatus, image processing method, and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018071141A Pending JP2019008775A (en) | 2017-06-22 | 2018-04-02 | Image processing device, image processing system, image processing method, program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2019008775A (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7077998B2 (en) * | 2019-03-07 | 2022-05-31 | セイコーエプソン株式会社 | Information processing equipment |
JP6722929B1 (en) * | 2019-09-27 | 2020-07-15 | AI inside株式会社 | Information processing apparatus, information processing method, and information processing program |
JP7447482B2 (en) * | 2019-12-24 | 2024-03-12 | 日本電気株式会社 | Image processing device, system, method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007052808A (en) * | 1996-12-27 | 2007-03-01 | Fujitsu Ltd | Form identification method |
JP2016048444A (en) * | 2014-08-27 | 2016-04-07 | 沖電気工業株式会社 | Document identification program, document identification device, document identification system, and document identification method |
-
2018
- 2018-04-02 JP JP2018071141A patent/JP2019008775A/en active Pending
-
2022
- 2022-07-05 JP JP2022108466A patent/JP2022125220A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007052808A (en) * | 1996-12-27 | 2007-03-01 | Fujitsu Ltd | Form identification method |
JP2016048444A (en) * | 2014-08-27 | 2016-04-07 | 沖電気工業株式会社 | Document identification program, document identification device, document identification system, and document identification method |
Also Published As
Publication number | Publication date |
---|---|
JP2019008775A (en) | 2019-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11868717B2 (en) | Multi-page document recognition in document capture | |
JP2022125220A (en) | Image processing apparatus, image processing method, and program | |
CN106886418B (en) | HTML interface control label | |
JP5204208B2 (en) | Receipt data collation support device and receipt data collation support program | |
JP6874729B2 (en) | Image processing equipment, image processing methods and programs | |
JP6859977B2 (en) | Image processing equipment, image processing systems, image processing methods and programs | |
US11514700B2 (en) | Image-processing device, image-processing method, and storage medium on which program is stored | |
JP2010015458A (en) | Program correction support system, program correction support method, and program correction support program | |
WO2007004521A1 (en) | Marker specification device and marker specification method | |
JP2018124705A (en) | Voucher management program | |
JP2016192223A (en) | Accounting information reading system and program | |
JP2019185139A (en) | Image processing device, image processing method, and program | |
WO2019193923A1 (en) | Image processing device, image processing method and recording medium | |
JP3766854B2 (en) | Data processing device | |
JP7160432B2 (en) | Image processing device, image processing method, program | |
JP7111143B2 (en) | Image processing device, image processing method and program | |
JP2022029398A (en) | Data processing device, data processing method and data processing program | |
JP2000003403A (en) | Method for supporting slip input | |
CN111860263A (en) | Information input method and device and computer readable storage medium | |
JP2010026750A (en) | Automatic definition system for data retrieval item information in electronic business form system | |
JP7377565B2 (en) | Drawing search device, drawing database construction device, drawing search system, drawing search method, and program | |
JPH1063813A (en) | Method for managing image document and device therefor | |
CN118035384A (en) | Method and device for correcting receipt information and electronic equipment | |
JP6311301B2 (en) | Information providing program, information providing method, and information providing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230807 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240220 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240229 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20240531 |