JP6462930B1 - Character recognition apparatus, method and program - Google Patents
Character recognition apparatus, method and program Download PDFInfo
- Publication number
- JP6462930B1 JP6462930B1 JP2018061297A JP2018061297A JP6462930B1 JP 6462930 B1 JP6462930 B1 JP 6462930B1 JP 2018061297 A JP2018061297 A JP 2018061297A JP 2018061297 A JP2018061297 A JP 2018061297A JP 6462930 B1 JP6462930 B1 JP 6462930B1
- Authority
- JP
- Japan
- Prior art keywords
- text data
- likelihood
- item
- character
- character recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
【課題】項目ごとに尤度を算出し、算出した尤度に基づいて読取項目の表示態様を変更することが可能な文字認識装置、方法およびプログラムを提供する。
【解決手段】書類をスキャンして変換された画像データに対して、読取を行う読取項目の設定を行う読取項目設定部231と、OCR機能を備え、画像データの読取項目に表示されている文字情報をOCRで読み取ってテキストデータを生成する文字認識部232と、読取項目の画像データとテキストデータとを並列に表示させるテキストデータ表示部233と、テキストデータの尤度を算出する尤度算出部234と、表示されたテキストデータの表示の態様を変更する表示変更部235と、を有する制御部230を備える文字認識装置200を提供する。
【選択図】図2
A character recognition apparatus, method, and program capable of calculating likelihood for each item and changing a display mode of a read item based on the calculated likelihood.
A scan item setting unit 231 for setting a scan item for scanning image data converted by scanning a document and an OCR function, and a character displayed in the scan item of the image data A character recognition unit 232 that reads information by OCR to generate text data, a text data display unit 233 that displays image data and text data of a reading item in parallel, and a likelihood calculation unit that calculates the likelihood of text data A character recognition device 200 is provided that includes a control unit 230 that includes a display change unit 235 that changes the display mode of the displayed text data.
[Selection] Figure 2
Description
本開示は、画像データから文字情報を読み取る文字認識装置、方法およびプログラムに関する。 The present disclosure relates to a character recognition apparatus, method, and program for reading character information from image data.
手書きで文字が記入された書類をイメージスキャナなどで読み取り、OCR(Optical Character Recognition)処理を行うことにより、入力情報を所定の文字コードに変換したデジタルデータを生成する技術が普及している。 2. Description of the Related Art A technique for generating digital data in which input information is converted into a predetermined character code by reading a document with handwritten characters by an image scanner or the like and performing OCR (Optical Character Recognition) processing has become widespread.
手書きの書類等を画像としてスキャンした画像データから、機械学習により文字認識を行う文字識別システムが開示されている(例えば、特許文献1参照。)。特許文献1に開示されている文字認識システムでは、見本文字画像の入力を受け付ける文字画像入力受付部と、見本文字画像に基づいて文字部品を抽出する文字部品抽出と、文字部品に基づいて擬似文字モデルを生成する擬似文字モデル生成部と、擬似文字モデルに基づいて文字識別パターンを生成して識別辞書を生成する識別辞書生成と、により構成されるシステムが提案されている。
A character identification system that performs character recognition by machine learning from image data obtained by scanning a handwritten document or the like as an image is disclosed (for example, see Patent Document 1). In the character recognition system disclosed in
ところで、OCRによる文字認識の正解率は必ずしも完全ではないため、文字認識処理を行った後に、人間の目視による確認が一般的に行われる。その際に、文字認識の精度(文字認識処理を行った文字の尤度)は文字ごとに異なるが、その尤度によらず全ての項目・文字を目視で一律に確認するため、非効率であった。 By the way, since the correct answer rate of the character recognition by OCR is not necessarily perfect, after performing a character recognition process, the human visual confirmation is generally performed. At that time, the accuracy of character recognition (likelihood of characters that have undergone character recognition processing) varies from character to character, but it is inefficient because all items and characters are checked uniformly regardless of the likelihood. there were.
そこで、本開示では、手書きの書類等を画像としてスキャンした画像データからOCR処理により文字認識を行う際に、項目ごとに尤度を算出し、算出した尤度に基づいて読取項目の表示態様を変更することにより、読取項目ごとの読取処理の信頼性を把握することで無駄な目視確認処理を行わず、精度の高いテキストデータ生成を行うことができる文字認識装置、方法およびプログラムについて説明する。 Therefore, in the present disclosure, when character recognition is performed by OCR processing from image data obtained by scanning a handwritten document or the like as an image, the likelihood is calculated for each item, and the display mode of the read item is set based on the calculated likelihood. A character recognition apparatus, method, and program capable of generating text data with high accuracy without performing unnecessary visual confirmation processing by grasping the reliability of the reading processing for each reading item by changing the data will be described.
本開示の一態様における文字認識装置は、書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識装置であって、書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識部と、読取項目ごとに読取項目の画像データとテキストデータとを比較可能に表示し、テキストデータに対して文字入力を行うことでテキストデータを編集可能な状態にするテキストデータ表示部と、読取項目ごとに文字認識の尤度を算出する尤度算出部と、算出された尤度に基づき、テキストデータを表示する箇所の態様を変化させる表示変更部と、を備え、表示変更部は、読取項目ごとの尤度が所定の第1の閾値以下であるテキストデータの読取項目について、テキストデータの表示欄から文字列を表示しない設定に変更し、読取項目ごとの尤度が所定の第2の閾値以上の読取項目の画像データとテキストデータとを表示せず、読取項目ごとの尤度が第1の閾値より大きく第2の閾値未満である場合、読取項目ごとの尤度に応じて読取項目のテキストデータを表示する箇所の態様を変化させる。 A character recognition device according to an aspect of the present disclosure is a character recognition device that reads character information from image data obtained by scanning a document as an image, and includes character information displayed in a reading item set in the image data of the document. Character recognition unit that performs character recognition and generates text data, and displays the image data and text data of the read item for each read item in a comparable manner, and edits the text data by inputting characters into the text data A text data display unit for enabling a state, a likelihood calculation unit for calculating the likelihood of character recognition for each reading item, and a display change for changing the mode of the place where the text data is displayed based on the calculated likelihood e Bei and parts, and the display changing unit for reading items of text data likelihood for each read item is equal to or less than a predetermined first threshold value, the text data The display column is changed to a setting not to display a character string, and the image data and text data of the read item whose likelihood for each read item is equal to or greater than a predetermined second threshold value is not displayed, and the likelihood for each read item is the first. If greater than the first threshold value is less than the second threshold value, Ru changing the manner of a portion displaying the text data of the read item in accordance with the likelihood of each read entry.
本開示の一態様における文字認識方法は、書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識方法であって、文字認識部が行う、書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、テキストデータ表示部が行う、読取項目ごとに読取項目の画像データとテキストデータとを比較可能に表示し、テキストデータに対して文字入力を行うことでテキストデータを編集可能な状態にするテキストデータ表示ステップと、尤度算出部が行う、読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、算出された尤度に基づき、表示変更部が行う、テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を備え、表示変更ステップでは、読取項目ごとの尤度が所定の第1の閾値以下であるテキストデータの読取項目について、テキストデータの表示欄から文字列を表示しない設定に変更し、読取項目ごとの尤度が所定の第2の閾値以上の読取項目の画像データとテキストデータとを表示せず、読取項目ごとの尤度が第1の閾値より大きく第2の閾値未満である場合、読取項目ごとの尤度に応じて読取項目のテキストデータを表示する箇所の態様を変化させる。 A character recognition method according to an aspect of the present disclosure is a character recognition method for reading character information from image data obtained by scanning a document as an image, and is displayed on a reading item set in the image data of the document, which is performed by a character recognition unit. The character recognition step for generating the text data by performing the character recognition of the character information that has been read, and the text data display unit, for each reading item, the image data of the reading item and the text data are displayed so as to be comparable, and the text data A text data display step for making the text data editable by inputting characters to the likelihood, a likelihood calculating step for calculating the likelihood of character recognition for each reading item, and a calculation performed by the likelihood calculating unit based on the likelihoods, performed by the display change section, e Bei a display change step of changing the mode of a portion displaying text data, the display In the further step, the text data reading item whose likelihood for each reading item is equal to or less than a predetermined first threshold value is changed to a setting for not displaying a character string from the text data display column, and the likelihood for each reading item is changed. When the image data and text data of the reading item equal to or greater than the predetermined second threshold are not displayed, and the likelihood for each reading item is greater than the first threshold and less than the second threshold, the likelihood for each reading item depending on the Ru changing the manner of a portion displaying the text data of the read item.
また、本開示の一態様における文字認識プログラムは、書類を画像としてスキャンした画像データから、文字情報を読み取る文字認識プログラムであって、書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、読取項目ごとに読取項目の画像データとテキストデータとを比較可能に表示し、テキストデータに対して文字入力を行うことでテキストデータを編集可能な状態にするテキストデータ表示ステップと、読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、算出された尤度に基づき、テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を電子計算機に実行させ、表示変更ステップでは、読取項目ごとの尤度が所定の第1の閾値以下であるテキストデータの読取項目について、テキストデータの表示欄から文字列を表示しない設定に変更し、読取項目ごとの尤度が所定の第2の閾値以上の読取項目の画像データとテキストデータとを表示せず、読取項目ごとの尤度が第1の閾値より大きく第2の閾値未満である場合、読取項目ごとの尤度に応じて読取項目のテキストデータを表示する箇所の態様を変化させる。 A character recognition program according to an aspect of the present disclosure is a character recognition program that reads character information from image data obtained by scanning a document as an image, and the characters displayed in the reading items set in the image data of the document performs character recognition of the information, text data by performing a character recognition step of generating text data, read comparably displaying the read image data and text data entry for each item, the character input to the text data The text data display step for making the text editable, the likelihood calculation step for calculating the likelihood of character recognition for each reading item, and the mode of the place where the text data is displayed is changed based on the calculated likelihood is executed and a display changing step, the electronic computer, the display change step, the likelihood of each read entry is given 1 For text data reading items that are less than or equal to the threshold value, the text data display column is changed to a setting that does not display a character string, and the image data and text data of the reading item that has a likelihood for each reading item equal to or greater than a predetermined second threshold value. Is not displayed and the likelihood of each reading item is larger than the first threshold value and less than the second threshold value, the mode of the portion where the text data of the reading item is displayed is changed according to the likelihood of each reading item. to.
本開示によれば、手書きの書類等を画像としてスキャンした画像データからOCR処理により文字認識を行う際に、項目ごとに尤度を算出し、算出した尤度に基づいて読取項目の表示態様を変更することができるため、読取項目ごとの読取処理の信頼性を把握することが可能である。これにより、無駄な目視確認処理を行わず、精度の高いテキストデータ生成を行うことが可能である。 According to the present disclosure, when character recognition is performed by OCR processing from image data obtained by scanning a handwritten document or the like as an image, the likelihood is calculated for each item, and the display mode of the read item is set based on the calculated likelihood. Since it can be changed, it is possible to grasp the reliability of the reading process for each reading item. Thereby, it is possible to generate highly accurate text data without performing useless visual confirmation processing.
本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。 An embodiment of the present disclosure will be described with reference to the drawings. Note that the embodiments described below do not unduly limit the content of the present disclosure described in the claims. In addition, all the components shown in the embodiments are not necessarily essential components of the present disclosure.
(実施形態1)
<構成>
図1は、本開示の実施形態1に係る文字認識システム1のブロック図である。この文字認識システム1は、例えば、手書きの申込書や口座振替依頼書等の書類を画像としてスキャンした画像データから、文字情報を読み取るシステムであり、顧客から申込書や口座振替依頼書を受領するユーザ企業が、申込書や口座振替依頼書に記載された手書きの文字情報を読み取るために使用される。
(Embodiment 1)
<Configuration>
FIG. 1 is a block diagram of a
文字認識システム1は、ユーザシステム100と、文字認識装置200と、ネットワークNWと、を有している。ユーザシステム100と、文字認識装置200とは、ネットワークNWを介して接続される。ネットワークNWは、インターネット、LAN(Local Area Network)やWAN(Wide Area Network)等により構成される。また、このネットワークNWは有線通信でも無線通信でも良く、LTE(Long Term Evolution)等の4Gと呼ばれる通信方式や、5Gによる通信方式も含まれる。
The
ユーザシステム100は、複数の項目から構成される申込書や口座振替依頼書などの書類をスキャンし、画像データに変換する。このユーザシステム100は、スキャナ装置110と、ユーザ端末120とを備え、例えば、USB(登録商標)やLANにより相互に通信可能に接続されている。
The
スキャナ装置110は、申込書や口座振替依頼書などの書類をスキャンして画像データに変換する装置である。なお、この実施形態1ではスキャナ装置としたが、紙媒体による書類を電子データ化できる装置であれば良く、例えば、カメラ等でも良い。スキャナ装置110でスキャンした画像データは、後述する画像データDB221に記憶される。
The
ユーザ端末120は、ユーザ企業に設置される端末であり、ユーザの操作により、画像データに対して読取項目を設定し、読取項目の文字認識が行われたテキストデータに対して目視確認を行う端末である。このユーザ端末120は、画像データを表示する表示部を備え、操作部を操作することでネットワークNWを介して文字認識装置200にアクセスされ、各種プログラムが起動されて提供されるようになっており、表示部はディスプレイ等から構成され、操作部はキーボードやマウス等から構成される。
The
図2は、図1に示す文字認識装置200の構成の一例を示す機能ブロック図である。この文字認識装置200は、設定された読取項目に基づき、画像データ上の読取項目に表示されている文字情報をテキストデータとして生成する。文字認識装置200は、通信部210と、記憶部220と、制御部230とを備える。
FIG. 2 is a functional block diagram showing an example of the configuration of the
通信部210は、ネットワークNWを介してユーザシステム100と通信を行うための通信インターフェースであり、TCP/IP(Transmission Control Protocol/Internet Protocol)等の通信規約により通信が行われる。
The
記憶部220は、各種制御処理や制御部250内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、RAM(Random Access Memory)、ROM(Read Only Memory)等から構成される。また、記憶部220は、後述するテキストデータ表示部233により表示された読取項目の画像データや、尤度算出部234により算出された尤度を一時的に記憶している。
The
さらに、記憶部220は、スキャナ装置110で変換した画像データを記憶する画像データDB221と、画像データに対して設定した読取項目を記憶する読取項目DB222と、読取項目が読み取られて生成されたテキストデータを記憶するテキストデータDB223とを備えている。画像データDB221、読取項目DB222、テキストデータDB223は、制御部230の各種プログラムからアクセスされて参照、更新が可能なデータベースである。
Further, the
制御部230は、記憶部220に記憶されているプログラムを実行することにより、文字認識装置200の全体の動作を制御するものであり、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等から構成される。制御部230により実行されるプログラムの機能として、読取項目設定部231、文字認識部232、テキストデータ表示部233、尤度算出部234、表示変更部235を備えている。この読取項目設定部231、文字認識部232、テキストデータ表示部233、尤度算出部234、表示変更部235は、記憶部220に記憶されているプログラムにより起動されて実行される。
The
読取項目設定部231は、ユーザ端末120の操作部が操作されることにより、画像データDB221に記憶されている画像データに対して、読取を行う読取項目の設定を行う。読取項目の設定は、画像データが表示されているユーザ端末120の表示部で、操作部(例えば、マウス)が操作されて、例えば、いわゆるドラッグ&ドロップによる範囲設定により行われる。設定された読取項目は、読取項目DB222に記憶される。
The reading
図3は、図2の画像データDB221に記憶されている画像データの例である口座振替依頼書を示す模式図である。この口座振替依頼書は、公共料金の引き落とし等のために、金融機関に対して口座振替を依頼するための申込書であり、記入項目として、氏名フリガナ記入欄A1、氏名漢字記入欄A2、金融機関名記入欄A3、支店名記入欄A4、金融機関コード記入欄A5、支店コード記入欄A6、預金種目記入欄A7、口座番号記入欄A8が設けられている。また、これらの記入項目には例として、氏名フリガナ記入欄A1には「トッキョ タロウ」と、氏名漢字記入欄A2には「特許 太郎」と、金融機関名記入欄A3には「みずほ(銀行)」と、支店名記入欄A4には「麹町(支店)」と、金融機関コード記入欄A5には「0001」と、支店コード記入欄A6には「021」と、口座番号記入欄A8には「1111111」と手書きで記入され、預金種目記入欄A7には「普通」に〇がつけられている。
FIG. 3 is a schematic diagram showing an account transfer request form which is an example of image data stored in the
ユーザ企業では、口座振替依頼書をテキスト化する処理を行う際、このような口座振替依頼書を、スキャナ装置110を使用してスキャンを行い、画像データを画像データDB221に記憶させる。
In the user company, when performing the process of converting the account transfer request form into a text, such an account transfer request form is scanned using the
図4は、図3の口座振替依頼書の画像データが表示部に表示されている状態の例を示す模式図である。ユーザ端末120の表示部の画面P1には、図3に示す口座振替依頼書の画像データが表示され、口座振替依頼書の記入項目と同様の氏名フリガナ記入欄A1、氏名漢字記入欄A2、金融機関名記入欄A3、支店名記入欄A4、金融機関コード記入欄A5、支店コード記入欄A6、預金種目記入欄A7、口座番号記入欄A8が表示されている。
FIG. 4 is a schematic diagram illustrating an example of a state in which the image data of the account transfer request document in FIG. 3 is displayed on the display unit. The image data of the account transfer request form shown in FIG. 3 is displayed on the screen P1 of the display unit of the
この状態で、ユーザ端末120の操作部が操作されてドラッグ&ドロップを行い、図4に破線で示すように読取項目の範囲設定を行う。例えば、氏名フリガナ読取項目S1、氏名漢字読取項目S2、金融機関名読取項目S3、支店名読取項目S4、金融機関コード読取項目S5、支店コード読取項目S6、口座番号読取項目S7が読取項目として範囲設定される。
In this state, the operation unit of the
なお、ここでは、ユーザの操作により読取項目の範囲設定を行う方法について説明したが、文字認識装置200により読取項目を自動設定しても良い。例えば、図3の口座振替依頼書において、印刷されている文字や罫線等以外の、手書きにより記入されている文字を認識し、その範囲を文字認識ごとに設定しても良い。これにより、印刷されている罫線からはみ出して記載されている場合でも文字認識が可能である。
Here, the method for setting the range of the read item by the user's operation has been described, but the read item may be automatically set by the
文字認識部232は、OCR機能を備え、画像データDB221に記憶されている画像データを読み出し、読取項目DB222に記憶されている読取項目に表示されている文字情報をOCRで読み取ってテキストデータを生成する。生成されたテキストデータは、テキストデータDB223に記憶される。
The
図3に示す例では、氏名フリガナ読取項目S1に記載されている内容として「トッキョ タロウ」がテキストデータとして生成される。同様に、氏名漢字読取項目S2の記載内容として「特許 太郎」が、金融機関名読取項目S3の記載内容として「みずほ(銀行)」が、支店名読取項目S4の記載内容として「麹町(支店)」が、金融機関コード読取項目S5の記載内容として「0001」が、支店コード読取項目S6の記載内容として「021」が、口座番号読取項目S7の記載内容として「1111111」がテキストデータとして生成される。 In the example shown in FIG. 3, “Tokyo Taro” is generated as text data as the contents described in the name reading item S1. Similarly, “patent Taro” is written as the name Kanji reading item S2, “Mizuho (bank)” is written as the financial institution name reading item S3, and “Kashiwamachi (branch)” is written as the branch name reading item S4. ”Is generated as text data“ 0001 ”as the description contents of the financial institution code reading item S5,“ 021 ”as the description contents of the branch code reading item S6, and“ 1111111 ”as the description contents of the account number reading item S7. The
テキストデータ表示部233は、画像データDB221に記憶されている画像データから、読取項目DB222に記憶されている読取項目の画像データを抽出する。また、テキストデータ表示部233は、テキストデータDB223に記憶されているテキストデータを読み出し、読取項目の画像データとテキストデータとを、ユーザ端末120の表示部上に並列に表示する。
The text
図5は、図4の画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。ユーザ端末120の表示部の画面P1の左側には、図4と同様に、氏名フリガナ記入欄A1、氏名漢字記入欄A2、金融機関名記入欄A3、支店名記入欄A4、金融機関コード記入欄A5、支店コード記入欄A6、預金種目記入欄A7、口座番号記入欄A8が表示されている。
FIG. 5 is a schematic diagram showing an example of a state in which the image data of the reading item extracted from the image data of FIG. 4 and the text data are displayed in parallel. On the left side of the screen P1 of the display unit of the
また、画面P1の右側には、画像データから抽出された読取項目の画像データの例として、氏名フリガナ読取項目S1、氏名漢字読取項目S2、金融機関名読取項目S3、支店名読取項目S4、金融機関コード読取項目S5、支店コード読取項目S6、口座番号読取項目S7が表示されている。 Further, on the right side of the screen P1, as an example of the image data of the reading items extracted from the image data, the name reading item S1, the name kanji reading item S2, the financial institution name reading item S3, the branch name reading item S4, the financial An institution code reading item S5, a branch code reading item S6, and an account number reading item S7 are displayed.
さらに、これらの読取項目から読み取ったテキストデータの例として、氏名フリガナテキストT1、氏名漢字テキストT2、金融機関名テキストT3、支店名テキストT4、金融機関コードテキストT5、支店コードテキストT6、口座番号テキストT7が、それぞれの読取項目の画像データの下側にそれぞれ並列に表示されている。このように表示するのは、それぞれの読取項目の画像データと読取結果であるテキストデータとを対比しやすくすることで、正確にテキストデータ生成が行われていることを確認しやすくするためである。 Further, as examples of text data read from these reading items, name reading text T1, name kanji text T2, financial institution name text T3, branch name text T4, financial institution code text T5, branch code text T6, account number text T7 is displayed in parallel below the image data of each reading item. The reason for displaying in this way is to make it easier to compare the image data of each reading item and the text data that is the reading result, thereby making it easier to confirm that text data is being generated accurately. .
この読取項目の画像データ及びテキストデータは、図5に示すように画像データに並列に表示しても良く、また、画面P1の上に別画面(ウィンドウ)として表示させても良い。 The image data and text data of the read item may be displayed in parallel with the image data as shown in FIG. 5, or may be displayed as a separate screen (window) on the screen P1.
尤度算出部234は、画面P1に表示されている読取項目ごとのテキストデータの尤度を算出する。このとき、テキストデータを構成する文字ごとに算出された尤度に対して所定の演算、例えば、文字ごとの尤度を乗算することにより、読取項目ごとのテキストデータの尤度を算出する。なお、テキストデータの尤度の算出はこれ以外の方法で算出しても良く、例えば、文字ごとの尤度の平均値を算出することにより算出しても良い。
The
ここで、文字認識部232で行われるOCR機能における文字識別と尤度との関係について説明する。図6は、図2の文字認識部232による特徴抽出とベクトル変換の様子を示す模式図である。また、図7は、図2の文字認識部232による字種の判定の様子を示す模式図である。
Here, the relationship between character identification and likelihood in the OCR function performed by the
文字認識部232は、図6に示すように、切り出した1個の文字パターンの画像データに対して特徴抽出を行う。そして、文字のストロークの方向成分などを抽出し、画像データを特徴空間上の1つのベクトルに変換する。図6に示す例では、画像データXが多層のニューラルネットワークに入力され、方向や位置等の特徴を捉えて特徴抽出をされている様子を模式的に示している。また、図6に示す例では、ベクトルX1と、ベクトルX2と、ベクトルX3とに変換された様子が模式的に示されている。
As shown in FIG. 6, the
次に、文字認識部232は、図7に示すように、変換されたベクトルに基づいて字種が何であるかを判定する。例えば、当該判定において、事前に大量のパターンを使った分布の様子から、どの字種が特徴空間上のどの辺りに分布しているかを保持している辞書データを参照し、未知の入力パターンである画像データの候補を決定する。図7に示す例では、辞書データにおいて、字種「中」、字種「申」および字種「十」の情報が記憶されている様子を概念的に示しており、原点から離れるほどその字種の尤もらしさが高いことを示している。
Next, as shown in FIG. 7, the
文字認識部232は、以上のプロセスにより、複数のテキスト候補(例えば、中、申、十)を取得する。そして、各テキスト候補の尤もらしさを示す尤度が文字ごとに算出される。尤度算出部234では、その文字ごとの尤度から、読取項目の尤度が算出される。なお、各テキスト候補の尤度は、特徴空間内における各候補の中心と、未知の入力パターンである画像データとの距離で算出することができる。
The
表示変更部235は、尤度算出部234によって算出されたテキストデータの尤度に基づき、テキストデータ表示部233によって表示されたテキストデータの表示の態様を変更する。例えば、画面P2に表示されている各テキストデータの枠の右端に色彩を施し、その色をテキストデータの尤度に基づいて変化させる。
The
図8は、図5の読取項目の画像データとテキストデータとが並列に表示されている状態からテキストデータの右端に色彩が施された状態の例を示す模式図である。テキストデータ表示部233によって表示された、氏名フリガナテキストT1、氏名漢字テキストT2、金融機関名テキストT3、支店名テキストT4、金融機関コードテキストT5、支店コードテキストT6、口座番号テキストT7には、図8に示すように、それぞれ氏名フリガナ彩色部T11、氏名漢字彩色部T21、金融機関名彩色部T31、支店名彩色部T41、金融機関コード彩色部T51、支店コード彩色部T61、口座番号彩色部T71が設けられている。
FIG. 8 is a schematic diagram illustrating an example of a state in which color is applied to the right end of the text data from the state in which the image data and text data of the reading item in FIG. 5 are displayed in parallel. The name reading text T1, name kanji text T2, financial institution name text T3, branch name text T4, financial institution code text T5, branch code text T6, and account number text T7 displayed by the text
この氏名フリガナ彩色部T11、氏名漢字彩色部T21、金融機関名彩色部T31、支店名彩色部T41、金融機関コード彩色部T51、支店コード彩色部T61、口座番号彩色部T71は、尤度算出部234によって算出された、氏名フリガナテキストT1、氏名漢字テキストT2、金融機関名テキストT3、支店名テキストT4、金融機関コードテキストT5、支店コードテキストT6、口座番号テキストT7の尤度により、例えば、尤度が0〜0.6の場合は赤色に、0.6〜0.8の場合はオレンジ色に、0.8以上の場合は黄色に彩色される。また、尤度が高くなるほど細く表示されている。このように態様を変化させるのは、テキストデータの尤度が高いほどその読取項目のテキストデータへの変換処理が正確に行われているといえるので、その読取項目の尤度がどれくらいであったかを一目で把握することを可能にするためである。 This name reading portion T11, name kanji coloring portion T21, financial institution name coloring portion T31, branch name coloring portion T41, financial institution code coloring portion T51, branch code coloring portion T61, account number coloring portion T71 is a likelihood calculating portion. Based on the likelihood of the name reading text T1, the name kanji text T2, the financial institution name text T3, the branch name text T4, the financial institution code text T5, the branch code text T6, and the account number text T7 calculated by H.234, for example, When the degree is 0 to 0.6, it is colored red, when it is 0.6 to 0.8, it is colored orange, and when it is 0.8 or more, it is colored yellow. Further, the higher the likelihood, the smaller the display. In this way, the reason for changing the mode is that the higher the likelihood of the text data, the more accurately the conversion process of the read item to the text data is performed, so it is possible to determine the likelihood of the read item. This is to make it possible to grasp at a glance.
<処理の流れ>
以下、図9を参照しながら、文字認識システム1が実行する文字認識方法の一例を説明する。図9は、図1に示す文字認識システム1による文字認識方法を示すフローチャートである。
<Process flow>
Hereinafter, an example of a character recognition method executed by the
ステップS101の処理として、読取項目設定部231では、画像データDB221に記憶されている画像データに対して、読み取ってテキストデータの生成を行う読取項目の設定を行う。
As the processing of step S101, the reading
このとき、例えば、図4に示す氏名フリガナ読取項目S1にはカタカナのみが記載され、金融機関コード読取項目S5、支店コード読取項目S6、及び口座番号読取項目S7には数字のみが記載されるため、生成するテキストデータの文字種類を限定するように設定することも可能である。また、金融機関名読取項目S3は、金融機関コード読取項目S5の値に対応する金融機関名が記入され、支店名読取項目S4は、支店コード読取項目S6の値に対応する支店名が記入されるので、例えば図10に示すような金融機関テーブルから該当するテキスト及び値を選択するように設定することも可能である。設定された読取項目は、読取項目DB222に記憶される。
At this time, for example, only katakana is described in the name reading item S1 shown in FIG. 4, and only numbers are described in the financial institution code reading item S5, the branch code reading item S6, and the account number reading item S7. It is also possible to set so as to limit the character types of the text data to be generated. The financial institution name reading item S3 is filled with the name of the financial institution corresponding to the value of the financial institution code reading item S5, and the branch name reading item S4 is filled with the name of the branch corresponding to the value of the branch code reading item S6. Therefore, for example, it is possible to set to select the corresponding text and value from the financial institution table as shown in FIG. The set reading item is stored in the
ステップS102の処理として、文字認識部232では、画像データDB221に記憶されている画像データが読み出され、読取項目DB222に記憶されている読取項目に表示されている文字情報がOCRで読み取られ、テキストデータが生成される。具体的には、例えば、文字パターンの画像データに対して特徴抽出が行われ、文字のストロークの方向成分などが抽出されて特徴空間上の1つのベクトルに変換され、どの字種が特徴空間上のどの辺りに分布しているかを保持している辞書データを参照されて尤度の高い字種が決定される。
In step S102, the
ステップS103の処理として、テキストデータ表示部233では、画像データDB221に記憶されている画像データから読取項目DB222に記憶されている読取項目の画像データが抽出され、また、テキストデータDB223に記憶されているテキストデータが読み出され、読取項目の画像データとテキストデータとが、図5に示す画面P1のように並列に表示する。
As the processing in step S103, the text
図5の例では、氏名フリガナ読取項目S1と氏名フリガナテキストT1とが、氏名漢字読取項目S2と氏名漢字テキストT2とが、金融機関名読取項目S3と金融機関名テキストT3とが、支店名読取項目S4と支店名テキストT4とが、金融機関コード読取項目S5と金融機関コードテキストT5とが、支店コード読取項目S6と支店コードテキストT6とが、口座番号読取項目S7と口座番号テキストT7とがそれぞれ並列に表示されている。 In the example of FIG. 5, the full name reading item S1 and full name reading text T1, the full name kanji reading item S2 and full name kanji text T2, the financial institution name reading item S3, and the financial institution name text T3 are read branch names. The item S4 and the branch name text T4, the financial institution code reading item S5 and the financial institution code text T5, the branch code reading item S6 and the branch code text T6, the account number reading item S7 and the account number text T7. Each is displayed in parallel.
ステップS104の処理として、尤度算出部234では、テキストデータDB223に記憶されているテキストデータを構成する文字ごとに算出された、文字ごとの尤度を乗算して、その読取項目の尤度を算出する。
As the processing of step S104, the
ステップS105の処理として、表示変更部235では、尤度算出部234によって算出されたテキストデータの尤度に基づき、図8に示すように、氏名フリガナテキストT1、氏名漢字テキストT2、金融機関名テキストT3、支店名テキストT4、金融機関コードテキストT5、支店コードテキストT6、口座番号テキストT7にそれぞれ設けられた、氏名フリガナ彩色部T11、氏名漢字彩色部T21、金融機関名彩色部T31、支店名彩色部T41、金融機関コード彩色部T51、支店コード彩色部T61、口座番号彩色部T71の色彩及び太さが変更される。例えば、算出されたテキストデータの尤度が0〜0.6の場合は赤色に、0.6〜0.8の場合はオレンジ色に、0.8以上の場合は黄色に彩色される。
As the processing in step S105, the
以上のように、本実施形態に係る文字認識システムは、テキストデータを構成する文字ごとに算出された尤度を、テキストデータを構成する文字の分だけ乗算して、その読取項目のテキストデータの尤度を算出する。これにより、読み取ったテキストデータの尤度から、読取項目ごとの読取の信頼性を評価することが可能になる。 As described above, the character recognition system according to the present embodiment multiplies the likelihood calculated for each character constituting the text data by the amount of the characters constituting the text data, and determines the text data of the reading item. Calculate the likelihood. This makes it possible to evaluate the reading reliability for each reading item from the likelihood of the read text data.
また、読取項目ごとのテキストデータの尤度に基づき、表示されたテキストデータの枠の右端に色彩を施し、その色をテキストデータの尤度に基づいて変化させる等の手法により態様を変化させることができるので、テキストデータの尤度を一目で把握することが可能になる。これにより、読取項目ごとの信頼性を一目で把握することができるため、信頼性の低い読取項目のみ重点的に確認するなど、目視による確認の効率向上に寄与することが可能である。 In addition, based on the likelihood of the text data for each reading item, color is applied to the right edge of the displayed text data frame, and the mode is changed by a method such as changing the color based on the likelihood of the text data. Therefore, the likelihood of text data can be grasped at a glance. Thereby, since the reliability for each reading item can be grasped at a glance, it is possible to contribute to improving the efficiency of visual confirmation, for example, checking only reading items with low reliability.
(実施形態2)
<構成>
図11は、本開示の実施形態2に係る文字認識システムにおける、画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。この文字認識システム1は、実施形態1と同様の構成であるが、表示変更部235により変更される、テキストデータ表示部233によって表示されたテキストデータの表示の態様が異なる。この実施形態2では、表示変更部235は、尤度算出部234によって算出された読取項目ごとのテキストデータの尤度が所定の閾値(第1の閾値)以下の場合、当該読取項目のテキストデータの表示を行わない(ブランクにして表示させる)点において、実施形態1と異なる。
(Embodiment 2)
<Configuration>
FIG. 11 is a schematic diagram illustrating an example of a state in which image data and text data of a reading item extracted from image data are displayed in parallel in the character recognition system according to the second embodiment of the present disclosure. The
図11に示すように、画面P1には、実施形態1の図5と同様に、氏名フリガナ読取項目S1、氏名漢字読取項目S2、金融機関名読取項目S3、支店名読取項目S4、金融機関コード読取項目S5、支店コード読取項目S6、口座番号読取項目S7、氏名フリガナテキストT1、氏名漢字テキストT2、金融機関名テキストT3、支店名テキストT4、金融機関コードテキストT5、支店コードテキストT6、口座番号テキストT7が表示されているが、氏名フリガナテキストT1及び氏名漢字テキストT2のテキストデータが表示されず、ブランク(空白)状態になっている。この例では、氏名フリガナテキストT1及び氏名漢字テキストT2のテキストデータの尤度が所定の閾値以下であるため、表示変更部235は表示を行っていない。
As shown in FIG. 11, on the screen P1, as in FIG. 5 of the first embodiment, the name reading item S1, the name kanji reading item S2, the financial institution name reading item S3, the branch name reading item S4, the financial institution code Reading item S5, branch code reading item S6, account number reading item S7, name reading text T1, name kanji text T2, financial institution name text T3, branch name text T4, financial institution code text T5, branch code text T6, account number Although the text T7 is displayed, the text data of the name reading text T1 and the name kanji text T2 are not displayed and are in a blank (blank) state. In this example, since the likelihood of the text data of the name reading text T1 and the name kanji text T2 is equal to or less than a predetermined threshold, the
このように、所定の閾値以下のテキストデータを表示していないのは、これらのテキストデータの尤度が低く、一定の信頼性がないと考えられるため、人間が目視確認して個別に手入力し直す必要がある。そのため、最初からテキストデータを表示しないことにより、余計な目視確認処理を省略し、効率的に文字入力を行うことを可能にするためである。その他の構成及び処理の流れについては、実施形態1と同様である。 In this way, the reason why text data below a predetermined threshold is not displayed is because the likelihood of these text data is low and it is considered that there is no certain reliability. It is necessary to redo. Therefore, by not displaying the text data from the beginning, it is possible to omit extra visual confirmation processing and to efficiently input characters. Other configurations and processing flows are the same as those in the first embodiment.
本実施形態によれば、上記実施形態1の効果に加え、尤度算出部234によって算出されたテキストデータの尤度が所定の閾値以下の場合、表示変更部235ではテキストデータの表示を行わないので、一定の信頼性がない読取項目についてテキストデータの表示を省略することができる。これにより、余計な目視確認処理を省略し、効率的に文字入力を行うことが可能になる。
According to the present embodiment, in addition to the effects of the first embodiment, when the likelihood of the text data calculated by the
(実施形態3)
<構成>
図12は、本開示の実施形態3に係る文字認識システムにおける、画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。この文字認識システム1は、実施形態1と同様の構成であるが、表示変更部235により変更される、テキストデータ表示部233によって表示されたテキストデータの表示の態様が異なる。この実施形態3では、表示変更部235は、読取項目ごとのテキストデータの尤度により各テキスト表示欄に設けられた彩色部に色彩を施すとともに、文字ごとの尤度に応じて文字の態様を変更する点において、実施形態1と異なる。文字の態様の変更は、例えば、文字の色彩の変更や、文字のフォント(字体や文字の太さ)の変更、文字の大きさの変更等によって行われる。
(Embodiment 3)
<Configuration>
FIG. 12 is a schematic diagram illustrating an example of a state in which image data and text data of a reading item extracted from image data are displayed in parallel in the character recognition system according to the third embodiment of the present disclosure. The
図12に示すように、画面P1には、実施形態1の図5と同様に、氏名フリガナ読取項目S1、氏名漢字読取項目S2、金融機関名読取項目S3、支店名読取項目S4、金融機関コード読取項目S5、支店コード読取項目S6、口座番号読取項目S7、氏名フリガナテキストT1、氏名漢字テキストT2、金融機関名テキストT3、支店名テキストT4、金融機関コードテキストT5、支店コードテキストT6、口座番号テキストT7が表示されているが、氏名フリガナテキストT1に表示されている「トッキョ タロウ」のうち、「ト」の部分と、「ッキョ」の部分と、「タロウ」の部分とが、それぞれ異なる色彩で表示されている。また、氏名漢字テキストT2に表示されている「特許 太郎」のうち、「特許」の部分と、「太郎」の部分とが、それぞれ異なる文字の太さで表示されている。例えば、それぞれの文字の尤度により、例えば、尤度が0〜0.6の場合は太字の赤色に、0.6〜0.8の場合は通常の太さの赤色に、0.8以上の場合は通常の太さの黒色に表示される。 As shown in FIG. 12, on the screen P1, as in FIG. 5 of the first embodiment, the name reading item S1, the name kanji reading item S2, the financial institution name reading item S3, the branch name reading item S4, the financial institution code Reading item S5, branch code reading item S6, account number reading item S7, name reading text T1, name kanji text T2, financial institution name text T3, branch name text T4, financial institution code text T5, branch code text T6, account number The text T7 is displayed. Of the “Tokkyo Taro” displayed in the name reading text T1, the “G” part, the “Kyo” part, and the “Taro” part have different colors. Is displayed. In addition, among the “patent Taro” displayed in the name kanji text T2, the “patent” portion and the “taro” portion are displayed with different thicknesses. For example, according to the likelihood of each character, for example, when the likelihood is 0 to 0.6, it is bold red, and when it is 0.6 to 0.8, it is normal red, 0.8 or more In the case of, it is displayed in black of normal thickness.
このように、それぞれの文字の尤度により異なる態様で表示しているのは、テキストデータの中でも文字により尤度が異なる場合があるので、その文字の尤度がどれくらいであったかを一目で把握することを可能にするためである。その他の構成及び処理の流れについては、実施形態1と同様である。 In this way, because the likelihood is different depending on the character in the text data, it is displayed in a different manner depending on the likelihood of each character, so it is possible to grasp at a glance how much the likelihood of the character was This is to make it possible. Other configurations and processing flows are the same as those in the first embodiment.
本実施形態によれば、上記実施形態1の効果に加え、テキストデータを構成する文字ごとの尤度に応じて、文字の態様を変更するので、その文字の尤度がどれくらいであったかを一目で把握することが可能になる。これにより、文字ごとの読取の信頼性を評価することが可能になる。 According to the present embodiment, in addition to the effects of the first embodiment, the character mode is changed according to the likelihood of each character constituting the text data, so it is possible to determine at a glance how much the likelihood of the character was. It becomes possible to grasp. This makes it possible to evaluate the reading reliability for each character.
(実施形態4)
<構成>
図13は、本開示の実施形態4に係る文字認識システムにおける、画像データから抽出された読取項目の画像データとテキストデータとが並列に表示されている状態の例を示す模式図である。この文字認識システム1は、実施形態1と同様の構成であるが、表示変更部235により変更される、テキストデータ表示部233によって表示されたテキストデータの表示の態様が異なる。この実施形態4では、表示変更部235は、尤度算出部234によって算出されたテキストデータの尤度が所定の閾値(第2の閾値)以上の場合、読取項目の画像データとテキストデータとの表示を行わない点において、実施形態1と異なる。
(Embodiment 4)
<Configuration>
FIG. 13 is a schematic diagram illustrating an example of a state in which image data and text data of a reading item extracted from image data are displayed in parallel in the character recognition system according to the fourth embodiment of the present disclosure. The
図13に示すように、画面P1には、氏名フリガナ読取項目S1、氏名漢字読取項目S2、口座番号読取項目S7、氏名フリガナテキストT1、氏名漢字テキストT2、口座番号テキストT7が表示されているが、図5に示す金融機関名読取項目S3、支店名読取項目S4、金融機関コード読取項目S5、支店コード読取項目S6、金融機関名テキストT3、支店名テキストT4、金融機関コードテキストT5、支店コードテキストT6は表示されていない状態になっている。この例では、金融機関名テキストT3、支店名テキストT4、金融機関コードテキストT5、支店コードテキストT6のテキストデータの尤度が所定の閾値以上であるため、表示変更部235は表示を行っていない。
As shown in FIG. 13, a full name reading item S1, a full name kanji reading item S2, an account number reading item S7, a full name reading text T1, a full name kanji text T2, and an account number text T7 are displayed on the screen P1. 5, financial institution name reading item S3, branch name reading item S4, financial institution code reading item S5, branch code reading item S6, financial institution name text T3, branch name text T4, financial institution code text T5, branch code The text T6 is not displayed. In this example, since the likelihood of the text data of the financial institution name text T3, the branch name text T4, the financial institution code text T5, and the branch code text T6 is equal to or greater than a predetermined threshold value, the
このように、所定の閾値以上の読取項目の画像データ及びテキストデータを表示していないのは、これらのテキストデータの尤度が高く、一定の信頼性があると考えられるため、人間による確認を省略することが可能であると考えられる。そのため、画面P2にこれらの項目を表示せず、人間が確認して個別に手入力で修正を行う可能性のあるテキストデータのみ表示することにより、効率的に文字入力を行うことを可能にするためである。その他の構成及び処理の流れについては、実施形態1と同様である。 As described above, the reason why the image data and text data of the read item that is equal to or greater than the predetermined threshold is not displayed is that the likelihood of the text data is high and it is considered that there is a certain level of reliability. It can be omitted. Therefore, these items are not displayed on the screen P2, but only text data that can be confirmed by humans and individually corrected manually is displayed, thereby enabling efficient character input. Because. Other configurations and processing flows are the same as those in the first embodiment.
本実施形態によれば、上記実施形態1の効果に加え、尤度算出部234によって算出されたテキストデータの尤度が所定の閾値以上の場合、表示変更部235では読取項目の画像データ及びテキストデータの表示を行わないので、一定の信頼性がある読取項目についてテキストデータの確認を省略することができる。これにより、効率的に文字入力を行うことが可能になる。
According to the present embodiment, in addition to the effects of the first embodiment, when the likelihood of the text data calculated by the
なお、その他の実施形態として、文字認識装置に直接スキャナ装置を接続し、ネットワークを経由せずにスタンドアローンで文字認識装置を構成することも可能である。これは、外部への情報漏洩を防止するために、文字認識装置をネットワークに接続せずに構成したい場合に有効である。 As another embodiment, it is also possible to connect the scanner device directly to the character recognition device and configure the character recognition device standalone without going through a network. This is effective when it is desired to configure the character recognition device without connecting to the network in order to prevent information leakage to the outside.
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することができる。また、実施形態1〜4に記載した構成を組み合わせて実施することもできる。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれるものである。 While the embodiments according to the disclosure have been described above, these can be implemented in various other forms, and can be implemented with various omissions, substitutions, and changes. Moreover, it can also implement combining the structure described in Embodiment 1-4. These embodiments and modifications, as well as those obtained by omission, substitution, and change are included in the technical scope of the claims and their equivalents.
1 文字認識システム、100 ユーザシステム、110 スキャナ装置、120 ユーザ端末、200 文字認識装置、210 通信部、220 記憶部、221 画像データDB、222 読取項目DB、223 テキストデータDB、230 制御部、231 読取項目設定部、232 文字認識部、233 テキストデータ表示部、234 尤度算出部、235 表示変更部、NW ネットワーク 1 character recognition system, 100 user system, 110 scanner device, 120 user terminal, 200 character recognition device, 210 communication unit, 220 storage unit, 221 image data DB, 222 reading item DB, 223 text data DB, 230 control unit, 231 Reading item setting unit, 232 character recognition unit, 233 text data display unit, 234 likelihood calculation unit, 235 display change unit, NW network
Claims (9)
前記書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識部と、
前記読取項目ごとに前記読取項目の画像データと前記テキストデータとを比較可能に表示し、前記テキストデータに対して文字入力を行うことで前記テキストデータを編集可能な状態にするテキストデータ表示部と、
前記読取項目ごとに文字認識の尤度を算出する尤度算出部と、
前記読取項目ごとの尤度に基づき、前記テキストデータを表示する箇所の態様を変化させる表示変更部と、を備え、
前記表示変更部は、前記読取項目ごとの尤度が所定の第1の閾値以下である前記テキストデータの前記読取項目について、前記テキストデータの表示欄から文字列を表示しない設定に変更し、前記読取項目ごとの尤度が所定の第2の閾値以上の前記読取項目の画像データと前記テキストデータとを表示せず、前記読取項目ごとの尤度が前記第1の閾値より大きく前記第2の閾値未満である場合、前記読取項目ごとの尤度に応じて前記読取項目の前記テキストデータを表示する箇所の態様を変化させる、文字認識装置。 A character recognition device that reads character information from image data obtained by scanning a document as an image,
A character recognition unit that performs character recognition of character information displayed in a reading item set in the image data of the document and generates text data;
A text data display unit for displaying the image data of the reading item and the text data for each reading item in a comparable manner, and making the text data editable by inputting characters to the text data; ,
A likelihood calculating unit for calculating the likelihood of character recognition for each reading item;
Based on the likelihood of each of the read item, Bei example and a display changing unit that changes the manner of a portion displaying the text data,
The display change unit changes the setting of the text data display item in which the likelihood for each reading item is equal to or less than a predetermined first threshold to a setting that does not display a character string from the text data display column, The image data and the text data of the reading item whose likelihood for each reading item is equal to or greater than a predetermined second threshold are not displayed, and the likelihood for each reading item is larger than the first threshold and the second A character recognition device that changes a mode of a portion where the text data of the read item is displayed according to the likelihood of each read item when the value is less than the threshold .
前記尤度算出部は、前記文字ごとの尤度に対して所定の演算を行い、前記読取項目ごとの尤度を算出する、請求項1から請求項3のいずれか1項に記載の文字認識装置。 The character recognition unit generates the text data and calculates a likelihood for each character constituting the text data,
The character recognition according to any one of claims 1 to 3 , wherein the likelihood calculating unit performs a predetermined operation on the likelihood for each character to calculate the likelihood for each reading item. apparatus.
文字認識部が行う、前記書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、
テキストデータ表示部が行う、前記読取項目ごとに前記読取項目の画像データと前記テキストデータとを比較可能に表示し、前記テキストデータに対して文字入力を行うことで前記テキストデータを編集可能な状態にするテキストデータ表示ステップと、
尤度算出部が行う、前記読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、
算出された尤度に基づき、表示変更部が行う、前記テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を備え、
前記表示変更ステップでは、前記読取項目ごとの尤度が所定の第1の閾値以下である前記テキストデータの前記読取項目について、前記テキストデータの表示欄から文字列を表示しない設定に変更し、前記読取項目ごとの尤度が所定の第2の閾値以上の前記読取項目の画像データと前記テキストデータとを表示せず、前記読取項目ごとの尤度が前記第1の閾値より大きく前記第2の閾値未満である場合、前記読取項目ごとの尤度に応じて前記読取項目の前記テキストデータを表示する箇所の態様を変化させる、文字認識方法。 A character recognition method for reading character information from image data obtained by scanning a document as an image,
A character recognition step for performing character recognition of the character information displayed in the reading item set in the image data of the document, and generating text data, performed by the character recognition unit;
A state in which the text data display unit displays the image data of the read item and the text data so that the read data can be compared for each read item, and the text data can be edited by inputting characters to the text data. Text data display step to
A likelihood calculating step for calculating a likelihood of character recognition for each of the reading items, performed by a likelihood calculating unit;
Based on the calculated likelihood, performed by the display change section, Bei example and a display change step of changing the mode of a portion displaying the text data,
In the display change step, the reading item of the text data whose likelihood for each reading item is equal to or less than a predetermined first threshold is changed from the text data display column to a setting not to display a character string, The image data and the text data of the reading item whose likelihood for each reading item is equal to or greater than a predetermined second threshold are not displayed, and the likelihood for each reading item is larger than the first threshold and the second The character recognition method of changing the aspect of the location which displays the said text data of the said reading item according to the likelihood for every said reading item when it is less than a threshold value .
前記書類の画像データに設定された読取項目に表示されている文字情報の文字認識を行い、テキストデータを生成する文字認識ステップと、
前記読取項目ごとに前記読取項目の画像データと前記テキストデータとを比較可能に表示し、前記テキストデータに対して文字入力を行うことで前記テキストデータを編集可能な状態にするテキストデータ表示ステップと、
前記読取項目ごとに文字認識の尤度を算出する尤度算出ステップと、
算出された尤度に基づき、前記テキストデータを表示する箇所の態様を変化させる表示変更ステップと、を電子計算機に実行させ、
前記表示変更ステップでは、前記読取項目ごとの尤度が所定の第1の閾値以下である前記テキストデータの前記読取項目について、前記テキストデータの表示欄から文字列を表示しない設定に変更し、前記読取項目ごとの尤度が所定の第2の閾値以上の前記読取項目の画像データと前記テキストデータとを表示せず、前記読取項目ごとの尤度が前記第1の閾値より大きく前記第2の閾値未満である場合、前記読取項目ごとの尤度に応じて前記読取項目の前記テキストデータを表示する箇所の態様を変化させる、文字認識プログラム。 A character recognition program that reads character information from image data obtained by scanning a document as an image,
A character recognition step of performing character recognition of the character information displayed in the reading item set in the image data of the document and generating text data;
A text data display step for displaying the image data of the reading item and the text data for each reading item in a comparable manner, and making the text data editable by inputting characters to the text data; ,
A likelihood calculating step for calculating the likelihood of character recognition for each reading item;
Based on the calculated likelihood, causing the electronic computer to execute a display change step of changing the mode of the location where the text data is displayed ,
In the display change step, the reading item of the text data whose likelihood for each reading item is equal to or less than a predetermined first threshold is changed from the text data display column to a setting not to display a character string, The image data and the text data of the reading item whose likelihood for each reading item is equal to or greater than a predetermined second threshold are not displayed, and the likelihood for each reading item is larger than the first threshold and the second The character recognition program which changes the aspect of the location which displays the said text data of the said reading item according to the likelihood for every said reading item when it is less than a threshold value .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018061297A JP6462930B1 (en) | 2018-03-28 | 2018-03-28 | Character recognition apparatus, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018061297A JP6462930B1 (en) | 2018-03-28 | 2018-03-28 | Character recognition apparatus, method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6462930B1 true JP6462930B1 (en) | 2019-01-30 |
JP2019175037A JP2019175037A (en) | 2019-10-10 |
Family
ID=65229058
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018061297A Active JP6462930B1 (en) | 2018-03-28 | 2018-03-28 | Character recognition apparatus, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6462930B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022270575A1 (en) * | 2021-06-25 | 2022-12-29 | ローレルバンクマシン株式会社 | Information processing device and program |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7260455B2 (en) * | 2019-10-25 | 2023-04-18 | 株式会社 ゆうちょ銀行 | Information processing device, information processing method and information processing program |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05182014A (en) * | 1991-12-28 | 1993-07-23 | Ricoh Co Ltd | Character recognition method |
JPH08101880A (en) * | 1994-09-30 | 1996-04-16 | Ricoh Co Ltd | Character recognition device |
JP2000082115A (en) * | 1998-07-03 | 2000-03-21 | Nec Corp | Character recognition device and storage medium recording character recognition program |
JP2000113105A (en) * | 1995-07-31 | 2000-04-21 | Fujitsu Ltd | Method and device for processing medium |
JP2003108919A (en) * | 2001-10-01 | 2003-04-11 | Matsushita Electric Ind Co Ltd | Character recognition device |
JP2003346080A (en) * | 2002-05-22 | 2003-12-05 | Toshiba Corp | Character recognition method |
JP2014078203A (en) * | 2012-10-12 | 2014-05-01 | Fuji Xerox Co Ltd | Image processing device and image processing program |
JP2014137605A (en) * | 2013-01-15 | 2014-07-28 | Fujitsu Marketing Ltd | Receipt definition data generation device and program thereof |
-
2018
- 2018-03-28 JP JP2018061297A patent/JP6462930B1/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05182014A (en) * | 1991-12-28 | 1993-07-23 | Ricoh Co Ltd | Character recognition method |
JPH08101880A (en) * | 1994-09-30 | 1996-04-16 | Ricoh Co Ltd | Character recognition device |
JP2000113105A (en) * | 1995-07-31 | 2000-04-21 | Fujitsu Ltd | Method and device for processing medium |
JP2000082115A (en) * | 1998-07-03 | 2000-03-21 | Nec Corp | Character recognition device and storage medium recording character recognition program |
JP2003108919A (en) * | 2001-10-01 | 2003-04-11 | Matsushita Electric Ind Co Ltd | Character recognition device |
JP2003346080A (en) * | 2002-05-22 | 2003-12-05 | Toshiba Corp | Character recognition method |
JP2014078203A (en) * | 2012-10-12 | 2014-05-01 | Fuji Xerox Co Ltd | Image processing device and image processing program |
JP2014137605A (en) * | 2013-01-15 | 2014-07-28 | Fujitsu Marketing Ltd | Receipt definition data generation device and program thereof |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022270575A1 (en) * | 2021-06-25 | 2022-12-29 | ローレルバンクマシン株式会社 | Information processing device and program |
Also Published As
Publication number | Publication date |
---|---|
JP2019175037A (en) | 2019-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10846553B2 (en) | Recognizing typewritten and handwritten characters using end-to-end deep learning | |
US10846523B2 (en) | System and method of character recognition using fully convolutional neural networks with attention | |
JP4504702B2 (en) | Document processing apparatus, document processing method, and document processing program | |
EP3535689A1 (en) | Method and system for transforming handwritten text to digital ink | |
CN110178139B (en) | System and method for character recognition using a full convolutional neural network with attention mechanisms | |
US8965125B2 (en) | Image processing device, method and storage medium for storing and displaying an electronic document | |
US11170265B2 (en) | Image processing method and an image processing system | |
US9575935B2 (en) | Document file generating device and document file generation method | |
US20140334731A1 (en) | Methods and systems for evaluating handwritten documents | |
CN114730241B (en) | Gesture and stroke recognition in touch user interface input | |
CN110263781B (en) | Image processing device, image processing method, and storage medium | |
JP6462930B1 (en) | Character recognition apparatus, method and program | |
CN108319578B (en) | Method for generating medium for data recording | |
CN111860450A (en) | Ticket recognition device and ticket information management system | |
JP2015069256A (en) | Character identification system | |
CN115311666A (en) | Image-text recognition method and device, computer equipment and storage medium | |
JP7021496B2 (en) | Information processing equipment and programs | |
CN116052195A (en) | Document parsing method, device, terminal equipment and computer readable storage medium | |
JP2022523651A (en) | How to generate a word code, how to recognize a word code, its device, computer program | |
CN115620314A (en) | Text recognition method, answer text verification method, device, equipment and medium | |
CN106650716A (en) | Identification method and device for computer font | |
JP3014123U (en) | Character recognition device | |
JP7410532B2 (en) | Character recognition device and character recognition program | |
JP4697387B2 (en) | Document image determination apparatus, document image determination method and program thereof | |
TWI664604B (en) | System for construction and application of handwriting chinese character glyph sets to be used in a computer system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180328 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180629 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180703 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6462930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |