JP2022120308A - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP2022120308A JP2022120308A JP2021017121A JP2021017121A JP2022120308A JP 2022120308 A JP2022120308 A JP 2022120308A JP 2021017121 A JP2021017121 A JP 2021017121A JP 2021017121 A JP2021017121 A JP 2021017121A JP 2022120308 A JP2022120308 A JP 2022120308A
- Authority
- JP
- Japan
- Prior art keywords
- image
- character
- unit
- feature point
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 177
- 238000000605 extraction Methods 0.000 claims abstract description 62
- 239000000284 extract Substances 0.000 claims abstract description 39
- 230000009466 transformation Effects 0.000 claims abstract description 39
- 238000003860 storage Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000010801 machine learning Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 10
- 230000036541 health Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 19
- 230000008569 process Effects 0.000 abstract description 12
- 238000004458 analytical method Methods 0.000 description 51
- 241000219995 Wisteria Species 0.000 description 17
- 238000013461 design Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 235000010724 Wisteria floribunda Nutrition 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
Description
本発明は、画像処理装置及びプログラムに関する。 The present invention relates to an image processing apparatus and program.
特許文献１には、予め辞書登録済みの商品画像の局所特徴点情報と入力画像から抽出した局所特徴点情報との対応状態に基づいて、両者の相対位置関係を表現する射影変換行列を算出し、射影変換を行うことが記載されている。特許文献２には、画像にて検出された文字の認識をして、そのフォントを判断することが記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１７－１８７９７１号公報
［特許文献２］特開２０１３－１８８９３５号公報
In
[Prior art documents]
[Patent Literature]
[Patent Document 1] JP 2017-187971 [Patent Document 2] JP 2013-188935
本発明の第１の態様においては、画像処理装置が提供される。画像処理装置は、撮影された定型フォーマットの書類の画像である処理対象画像を取得する対象画像取得部を備える。画像処理装置は、定型フォーマットのテンプレート画像を取得するテンプレート画像取得部を備える。画像処理装置は、処理対象画像及びテンプレート画像から、処理対象画像とテンプレート画像との間で画像情報が類似する複数の特徴点ペアを抽出する特徴点ペア抽出部を備える。画像処理装置は、特徴点ペア抽出部により抽出された複数の特徴点ペアの位置に基づいて、処理対象画像を、書類を正面から見た場合に得られるべき正面画像に射影変換する画像変換部を備える。定型フォーマットには、複数の書類の間で共通の情報を持つべき領域である共通領域が定められている。テンプレート画像は、共通領域以外の領域の画像情報を含まず、共通領域内の複数の文字画像のうちの少なくとも一部の文字画像を含む。 A first aspect of the present invention provides an image processing apparatus. The image processing apparatus includes a target image acquisition unit that acquires a processing target image, which is a photographed image of a standard format document. The image processing apparatus includes a template image acquisition section that acquires a template image in a fixed format. The image processing apparatus includes a feature point pair extraction unit that extracts a plurality of feature point pairs having similar image information between the processing target image and the template image from the processing target image and the template image. The image processing device includes an image conversion unit that projectively transforms an image to be processed into a front image that should be obtained when the document is viewed from the front, based on the positions of the plurality of feature point pairs extracted by the feature point pair extraction unit. Prepare. A common area, which is an area where common information should be held among a plurality of documents, is defined in the standard format. The template image does not contain image information of areas other than the common area, and contains at least part of the character images among the plurality of character images in the common area.
テンプレート画像は、共通領域内に含まれる枠線の画像のうちの少なくとも一部の画像を含んでよい。 The template image may include an image of at least part of the image of the border included in the common area.
特徴点ペア抽出部は、テンプレート画像に含まれる複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して、処理対象画像から画像情報が類似する特徴点を抽出することによって、複数の特徴点ペアを抽出してよい。画像処理装置は、複数の画像領域のそれぞれについて、それぞれの画像領域に設定された複数の特徴点に対して処理対象画像から抽出された画像情報が類似する特徴点の数を計数し、複数の画像領域のそれぞれについて計数された特徴点の数に基づいて、複数の画像領域の中から射影変換に用いる一部の画像領域を選択する領域選択部を備えてよい。画像変換部は、領域選択部により選択された一部の画像領域に設定された複数の特徴点に対して抽出された複数の特徴点ペアの位置に基づいて、処理対象画像を正面画像に射影変換してよい。 The feature point pair extraction unit extracts feature points having similar image information from the processing target image for each of the plurality of feature points set in each of the plurality of image regions included in the template image. feature point pairs may be extracted. The image processing device counts the number of feature points having similar image information extracted from the processing target image to the feature points set in each of the plurality of image regions, and calculates a plurality of feature points. An area selection unit may be provided that selects a part of the image areas to be used for projective transformation from among the plurality of image areas based on the number of feature points counted for each of the image areas. The image conversion unit projects the image to be processed onto the front image based on the positions of the plurality of feature point pairs extracted from the plurality of feature points set in the partial image region selected by the region selection unit. can be converted.
領域選択部は、複数の画像領域のうち、複数の画像領域のそれぞれについて計数された特徴点の数がより多い画像領域を、射影変換に用いる画像領域としてより優先して選択してよい。 The area selection unit may preferentially select an image area with a larger number of feature points counted for each of the plurality of image areas as the image area to be used for the projective transformation.
特徴点ペア抽出部は、複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して処理対象画像から画像情報が類似する特徴点を抽出し、処理対象画像から抽出した複数の特徴点の中から、特徴点ペアとして抽出された特徴点同士の位置関係がより近い一部の特徴点を複数の特徴点ペアを構成する特徴点としてより優先して選択してよい。 The feature point pair extraction unit extracts feature points having similar image information from the processing target image for each of the plurality of feature points set in each of the plurality of image regions, and extracts the plurality of features extracted from the processing target image. Among the points, some feature points having closer positional relationships between the feature points extracted as feature point pairs may be preferentially selected as feature points forming a plurality of feature point pairs.
テンプレート画像を格納する格納部を備えてよい。 A storage unit for storing the template image may be provided.
定型フォーマットの書類は人物の写真画像を予め定められた位置に含む書類であってよい。画像処理装置は、定型フォーマットの書類に含まれる人物の写真画像を教師データとして機械学習された学習済みモデルを用いて、処理対象画像から人物の写真画像を含む領域を特定する特定部を備えてよい。画像変換部は、特定部が特定した写真画像を含む領域の位置にさらに基づいて、処理対象画像を正面画像に射影変換してよい。 A form-format document may be a document containing a photographic image of a person at a predetermined location. The image processing device includes an identification unit that identifies an area containing a photographic image of a person from an image to be processed using a trained model machine-learned using a photographic image of a person included in a standard-format document as teacher data. good. The image conversion section may projectively transform the processing target image into the front image further based on the position of the region containing the photographic image identified by the identification section.
定型フォーマットの書類は、自動車又は原動機付自転車の運転免許証、旅券、若しくは健康保険の被保険者証であってよい。 The standard format document may be a driver's license for a motor vehicle or motorized bicycle, a passport, or a health insurance card.
画像処理装置は、正面画像から文字の画像を抽出する文字画像抽出部と、文字画像抽出部が抽出した文字の画像と予め定められた字形を持つ基準文字の画像との相違を示す情報を出力する文字処理部とをさらに備えてよい。 The image processing device outputs a character image extraction unit that extracts a character image from a front image, and outputs information indicating a difference between the character image extracted by the character image extraction unit and a reference character image having a predetermined character shape. and a character processing unit for processing.
文字処理部は、文字画像抽出部が抽出した文字の画像を、処理対象の文字の画像として取得する処理対象文字取得部を備えてよい。文字処理部は、基準文字の画像と、互いに異なる字形を持つ複数の文字の画像とを用いた機械学習によって生成され、入力される文字の画像から予め定められた字形に適応した文字の画像を生成する学習済みモデルを格納する格納部を備えてよい。文字処理部は、学習済みモデルを用いて、処理対象の文字の画像から、予め定められた字形に適応させた処理対象の文字の画像を生成する文字画像生成部を備えてよい。文字処理部は、文字画像生成部が生成した画像と基準文字の画像との比較結果に基づいて、処理対象の文字と基準文字との相違を示す情報を出力する相違情報出力部を備えてよい。 The character processing unit may include a processing target character acquisition unit that acquires the image of the character extracted by the character image extraction unit as the image of the character to be processed. The character processing unit is generated by machine learning using an image of a reference character and images of a plurality of characters having different character shapes. A storage unit for storing the trained model to be generated may be provided. The character processing unit may include a character image generation unit that generates an image of a character to be processed adapted to a predetermined character shape from an image of the character to be processed using a trained model. The character processing unit may include a difference information output unit that outputs information indicating the difference between the character to be processed and the reference character based on the comparison result between the image generated by the character image generation unit and the image of the reference character. .
第２の態様において、プログラムが提供される。プログラムは、コンピュータを、上記の画像処理装置として機能させる。 In a second aspect, a program is provided. The program causes the computer to function as the above image processing device.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not list all the necessary features of the invention. Subcombinations of these feature groups can also be inventions.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Also, not all combinations of features described in the embodiments are essential for the solution of the invention. In addition, in the drawings, the same or similar parts may be denoted by the same reference numerals to omit redundant description.
図１は、一実施形態における画像処理システム１０の全体構成を概略的に示す。画像処理システム１０は、画像処理装置１２と、学習装置２０２と、文字解析装置２８０と、記憶装置２９０と、表示装置８８とを備える。画像処理装置１２は、画像処理部４０と、文字処理部２００とを備える。記憶装置２９０は、フォントデータ１００と、モデル１２０と、特異文字情報１６０とを格納する格納部である。
FIG. 1 schematically shows the overall configuration of an
処理対象画像２０及び解析対象画像３０は、撮影された定型フォーマットの書類の画像である。処理対象画像２０及び解析対象画像３０は、本人確認用書類の画像である。一例として、処理対象画像２０及び解析対象画像３０は、自動車や原動機付自転車の運転免許証、健康保険の被保険者証等のカードを撮影することにより生成された画像である。処理対象画像２０は、画像処理部４０及び文字処理部２００による処理対象の画像となる。本実施形態において定型フォーマットの書類の一例として、運転免許証を取り上げて説明する。
The image to be processed 20 and the image to be analyzed 30 are captured images of standard format documents. The
画像処理部４０は、処理対象画像２０から、運転免許証に使用されている文字を抽出する機能を有する。処理対象画像２０は、例えば、運転免許証の所有者が運転免許証をスマートフォン等のカメラ機能を用いて撮影した画像である。したがって、処理対象画像２０には、運転免許証が置かれた机や床の模様等の背景ノイズが含まれる場合がある。また、処理対象画像２０には、運転免許証を正面から撮影していないこと等によって、運転免許証の画像に歪みが生じている場合がある。その他、処理対象画像２０には、撮影者の影の映り込みや、光源による陰影変化等を含む場合がある。そのため、処理対象画像２０から直接的に文字の画像を抽出すると、運転免許証に使用されている文字を正確な形状で抽出できない可能性がある。
The
そこで、画像処理部４０は、処理対象画像２０とテンプレート画像との間で特徴点マッチングを行って、処理対象画像２０を、運転免許証を正面から撮影した正面画像に変換するための射影変換行列を算出する。画像処理部４０は、算出した射影変換行列を用いて処理対象画像２０を射影変換することによって、処理対象画像２０の正面画像を生成する。画像処理部４０は、射影変換によって生成された処理対象画像２０の正面画像を生成から、運転免許証に使用されている文字の画像を抽出する。例えば、画像処理部４０は、運転免許証の所有者の氏名が印字される部位の画像と、運転免許証の所有者の住所が印字される部位の文字を抽出する。
Therefore, the
画像処理部４０が使用するテンプレート画像は、運転免許証の定型フォーマットとして必ず含まれる部位の画像のみを含む。例えば、テンプレート画像は、運転免許証の所有者の氏名や住所等の個人情報が印字される部位の画像を含まず、氏名欄の「氏名」という文字が印字された部位と、住所欄の「住所」という文字が印字された部位の画像を含む。また、テンプレート画像は、例えば「運転免許証」の「運」、「転」、「免」、「許」及び「証」のそれぞれの文字が印字された部位の画像を含む。なお、運転免許証において生年月日欄に印字される年号の文字や運転免許証番号が印字される部位等には、発行者によって異なるフォントや異なる字体の文字が使用される場合があり得る。テンプレート画像には、発行者によって異なるフォントや異なる字体の文字が使用される可能性がある部位の文字の画像を含まないことが望ましい。このように、テンプレート画像は、運転免許証の定型フォーマットとして必ず含まれる部位の画像のみを含むので、正確な射影変換行列を算出することができる。これにより、運転免許証の氏名欄、住所欄に用いられている文字の形状を正確に表す画像を抽出することができる。
The template image used by the
画像処理部４０が抽出した文字の画像は、文字処理部２００に入力される。文字処理部２００は、運転免許証に使用されている文字のうち、特徴的な字形を持つ文字を示す情報を生成する機能を有する。文字処理部２００の機能の概要を説明する。
The character image extracted by the
学習装置２０２は、フォントデータ１００に含まれる複数のフォントの文字画像を用いた機械学習によって、入力される文字の字形を、基準となるフォントの字形に適応させる学習済みモデル１２０を生成する。一例として、モデル１２０は、「とめ」、「はね」、「はらい」等のような装飾的な字形要素を、基準となるフォントの字形要素に適応させるためのニューラルネットワークモデルである。学習装置２０２がモデル１２０を生成する処理については後述する。
The
文字処理部２００は、モデル１２０を用いて、処理対象画像２０から抽出された文字を、基準となる字形に適応させた上で、処理対象画像２０に含まれる文字のうち、どの文字が特徴的な字形を持つかを示す情報を生成して、特異文字情報１６０に記録する。文字処理部２００が生成した情報は表示装置８８に表示され、特徴的な字形を持つ文字であるか否かを判定者８０が最終的に判定してよい。なお、本実施形態において、特徴的な字形を持つ文字のことを「特異文字」と呼ぶ場合がある。
The
処理対象画像２０及び解析対象画像３０は、例えば、同一の発行機関が発行した運転免許証を撮影した画像であってよい。一例として、処理対象画像２０及び解析対象画像３０は、同一の発行者が発行した運転免許証ｎの画像であってよい。上述したように、運転免許証は、発行者毎に独自のフォントを用いて作成される場合がある。文字解析装置２８０は、特異文字情報１６０の情報を用いて解析対象画像３０を解析するので、運転免許証の作成に使用する特徴的な字形を持つ文字を認識して、解析対象画像３０に含まれる文字を適切に解析することができる。なお、文字処理部２００の機能については、図９から図１７等に関連して説明する。
The
図２は、画像処理部４０の機能ブロックを示す。画像処理部４０は、テンプレート画像取得部４１と、対象画像取得部４２と、画像切り出し部４３と、特徴点ペア抽出部４４と、特定部４５と、領域選択部４６と、画像変換部４７と、文字画像抽出部４８と、格納部４９とを備える。
FIG. 2 shows functional blocks of the
画像処理部４０は、コンピュータにより実現される。文字処理部２００、学習装置２０２、及び文字解析装置２８０は、１以上の任意の数のコンピュータにより実現されてよい。格納部４９は、不揮発性の記憶媒体や揮発性の記憶媒体によって実現されてよい。格納部４９は、インターネット等の通信回線を通じてアクセス可能な外部の記憶媒体によって実現されてよい。
The
対象画像取得部４２は、撮影された定型フォーマットの書類の画像である処理対象画像を取得する。本実施形態において、定型フォーマットの書類は、運転免許証である。
The target
テンプレート画像取得部４１は、定型フォーマットのテンプレート画像を取得する。具体的には、格納部４９はテンプレート画像を格納し、テンプレート画像取得部４１は、格納部４９からテンプレート画像を取得する。
The template
定型フォーマットには、複数の書類の間で共通の情報を持つべき領域である共通領域が定められている。テンプレート画像は、共通領域以外の領域の画像情報を含まず、共通領域内の複数の文字画像のうちの少なくとも一部の文字画像を含む。テンプレート画像は、共通領域内に含まれる枠線の画像のうちの少なくとも一部の画像を含んでよい。 A common area, which is an area where common information should be held among a plurality of documents, is defined in the standard format. The template image does not contain image information of areas other than the common area, and contains at least part of the character images among the plurality of character images in the common area. The template image may include an image of at least part of the image of the border included in the common area.
特徴点ペア抽出部４４は、処理対象画像及びテンプレート画像から、処理対象画像とテンプレート画像との間で画像情報が類似する複数の特徴点ペアを抽出する。例えば、特徴点ペア抽出部４４は、処理対象画像の各領域から局所特徴量を抽出し、テンプレート画像において設定された予め設定された特徴点から抽出される局所特徴量に類似する局所特徴量が抽出された領域を特徴点として選択して、選択した特徴点とテンプレート画像において設定された特徴点とを特徴点ペアとして抽出する。画像変換部４７は、特徴点ペア抽出部４４により抽出された複数の特徴点ペアの位置に基づいて、処理対象画像を、書類を正面から見た場合に得られるべき正面画像に射影変換する。
The feature point
特徴点ペア抽出部４４は、テンプレート画像に含まれる複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して、処理対象画像から画像情報が類似する特徴点を抽出することによって、複数の特徴点ペアを抽出する。領域選択部４６は、複数の画像領域のそれぞれについて、それぞれの画像領域に設定された複数の特徴点に対して処理対象画像から抽出された画像情報が類似する特徴点の数を計数し、複数の画像領域のそれぞれについて計数された特徴点の数に基づいて、複数の画像領域の中から射影変換に用いる一部の画像領域を選択する。例えば、領域選択部４６は、複数の画像領域のうち、複数の画像領域のそれぞれについて計数された特徴点の数がより多い画像領域を、射影変換に用いる画像領域としてより優先して選択する。画像変換部４７は、領域選択部４６により選択された一部の画像領域に設定された複数の特徴点に対して抽出された複数の特徴点ペアの位置に基づいて、処理対象画像を正面画像に射影変換する。
The feature point
例えば、画像変換部４７は、特徴点ペアを構成する特徴点の画像上の位置に基づいて、処理対象画像を正面画像に射影変換するための射影変換行列を算出し、算出した射影変換行列を処理対象画像に適用することによって、正面画像を生成する。例えば、画像変換部４７は、射影変換後の画素位置を（ｘ１、ｙ１）とし、射影変換前の画素位置を（ｘ２，ｙ２）とした場合に、次の式（１）で表される射影変換行列Ｈを算出する。
例えば、画像変換部４７は、テンプレート画像において設定された特徴点の位置を（ｘ１、ｙ１）とし、処理対象画像２０から抽出された特徴点の位置を（ｘ２、ｙ２）として、最小二乗法等を用いた数値計算によって射影変換行列Ｈのパラメータｈ１１からｈ３３を算出する。
For example, the
特徴点ペア抽出部４４は、複数の画像領域のそれぞれに設定された複数の特徴点のそれぞれに対して処理対象画像から画像情報が類似する特徴点を抽出し、処理対象画像から抽出した複数の特徴点の中から、特徴点ペアとして抽出された特徴点同士の位置関係がより近い一部の特徴点を複数の特徴点ペアを構成する特徴点としてより優先して選択してよい。
The feature point
定型フォーマットの書類は、人物の写真画像を含む書類であってよい。例えば、定型フォーマットの書類は、運転免許証又はパスポートであってよい。定型フォーマットの書類が人物の写真画像を含む書類である場合、特定部４５は、運転免許証に含まれる人物の写真画像を教師データとして機械学習された学習済みモデルを用いて、処理対象画像から人物の写真画像を含む領域を特定する。画像変換部４７は、特定部４５が特定した写真画像を含む領域の位置にさらに基づいて、処理対象画像を正面画像に射影変換する。
A form-format document may be a document containing a photographic image of a person. For example, the form-formatted document may be a driver's license or passport. If the document in the standard format contains a photographic image of a person, the identifying
文字画像抽出部４８は、画像変換部４７が生成した正面画像から文字の画像を抽出する。文字処理部２００は、文字画像抽出部４８が抽出した文字の画像と予め定められた字形を持つ基準文字の画像との相違を示す情報を出力する。
The character
図３は、画像切り出し部４３のよる画像の切り出し処理を説明する図面である。処理対象画像２０には、背景画像２１と、運転免許証が撮影された画像２２とを含む。背景画像２１は、例えば、運転免許証の背後にある机や床等が撮影された部分の画像である。画像切り出し部４３は、処理対象画像２０から物体認識を行うことによって、運転免許証が撮像された部分を特定する。画像切り出し部４３は、処理対象画像２０から、運転免許証の画像が持つべき特徴的な画像特徴量を検出し、運転免許証が持つ特徴的な画像特徴量が検出された部位を囲う枠線２３を特定することによって、運転免許証が撮像された部分を特定してよい。画像切り出し部４３は、処理対象画像２０から、運転免許証が撮像された部分の画像２２を切り出す。画像切り出し部４３が切り出した画像２２は、特徴点ペア抽出部４４及び画像変換部４７に供給される。これにより、特徴点ペア抽出部４４及び画像変換部４７が処理する画像に背景ノイズが含まれないようにすることができる。
FIG. 3 is a diagram for explaining image clipping processing by the
運転免許証が正面から撮影されない場合、運転免許証の画像２２には矩形からの歪みが生じる場合がある。特徴点ペア抽出部４４、領域選択部４６及び画像変換部４７により、画像２２を射影変換することによって、運転免許証を正面から撮影した場合に得られるべき正面画像を仮想的に生成する。
If the driver's license is not photographed from the front, the driver's
図４は、運転免許証の定型フォーマット５０を運転免許証５２の一例とともに模式的に示す。定型フォーマット５０は、氏名欄の「氏名」の文字、生年月日欄の「年 月 日 生」の文字、住所欄の「住所」の文字、運転免許の条件欄の「免許の条件等」の文字、「運転免許証」の文字等を含む。これら定型フォーマット５０に含まれる情報は、全ての運転免許証に共通する情報である。なお、図４の点線は、運転免許証の外枠を分かりやすく表すことを目的として図示したものであり、印字情報としての定型フォーマットには含まれるものではない。
FIG. 4 schematically shows a
運転免許証５２は、共通情報に加えて、氏名「○○太郎」の文字、生年月日欄の「平成２ １ １」の文字、住所欄の「○○県××市△△１－１－１」の文字等の情報を含む。これらの情報は、運転免許証の発行者によって印字される情報であるため、発行者によって字体やフォントが違う可能性がある。
In addition to the common information, the driver's
図５は、特徴点ペア抽出部４４が使用するテンプレート画像６０を模式的に示す。図５の点線は、図４の点線と同様に運転免許証の外枠を分かりやすく表すことを目的として図示したものであり、テンプレート画像６０の画像情報として含まれるものではない。
FIG. 5 schematically shows a
テンプレート画像６０は、氏名欄の「氏名」の文字を含む画像領域６１の画像と、住所欄の「住所」の文字を含む画像領域６２の画像と、「運」の文字を含む画像領域６３の画像と、「転」の文字を含む画像領域６４のと、「免」の文字を含む画像領域６５と、「許」の文字を含む画像領域６６と、「証」の文字を含む画像領域６７からなる画像である。画像領域６２の画像は、「氏名」の文字を囲む枠線６８の画像を含む。また、画像領域６３の画像は、「住所」の文字を囲む枠線６９の画像を含む。なお、テンプレート画像６０として、枠線６８及び枠線６９の画像を含まず、文字の画像のみを含む形態を採用してもよい。
The
図５に示されるように、テンプレート画像６０は、定型フォーマット５０に含まれる情報の画像情報を含み、定型フォーマット５０に含まれない情報の画像情報を含まない。したがって、テンプレート画像６０は、運転免許証の発行者によらず、全ての運転免許証が共通して持つべき情報の画像情報から構成される。そのため、特徴点ペア抽出部４４が処理対象画像２０から特徴点をより正確に抽出することが可能になる。
As shown in FIG. 5, the
図６は、特徴点ペア抽出部４４による特徴点マッチングの処理結果を模式的に示す。特徴点ペア抽出部４４は、テンプレート画像６０の画像領域６１、画像領域６２、画像領域６３、画像領域６４、画像領域６５、画像領域６６及び画像領域６７に、複数の特徴点を設定する。なお、図６には、特徴点の対応関係を分かりやすく示すことを目的として、画像領域６１から画像領域６７の各領域に特徴点を２つ設定した場合を示している。画像領域６１から画像領域６７の各領域に設定される特徴点の数は２つに限定されない。各領域に設定される特徴点の数は３つ以上であってよい。各領域に設定される特徴点の数は１つ以上であってもよい。
FIG. 6 schematically shows the processing result of feature point matching by the feature point
一例として、画像領域６１には、特徴点７１Ａ及び特徴点７２Ｂを含む複数の特徴点が設定されている。特徴点ペア抽出部４４は、特徴点マッチングにより、特徴点７１Ａと類似する画像情報を持つ特徴点７１ａと、特徴点７２Ｂと類似する画像情報を持つ特徴点７１ｂとを、画像２２から抽出する。特徴点ペア抽出部４４は、特徴点７１Ａ及び特徴点７１ａを１つの特徴点ペアとして抽出し、特徴点７１Ｂ及び特徴点７１ｂを１つの特徴点ペアとして抽出する。
As an example, the
また、一例として、画像領域６３には、特徴点７３Ａ及び特徴点７３Ｂを含む複数の特徴点が設定されている。特徴点ペア抽出部４４は、特徴点マッチングにより、特徴点７３Ａと類似する画像情報を持つ特徴点７３ａと、特徴点７３Ｂと類似する画像情報を持つ特徴点７３ｂとを、画像２２から抽出する。特徴点ペア抽出部４４は、特徴点７３Ａ及び特徴点７３ａを１つの特徴点ペアとして抽出し、特徴点７３Ｂ及び特徴点７３ｂを１つの特徴点ペアとして抽出する。
As an example, the
なお、特徴点ペア抽出部４４は、特徴点７３Ｂと類似する画像情報を持つ特徴点として、特徴点７３ｂ以外に特徴点７３ｃが抽出された場合、テンプレート画像６０に設定された他の特徴点と画像２２から抽出された対応する特徴点との間の位置関係に基づいて、特徴点７３ｃを特徴点ペアとして選択せずに除外する。例えば、特徴点７３Ｂと特徴点７３ｃとを結ぶ線分は、テンプレート画像６０に設定された他の特徴点と画像２２から抽出された特徴点とを結ぶ線分とは向きが大きく異なる。そのため、特徴点ペア抽出部４４は、特徴点７３Ｂと特徴点７３ｃとの間の位置関係は、他の特徴点間の位置関係とは異なるものと判断し、特徴点７３Ｂの特徴点ペアとして、特徴点７３Ｂ及び特徴点７３ｃを除外する。これにより、特徴点ペア抽出部４４は、特徴点７３Ｂの特徴点ペアとして、特徴点７３Ｂ及び特徴点７３ｂのみを抽出する。
Note that when the feature point
図７は、領域選択部４６が領域を選択する処理を説明するための表である。ここでは、図７の「領域」の列に示されているように、「氏名」の文字を含む画像領域６１と、「住所」の文字を含む画像領域６２と、「運」の文字を含む画像領域６３とを取り上げて説明する。また、図７の「特徴点」の列に示されているように、画像領域６１には５つの特徴点７１Ａ～特徴点７１Ｅが設定されており、画像領域６２には５つの特徴点７２Ａ～特徴点７２Ｅが設定されており、画像領域６３には５つの特徴点７３Ａ～特徴点７３Ｅが設定されているものとする。
FIG. 7 is a table for explaining the process of selecting an area by the
図７の表において、「特徴点ペア抽出結果」の列は、特徴点ペア抽出部４４によって特徴点ペアが抽出されたか否かを示す。「特徴点ペア抽出結果」の列において、「○」は特徴点ペアが抽出されたことを示し、「×」は特徴点ペアが抽出されなかったことを示す。なお、特徴点ペアが抽出されない場合としては、例えば撮影者の影の映り込みや、光源による陰影変化の影響等によって特徴点が抽出されなかった場合や、撮影者の指によって免許証の一部が隠されることによって特徴点が抽出されなかった場合等があり得る。その他、図６において画像領域６３の特徴点７３Ｂに関連して説明したように、画像２２から１つ以上の特徴点が抽出されたものの、特徴点の位置関係に基づいて特徴点ペアを構成する特徴点から除外したことによって、特徴点ペアを１つも抽出できなかった場合等があり得る。
In the table of FIG. 7 , the column “feature point pair extraction result” indicates whether feature point pairs have been extracted by the feature point
図７の表において、「使用」の列は、特徴点ペアの位置情報を射影変換に使用するか否かを示す。「使用」の列において、「○」は特徴点ペアの位置情報を射影変換に使用することを示し、「×」は特徴点ペアの位置情報を射影変換に使用しないことを示す。例えば、図７の表の「特徴点ペア抽出結果」の列に示されるように、画像領域６１及び画像領域６２においては、設定された５つの特徴点のうち４つの特徴点について特徴点ペアが抽出されている。一方、画像領域６３においては、設定された５つの特徴点のうち３つの特徴点について特徴点ペアが抽出されていない。この場合、領域選択部４６は、射影変換に用いる画像領域として画像領域６１及び画像領域６２を選択し、射影変換に使用する画像領域として画像領域６３を選択しない。
In the table of FIG. 7 , the “Use” column indicates whether or not the position information of feature point pairs is used for projective transformation. In the "use" column, "o" indicates that the position information of the feature point pair is used for projective transformation, and "x" indicates that the position information of the feature point pair is not used for projective transformation. For example, as shown in the column of "feature point pair extraction result" in the table of FIG. extracted. On the other hand, in the
このように、領域選択部４６は、特徴点ペアが抽出された数がより多い画像領域を、射影変換に用いる特徴点ペアを選択するための画像領域として、より優先して選択する。なお、領域選択部４６は、射影変換に用いる特徴点ペアを選択するための画像領域として、特徴点ペアが抽出された数が予め定められた閾値以上の画像領域を選択してよい。領域選択部４６は、射影変換に用いる特徴点ペアを選択するための画像領域として、画像領域に設定された特徴点の数に対する特徴点ペアが抽出された数の比率が予め定められた閾値以上の画像領域を選択してよい。このように、領域選択部４６は、特徴点ペアが抽出された数に基づいて、射影変換に用いる特徴点ペアを選択するための画像領域として、テンプレート画像６０において設定された複数の画像領域から一部の画像領域を選択してよい。例えば、特定の画像領域に設定された特徴点について抽出された特徴点ペアの数が少ない場合に比べると、抽出された特徴点ペアの数が多い方が、特徴点ペアの抽出結果として信頼性が高いと判断することができる。これにより、射影変換に用いる特徴点ペアを選択するための画像領域から、特徴点ペアの抽出結果の信頼性が低い可能性が高い画像領域を、除外することができる。
In this way, the
画像変換部４７は、領域選択部４６が選択した画像領域に設定された特徴点について抽出された特徴点ペアの位置に基づいて、射影変換行列Ｈを算出する。そして、画像変換部４７は、算出した射影変換行列Ｈを画像２２に適用して、正面画像を生成する。これにより、処理対象画像２０において歪のある運転免許証の画像２２から、歪が低減された正面画像を生成することができる。そして、文字画像抽出部４８は、画像変換部４７により生成された正面画像から、文字の画像を抽出する。例えば、文字画像抽出部４８は、画像変換部４７が生成した正面画像から、定型フォーマット５０の氏名欄において運転免許証の所有者の氏名が印字される領域から「○○太郎」の文字の画像を抽出する。また、文字画像抽出部４８は、定型フォーマット５０の住所欄において運転免許証の所有者の住所が印字される領域から「○○県××市△△１－１－１」の文字の画像を抽出する。
The
図８及び図９は、人物の写真画像の位置を更に用いて射影変換を行う場合の処理を説明するための図である。図８は、テンプレート画像６０において写真画像を含むべき画像領域９０を示す。画像領域９０は、定型フォーマット５０において予め定められる特定の領域である。図８及び図９において、画像領域９０に特徴点９１Ａ及び特徴点９１Ｂが設定される場合を説明する。画像領域９０は矩形形状を有する。図８に示す例において、特徴点９１Ａ及び特徴点９１Ｂは、画像領域９０の矩形の２つの頂点である。
FIG. 8 and FIG. 9 are diagrams for explaining the process of performing projective transformation further using the position of the photographic image of the person. FIG. 8 shows an
図９は、写真画像の画像領域から抽出した特徴点ペアを模式的に示す。特定部４５は、人物の写真画像を含む画像領域９００を画像２２から特定する。特徴点ペア抽出部４４は、特定部４５が特定した画像領域９００から特徴点９１ａ及び特徴点９１ｂを抽出することにより、特徴点ペアを特定する。
FIG. 9 schematically shows feature point pairs extracted from an image area of a photographic image. The specifying
例えば、特定部４５は、運転免許証に含まれる人物の写真画像を教師データとして機械学習された学習済みモデルを用いる。例えば、第１の学習済みモデルは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）等の機械学習アルゴリズムを利用して、運転免許証を撮像することにより得られた画像に含まれる写真画像の画像領域のうちの人物の画像領域から抽出される画像特徴量を教師データとして、運転免許証に含まれる画像領域から抽出される画像特徴量と人物の画像領域との関係性を学習させる教師あり機械学習により生成される。また、第２の学習済みモデルは、畳み込みニューラルネットワーク（ＣＮＮ）等の機械学習アルゴリズムを利用して、運転免許証を撮像することにより得られた画像に含まれる写真画像の画像領域のうちの人物の背景の画像領域から抽出される画像特徴量を教師データとして、運転免許証に含まれる画像領域から抽出される画像特徴量と人物の背景の画像領域との関係性を学習させる教師あり機械学習により生成される。
For example, the identifying
特定部４５は、画像２２の各画像領域から抽出した画像特徴量と第１の学習済みモデルとを用いて、それぞれの画像領域が運転免許証に含まれる人物の画像領域であるか否かを判定し、画像２２の各画像領域から抽出した画像特徴量と第２の学習済みモデルとを用いて、それぞれの画像領域が運転免許証に含まれる人物の背景の画像領域であるか否かを判定することによって、画像２２から画像領域９００を特定する。
The specifying
特徴点ペア抽出部４４は、テンプレート画像６０に設定される特徴点９１Ａと特定部４５により特定された画像領域９００の１つの頂点を特徴点９１ａとを特徴点ペアとして抽出する。また、特徴点ペア抽出部４４は、テンプレート画像６０に設定される特徴点９１Ｂと特定部４５により特定された画像領域９００の１つの頂点を特徴点９１ｂとを特徴点ペアとして抽出する。特徴点ペア抽出部４４は、画像領域９００の外形を表す頂点のうち、特定部４５により背景の画像領域として判定された側の２つの頂点のうち、人物の右側の頂点を特徴点９１ａとして選択してよい。特徴点ペア抽出部４４は、画像領域９００の外形を表す頂点のうち、特定部４５により人物の画像領域として判定された側の２つの頂点のうち、人物の右側の頂点を特徴点９１ｂとして選択してよい。
The feature point
特徴点ペア抽出部４４は、図５等に関連して説明したように、テンプレート画像６０に設定された他の特徴点と画像２２から抽出された対応する特徴点との間の位置関係に基づいて、特徴点９１ａ及び特徴点９１ｂをそれぞれ特徴点ペアを構成する特徴点として選択するか否かを判断してよい。
The feature point
なお、図８においては、一例として画像領域９０に２つの特徴点を設定する場合を説明したが、画像領域９０に設定される特徴点の数は２つに限られない。画像領域９０に設定される特徴点の数は３つ以上であってよい。画像領域９０に設定される特徴点の数は１つであってもよい。
In FIG. 8, the case where two feature points are set in the
画像変換部４７は、テンプレート画像６０の画像領域６１、画像領域６２、画像領域６３、画像領域６４、画像領域６５、画像領域６６及び画像領域６７に設定した複数の特徴点について抽出した特徴点ペアに加えて、画像領域９００に設定した特徴点９１Ａ及び特徴点９１Ｂについて抽出した特徴点ペアを用いて、射影変換を行う。この際、図７等に関連して説明したように、領域選択部４６は、画像領域９００から抽出された特徴点ペアの数に基づいて、画像領域９００を射影変換に用いる画像領域として選択するか否かを判断してよい。画像変換部４７は、画像領域９００を射影変換に用いる画像領域として選択された場合に、画像領域９００に設定した特徴点９１Ａ及び特徴点９１Ｂについて抽出した特徴点ペアを更に用いて射影変換を行ってよい。
The
以上に説明したように、画像処理部４０の処理によれば、定型フォーマットの書類から抽出される文字の画像が、定型フォーマットの書類の発行者が使用する字形やフォントの違いの影響を受けにくくすることができる。これにより、書類の発行者によって印字された文字を正確に判断することが可能になる。なお、本実施形態において、定型フォーマットの書類の一例として運転免許証を適用した場合を説明した。定型フォーマットの書類としては、運転免許証の他に、健康保険の被保険者証、クレジットカード等の、個人情報を含むカード状の書類を適用できる。定型フォーマットの書類は、旅券において所有者の個人情報を含むページであってよい。定型フォーマットの書類は、旅券において所有者の写真画像を含むページであってよい。定型フォーマットの書類は、定型フォーマットとして文字が印字又は記載される領域を含む任意の書類であってよい。
As described above, according to the processing of the
次に、図１０から図１７を参照し、画像処理部４０により抽出される文字の画像を利用する一利用形態として、文字処理部２００に関する処理を具体的に説明する。
Next, referring to FIG. 10 to FIG. 17, the processing of the
図１０は、画像処理システム１０が実行する処理の流れを概略的に示す。学習装置２０２は、フォントデータ１００を用いた機械学習により、モデル１２０を生成する。フォントデータ１００は、フォントＡ、Ｂ１、Ｂ２・・・のデータを含む。フォントＡ、Ｂ１、Ｂ２・・・は、それぞれ互いに異なる字形を持つ。フォントＡ、フォントＢ１、フォントＢ２・・・のうち、特定のフォントＡを、基準フォントＡと呼ぶ。基準フォントＡは、特異文字を特定する場合に比較対象として用いられる基準となるフォントである。なお、複数のフォントＢ１、Ｂ２・・・を、各フォントを識別する符号「ｉ」を用いて、「フォントＢｉ」と総称する場合がある。
FIG. 10 schematically shows the flow of processing executed by the
フォントＡ及びフォントＢｉのデータは、機械学習用のフォントデータとして用いられる。学習装置２０２は、フォントＡ及びフォントＢｉのフォントデータを用いて機械学習することによって、フォントＢｉの各フォントの文字を、フォントＡの文字の字形に適応させるモデル１２０を生成する。モデル１２０は、例えばニューラルネットワークによって構築されるモデルである。学習装置２０２は、｛フォントＢｉの文字とフォントＡの文字｝を１つの文字ペアとして機械学習を行い、フォントＢｉの文字の画像を入力した場合にフォントＡの文字の字形に適応した文字の画像を生成するモデル１２０を生成する。
The data of font A and font Bi are used as font data for machine learning. The
モデル１２０が生成されると、文字処理部２００は、処理対象画像２０の画像から抽出した文字の画像をモデル１２０に入力して、適応文字１４０を生成する。文字処理部２００は、適応文字１４０と基準フォントＡの文字との比較結果に基づいて、処理対象画像２０の画像から抽出した文字が特異文字であるか否かを判定して、特異文字と判定された文字の情報を特異文字情報１６０に記録する。
After the
文字解析装置２８０は、特異文字情報１６０を用いて、解析対象画像３０の画像に対して文字解析を行う。例えば、「藤」の字が特異文字として判定されている場合、特異文字情報１６０は、解析対象画像３０の「藤」の文字を正しく認識するように構築されたアルゴリズムで文字認識を行う。
The
図１１は、文字処理部２００、学習装置２０２、及び文字解析装置２８０の機能ブロックを示す。
FIG. 11 shows functional blocks of the
学習装置２０２は、フォント選択部２０４と、モデル生成部２０６とを備える。文字処理部２００は、処理対象文字取得部２１０と、文字画像生成部２２０と、文字画像選択部２３０と、相違情報出力部２４０と、判定結果取得部２５０とを備える。文字解析装置２８０は、解析対象画像取得部２８２と、文字画像抽出部２８４と、文字解析部２８６とを備える。
The
文字処理部２００、学習装置２０２、及び文字解析装置２８０は、コンピュータにより実現される。文字処理部２００、学習装置２０２、及び文字解析装置２８０は、１以上の任意の数のコンピュータにより実現されてよい。記憶装置２９０は、不揮発性の記憶媒体や揮発性の記憶媒体によって実現される。
The
記憶装置２９０は、予め定められた字形を持つ基準文字の画像と、互いに異なる字形を持つ複数の文字の画像とを用いた機械学習によって生成された学習済みモデル１２０を格納する。モデル１２０は、入力される文字の画像から、予め定められた字形に適応した文字の画像を生成するモデルである。
The
学習装置２０２において、モデル生成部２０６は、予め定められた字形を持つ基準文字の画像と、互いに異なる字形を持つ文字のそれぞれの画像との複数の組を学習データとした敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ、ＧＡＮ）を用いてモデル１２０を生成する。
In the
モデル生成部２０６は、学習データとしてフォントデータ１００を用いてよい。この場合、「予め定められた字形を持つ基準文字」は、予め定められた第１のフォントに属する文字であり、「互いに異なる字形を持つ複数の文字」は、第１のフォントとは異なる、互いに異なる複数の第２のフォントに属する文字である。具体的には、第１のフォントは、上述した基準フォントＡに対応し、第２のフォントは、上述したフォントＢｉに対応する。
The
フォント選択部２０４は、第１のフォントと、複数の第２のフォントとを選択する。フォント選択部２０４は、判定者８０が指定したフォントを、第１のフォントとして選択してよい。モデル生成部２０６は、第１のフォントの画像と、複数の第２のフォントの画像とを用いた機械学習を行って、モデル１２０を生成する。モデル１２０は、複数の第２のフォントに属する文字の画像から、第１のフォントに属する文字の字形に適応した文字の画像を生成するモデル１２０を生成するように機械学習することによって生成されたモデルである。
文字処理部２００において、処理対象文字取得部２１０は、処理対象の文字の画像を取得する。処理対象の文字は、例えば、処理対象画像２０に含まれる文字の画像である。処理対象の文字の画像は、具体的には、画像処理部４０によって処理対象画像２０の正面画像から抽出された文字の画像である。
In the
文字画像生成部２２０は、学習済みモデル１２０を用いて、処理対象の文字の画像から、予め定められた字形に適応させた処理対象の文字の画像を生成する。相違情報出力部２４０は、文字画像生成部２２０が生成した画像と基準文字の画像との比較結果に基づいて、処理対象の文字と基準文字との相違を示す情報を出力する。
The character
相違情報出力部２４０は、文字画像生成部２２０が生成した画像と基準文字の画像とを重畳して表示させる。例えば、相違情報出力部２４０は、文字画像生成部２２０が生成した画像と基準文字の画像とを互いに異なる色で重畳して表示させてよい。判定結果取得部２５０は、文字画像生成部２２０が生成した画像と基準文字の画像とが相違するか否かを示す情報を、利用者としての判定者８０から取得する。
The difference
例えば、文字画像選択部２３０は、複数の基準文字の画像の中から、文字画像生成部２２０が生成した文字の画像に類似する文字の画像を選択する。そして、相違情報出力部２４０は、文字画像選択部２３０が選択した画像と、文字画像生成部２２０が生成した画像とを重畳して表示させる。例えば、相違情報出力部２４０は、文字画像選択部２３０が選択した画像と、文字画像生成部２２０が生成した画像とを重畳して、表示装置８８に表示させる。文字画像生成部２２０が生成した画像と基準文字の画像とを重畳させて表示するので、判定者８０は、文字の字形を基準フォントに適応させた文字が基準文字と相違する部位を適切に判断することができる。
For example, the character
相違情報出力部２４０は、処理対象の文字と基準文字とが相違すると判定された場合に、処理対象の文字が特徴的な字形を持つ文字であることを示す情報を特異文字情報１６０に記録してよい。なお、「処理対象の文字が特徴的な字形を持つ文字であることを示す情報」は、「処理対象の文字と基準文字との相違を示す情報」の一例である。相違情報出力部２４０は、特異文字情報１６０に記録する際、処理対象画像２０の発行主体情報とともに記録してよい。
The difference
相違情報出力部２４０は、文字画像生成部２２０が生成した画像と基準文字の画像とを比較して、文字画像生成部２２０が生成した画像において基準文字の画像とは文字の骨格が異なる部位が存在する場合に、文字の骨格が異なる部位を示す情報と処理対象の文字の識別情報とを対応づけて記録する。
The difference
文字解析装置２８０において、解析対象画像取得部２８２は、文字の解析対象となる書類としての解析対象画像３０の画像データを取得する。解析対象画像３０は、「文字の解析対象となる書類」の一例である。文字画像抽出部２８４は、解析対象画像３０の画像データから、文字を含む画像を抽出する。文字解析部２８６は、相違情報出力部２４０によって記録された情報を用いて、文字画像抽出部２８４が抽出した画像に含まれる文字を解析する。文字解析部２８６は、判定者８０から解析対象画像３０の発行主体情報を受付けて、その発行主体情報をもとに選択された特異文字情報１６０を使用して、文字を解析するよい。このように、文字解析部２８６は、特異文字情報１６０を用いて、文字画像抽出部２８４が抽出した画像に含まれる文字を解析する。処理対象画像２０は、解析対象画像３０と同種の書類のサンプル画像である。そのため、解析対象画像３０には、処理対象画像２０で使用されている文字と同じフォントの文字が使用されている。文字解析部２８６は、処理対象画像２０から特定された特異文字を認識して解析対象画像３０を解析するので、解析対象画像３０に記載されている内容をより正確に解析することができる。
In the
図１２は、学習データの構成を示す。学習データは、文字ペア４００－１１、文字ペア４００－１２、文字ペア４００－１３・・・と、文字ペア４００－２１、文字ペア４００－２２、文字ペア４００－２３・・・とを含む。 FIG. 12 shows the configuration of learning data. The learning data includes a character pair 400-11, a character pair 400-12, a character pair 400-13, .
文字ペア４００－１１は、フォントＢ１の「藤」の文字と、基準フォントＡの「藤」の文字とのペアである。文字ペア４００－１２は、フォントＢ１の「研」の文字と、基準フォントＡの「研」の文字とのペアである。文字ペア４００－１３は、フォントＢ１の「あ」の文字と、基準フォントＡの「あ」の文字とのペアである。 A character pair 400-11 is a pair of the character "wisteria" of font B1 and the character "wisteria" of reference font A. FIG. Character pair 400-12 is a pair of the character "ken" of font B1 and the character "ken" of reference font A. FIG. A character pair 400-13 is a pair of the character "a" of font B1 and the character "a" of reference font A. FIG.
文字ペア４００－２１は、フォントＢ２の「藤」の文字と、基準フォントＡの「藤」の文字とのペアである。文字ペア４００－２２は、フォントＢ２の「研」の文字と、基準フォントＡの「研」の文字とのペアである。文字ペア４００－２３は、フォントＢ２の「あ」の文字と、基準フォントＡの「あ」の文字とのペアである。 A character pair 400-21 is a pair of the character "wisteria" of font B2 and the character "wisteria" of reference font A. FIG. Character pair 400-22 is a pair of the character "ken" of font B2 and the character "ken" of reference font A. FIG. Character pair 400-23 is a pair of the character "a" of font B2 and the character "a" of reference font A. FIG.
一般に、フォントＢｉを識別する符号を「ｉ」とし、字体（字種）を識別する符号を「ｊ」とすると、モデル生成部２０６は、文字ペア４００－ｉｊを用いて機械学習を行って、モデル１２０を生成する。モデル生成部２０６は、例えば、文字ペア４００－ｉｊを用いて、フォントＢ１の「藤」の文字の画像が入力された場合に、基準フォントＡの「藤」の文字の字形にできるだけ適応した字形を持つ「藤」文字の画像を生成するように、機械学習を行う。
In general, if the code for identifying font Bi is “i” and the code for identifying character style (character type) is “j”,
これにより、例えばフォントＢ１の「藤」の文字の画像が入力された場合に、基準フォントＡの「藤」の字形に適応した字形を持つ「藤」の文字の画像を生成するモデル１２０が生成される。このように、モデル１２０は、フォントＢｉの文字ｊの画像から、フォントＡの文字ｊが持つ字形に適応した字形を持つ文字ｊの画像を生成するモデルである。
As a result, a
図１３は、モデル生成部２０６における機械学習を実行する学習器の概念構成を示す。図１３は、フォントＢｉの「藤」の文字の画像５００ｂと、基準フォントＡの「藤」の文字の画像５００ａとの文字ペアを学習データとして用いた学習を行う場合を示す。図１３に示す学習器は、ＧＡＮの一種である条件付きＧＡＮを用いた学習器である。
FIG. 13 shows a conceptual configuration of a learner that executes machine learning in the
学習器は、生成ネットワークＧと識別ネットワークＤとを備える。生成ネットワークＧ及び識別ネットワークＤは、それぞれニューラルネットワークである。生成ネットワークＧは、入力される画像５００ｂからフェイク画像５００ｂ'を生成する。
The learner comprises a generator network G and a discriminant network D. FIG. The generation network G and the identification network D are each neural networks. The generation network G generates a
識別ネットワークＤには、画像５００ｂと画像５００ａとの組み合わせが入力される。また、識別ネットワークＤには、画像５００ｂと、生成ネットワークＧが生成したフェイク画像５００ｂ'の組み合わせが入力される。識別ネットワークＤは、入力された画像の組み合わせの識別結果を出力する。例えば、識別ネットワークＤは、入力された画像の組み合わせの正しさの程度を示す確率を、０から１の範囲の数値で出力する。例えば、識別ネットワークＤは、入力された画像の組み合わせが正しいと判断した場合に「１」を出力し、入力された画像の組み合わせ正しくないと判断した場合に「０」を出力する。
Identification network D receives a combination of
識別ネットワークＤは、画像５００ｂと画像５００ａとのペアが入力された場合に「１」に近い値を出力し、画像５００ｂとフェイク画像５００ｂ'のペアが入力された場合に「０」に近い値を出力するように学習する。いわば、識別ネットワークＤは、生成ネットワークＧが生成したフェイク画像５００ｂ'を偽物であると判断できるように学習する。一方で、生成ネットワークＧは、画像５００ｂとフェイク画像５００ｂ'とのペアを識別ネットワークＤに入力した場合に識別ネットワークＤから「１」に近い値が出力されるようなフェイク画像５００ｂ'を生成できるように学習する。画像５００ｂとフェイク画像５００ｂ'とのペアを入力したときの識別ネットワークＤの出力が１／２に十分に近くなった場合に、学習が達成されたと判断される。
The identification network D outputs a value close to "1" when the pair of the
モデル生成部２０６は、図１２に示されるようなフォント及び字体（字種）の組み合わせが異なる多数の文字ペアを用いて機械学習を行う。モデル生成部２０６は、各文字ペアで学習が達成されたと判断した場合に、生成ネットワークＧをモデル１２０として出力する。
The
図１４は、相違情報出力部２４０が出力する相違情報の一例を示す。図１４の画面６００は、相違情報出力部２４０が表示装置８８に出力する相違情報の表示例である。
FIG. 14 shows an example of difference information output by the difference
文字画像６２０－１及び文字画像６２０－２は、処理対象画像２０の文字の画像である。画面６００において、文字画像６２０－１及び文字画像６２０－２は、文字処理部２００における「検査対象文字」として表示される。
A character image 620-1 and a character image 620-2 are images of characters in the
文字画像６３０－１は、文字画像６２０－１をモデル１２０に入力することによって文字画像生成部２２０が生成した文字画像である。文字画像６３０－２は、文字画像６２０－２をモデル１２０に入力することによって文字画像生成部２２０が生成した文字である。画面６００において、文字画像６３０－１及び文字画像６３０－２は、基準フォントの字形に適合した文字を持つ「変換後文字」として表示される。
Character image 630 - 1 is a character image generated by character
文字画像６４０－１は、文字画像６２０－１の文字に対応する、基準フォントＡの文字の画像である。文字画像６４０－２は、文字画像６２０－２の文字に対応する、基準フォントＡの文字の画像である。文字画像６４０－１及び文字画像６４０－２は、文字画像選択部２３０によって選択された画像である。例えば、文字画像選択部２３０は、文字画像６３０－１と一致度が予め定められた値より高い文字を、基準フォントＡの文字の中から選択する。画面６００において、文字画像６４０－１及び文字画像６４０－２は、変換後文字の比較対象となる「基準文字」として表示される。
Character image 640-1 is an image of a character in reference font A corresponding to the character in character image 620-1. Character image 640-2 is an image of a character in reference font A corresponding to the character in character image 620-2. Character image 640 - 1 and character image 640 - 2 are images selected by character
比較画像６５０－１は、文字画像６３０－１に文字画像６４０－１を重畳した画像である。比較画像６５０－２は、文字画像６３０－２に文字画像６４０－２を重畳した画像である。 A comparative image 650-1 is an image in which the character image 640-1 is superimposed on the character image 630-1. A comparative image 650-2 is an image in which the character image 640-2 is superimposed on the character image 630-2.
相違情報出力部２４０は、文字画像６２０－１、文字画像６３０－１、文字画像６４０－１、及び比較画像６５０－１と、ボタン６１０－１とを対応づけて、表示装置８８に表示させる。また、相違情報出力部２４０は、文字画像６２０－２、文字画像６３０－２、文字画像６４０－２、及び比較画像６５０－２と、ボタン６１０－２とを対応づけて、表示装置８８に表示させる。
Difference
図１４には、「藤」と「研」の２種の字体の文字についての情報が表示された状態を示す。一般に、検査対象とした文字種を示す符号を「ｉ」とすると、相違情報出力部２４０は、文字画像６２０－ｉ、文字画像６３０－ｉ、文字画像６４０－ｉ、及び比較画像６５０－ｉと、ボタン６１０－ｉとを対応づけて、表示装置８８に表示させる。
FIG. 14 shows a state in which information about characters in two types of fonts, "wisteria" and "ken", is displayed. In general, if the code indicating the character type to be inspected is “i”, the difference
なお、相違情報出力部２４０は、文字画像６３０－ｉと文字画像６４０－ｉとを比較して、文字画像６３０－ｉと文字画像６４０－ｉとの一致度を算出してよい。相違情報出力部２４０は、算出した画像の一致度が低い順に、文字画像６２０－ｉ、文字画像６３０－ｉ、文字画像６４０－ｉ、及び比較画像６５０－ｉと、ボタン６１０－ｉとを含む文字画像を表示させてよい。
Note that the difference
判定者８０は、例えば比較画像６５０－ｉを参照して、文字画像６３０－ｉが文字画像６４０－ｉと相違する部分を持つか否かを判定する。具体的には、判定者８０は、文字画像６３０－ｉが文字画像６４０－ｉと相違する骨格部分を持つか否かを判定する。例えば、判定者８０は、文字画像６３０－ｉが文字画像６４０－ｉと相違する骨格部分を持つと判定した場合に、ボタン６１０－ｉを押す。
The
ボタン６１０－ｉを押されたことに応じて、判定結果取得部２５０は、文字画像６２０－ｉが特異文字であると判定結果を取得する。この場合に、相違情報出力部２４０は、文字画像６２０－ｉの文字の情報を、特異文字として特異文字情報１６０に記録する。例えば、相違情報出力部２４０は、文字画像６２０－ｉの文字種の識別情報を、特異文字情報１６０に記録する。
In response to pressing of button 610-i, determination result
なお、判定者８０は、文字画像６３０－ｉが文字画像６４０－ｉと相違する部位を示す情報を入力してよい。例えば、判定者８０は、文字画像６３０－ｉが文字画像６４０－ｉと相違する骨格部分を含む範囲を示す情報を入力する。この場合、相違情報出力部２４０は、入力された骨格部分を含む範囲を示す情報を、文字画像６２０－ｉの文字種の識別情報に対応づけて特異文字情報１６０に記録する。
Note that the
図１５は、文字画像６２０－１、文字画像６３０－１、文字画像６４０－１及び比較画像６５０－１を拡大して示す。Ｄ１は、文字画像６２０－１における「藤」の文字を構成する辺７０１と辺７０２の間の骨格の間隔を示す。Ｄ２は、文字画像６３０－１における辺７０１と辺７０２の間の骨格の間隔であり、Ｄ３は、文字画像６４０－１における辺７０１と辺７０２の間の骨格の間隔である。比較画像６５０－１から、Ｄ１及びＤ２はいずれも、Ｄ３より短いことが明瞭に分かる。
FIG. 15 shows enlarged character image 620-1, character image 630-1, character image 640-1 and comparative image 650-1. D1 indicates the skeleton spacing between the
文字画像６３０－１の文字は、文字画像６２０－１の文字の字形を基準フォントＡの「藤」の字形に適応させたものである。これにより、文字画像６３０－１と文字画像６４０－１との間では、例えば「とめ」、「はね」、「はらい」等の装飾的デザインや文字の太さの違いによって生じる差が小さくなる。そのため、文字画像６３０－１の文字の装飾的デザインや文字の太さは、基準フォントの文字画像６４０－１の文字の装飾的デザインや太さに近いものとなる。一般的に流通しているフォントは主として、装飾的デザインや太さが異なるものが多い。そのため、装飾的デザインや太さが異なるフォントを用いてモデル１２０を学習することによって、基準フォントＡの装飾的デザインに近い装飾的デザインを持つ文字の画像を生成するモデル１２０が得られる。これにより、文字画像６３０－１と文字画像６４０－１との間の装飾的デザインの差が小さくなる。よって、例えば比較画像６５０－１を通じて、文字画像６３０－１の辺７０１と辺７０２の間の骨格の間隔が短いという、学習に用いたフォントに対する特徴的な相違点を、明確に提示することができる。
The characters in the character image 630-1 are obtained by adapting the character shape of the character in the character image 620-1 to the character shape of "wisteria" of the reference font A. As a result, between the character image 630-1 and the character image 640-1, the difference between the character image 630-1 and the character image 640-1 caused by the decorative design such as "stop", "splash", and "clear" and the difference in the thickness of the characters is reduced. . Therefore, the decorative design and thickness of the characters in the character image 630-1 are close to the decorative design and thickness of the characters in the character image 640-1 of the reference font. Commonly distributed fonts are mainly those with different decorative designs and thicknesses. Therefore, by learning the
なお、モデル１２０を生成するための機械学習に用いたフォントデータにおいて、辺７０１と辺７０２の間の骨格の間隔については、フォント間で違いが小さいものであったとする。この場合、フォントデータを用いたモデル１２０の学習工程において、辺７０１と辺７０２の間の骨格の間隔は普遍的な特徴を持つものとして学習される。これにより生成されるモデル１２０は、入力される「藤」の字の画像に対して、辺７０１と辺７０２の間の骨格の間隔を基準フォントに大きく適応させるようなものにはならない。したがって、文字画像６２０－１をモデル１２０で変換すると、文字画像６３０－１のように辺７０１と辺７０２の間の骨格の間隔が比較的に狭い文字の画像が得られる。
In the font data used for machine learning to generate the
このように、画像処理システム１０によれば、文字画像生成部２２０は、モデル１２０に入力した文字の字形要素のうち、装飾的デザインのように様々な違いがある字形要素については、基準フォントＡに適応した文字の画像を生成する。一方で、文字画像生成部２２０は、モデル１２０に入力した文字の字形要素のうち、機械学習に用いたフォントデータに共通している字形要素とは異質な特徴的な字形要素については、その特徴的な字形要素を実質的に維持した文字の画像を生成する。
As described above, according to the
したがって、判定者８０は、文字画像６３０－１と文字画像６４０－１とを比較することによって、文字画像６２０－１が特異文字であるか否かを容易に判定することができる。特に、相違情報出力部２４０は比較画像６５０－１を表示装置８８に表示させるので、判定者８０は、処理対象画像２０において「藤」の文字の辺７０１と辺７０２の間の骨格の間隔が短いことを一目で判断することができる。
Therefore, by comparing character image 630-1 and character image 640-1,
図１６は、参考例として、文字画像６２０－１に文字画像６４０－１を重ねた状態を示す。文字画像６２０－１は、文字画像６３０－１とは異なり、基準フォントＡの「藤」の字形に適応させた文字ではない。そのため、文字画像６２０－１と文字画像６４０－１との間には、字形のデザイン性の違いによって生じる誤差が多く存在する。このように、文字画像６２０－１と文字画像６４０－１とを比較しても、字形の装飾的デザインの違いに起因する誤差が目立つ。そのため、判定者８０が目で見て判定する場合においても、コンピュータ等によって判定する場合においても、その文字が特異文字であるか否かを容易に判定することはできない。
FIG. 16 shows a state in which a character image 640-1 is superimposed on a character image 620-1 as a reference example. Unlike the character image 630-1, the character image 620-1 is not a character adapted to the character shape of "wisteria" of the reference font A. Therefore, there are many errors between the character image 620-1 and the character image 640-1 due to the difference in character design. In this way, even if the character image 620-1 and the character image 640-1 are compared, errors due to the difference in the decorative design of the character shape are conspicuous. Therefore, whether or not the character is a peculiar character cannot be easily determined by the
これに対し、図１６及び図１７に示されるとように、画像処理システム１０によれば、どの文字が特異文字であるかを比較的に容易に判定することができる。
On the other hand, as shown in FIGS. 16 and 17, according to the
図１７は、特異文字情報１６０のデータ構造の一例を示す。特異文字情報１６０は、文字識別情報、文字画像、特徴部位及び特徴量を対応づけて格納する。
FIG. 17 shows an example of the data structure of the
「文字識別情報」には、特異文字として判定された文字の識別情報が格納される。文字識別情報は、例えば文字種を示す情報であってよい。文字識別情報は、文字コードであってよい。「文字画像」には、特異文字として判定された文字の画像データがバイナリ形式で格納される。 The "character identification information" stores identification information of characters determined as peculiar characters. The character identification information may be information indicating character types, for example. The character identification information may be a character code. The "character image" stores the image data of the character determined as the peculiar character in binary format.
「特徴部位」は、特徴的な字形を持つ部位の範囲を示す情報である。例えば、特徴的な字形を持つ領域を矩形領域で示す場合、「特徴部位」は、矩形の対角の座標を示す情報を含んでよい。 A “characteristic part” is information indicating a range of parts having a characteristic character shape. For example, when an area having a characteristic character shape is indicated by a rectangular area, the "characteristic portion" may include information indicating the coordinates of the diagonal corners of the rectangle.
「特徴量」は、文字画像から抽出される特徴量を示す情報である。特徴量は、文字画像全体から抽出される特徴量を含んでよい。特徴量は、文字画像における特徴部位から抽出される特徴量を含んでよい。 "Feature amount" is information indicating the feature amount extracted from the character image. The feature quantity may include a feature quantity extracted from the entire character image. A feature amount may include a feature amount extracted from a feature part in a character image.
特異文字情報１６０は、文字解析装置２８０が解析対象画像３０を解析する場合に使用される。例えば、解析対象画像３０を解析する場合、解析対象画像取得部２８２が解析対象画像３０の画像データを取得し、文字画像抽出部２８４が解析対象画像３０の画像データから文字画像を抽出する。そして、文字解析部２８６は、特異文字情報１６０に格納されている情報を用いて、文字画像抽出部２８４が抽出した文字画像を解析する。
The
例えば、文字解析部２８６は、解析対象画像３０から抽出された文字画像から特徴量を検出する。文字解析部２８６は、検出した特徴量が、特異文字情報１６０に格納されている特徴量に適合した場合に、当該特徴量に対応づけて特異文字情報１６０に格納されている文字識別情報を読み出す。そして、文字解析部２８６は、当該文字識別情報の文字が、解析対象画像３０から抽出された文字画像の文字であると認識する。
For example, the
以上に説明した画像処理システム１０によれば、画像として入力された文字が特異文字であるか否かを適切に判定するとができる。そのため、特異文字であることを認識して、文字認識等の文字を解析することができる。
According to the
なお、機械学習に用いるフォントの書体は、処理対象画像２０及び解析対象画像３０で使用されるフォントの書体に整合させることが望ましい。例えば、処理対象画像２０及び解析対象画像３０で使用されるフォントがゴシック体の書体のフォントである場合には、ゴシック体の書体のフォントを機械学習に用いることが望ましい。 It is desirable that the typeface of the font used for machine learning be matched with the typeface of the font used in the image to be processed 20 and the image to be analyzed 30 . For example, when the fonts used in the image to be processed 20 and the image to be analyzed 30 are Gothic typeface fonts, it is desirable to use the Gothic typeface fonts for machine learning.
なお、文字認識は、文字解析の一例である。文字解析としては、書類の有効性判定等を例示することができる。 Character recognition is an example of character analysis. Character analysis can be exemplified by judging the validity of a document.
なお、画像処理システム１０における文字処理の適用例として、手書き文字の評価等に使用できる場合がある。例えば、ペン習字において生徒が楷行体等の標準的な書体を練習する場合の評価に使用できる場合がる。例えば、ある特定の指導者の手書き文字を基準文字とし、他の多数の指導者の手書き文字を用いて学習することによって、モデル１２０を生成する。そして、文字処理部２００に入力される書類として、生徒が書いた書類を入力する。これにより、生徒の手書き文字を特定の指導者が書いた手書き文字に適応した文字と、特定の指導者が書いた基準文字との比較結果に基づいて、生徒が書いた文字が特異性を持つか否かを判定する。また、画像処理システム１０における文字解析処理として、筆跡鑑定等の手書き文字の解析に利用できる場合がある。
As an application example of character processing in the
図１８は、本実施形態に係るコンピュータ２０００の例を示す。コンピュータ２０００にインストールされたプログラムは、コンピュータ２０００に、実施形態に係る画像処理部４０、文字処理部２００、学習装置２０２及び文字解析装置２８０、若しくは画像処理システム１０等の装置又はシステム、若しくは当該装置又はシステムの各部として機能させる、当該装置又は当該装置の各部に関連付けられるオペレーションを実行させる、及び／又は、実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２０００に、本明細書に記載の処理手順及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ２０１２によって実行されてよい。
FIG. 18 shows an example of a
本実施形態によるコンピュータ２０００は、ＣＰＵ２０１２、及びＲＡＭ２０１４を含み、それらはホストコントローラ２０１０によって相互に接続されている。コンピュータ２０００はまた、ＲＯＭ２０２６、フラッシュメモリ２０２４、通信インタフェース２０２２、及び入力／出力チップ２０４０を含む。ＲＯＭ２０２６、フラッシュメモリ２０２４、通信インタフェース２０２２、及び入力／出力チップ２０４０は、入力／出力コントローラ２０２０を介してホストコントローラ２０１０に接続されている。
A
ＣＰＵ２０１２は、ＲＯＭ２０２６及びＲＡＭ２０１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
The
通信インタフェース２０２２は、ネットワークを介して他の電子デバイスと通信する。フラッシュメモリ２０２４は、コンピュータ２０００内のＣＰＵ２０１２によって使用されるプログラム及びデータを格納する。ＲＯＭ２０２６は、アクティブ化時にコンピュータ２０００によって実行されるブートプログラム等、及び／又はコンピュータ２０００のハードウエアに依存するプログラムを格納する。入力／出力チップ２０４０はまた、キーボード、マウス及びモニタ等の様々な入力／出力ユニットをシリアルポート、パラレルポート、キーボードポート、マウスポート、モニタポート、ＵＳＢポート、ＨＤＭＩ（登録商標）ポート等の入力／出力ポートを介して、入力／出力コントローラ２０２０に接続してよい。
プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、又はメモリカードのようなコンピュータ可読媒体又はネットワークを介して提供される。ＲＡＭ２０１４、ＲＯＭ２０２６、又はフラッシュメモリ２０２４は、コンピュータ可読媒体の例である。プログラムは、フラッシュメモリ２０２４、ＲＡＭ２０１４、又はＲＯＭ２０２６にインストールされ、ＣＰＵ２０１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２０００に読み取られ、プログラムと上記様々なタイプのハードウエアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ２０００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
The program is provided via a computer readable medium such as a CD-ROM, DVD-ROM, or memory card or via a network.
例えば、コンピュータ２０００及び外部デバイス間で通信が実行される場合、ＣＰＵ２０１２は、ＲＡＭ２０１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２０２２に対し、通信処理を命令してよい。通信インタフェース２０２２は、ＣＰＵ２０１２の制御下、ＲＡＭ２０１４及びフラッシュメモリ２０２４のような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取った送信データをネットワークに送信し、ネットワークから受信された受信データを、記録媒体上に提供される受信バッファ処理領域等に書き込む。
For example, when communication is performed between the
また、ＣＰＵ２０１２は、フラッシュメモリ２０２４等のような記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ２０１４に読み取られるようにし、ＲＡＭ２０１４上のデータに対し様々な種類の処理を実行してよい。ＣＰＵ２０１２は次に、処理されたデータを記録媒体にライトバックする。
The
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理にかけられてよい。ＣＰＵ２０１２は、ＲＡＭ２０１４から読み取られたデータに対し、本明細書に記載され、プログラムの命令シーケンスによって指定される様々な種類のオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々な種類の処理を実行してよく、結果をＲＡＭ２０１４にライトバックする。また、ＣＰＵ２０１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２０１２は、第１の属性の属性値が指定されている、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
Various types of information such as various types of programs, data, tables, and databases may be stored on the recording medium and subjected to information processing.
上で説明したプログラム又はソフトウェアモジュールは、コンピュータ２０００上又はコンピュータ２０００近傍のコンピュータ可読媒体に格納されてよい。専用通信ネットワーク又はインターネットに接続されたサーバーシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能である。コンピュータ可読媒体に格納されたプログラムを、ネットワークを介してコンピュータ２０００に提供してよい。
The programs or software modules described above may be stored in a computer readable medium on or near
コンピュータ２０００にインストールされ、コンピュータ２０００を画像処理システム１０として機能させるプログラムは、ＣＰＵ２０１２等に働きかけて、コンピュータ２０００を、画像処理部４０、文字処理部２００を含む画像処理システム１０の各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理は、コンピュータ２０００に読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段である画像処理システム１０の各部として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ２０００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の画像処理システム１０が構築される。
A program installed in the
様々な実施形態が、ブロック図等を参照して説明された。ブロック図において各ブロックは、（１）オペレーションが実行されるプロセスの段階又は（２）オペレーションを実行する役割を持つ装置の各部を表わしてよい。特定の段階及び各部が、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウエア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、及び他の論理オペレーション、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウエア回路を含んでよい。 Various embodiments have been described with reference to block diagrams and the like. Each block in the block diagram may represent (1) a stage of a process in which an operation is performed or (2) a piece of equipment responsible for performing the operation. Certain steps and portions may be implemented by dedicated circuitry, programmable circuitry provided with computer readable instructions stored on a computer readable medium, and/or processor provided with computer readable instructions stored on a computer readable medium. you can Dedicated circuitry may include digital and/or analog hardware circuitry and may include integrated circuits (ICs) and/or discrete circuitry. Programmable circuits include logic AND, logic OR, logic XOR, logic NAND, logic NOR, and other logic operations, memory elements such as flip-flops, registers, field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), etc. and the like.
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、処理手順又はブロック図で指定されたオペレーションを実行するための手段をもたらすべく実行され得る命令を含む製品の少なくとも一部を構成する。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。 A computer-readable medium may include any tangible device capable of storing instructions to be executed by a suitable device such that the computer-readable medium having instructions stored thereon may be represented by procedures or block diagrams. constitutes at least part of an article of manufacture that includes instructions that can be executed to bring about means for performing the operations performed. Examples of computer-readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer readable media include floppy disks, diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), Electrically Erasable Programmable Read Only Memory (EEPROM), Static Random Access Memory (SRAM), Compact Disc Read Only Memory (CD-ROM), Digital Versatile Disc (DVD), Blu-ray Disc, Memory Stick, An integrated circuit card or the like may be included.
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。 The computer readable instructions may be assembler instructions, Instruction Set Architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state configuration data, or instructions such as Smalltalk, JAVA, C++, etc. any source or object code written in any combination of one or more programming languages, including object-oriented programming languages, and conventional procedural programming languages such as the "C" programming language or similar programming languages; may include
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ又はプログラマブル回路に対し、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、説明された処理手順又はブロック図で指定されたオペレーションを実行するための手段をもたらすべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。 Computer readable instructions may be transferred to a processor or programmable circuitry of a general purpose computer, special purpose computer, or other programmable data processing apparatus, either locally or over a wide area network (WAN), such as a local area network (LAN), the Internet, or the like. ) and may be executed to provide means for performing the operations specified in the process steps or block diagrams described. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, and the like.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It is obvious to those skilled in the art that various modifications and improvements can be made to the above embodiments. In addition, matters described with respect to a specific embodiment can be applied to other embodiments as long as they are not technically inconsistent. It is clear from the description of the scope of claims that forms with such modifications or improvements can also be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as actions, procedures, steps, and stages in the devices, systems, programs, and methods shown in the claims, the specification, and the drawings is particularly "before", "before etc., and it should be noted that they can be implemented in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the specification, and the drawings, even if the description is made using "first," "next," etc. for the sake of convenience, it means that it is essential to carry out in this order. not a thing
１０ 画像処理システム
１２ 画像処理装置
２０ 処理対象画像
２１ 背景画像
２２ 画像
２３ 枠線
３０ 解析対象画像
４０ 画像処理部
４１ テンプレート画像取得部
４２ 対象画像取得部
４３ 画像切り出し部
４４ 特徴点ペア抽出部
４５ 特定部
４６ 領域選択部
４７ 画像変換部
４８ 文字画像抽出部
４９ 格納部
５０ 定型フォーマット
５２ 運転免許証
６０ テンプレート画像
６１、６２、６３、６４、６５、６６、６７ 画像領域
６８、６９ 枠線
７１、７２、７３ 特徴点
８０ 判定者
８８ 表示装置
９０ 画像領域
９１ 特徴点
９１Ａ、９１Ｂ 特徴点
１００ フォントデータ
１２０ モデル
１４０ 適応文字
１６０ 特異文字情報
２００ 文字処理部
２０２ 学習装置
２０４ フォント選択部
２０６ モデル生成部
２１０ 処理対象文字取得部
２２０ 文字画像生成部
２３０ 文字画像選択部
２４０ 相違情報出力部
２５０ 判定結果取得部
２８０ 文字解析装置
２８２ 解析対象画像取得部
２８４ 文字画像抽出部
２８６ 文字解析部
２９０ 記憶装置
４００ 文字ペア
５００ 画像
６００ 画面
６１０ ボタン
６２０、６３０、６４０ 文字画像
６５０ 比較画像
７０１、７０２ 辺
９００ 画像領域
２０００ コンピュータ
２０１０ ホストコントローラ
２０１２ ＣＰＵ
２０１４ ＲＡＭ
２０２０ 入力／出力コントローラ
２０２２ 通信インタフェース
２０２４ フラッシュメモリ
２０２６ ＲＯＭ
２０４０ 入力／出力チップ
10 Image processing system 12
2014 RAM
2020 input/
2040 input/output chip
Claims (11)
前記定型フォーマットのテンプレート画像を取得するテンプレート画像取得部と、
前記処理対象画像及び前記テンプレート画像から、前記処理対象画像と前記テンプレート画像との間で画像情報が類似する複数の特徴点ペアを抽出する特徴点ペア抽出部と、
前記特徴点ペア抽出部により抽出された前記複数の特徴点ペアの位置に基づいて、前記処理対象画像を、前記書類を正面から見た場合に得られるべき正面画像に射影変換する画像変換部と
を備え、
前記定型フォーマットには、複数の書類の間で共通の情報を持つべき領域である共通領域が定められており、
前記テンプレート画像は、前記共通領域以外の領域の画像情報を含まず、前記共通領域内の複数の文字画像のうちの少なくとも一部の文字画像を含む
画像処理装置。 a target image acquisition unit that acquires a processing target image that is a photographed image of a standard format document;
a template image obtaining unit that obtains the template image in the fixed format;
a feature point pair extraction unit that extracts a plurality of feature point pairs having similar image information between the processing target image and the template image from the processing target image and the template image;
an image conversion unit that projectively transforms the image to be processed into a front image that should be obtained when the document is viewed from the front, based on the positions of the plurality of feature point pairs extracted by the feature point pair extraction unit; with
A common area, which is an area where common information should be held among a plurality of documents, is defined in the standard format,
The image processing device, wherein the template image does not include image information of areas other than the common area, and includes at least part of character images among the plurality of character images in the common area.
請求項１に記載の画像処理装置。 2. The image processing apparatus according to claim 1, wherein said template image includes at least a part of an image of a frame included in said common area.
前記画像処理装置は、
前記複数の画像領域のそれぞれについて、それぞれの画像領域に設定された前記複数の特徴点に対して前記処理対象画像から抽出された前記画像情報が類似する特徴点の数を計数し、前記複数の画像領域のそれぞれについて計数された前記特徴点の数に基づいて、前記複数の画像領域の中から前記射影変換に用いる一部の画像領域を選択する領域選択部
をさらに備え、
前記画像変換部は、前記領域選択部により選択された前記一部の画像領域に設定された前記複数の特徴点に対して抽出された複数の特徴点ペアの位置に基づいて、前記処理対象画像を前記正面画像に射影変換する
請求項１又は２に記載の画像処理装置。 The feature point pair extraction unit extracts feature points having similar image information from the processing target image for each of a plurality of feature points set in each of a plurality of image regions included in the template image. extracting the plurality of feature point pairs by
The image processing device is
for each of the plurality of image regions, counting the number of feature points similar in the image information extracted from the processing target image to the plurality of feature points set in each of the image regions; An area selection unit that selects a partial image area to be used for the projective transformation from among the plurality of image areas based on the number of feature points counted for each image area,
The image conversion unit converts the processing target image based on the positions of the plurality of feature point pairs extracted for the plurality of feature points set in the partial image region selected by the region selection unit. to the front image.
請求項３に記載の画像処理装置。 The area selection unit preferentially selects, from among the plurality of image areas, an image area having a larger number of the feature points counted for each of the plurality of image areas as an image area to be used for the projective transformation. 4. The image processing apparatus according to claim 3.
請求項４に記載の画像処理装置。 The feature point pair extraction unit extracts feature points having similar image information from the processing target image for each of the plurality of feature points set in each of the plurality of image regions, and extracts from the processing target image. selecting, from among the plurality of feature points extracted as feature point pairs, some feature points having a closer positional relationship to each other as feature points constituting the plurality of feature point pairs. Item 5. The image processing apparatus according to item 4.
をさらに備える請求項１から５のいずれか一項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 5, further comprising a storage unit that stores the template image.
前記画像処理装置は、
前記定型フォーマットの書類に含まれる人物の写真画像を教師データとして機械学習された学習済みモデルを用いて、前記処理対象画像から人物の写真画像を含む領域を特定する特定部
をさらに備え、
前記画像変換部は、前記特定部が特定した前記写真画像を含む領域の位置にさらに基づいて、前記処理対象画像を前記正面画像に射影変換する
請求項１から６のいずれか一項に記載の画像処理装置。 the standard format document is a document containing a photographic image of a person at a predetermined position;
The image processing device is
an identifying unit that identifies an area containing a photographic image of a person from the image to be processed using a trained model that has been machine-learned using the photographic image of the person included in the document of the fixed format as teacher data;
7. The image conversion unit according to any one of claims 1 to 6, wherein the image conversion unit projectively transforms the processing target image into the front image further based on the position of the area containing the photographic image identified by the identification unit. Image processing device.
請求項１から７のいずれか一項に記載の画像処理装置。 8. The image processing apparatus according to any one of claims 1 to 7, wherein the fixed format document is a driver's license for an automobile or motorized bicycle, a passport, or a health insurance card.
前記文字画像抽出部が抽出した文字の画像と予め定められた字形を持つ基準文字の画像との相違を示す情報を出力する文字処理部と
をさらに備える請求項１から８のいずれか一項に記載の画像処理装置。 a character image extraction unit that extracts an image of characters from the front image;
9. The character processing unit according to any one of claims 1 to 8, further comprising a character processing unit that outputs information indicating a difference between the image of the character extracted by the character image extracting unit and the image of the reference character having a predetermined character shape. The described image processing device.
前記文字画像抽出部が抽出した前記文字の画像を、処理対象の文字の画像として取得する処理対象文字取得部と、
前記基準文字の画像と、互いに異なる字形を持つ複数の文字の画像とを用いた機械学習によって生成され、入力される文字の画像から前記予め定められた字形に適応した文字の画像を生成する学習済みモデルを格納する格納部と、
前記学習済みモデルを用いて、前記処理対象の文字の画像から、前記予め定められた字形に適応させた前記処理対象の文字の画像を生成する文字画像生成部と、
前記文字画像生成部が生成した画像と前記基準文字の画像との比較結果に基づいて、前記処理対象の文字と前記基準文字との相違を示す情報を出力する相違情報出力部と
を備える請求項９に記載の画像処理装置。 The character processing unit
a processing target character acquisition unit that acquires the image of the character extracted by the character image extraction unit as an image of the character to be processed;
Learning to generate a character image adapted to the predetermined character shape from an input character image generated by machine learning using the reference character image and a plurality of character images having mutually different character shapes. a storage unit for storing finished models;
a character image generation unit that generates an image of the character to be processed adapted to the predetermined character shape from the image of the character to be processed using the trained model;
A difference information output unit for outputting information indicating a difference between the character to be processed and the reference character based on a comparison result between the image generated by the character image generation unit and the image of the reference character. 9. The image processing apparatus according to 9.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021017121A JP2022120308A (en) | 2021-02-05 | 2021-02-05 | Image processing apparatus and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021017121A JP2022120308A (en) | 2021-02-05 | 2021-02-05 | Image processing apparatus and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022120308A true JP2022120308A (en) | 2022-08-18 |
Family
ID=82848916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021017121A Pending JP2022120308A (en) | 2021-02-05 | 2021-02-05 | Image processing apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2022120308A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022058691A (en) * | 2021-04-30 | 2022-04-12 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Method for training adversarial network model, method for establishing character library, apparatus therefor, electronic device, storage medium, and program |
-
2021
- 2021-02-05 JP JP2021017121A patent/JP2022120308A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022058691A (en) * | 2021-04-30 | 2022-04-12 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | Method for training adversarial network model, method for establishing character library, apparatus therefor, electronic device, storage medium, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10853638B2 (en) | System and method for extracting structured information from image documents | |
| Bušta et al. | E2e-mlt-an unconstrained end-to-end method for multi-language scene text | |
| JP6366024B2 (en) | Method and apparatus for extracting text from an imaged document | |
| CN109766885B (en) | Character detection method and device, electronic equipment and storage medium | |
| US9454545B2 (en) | Automated field position linking of indexed data to digital images | |
| CN108597565B (en) | Clinical queue data collaborative verification method based on OCR and named entity extraction technology | |
| JP6845911B1 (en) | Character processing system and program | |
| CN111931771B (en) | Bill content identification method, device, medium and electronic equipment | |
| US20130077856A1 (en) | Processes and systems for training machine typesets for character recognition | |
| CN110210480B (en) | Character recognition method and device, electronic equipment and computer readable storage medium | |
| CN109784330B (en) | Signboard content identification method, device and equipment | |
| US20190384971A1 (en) | System and method for optical character recognition | |
| CN112149663A (en) | RPA and AI combined image character extraction method and device and electronic equipment | |
| JP2019079347A (en) | Character estimation system, character estimation method, and character estimation program | |
| CN113673500A (en) | Certificate image recognition method and device, electronic equipment and storage medium | |
| CN112668580A (en) | Text recognition method, text recognition device and terminal equipment | |
| JP7364639B2 (en) | Processing of digitized writing | |
| CN114511853A (en) | Character image writing track recovery effect discrimination method | |
| JP2022120308A (en) | Image processing apparatus and program | |
| US20120281919A1 (en) | Method and system for text segmentation | |
| CN106250035B (en) | System and method for dynamically generating personalized handwritten fonts | |
| CN111476090A (en) | Watermark identification method and device | |
| JP4935459B2 (en) | Character recognition method, character recognition program, and character recognition device | |
| CN111368709A (en) | Picture text recognition method, device and equipment and readable storage medium | |
| US20220351532A1 (en) | Method for detecting fraud in documents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240719 |