JP2020173669A - Image recognition device, image recognition method, image recognition program, and image recognition system - Google Patents
Image recognition device, image recognition method, image recognition program, and image recognition system Download PDFInfo
- Publication number
- JP2020173669A JP2020173669A JP2019075833A JP2019075833A JP2020173669A JP 2020173669 A JP2020173669 A JP 2020173669A JP 2019075833 A JP2019075833 A JP 2019075833A JP 2019075833 A JP2019075833 A JP 2019075833A JP 2020173669 A JP2020173669 A JP 2020173669A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- image recognition
- image
- model
- delimiter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 description 25
- 238000004891 communication Methods 0.000 description 10
- 238000012015 optical character recognition Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 101100171060 Caenorhabditis elegans div-1 gene Proteins 0.000 description 6
- 238000012545 processing Methods 0.000 description 3
- 102100036962 5'-3' exoribonuclease 1 Human genes 0.000 description 2
- 101100378610 Arabidopsis thaliana AGL3 gene Proteins 0.000 description 2
- 101100365736 Candida albicans (strain SC5314 / ATCC MYA-2876) SEP7 gene Proteins 0.000 description 2
- 101000804879 Homo sapiens 5'-3' exoribonuclease 1 Proteins 0.000 description 2
- 101000654664 Homo sapiens Neuronal-specific septin-3 Proteins 0.000 description 2
- 101000632314 Homo sapiens Septin-6 Proteins 0.000 description 2
- 101000632054 Homo sapiens Septin-8 Proteins 0.000 description 2
- 102100032769 Neuronal-specific septin-3 Human genes 0.000 description 2
- 101100365737 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SHS1 gene Proteins 0.000 description 2
- 102100032743 Septin-4 Human genes 0.000 description 2
- 102100027982 Septin-6 Human genes 0.000 description 2
- 101150117471 Septin4 gene Proteins 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムに関する。 The present invention relates to an image recognition device, an image recognition method, an image recognition program, and an image recognition system.
従来、OCR(Optical Character Recognition)技術を用いて、画像に写された文字や数字を認識する画像認識装置が用いられている。 Conventionally, an image recognition device that recognizes characters and numbers transferred to an image by using OCR (Optical Character Recognition) technology has been used.
例えば、下記特許文献1には、対象画像から文字情報を抽出し、文字情報の対象画像中の位置に基づいて、その文字情報と対をなす文字情報とを紐づけする画像分析装置が記載されている。 For example, Patent Document 1 below describes an image analyzer that extracts character information from a target image and associates the character information with paired character information based on the position of the character information in the target image. ing.
また、下記非特許文献1には、日本語の手書き文字について、複数の手法を用いて文字列のセグメンテーションを行った研究が記載されている。 Further, Non-Patent Document 1 below describes a study in which Japanese handwritten characters are segmented by using a plurality of methods.
例えば特許文献1に記載の技術では、画像のうち罫線で囲まれた領域を検出し、当該領域に記載された文字を認識している。また、非特許文献1に記載の技術では、手書きの漢字、平仮名及びカタカナについてセグメンテーションが試みられている。しかしながら、例えば「川」や「ル」のように2以上に分離可能な要素で構成される文字の場合、適切にセグメンテーションすることが困難だった。 For example, in the technique described in Patent Document 1, a region surrounded by a ruled line in an image is detected, and characters described in the region are recognized. Further, in the technique described in Non-Patent Document 1, segmentation is attempted for handwritten Chinese characters, hiragana and katakana. However, in the case of a character composed of two or more separable elements such as "river" and "le", it is difficult to properly segment.
そこで、本発明は、2以上に分離可能な要素で構成される文字を含む場合であっても、文字列のセグメンテーションを適切に行うことができる画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムを提供する。 Therefore, the present invention includes an image recognition device, an image recognition method, an image recognition program, and an image capable of appropriately performing segmentation of a character string even when a character composed of two or more separable elements is included. Provide a recognition system.
本発明の一態様に係る画像認識装置は、文字列が写された画像を取得する取得部と、画像を複数の部分画像に分割する分割部と、複数の部分画像それぞれから特徴量を抽出する第1モデル及び特徴量を文字列の区切りを表す情報に順次変換する第2モデルを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出する算出部と、文字列の区切りを表す情報を出力する出力部と、を備える。 The image recognition device according to one aspect of the present invention extracts a feature amount from each of an acquisition unit that acquires an image on which a character string is copied, a division unit that divides the image into a plurality of partial images, and a plurality of partial images. Using the first model and the second model that sequentially converts the feature amount into the information representing the character string delimiter, the calculation unit that calculates the information representing the character string delimiter for each of the plurality of subimages and the character string delimiter are separated. It includes an output unit that outputs information to be represented.
この態様によれば、画像を複数の部分画像に分割し、第1モデルによって複数の部分画像の特徴を捉え、第2モデルによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が2以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。 According to this aspect, the image is divided into a plurality of partial images, the features of the plurality of partial images are captured by the first model, and the feature amount is converted into information representing a character string delimiter by the second model. Even when the character string copied to is composed of two or more separable elements, the segmentation of the character string can be appropriately performed.
上記態様において、文字列の区切りを表す情報は、部分画像が文字列の区切りに対応するか否かを表す2値情報であってもよい。 In the above aspect, the information representing the character string delimiter may be binary information indicating whether or not the partial image corresponds to the character string delimiter.
この態様によれば、2値情報に従って、画像を文字列の区切りに対応する領域と、文字列の区切りに対応しない領域とに分けることができ、文字列のセグメンテーションを適切に行うことができる。 According to this aspect, the image can be divided into an area corresponding to the character string delimiter and an area not corresponding to the character string delimiter according to the binary information, and the character string segmentation can be appropriately performed.
上記態様において、第1モデルは、複数の部分画像それぞれから特徴量として特徴マップを算出するCNN(Convolutional Neural Network)であり、第2モデルは、特徴マップを2値情報に順次変換するRNN(Recurrent Neural Network)であってもよい。 In the above aspect, the first model is a CNN (Convolutional Neural Network) that calculates a feature map as a feature amount from each of a plurality of partial images, and the second model is an RNN (Recurrent) that sequentially converts the feature map into binary information. Neural Network) may be used.
この態様によれば、CNNによって算出される複数の部分画像の特徴マップによって、複数の部分画像の特徴を適切に捉え、RNNによって特徴マップの前後関係を考慮しつつ、特徴マップを文字列の区切りを表す情報に変換することができ、文字列のセグメンテーションをより適切に行うことができる。 According to this aspect, the features of the plurality of partial images are appropriately captured by the feature maps of the plurality of partial images calculated by the CNN, and the feature map is separated into character strings while considering the context of the feature map by the RNN. It can be converted into information representing, and the segmentation of the character string can be performed more appropriately.
上記態様において、文字列が写された学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データを記憶する記憶部と、学習データを用いて、第1モデル及び第2モデルを生成する生成部と、をさらに備えてもよい。 In the above aspect, the first model and the second model are used by using the learning data and the storage unit that stores the learning data in which the information indicating the character string delimiter is associated with the learning image on which the character string is copied. It may further include a generation unit for generating the above.
この態様によれば、学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データが与えられた場合に、画像に写された文字列の区切りを表す情報を適切に算出することができる第1モデル及び第2モデルを生成することができる。 According to this aspect, when the learning data associated with the information representing the character string delimiter is given to the learning image, the information representing the character string delimiter copied in the image is appropriately calculated. It is possible to generate a first model and a second model that can be generated.
上記態様において、生成部は、CTC(Connectionist Temporal Classification)損失関数を最小化するように、第1モデル及び第2モデルを生成してもよい。 In the above aspect, the generator may generate the first model and the second model so as to minimize the CTC (Connectionist Temporal Classification) loss function.
この態様によれば、任意の文字間隔と大きさで記載された文字列について、文字列のセグメンテーションを適切に行う第1モデル及び第2モデルを生成することができる。 According to this aspect, it is possible to generate a first model and a second model for appropriately performing character string segmentation for a character string described with an arbitrary character spacing and size.
本発明の他の態様に係る画像認識方法は、画像認識装置に、文字列が写された画像を取得することと、画像を複数の部分画像に分割することと、複数の部分画像それぞれから特徴量を抽出する第1モデル及び特徴量を文字列の区切りを表す情報に順次変換する第2モデルを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出することと、文字列の区切りを表す情報を出力することと、を実行させる。 The image recognition method according to another aspect of the present invention is characterized by acquiring an image on which a character string is copied on an image recognition device, dividing the image into a plurality of partial images, and each of the plurality of partial images. Using the first model for extracting quantities and the second model for sequentially converting feature quantities into information representing character string delimiters, calculating information representing character string delimiters for each of a plurality of subimages and character strings Output the information that represents the delimiter of, and execute.
この態様によれば、画像を複数の部分画像に分割し、第1モデルによって複数の部分画像の特徴を捉え、第2モデルによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が2以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。 According to this aspect, the image is divided into a plurality of partial images, the features of the plurality of partial images are captured by the first model, and the feature amount is converted into information representing a character string delimiter by the second model. Even when the character string copied to is composed of two or more separable elements, the segmentation of the character string can be appropriately performed.
本発明の他の態様に係る画像認識プログラムは、画像認識装置に、文字列が写された画像を取得することと、画像を複数の部分画像に分割することと、複数の部分画像それぞれから特徴量を抽出する第1モデル及び特徴量を文字列の区切りを表す情報に順次変換する第2モデルを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出することと、文字列の区切りを表す情報を出力することと、を実行させる画像認識プログラム。 The image recognition program according to another aspect of the present invention is characterized by acquiring an image in which a character string is copied on an image recognition device, dividing the image into a plurality of partial images, and each of the plurality of partial images. Using the first model for extracting quantities and the second model for sequentially converting feature quantities into information representing character string delimiters, calculating information representing character string delimiters for each of a plurality of partial images and character strings An image recognition program that outputs information that represents the delimiter of and executes.
この態様によれば、画像を複数の部分画像に分割し、第1モデルによって複数の部分画像の特徴を捉え、第2モデルによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が2以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。 According to this aspect, the image is divided into a plurality of partial images, the features of the plurality of partial images are captured by the first model, and the feature amount is converted into information representing a character string delimiter by the second model. Even when the character string copied to is composed of two or more separable elements, the segmentation of the character string can be appropriately performed.
本発明の他の態様に係る画像認識システムは、画像認識装置と、ユーザ端末とを備える画像認識システムであって、画像認識装置は、ユーザ端末から、文字列が写された画像を取得する取得部と、画像を複数の部分画像に分割する分割部と、複数の部分画像それぞれから特徴量を抽出する第1モデル及び特徴量を文字列の区切りを表す情報に順次変換する第2モデルを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出する算出部と、文字列の区切りを表す情報をユーザ端末に出力する出力部と、を有する。 The image recognition system according to another aspect of the present invention is an image recognition system including an image recognition device and a user terminal, and the image recognition device acquires an image in which a character string is copied from the user terminal. A part, a division part that divides an image into a plurality of partial images, a first model that extracts a feature amount from each of the plurality of partial images, and a second model that sequentially converts the feature amount into information representing a character string delimiter are used. It has a calculation unit that calculates information representing a character string delimiter for each of the plurality of partial images, and an output unit that outputs information representing the character string delimiter to the user terminal.
この態様によれば、画像を複数の部分画像に分割し、第1モデルによって複数の部分画像の特徴を捉え、第2モデルによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が2以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。 According to this aspect, the image is divided into a plurality of partial images, the features of the plurality of partial images are captured by the first model, and the feature amount is converted into information representing a character string delimiter by the second model. Even when the character string copied to is composed of two or more separable elements, the segmentation of the character string can be appropriately performed.
本発明によれば、2以上に分離可能な要素で構成される文字を含む場合であっても、文字列のセグメンテーションを適切に行うことができる画像認識装置、画像認識方法、画像認識プログラム及び画像認識システムを提供することができる。 According to the present invention, an image recognition device, an image recognition method, an image recognition program, and an image capable of appropriately performing segmentation of a character string even when a character composed of two or more separable elements is included. A recognition system can be provided.
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。 Embodiments of the present invention will be described with reference to the accompanying drawings. In each figure, those having the same reference numerals have the same or similar configurations.
図1は、本発明の実施形態に係る画像認識システム100のネットワーク構成を示す図である。画像認識システム100は、画像認識装置10及びユーザ端末20を備える。画像認識装置10は、通信ネットワークNを介してユーザ端末20から画像を受信して、画像に写された文字列のセグメンテーションを行う。ここで、文字列のセグメンテーションとは、文字列を一文字ずつに区切る処理をいう。本実施形態では、画像認識装置10によって、カタカナで記載された文字列のセグメンテーションを行う例について説明する。もっとも、画像認識装置10は、漢字や平仮名、数字のセグメンテーションを行うこともできるし、漢字、平仮名及びカタカナが混合した文字列のセグメンテーションを行うこともできる。また、英文字や他の言語の文字を含む文字列についてセグメンテーションを行うこともできる。
FIG. 1 is a diagram showing a network configuration of an
ユーザ端末20は、汎用のコンピュータであり、例えばカメラ付きスマートフォンで構成されてよい。ユーザ端末20は、画像認識アプリケーションを実行し、文字列の画像を撮影して、通信ネットワークNを介して画像を画像認識装置10に送信し、文字列のセグメンテーション結果を画像認識装置10から受信する。なお、画像認識システム100は、セグメンテーション処理がされた文字列の画像に基づいて、OCR(Optical Character Recognition)を行うOCR装置を含んでもよい。その場合、文字列を撮影した画像がユーザ端末20から画像認識装置10に送信され、セグメンテーション処理された文字列の画像が画像認識装置10からOCR装置に送信され、OCR装置によって画像に写された文字列の認識が行われて、認識結果がOCR装置からユーザ端末20に送信されてよい。
The
図2は、本実施形態に係る画像認識装置10の機能ブロックを示す図である。画像認識装置10は、取得部11、分割部12、算出部13、出力部14、記憶部15及び生成部16を備える。
FIG. 2 is a diagram showing a functional block of the
取得部11は、ユーザ端末20から画像を取得する。取得部11は、画像とあわせて、当該画像に関連付けられた検収に関する情報を取得してもよい。
The
分割部12は、取得した画像を複数の部分画像に分割する。分割部12は、文字列が写された矩形の画像を、複数の矩形の部分画像に分割してよい。ここで、部分画像の形状は、文字列が並ぶ方向の辺の長さが、文字列が並ぶ方向に直交する方向の辺の長さより短い矩形であってよい。例えば、文字列が水平方向に一列並んでいる画像の大きさが幅Aピクセル×高さBピクセルである場合、分割部12は、画像を幅A/Nピクセル×高さBピクセルの複数の部分画像に分割してよい。ここで、Nは、A以上の数値である。なお、A/Nが割り切れない場合、部分画像の幅は、A/Nを四捨五入した値であったり、A/Nを繰り上げた値であったりしてよい。
The dividing
算出部13は、複数の部分画像それぞれから特徴量を抽出する第1モデル15b及び特徴量を文字列の区切りを表す情報に順次変換する第2モデル15cを用いて、複数の部分画像それぞれについて文字列の区切りを表す情報を算出する。第1モデル15b及び第2モデル15cにつては、後に詳細に説明する。
The
出力部14は、文字列の区切りを表す情報を、ユーザ端末20に出力する。もっとも、出力部14は、文字列の区切りを表す情報をOCR装置等の他の機器に出力してもよい。このように、本実施形態に係る画像認識装置10によれば、画像を複数の部分画像に分割し、第1モデル15bによって複数の部分画像の特徴を捉え、第2モデル15cによって特徴量を文字列の区切りを表す情報に変換することで、画像に写された文字列が2以上に分離可能な要素で構成される場合であっても、文字列のセグメンテーションを適切に行うことができる。
The
算出部13によって算出される文字列の区切りを表す情報は、部分画像が文字列の区切りに対応するか否かを表す2値情報であってよい。これにより、2値情報に従って、画像を文字列の区切りに対応する領域と、文字列の区切りに対応しない領域とに分けることができ、文字列のセグメンテーションを適切に行うことができる。
The information representing the character string delimiter calculated by the
記憶部15は、文字列が写された学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データ15aを記憶する。また、記憶部15は、第1モデル15b及び第2モデル15cを記憶する。
The
生成部16は、学習データ15aを用いて、第1モデル15b及び第2モデル15cを生成する。生成部16は、学習データ15aを用いた教師あり学習によって、第1モデル15b及び第2モデル15cを生成してよい。すなわち、生成部16は、学習データ15aに含まれる学習用画像から第1モデル15bによって特徴量を算出し、特徴量を第2モデル15cによって文字列の区切りを表す情報に変換して、学習データ15aに含まれる文字列の区切りを表す情報と比較し、誤差が小さくなるように第1モデル15b及び第2モデル15cのパラメータを更新することで、第1モデル15b及び第2モデル15cを生成してよい。生成部16によって、学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データ15aが与えられた場合に、画像に写された文字列の区切りを表す情報を適切に算出することができる第1モデル15b及び第2モデル15cを生成することができる。
The
第1モデル15bは、複数の部分画像それぞれから特徴量として特徴マップを算出するCNN(Convolutional Neural Network)であってよい。また、第2モデル15cは、特徴マップを、部分画像が文字列の区切りに対応するか否かを表す2値情報に順次変換するRNN(Recurrent Neural Network)であってよい。ここで、RNNは、例えば双方向LSTM(Long Short-Term Memory)で構成されてよい。このように、CNNによって算出される複数の部分画像の特徴マップによって、複数の部分画像の特徴を適切に捉え、RNNによって特徴マップの前後関係を考慮しつつ、特徴マップを文字列の区切りを表す情報に変換することができ、文字列のセグメンテーションをより適切に行うことができる。
The
生成部16は、CTC(Connectionist Temporal Classification)損失関数を最小化するように、第1モデル15b及び第2モデル15cを生成してよい。生成部16は、例えば誤差逆伝播法によって、CTC損失関数を最小化するように第1モデル15bを構成するCNN及び第2モデル15cを構成するRNNのパラメータを最適化することで、第1モデル15b及び第2モデル15cを生成してよい。第1モデル15b及び第2モデル15cに含まれるCNNの構成や、RNNの構成は任意であり、例えば、LSTMブロックの代わりにGRU(Gated Recurrent Unit)を用いてもよい。CTC損失関数を用いることで、任意の文字間隔と大きさで記載された文字列について、文字列のセグメンテーションを適切に行う第1モデル15b及び第2モデル15cを生成することができる。
The
図3は、本実施形態に係る画像認識装置10の物理的構成を示す図である。画像認識装置10は、演算部に相当するCPU(Central Processing Unit)10aと、記憶部に相当するRAM(Random Access Memory)10bと、記憶部に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では画像認識装置10が一台のコンピュータで構成される場合について説明するが、画像認識装置10は、複数のコンピュータが組み合わされて実現されてもよい。また、図3で示す構成は一例であり、画像認識装置10はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
FIG. 3 is a diagram showing a physical configuration of the
CPU10aは、RAM10b又はROM10cに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。CPU10aは、文字列が写された画像を分割し、複数の部分画像それぞれについて文字列の区切りを表す情報を算出するプログラム(画像認識プログラム)を実行する演算部である。CPU10aは、入力部10eや通信部10dから種々のデータを受け取り、データの演算結果を表示部10fに表示したり、RAM10bに格納したりする。
The
RAM10bは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。RAM10bは、CPU10aが実行する画像認識プログラム、学習データといったデータを記憶してよい。なお、これらは例示であって、RAM10bには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
The
ROM10cは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ROM10cは、例えば画像認識プログラムや、書き換えが行われないデータを記憶してよい。
The
通信部10dは、画像認識装置10を他の機器に接続するインターフェースである。通信部10dは、インターネット等の通信ネットワークNに接続されてよい。
The
入力部10eは、画像認識装置10の管理者からデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
The
表示部10fは、CPU10aによる演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部10fは、取得した画像、算出された文字列の区切りを表す情報等を表示してよい。
The
画像認識プログラムは、RAM10bやROM10c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部10dにより接続される通信ネットワークを介して提供されてもよい。画像認識装置10では、CPU10aが画像認識プログラムを実行することにより、図2を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像認識装置10は、CPU10aとRAM10bやROM10cが一体化したLSI(Large-Scale Integration)を備えていてもよい。
The image recognition program may be stored in a storage medium readable by a computer such as
図4は、本実施形態に係る画像認識装置10により取得される画像IMGの一例を示す図である。画像IMGは、「センタービル」というカタカナの文字列を含む。従来術を用いて画像IMGに記載された文字列をセグメンテーションすると、「ル」を「ノ」及び「レ」とセグメンテーションしてしまう場合がある。
FIG. 4 is a diagram showing an example of an image IMG acquired by the
図5は、本実施形態に係る画像認識装置10により分割された部分画像DIV1,DIV2,…DIVNの一例を示す図である。同図では、画像IMGをNコの部分画像DIV1,DIV2,…DIVNに分割した例を示している。部分画像DIV1,DIV2,…DIVNの高さは、画像IMGと等しく、部分画像DIV1,DIV2,…DIVNの幅は、画像IMGの幅の1/N倍となっている。
FIG. 5 is a diagram showing an example of partial images DIV1, DIV2, ... DIVN divided by the
図6は、本実施形態に係る画像認識装置10により用いられる第1モデル15b及び第2モデル15cの概念図である。第1モデル15bは、CNNで構成され、画像IMGから分割された複数の部分画像DIV1,DIV2,…DIVNに基づいて、複数の部分画像DIV1,DIV2,…DIVNそれぞれの特徴マップFMを算出する。特徴マップFMは、任意の次元の配列であってよい。
FIG. 6 is a conceptual diagram of the
第2モデル15cは、双方向LSTMで構成され、特徴マップFMを文字列の区切りを表す2値情報Bに順次変換する。2値情報Bは、0及び1のビット列であり、各ビットは、部分画像が文字列の区切りに対応するか否かを表す。本例では、2値情報Bのうち「1」が、部分画像が文字列の区切りに対応することを表し、2値情報Bのうち「0」が、部分画像が文字列の区切りに対応しない(すなわち当該部分画像は文字列の一部を構成する)ことを表す。
The
図7は、本実施形態に係る画像認識装置10により算出された文字列の区切りの一例を示す図である。本実施形態に係る画像認識装置10によれば、「センタービル」という文字列を含む画像IMGに対して、文字列の区切りを表す第1区切り情報SEP1、第2区切り情報SEP2、第3区切り情報SEP3、第4区切り情報SEP4、第5区切り情報SEP5、第6区切り情報SEP6及び第7区切り情報SEP7が出力される。これにより、「センタービル」という6文字の文字列が適切にセグメンテーションされる。
FIG. 7 is a diagram showing an example of character string delimiters calculated by the
画像認識装置10は、第2モデル15cにより算出された2値情報に基づいて、2値情報が「1」である部分画像に対応する画像IMGの領域を文字列の区切り領域と判定して、画像IMGに対して第1区切り情報SEP1、第2区切り情報SEP2、第3区切り情報SEP3、第4区切り情報SEP4、第5区切り情報SEP5、第6区切り情報SEP6及び第7区切り情報SEP7を付与してよい。
Based on the binary information calculated by the
図8は、本実施形態に係る画像認識装置10により実行されるセグメンテーション処理のフローチャートである。はじめに、画像認識装置10は、文字列が写された画像を取得する(S10)。そして、画像認識装置10は、画像を複数の部分画像に分割する(S11)。
FIG. 8 is a flowchart of the segmentation process executed by the
その後、画像認識装置10は、第1モデル15bによって、複数の部分画像それぞれから特徴量を抽出し(S12)、第2モデル15cによって、特徴量を文字列の区切りを表す情報に順次変換する(S13)。
After that, the
最後に、画像認識装置10は、複数の部分画像それぞれについて文字列の区切りを表す情報を算出し、ユーザ端末20に出力する。なお、画像認識装置10は、文字列の区切りを表す情報をOCR装置等の他の機器に出力してもよい。
Finally, the
図9は、本実施形態に係る画像認識装置10により実行される学習処理のフローチャートである。はじめに、画像認識装置10は、文字列が写された学習用画像に対して、文字列の区切りを表す情報が関連付けられた学習データ15aを収集し、記憶部15に記憶する(S20)。
FIG. 9 is a flowchart of the learning process executed by the
その後、画像認識装置10は、学習データ15aを用いて、CTC損失関数を最小化するように、第1モデル15b及び第2モデル15cの学習処理を実行する(S21)。ここで、学習処理は、第1モデル15bを構成するCNNのパラメータ及び第2モデル15cを構成するRNNのパラメータを、誤差逆伝播法によって更新する処理であってよい。
After that, the
学習終了条件を満たさない場合(S22:NO)、画像認識装置10は、第1モデル15b及び第2モデル15cの学習処理を再び実行する(S21)。ここで、学習終了条件は、CTC損失関数の値が所定値以下となることであったり、学習処理のエポック数が所定回数以上となることであったりしてよい。
When the learning end condition is not satisfied (S22: NO), the
一方、学習終了条件を満たす場合(S22:YES)、画像認識装置10は、生成された第1モデル15b及び第2モデル15cを記憶部15に記憶する。
On the other hand, when the learning end condition is satisfied (S22: YES), the
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。 The embodiments described above are for facilitating the understanding of the present invention, and are not for limiting and interpreting the present invention. Each element included in the embodiment and its arrangement, material, condition, shape, size, etc. are not limited to those exemplified, and can be changed as appropriate. In addition, the configurations shown in different embodiments can be partially replaced or combined.
10…画像認識装置、10a…CPU、10b…RAM、10c…ROM、10d…通信部、10e…入力部、10f…表示部、11…取得部、12…分割部、13…算出部、14…出力部、15…記憶部、15a…学習データ、15b…第1モデル、15c…第2モデル、16…生成部、20…ユーザ端末、100…画像認識システム 10 ... image recognition device, 10a ... CPU, 10b ... RAM, 10c ... ROM, 10d ... communication unit, 10e ... input unit, 10f ... display unit, 11 ... acquisition unit, 12 ... division unit, 13 ... calculation unit, 14 ... Output unit, 15 ... Storage unit, 15a ... Learning data, 15b ... First model, 15c ... Second model, 16 ... Generation unit, 20 ... User terminal, 100 ... Image recognition system
Claims (8)
前記画像を複数の部分画像に分割する分割部と、
前記複数の部分画像それぞれから特徴量を抽出する第1モデル及び前記特徴量を前記文字列の区切りを表す情報に順次変換する第2モデルを用いて、前記複数の部分画像それぞれについて前記文字列の区切りを表す情報を算出する算出部と、
前記文字列の区切りを表す情報を出力する出力部と、
を備える画像認識装置。 An acquisition unit that acquires an image in which a character string is copied, and
A division portion that divides the image into a plurality of partial images,
Using a first model that extracts a feature amount from each of the plurality of partial images and a second model that sequentially converts the feature amount into information representing the division of the character string, the character string of each of the plurality of partial images is used. A calculation unit that calculates information that represents a delimiter,
An output unit that outputs information indicating the delimiter of the character string, and
An image recognition device comprising.
請求項1に記載の画像認識装置。 The information representing the character string delimiter is binary information indicating whether or not the partial image corresponds to the character string delimiter.
The image recognition device according to claim 1.
前記第2モデルは、前記特徴マップを前記2値情報に順次変換するRNN(Recurrent Neural Network)である、
請求項2に記載の画像認識装置。 The first model is a CNN (Convolutional Neural Network) that calculates a feature map as the feature amount from each of the plurality of partial images.
The second model is an RNN (Recurrent Neural Network) that sequentially converts the feature map into the binary information.
The image recognition device according to claim 2.
前記学習データを用いて、前記第1モデル及び前記第2モデルを生成する生成部と、をさらに備える、
請求項1から3のいずれか一項に記載の画像認識装置。 A storage unit that stores learning data associated with information indicating the delimiter of the character string with respect to the learning image on which the character string is copied.
A generation unit for generating the first model and the second model using the training data is further provided.
The image recognition device according to any one of claims 1 to 3.
請求項4に記載の画像認識装置。 The generation unit generates the first model and the second model so as to minimize the CTC (Connectionist Temporal Classification) loss function.
The image recognition device according to claim 4.
文字列が写された画像を取得することと、
前記画像を複数の部分画像に分割することと、
前記複数の部分画像それぞれから特徴量を抽出する第1モデル及び前記特徴量を前記文字列の区切りを表す情報に順次変換する第2モデルを用いて、前記複数の部分画像それぞれについて前記文字列の区切りを表す情報を算出することと、
前記文字列の区切りを表す情報を出力することと、
を実行させる画像認識方法。 For image recognition devices
To get an image with a character string,
Dividing the image into a plurality of partial images and
Using a first model that extracts a feature amount from each of the plurality of partial images and a second model that sequentially converts the feature amount into information representing the division of the character string, the character string of each of the plurality of partial images is used. To calculate the information that represents the delimiter
To output the information indicating the delimiter of the character string and
Image recognition method to execute.
文字列が写された画像を取得することと、
前記画像を複数の部分画像に分割することと、
前記複数の部分画像それぞれから特徴量を抽出する第1モデル及び前記特徴量を前記文字列の区切りを表す情報に順次変換する第2モデルを用いて、前記複数の部分画像それぞれについて前記文字列の区切りを表す情報を算出することと、
前記文字列の区切りを表す情報を出力することと、
を実行させる画像認識プログラム。 For image recognition devices
To get an image with a character string,
Dividing the image into a plurality of partial images and
Using a first model that extracts a feature amount from each of the plurality of partial images and a second model that sequentially converts the feature amount into information representing the division of the character string, the character string of each of the plurality of partial images is used. To calculate the information that represents the delimiter
To output the information indicating the delimiter of the character string and
An image recognition program that runs.
前記画像認識装置は、
前記ユーザ端末から、文字列が写された画像を取得する取得部と、
前記画像を複数の部分画像に分割する分割部と、
前記複数の部分画像それぞれから特徴量を抽出する第1モデル及び前記特徴量を前記文字列の区切りを表す情報に順次変換する第2モデルを用いて、前記複数の部分画像それぞれについて前記文字列の区切りを表す情報を算出する算出部と、
前記文字列の区切りを表す情報を前記ユーザ端末に出力する出力部と、を有する、
画像認識システム。 An image recognition system including an image recognition device and a user terminal.
The image recognition device is
An acquisition unit that acquires an image in which a character string is copied from the user terminal, and
A division portion that divides the image into a plurality of partial images,
Using a first model that extracts a feature amount from each of the plurality of partial images and a second model that sequentially converts the feature amount into information representing the division of the character string, the character string of each of the plurality of partial images is used. A calculation unit that calculates information that represents a delimiter,
It has an output unit that outputs information representing the character string delimiter to the user terminal.
Image recognition system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075833A JP6868052B2 (en) | 2019-04-11 | 2019-04-11 | Image recognition device, image recognition method, image recognition program and image recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019075833A JP6868052B2 (en) | 2019-04-11 | 2019-04-11 | Image recognition device, image recognition method, image recognition program and image recognition system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020173669A true JP2020173669A (en) | 2020-10-22 |
JP6868052B2 JP6868052B2 (en) | 2021-05-12 |
Family
ID=72831403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019075833A Active JP6868052B2 (en) | 2019-04-11 | 2019-04-11 | Image recognition device, image recognition method, image recognition program and image recognition system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6868052B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022190900A1 (en) * | 2021-03-08 | 2022-09-15 | 株式会社 東芝 | Image processing apparatus, program, and system |
WO2024018547A1 (en) * | 2022-07-19 | 2024-01-25 | 日本電信電話株式会社 | Information processing device, information processing method, and information processing program |
-
2019
- 2019-04-11 JP JP2019075833A patent/JP6868052B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022190900A1 (en) * | 2021-03-08 | 2022-09-15 | 株式会社 東芝 | Image processing apparatus, program, and system |
WO2024018547A1 (en) * | 2022-07-19 | 2024-01-25 | 日本電信電話株式会社 | Information processing device, information processing method, and information processing program |
Also Published As
Publication number | Publication date |
---|---|
JP6868052B2 (en) | 2021-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520229B (en) | Image detection method, image detection device, electronic equipment and computer readable medium | |
US10846553B2 (en) | Recognizing typewritten and handwritten characters using end-to-end deep learning | |
Mathew et al. | Multilingual OCR for Indic scripts | |
CN111615702B (en) | Method, device and equipment for extracting structured data from image | |
US20080317347A1 (en) | Rendering engine test system | |
CN113034406B (en) | Distorted document recovery method, device, equipment and medium | |
CN111078552A (en) | Method and device for detecting page display abnormity and storage medium | |
CN112819686A (en) | Image style processing method and device based on artificial intelligence and electronic equipment | |
CN113343958B (en) | Text recognition method, device, equipment and medium | |
US11468655B2 (en) | Method and apparatus for extracting information, device and storage medium | |
JP6868052B2 (en) | Image recognition device, image recognition method, image recognition program and image recognition system | |
CN110210480B (en) | Character recognition method and device, electronic equipment and computer readable storage medium | |
CN113159013A (en) | Paragraph identification method and device based on machine learning, computer equipment and medium | |
EP3882817A2 (en) | Method, apparatus and device for recognizing bill and storage medium | |
CN113449726A (en) | Character comparison and identification method and device | |
CN113191355A (en) | Text image synthesis method, device, equipment and storage medium | |
CN114331932A (en) | Target image generation method and device, computing equipment and computer storage medium | |
CN114187445A (en) | Method and device for recognizing text in image, electronic equipment and storage medium | |
KR20220067387A (en) | Method and system for analyzing layout of image | |
JP5913763B1 (en) | Reference line setting device, reference line setting method, and reference line setting program | |
KR101667910B1 (en) | Method and apparatus for generating digital artifical hand-writing data and computer program stored in computer readable medium therefor | |
CN113111713B (en) | Image detection method and device, electronic equipment and storage medium | |
KR102222640B1 (en) | Apparatus for recognition of character and method of the same | |
JP7512798B2 (en) | Information processing device and computer program | |
CN108875929B (en) | Font code generation method and apparatus, font code, storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191211 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210311 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6868052 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |