JP2015184691A - Image processor and image processing program - Google Patents
Image processor and image processing program Download PDFInfo
- Publication number
- JP2015184691A JP2015184691A JP2014057611A JP2014057611A JP2015184691A JP 2015184691 A JP2015184691 A JP 2015184691A JP 2014057611 A JP2014057611 A JP 2014057611A JP 2014057611 A JP2014057611 A JP 2014057611A JP 2015184691 A JP2015184691 A JP 2015184691A
- Authority
- JP
- Japan
- Prior art keywords
- character
- image
- module
- pixel block
- character string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Character Input (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program.
特許文献1には、屋外や工場内などの現場での文字認識に汎用的に適用できる文字認識方法及び装置を提供することを課題とし、認識対象文字の撮影画像を複数の閾値で2値化した複数の文字パターンを取得し、この複数の文字パターンをX方向、Y方向に射影加算することによって文字領域を切り出し、得られた文字をニューラルネットワークに入力して、設定基準値を越える出力値が最大値をとるものを最終認識結果として出力することが開示されている。 In Patent Document 1, it is an object to provide a character recognition method and apparatus that can be generally applied to character recognition in the field such as outdoors or in a factory, and binarize a captured image of a character to be recognized with a plurality of threshold values. The obtained character pattern is obtained, and the character area is cut out by projecting and adding the plurality of character patterns in the X and Y directions. The obtained character is input to the neural network, and the output value exceeds the set reference value. Is output as the final recognition result.
特許文献2には、未知の照明条件に対し頑健な文字認識の実現を課題とし、複数の異なる二値化手段と、それらから得られる文字パターン候補を統合する手段と、文字パターン候補を解析して文字列として認識することが開示されている。 In Patent Document 2, it is an object to realize robust character recognition with respect to unknown lighting conditions, and a plurality of different binarization means, means for integrating character pattern candidates obtained from them, and character pattern candidates are analyzed. Are recognized as character strings.
本発明は、画像内から文字列を抽出する場合にあって、背景がある画像からも文字列を抽出するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。 An object of the present invention is to provide an image processing apparatus and an image processing program that extract a character string from an image with a background when a character string is extracted from the image.
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、画像を2値化する複数の2値化手段と、前記2値化手段によって2値化された各2値化画像内の画素塊が文字である可能性に基づいて、画素塊を選択する選択手段と、前記選択手段によって選択された画素塊から隣接する文字を探索して文字列を抽出する抽出手段と、前記抽出手段によって抽出された文字列を合成する合成手段を具備することを特徴とする画像処理装置である。
The gist of the present invention for achieving the object lies in the inventions of the following items.
The invention of claim 1 is based on a plurality of binarization means for binarizing an image and a possibility that a pixel block in each binarized image binarized by the binarization means is a character. A selection unit for selecting a pixel block, an extraction unit for searching for adjacent characters from the pixel block selected by the selection unit and extracting a character string, and a synthesis unit for synthesizing the character string extracted by the extraction unit An image processing apparatus comprising:
請求項2の発明は、前記選択手段は、前記各2値化画像を文字認識した結果の文字の確信度が予め定められた第1の閾値より高い又は以上であって、該文字の複雑度が第2の閾値より高い又は以上である画素塊を選択することを特徴とする請求項1に記載の画像処理装置である。 The invention according to claim 2 is characterized in that the selection means has a certainty factor of a character as a result of character recognition of each of the binarized images higher or higher than a predetermined first threshold, and the complexity of the character 2. The image processing apparatus according to claim 1, wherein a pixel block whose is higher than or equal to a second threshold value is selected.
請求項3の発明は、前記複雑度は、前記画素塊の外接矩形内での交番数、文字認識結果である文字の字画数のいずれか、又はこれらの組み合わせであることを特徴とする請求項2に記載の画像処理装置である。 The invention according to claim 3 is characterized in that the complexity is one of the number of alternations in the circumscribed rectangle of the pixel block, the number of strokes of characters as a character recognition result, or a combination thereof. The image processing apparatus according to 2.
請求項4の発明は、前記選択手段は、前記各2値化画像を文字認識した結果の文字の確信度が予め定められた第1の閾値より高い又は以上であって、該文字が予め定められた文字ではない画素塊を選択することを特徴とする請求項1に記載の画像処理装置である。 According to a fourth aspect of the present invention, the selection means has a certainty factor of a character as a result of character recognition of each of the binarized images being higher than or equal to a predetermined first threshold, and the character is determined in advance. 2. The image processing apparatus according to claim 1, wherein a pixel block that is not a written character is selected.
請求項5の発明は、前記抽出手段は、前記選択手段によって選択された第1の画素塊の外接矩形の大きさに応じた矩形を設定し、該外接矩形の周辺にある各2値化画像の該矩形内を文字認識し、該文字認識した結果の確信度が第3の閾値より高い又は以上である画素塊の組み合わせを、該第1の文字の隣にある第2の文字とし、次に該第2の文字を第1の文字に設定して文字列を抽出することを特徴とする請求項1から4のいずれか一項に記載の画像処理装置である。 According to a fifth aspect of the present invention, the extraction unit sets a rectangle corresponding to the size of the circumscribed rectangle of the first pixel block selected by the selection unit, and each binarized image around the circumscribed rectangle. Character recognition within the rectangle, and a combination of pixel blocks whose certainty of the result of character recognition is higher or higher than a third threshold is set as a second character next to the first character, and The image processing apparatus according to claim 1, wherein the second character is set as the first character to extract a character string.
請求項6の発明は、前記抽出手段は、予め定められた条件に合致する画素塊の組み合わせを除外して前記文字認識を行うことを特徴とする請求項5に記載の画像処理装置である。 A sixth aspect of the present invention is the image processing apparatus according to the fifth aspect, wherein the extraction means performs the character recognition by excluding a combination of pixel blocks matching a predetermined condition.
請求項7の発明は、前記予め定められた条件として、異なる色の画素塊を含む組み合わせであること、異なるストローク幅を含む組み合わせであること、前記第1の画素塊における文字のストローク幅と異なるストローク幅を含む組み合わせであることのいずれか、又はこれらの組み合わせであることを特徴とする請求項6に記載の画像処理装置である。 The invention according to claim 7 is, as the predetermined condition, a combination including pixel clusters of different colors, a combination including different stroke widths, and different from a character stroke width in the first pixel blocks. The image processing apparatus according to claim 6, wherein the image processing apparatus is one of a combination including a stroke width, or a combination thereof.
請求項8の発明は、前記合成手段は、前記各2値化画像における文字列画像を論理和合成して文字列画像を生成すること、又は、前記各2値化画像における文字列画像に対応する各文字の文字コード毎に計数し、該計数の結果に基づいて文字列画像を生成することを特徴とする請求項1から7のいずれか一項に記載の画像処理装置である。 The invention according to claim 8 is characterized in that the synthesizing unit generates a character string image by performing a logical sum synthesis on the character string images in the respective binarized images, or corresponds to the character string image in each of the binarized images. The image processing apparatus according to claim 1, wherein a character string image is generated on the basis of a result of the counting for each character code of each character.
請求項9の発明は、前記2値化手段は、複数の異なる閾値による2値化、前記画像を反転後に複数の異なる閾値による2値化、又はこれらの組み合わせの2値化を行うことを特徴とする請求項1から8のいずれか一項に記載の画像処理装置である。 The invention of claim 9 is characterized in that the binarization means performs binarization using a plurality of different thresholds, binarization using a plurality of different thresholds after inversion of the image, or binarization of a combination thereof. An image processing apparatus according to any one of claims 1 to 8.
請求項10の発明は、コンピュータを、画像を2値化する複数の2値化手段と、前記2値化手段によって2値化された各2値化画像内の画素塊が文字である可能性に基づいて、画素塊を選択する選択手段と、前記選択手段によって選択された画素塊から隣接する文字を探索して文字列を抽出する抽出手段と、前記抽出手段によって抽出された文字列を合成する合成手段として機能させるための画像処理プログラムである。 According to the invention of claim 10, there is a possibility that the computer includes a plurality of binarizing means for binarizing the image, and the pixel block in each binarized image binarized by the binarizing means is a character. A selection unit for selecting a pixel block, an extraction unit for extracting a character string by searching for adjacent characters from the pixel block selected by the selection unit, and a character string extracted by the extraction unit An image processing program for functioning as a synthesizing unit.
請求項1の画像処理装置によれば、画像内から文字列を抽出する場合にあって、背景がある画像からも文字列を抽出することができる。 According to the image processing apparatus of the first aspect, when a character string is extracted from an image, the character string can be extracted from an image with a background.
請求項2の画像処理装置によれば、文字認識した結果の文字の確信度と文字の複雑度を用いて、文字である画素塊を選択することができる。 According to the image processing apparatus of the second aspect, it is possible to select a pixel block which is a character by using the certainty factor of the character as a result of character recognition and the complexity of the character.
請求項3の画像処理装置によれば、複雑度として、交番数又は字画数を用いることができる。 According to the image processing apparatus of claim 3, the number of alternations or the number of strokes can be used as the complexity.
請求項4の画像処理装置によれば、文字認識した結果の文字の確信度と予め定められた文字を用いて、文字である画素塊を選択することができる。 According to the image processing apparatus of the fourth aspect, it is possible to select a pixel block which is a character by using the certainty factor of the character as a result of character recognition and a predetermined character.
請求項5の画像処理装置によれば、第1の画素塊の外接矩形の周辺にある文字を抽出することができる。 According to the image processing apparatus of the fifth aspect, it is possible to extract characters around the circumscribed rectangle of the first pixel block.
請求項6の画像処理装置によれば、予め定められた条件に合致する画素塊の組み合わせを除外して文字認識を行うことができる。 According to the image processing device of the sixth aspect, it is possible to perform character recognition by excluding combinations of pixel blocks that match a predetermined condition.
請求項7の画像処理装置によれば、予め定められた条件として、異なる色の画素塊を含む組み合わせであること、異なるストローク幅を含む組み合わせであること、又は第1の画素塊における文字のストローク幅と異なるストローク幅を含む組み合わせであることを用いることができる。 According to the image processing apparatus of claim 7, as a predetermined condition, a combination including pixel clusters of different colors, a combination including different stroke widths, or a stroke of characters in the first pixel block A combination including a stroke width different from the width can be used.
請求項8の画像処理装置によれば、論理和合成、又は文字コードの計数結果に基づいて文字列画像を生成することができる。 According to the image processing apparatus of the eighth aspect, it is possible to generate a character string image based on the logical sum synthesis or the character code count result.
請求項9の画像処理装置によれば、複数の異なる閾値を用いて2値化を行うことができる。 According to the image processing apparatus of the ninth aspect, binarization can be performed using a plurality of different threshold values.
請求項10の画像処理プログラムによれば、画像内から文字列を抽出する場合にあって、背景がある画像からも文字列を抽出することができる。 According to the image processing program of the tenth aspect, when a character string is extracted from the image, the character string can be extracted from an image with a background.
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という意味を有する記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
Hereinafter, an example of a preferred embodiment for realizing the present invention will be described with reference to the drawings.
FIG. 1 shows a conceptual module configuration diagram of a configuration example of the present embodiment.
The module generally refers to components such as software (computer program) and hardware that can be logically separated. Therefore, the module in the present embodiment indicates not only a module in a computer program but also a module in a hardware configuration. Therefore, the present embodiment is a computer program for causing these modules to function (a program for causing a computer to execute each procedure, a program for causing a computer to function as each means, and a function for each computer. This also serves as an explanation of the program and system and method for realizing the above. However, for the sake of explanation, the words “store”, “store”, and equivalents thereof are used. However, when the embodiment is a computer program, these words are stored in a storage device or stored in memory. It is the control to be stored in the device. Modules may correspond to functions one-to-one, but in mounting, one module may be configured by one program, or a plurality of modules may be configured by one program, and conversely, one module May be composed of a plurality of programs. The plurality of modules may be executed by one computer, or one module may be executed by a plurality of computers in a distributed or parallel environment. Note that one module may include other modules. Hereinafter, “connection” is used not only for physical connection but also for logical connection (data exchange, instruction, reference relationship between data, etc.). “Predetermined” means that the process is determined before the target process, and not only before the process according to this embodiment starts but also after the process according to this embodiment starts. In addition, if it is before the target processing, it is used in accordance with the situation / state at that time or with the intention to be decided according to the situation / state up to that point. When there are a plurality of “predetermined values”, they may be different values, or two or more values (of course, including all values) may be the same. In addition, the description having the meaning of “do B when it is A” is used in the meaning of “determine whether or not it is A and do B when it is judged as A”. However, the case where it is not necessary to determine whether or not A is excluded.
In addition, the system or device is configured by connecting a plurality of computers, hardware, devices, and the like by communication means such as a network (including one-to-one correspondence communication connection), etc., and one computer, hardware, device. The case where it implement | achieves by etc. is included. “Apparatus” and “system” are used as synonymous terms. Of course, the “system” does not include a social “mechanism” (social system) that is an artificial arrangement.
In addition, when performing a plurality of processes in each module or in each module, the target information is read from the storage device for each process, and the processing result is written to the storage device after performing the processing. is there. Therefore, description of reading from the storage device before processing and writing to the storage device after processing may be omitted. Here, the storage device may include a hard disk, a RAM (Random Access Memory), an external storage medium, a storage device via a communication line, a register in a CPU (Central Processing Unit), and the like.
本実施の形態である画像処理装置100は、画像内から文字列を抽出するものであって、図1の例に示すように、画像受付モジュール110、2値化(1)モジュール120A、2値化(2)モジュール120B、・・・、2値化(N)モジュール120Z、起点文字探索モジュール130A、起点文字探索モジュール130B、・・・、起点文字探索モジュール130Z、文字列探索モジュール140A、文字列探索モジュール140B、・・・、文字列探索モジュール140Z、文字列合成モジュール150を有している。
The
画像受付モジュール110は、2値化(1)モジュール120A、2値化(2)モジュール120B、2値化(N)モジュール120Z、文字列探索モジュール140Zと接続されている。画像受付モジュール110は、対象となる画像を受け付ける。画像を受け付けるとは、例えば、カメラ等で画像を撮影すること、動画像から画像を抽出すること、スキャナ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク(コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む)等に記憶されている画像を読み出すこと等が含まれる。画像は、多値画像(カラー画像を含む)である。受け付ける画像は、1枚であってもよいし、複数枚であってもよい。また、画像の内容として、広告宣伝用のパンフレット等におけるデザイン文字列、風景画像における看板等に記載された文字列、動画像におけるテロップ等のような文字列が含まれている。また、その文字列には背景があってもよい。また、文字の位置、サイズ、色等は未知であり、文字列の並びも直線と仮定できなくてもよい。具体的には、カメラで撮影した風景画像、教室において講義を撮影した動画像、自動車のドライブレコーダーで撮影した動画像等から抽出した画像(情景画像ともいわれる)が該当する。
The
2値化モジュール120、起点文字探索モジュール130、文字列探索モジュール140は、それぞれ複数ある。それぞれのモジュールは、同等の処理を行うので、それぞれ2値化(1)モジュール120A、起点文字探索モジュール130A、文字列探索モジュール140Aを代表して説明する。
2値化(1)モジュール120Aは、画像受付モジュール110、起点文字探索モジュール130Aと接続されている。2値化(1)モジュール120Aは、起点文字探索モジュール130Aに2値化画像層(1)122Aを渡す。2値化(1)モジュール120Aは、画像受付モジュール110が受け付けた画像を2値化する。それぞれの2値化モジュール120は、異なる2値化処理を行う。「異なる2値化処理」として、例えば、手法そのものが異なる2値化であってもよい。例えば、2値化(1)モジュール120Aはp−タイル法、2値化(2)モジュール120Bはモード法、2値化(N)モジュール120Zは判別分析法等のようにしてもよい。それぞれが異なる2値化画像を出力するものであればよい。また、「異なる2値化処理」として、複数の異なる閾値による2値化、対象となっている画像を反転後に複数の異なる閾値による2値化、又はこれらの組み合わせの2値化であってもよい。なお、「対象となっている画像を反転」するのは、白抜き文字等に対応するためである。
There are a plurality of binarization modules 120, starting
The binarization (1)
図9の例に示す2値化画像900は、「なかた商店」という文字が記載された看板が含まれている情景画像を2値化モジュール120のいずれかが2値化処理した結果である。2値化画像900内には、「なかた商店」という文字の画像の他に、文字「た」の近傍に、ノイズ(非文字)910、ノイズ(非文字)920、ノイズ(非文字)930が含まれることがある。従来の技術では、1文字の画像を切り出すのに、これらのノイズに影響を受けてしまい、1文字の画像として、図10の例に示すように連結方向1010として、「た」の画像以外にノイズ(非文字)910、ノイズ(非文字)920等も含めて文字画像としてしまうことがある。
The
起点文字探索モジュール130Aは、2値化(1)モジュール120A、文字列探索モジュール140A、文字列探索モジュール140B、文字列探索モジュール140Zと接続されている。起点文字探索モジュール130Aは、2値化(1)モジュール120Aによって2値化された2値化画像層(1)122A内の画素塊が文字である可能性に基づいて、画素塊を選択する。ここで選択する画素塊は、文字である可能性が高い画素塊である。また、画素塊とは、4連結又は8連結で連続する画素領域を少なくとも含み、これらの画素領域の集合をも含む。これらの画素領域の集合とは、4連結等で連続した画素領域が複数あり、その複数の画素領域は近傍にあるものをいう。ここで、近傍にあるものとは、例えば、互いの画素領域が距離的に近いもの(互いの画素塊が予め定められた距離内にあること)等がある。なお、1つの画素塊として、1文字の画像となる場合が多い。ただし、実際に人間が文字として認識できる画素領域である必要はない。文字の一部分、文字を形成しない画素領域等もあり、何らかの画素の塊であればよい。起点文字探索モジュール130Aによって選択された文字画像が、文字列を探索する場合の起点文字となる。
「文字である可能性に基づいて選択」とは、文字である可能性が高い画素塊を選択することである。そして、ここでの「文字である可能性が高い」とは、文字である可能性を示す値が、予め定められた閾値以上であること、又は、文字である可能性を示す値で降順に並べ、予め定められた順位より上位であること(例えば、文字である可能性を示す値がもっとも高いものであること)等がある。したがって、2値化画像において、文字である可能性が高い画素塊がない場合は、画素塊は選択されないことになり、その2値化画像においては文字列は抽出できないことになる。ただし、他の2値化画像で画素塊が選択されれば、文字列は抽出できることになる。
The starting
“Select based on the possibility of being a character” refers to selecting a pixel block that has a high possibility of being a character. And "the possibility that it is a character is high" here is that the value indicating the possibility of being a character is equal to or more than a predetermined threshold or the value indicating the possibility of being a character in descending order. Arrangement and higher rank than a predetermined order (for example, the highest value indicating the possibility of being a character). Therefore, if there is no pixel block having a high possibility of being a character in the binarized image, the pixel block is not selected, and the character string cannot be extracted from the binarized image. However, if a pixel block is selected in another binarized image, the character string can be extracted.
起点文字探索モジュール130Aは、2値化画像層(1)122Aを文字認識した結果の文字の確信度(例えば、文字認識用の特徴空間において、対象としている文字画像と辞書内の文字との距離の逆数等)が予め定められた第1の閾値より高い又は以上であって、その文字の複雑度が第2の閾値より高い又は以上である画素塊を選択するようにしてもよい。ここでの「複雑度」は、画素塊の外接矩形内での交番数(黒から白へ、白から黒への切り替わり回数)、文字認識結果である文字の字画数のいずれか、又はこれらの組み合わせとしてもよい。
また、起点文字探索モジュール130Aは、2値化画像層(1)122Aを文字認識した結果の文字の確信度が予め定められた第1の閾値より高い又は以上であって、該文字が予め定められた文字ではない画素塊を選択するようにしてもよい。
The starting
In addition, the starting
より具体的には、起点文字探索モジュール130Aは、各々の2値化画像から既に知られているラベリング処理などにより、連結した画素領域を画素塊として認識し、それを外接矩形の画像として切り出して、文字認識することにより文字候補の文字コードと、その確信度(確度)を得る。外接矩形の領域に、他の画素塊も含まれる場合(外接矩形が重なる場合)は、それら複数の画素塊を含めた外接矩形の画像として切り出して、それを文字認識してもよい。
また、文字認識の出力として、文字コード、その文字の確信度の他に、字画数を加えてもよい。文字候補の複雑度は、その字画数を用いてもよいし、切り出した外接矩形の交番数を計測して用いてもよい。交番数は、外接矩形に対して、数本の平行線や垂線に沿って、白黒の反転回数を計測し、そのうちの最大数を交番数とすればよい。
また、複雑度の代わりに、予め定められた文字のリストを用いてもいい。つまり、そのリストに含まれている文字は、起点文字探索モジュール130Aによって選択されない。そのリストに含まれている文字として、例えば、「1」、「l」、「|」、「一」、「□」、「L」、「○」等の文字がある。情景画像の2値化後の画像には、文字ではないが文字に類似した非文字画像が含まれており、文字認識結果を利用する場合、情景画像中には、前述した文字(「1」等)と間違えやすい自然物や構造物等があるため、単純な形状の文字は起点文字から除外する。また、これらの形状の文字は、文字認識を行うと高い確信度を出力してしまうことが多く、確信度だけで起点文字を判断することはできない。なお、起点文字は複数個あってもよい。
More specifically, the starting
In addition to the character code and the certainty of the character, the number of strokes may be added as an output of character recognition. As the complexity of the character candidate, the number of strokes may be used, or the number of alternating turns of the cut out circumscribed rectangle may be used. The number of alternations may be determined by measuring the number of black and white inversions along several parallel lines and perpendiculars with respect to the circumscribed rectangle, and the maximum number of them is the alternation number.
A predetermined character list may be used instead of the complexity. That is, the characters included in the list are not selected by the starting
文字列探索モジュール140Aは、起点文字探索モジュール130A、起点文字探索モジュール130B、起点文字探索モジュール130Z、文字列合成モジュール150と接続されている。文字列探索モジュール140Aは、起点文字探索モジュール130によって選択された画素塊から隣接する文字を探索して文字列を抽出する。起点文字探索モジュール130によって選択された第1の画素塊(以下、起点文字ともいう)の外接矩形の大きさに応じた矩形(以下、ウィンドウともいう)を設定し、その外接矩形の周辺にある各2値化画像のその矩形内を文字認識し、その文字認識した結果の確信度が第3の閾値より高い又は以上である画素塊の組み合わせを、その第1の文字の隣にある第2の文字とし、次にその第2の文字を第1の文字に設定して文字列を抽出する。概略として、起点文字の周辺文字を抽出して、その周辺文字を起点文字にして次々と文字列を辿っていくことによって文字列を抽出する。より具体的には、起点文字の外接矩形の大きさに応じたウィンドウを設定し、その外接矩形の周辺を全ての2値化画像に対して1周させた際に、ウィンドウ内に入る全画素塊の組み合わせを文字認識し、その中で第3の閾値より高い又は以上となった画素塊の組み合わせを隣の文字の候補とし、次に隣の文字候補を起点文字に設定し、同様の方法で文字列を探索していく。
The character
また、文字列探索モジュール140Aは、予め定められた条件に合致する画素塊の組み合わせを除外して前記文字認識を行うようにしてもよい。この予め定められた条件は、異質な画素塊を含む組み合わせを除外するための条件であり、具体的には、異なる色の画素塊を含む組み合わせであること、異なるストローク幅を含む組み合わせであること、前記第1の画素塊における文字のストローク幅と異なるストローク幅を含む組み合わせであることのいずれか、又はこれらの組み合わせとしてもよい。なお、ここでのストローク幅として、文字幅としてもよい。
Further, the character
より具体的には、文字列探索モジュール140Aによる隣接文字の探索は、起点文字の大きさに基づいたサイズのウィンドウを全ての2値化画像上で起点文字周辺でスライディングさせ、その中の画素塊の組み合わせを文字認識し、その確信度が第3の閾値より高い又は以上である画素塊の組み合わせを隣の文字とし、再帰的に隣の文字の探索を行う。この場合、ウィンドウ内で色の異なる画素塊の組み合わせやストローク幅(文字幅)の異なる組み合わせは除外する。
また、組み合わせた画素塊の外接矩形の横幅又は縦幅が起点文字のサイズにより決定される値の範囲を超えている組み合わせを除外してもよい。
隣の文字候補をウィンドウ内の画素塊に限定している。そして、1つの文字は同じ色で構成されていることと仮定し、異なる色の組み合わせを除外してもよい。起点文字とストローク幅の違う画素塊はノイズの可能性が大きいので除外してもよい。
また、画素塊の組み合わせでその外接矩形の横幅、縦幅が大きい場合(例えば、起点文字の外接矩形の横幅又は縦幅と比較して、対象としている外接矩形の横幅又は縦幅が予め定められた倍数より大きい又は以上である場合、対象としている外接矩形の横幅と縦幅の比率が予め定められた値より大きい又は以上である場合等)は、その外接矩形内の画素塊の組み合わせはノイズを含んでる可能性が大きいので除外してもよい。
また、文字列が同じ色で描かれてると想定できる場合は、ウィンドウ内の画素塊は起点文字と同じ色に限定してもよい。
文字列探索モジュール140によって、任意の文字列方向(曲線も含む)に対応し、また、縦横混在の文字列にも対応する。
More specifically, the search for adjacent characters by the character
Further, combinations in which the width or length of the circumscribed rectangle of the combined pixel block exceeds the range of values determined by the size of the starting character may be excluded.
The adjacent character candidates are limited to the pixel block in the window. Then, assuming that one character is composed of the same color, combinations of different colors may be excluded. A pixel block having a stroke width different from that of the starting character may be excluded because of a high possibility of noise.
In addition, when the width and length of the circumscribed rectangle are large due to the combination of pixel blocks (for example, the width or length of the circumscribed rectangle as a target is compared with the width or length of the circumscribed rectangle of the starting character in advance. If the ratio of the horizontal width to the vertical width of the circumscribed rectangle is larger or larger than a predetermined value), the combination of pixel blocks in the circumscribed rectangle is noise. May be excluded because it is highly likely to contain.
If it can be assumed that the character string is drawn in the same color, the pixel block in the window may be limited to the same color as the starting character.
The character
文字列合成モジュール150は、文字列探索モジュール140A、文字列探索モジュール140B、文字列探索モジュール140Zと接続されている。文字列合成モジュール150は、各文字列探索モジュール140によって抽出された文字列を合成する。文字列合成モジュール150は、各2値化画像における文字列画像を論理和合成して文字列画像を生成すること、又は、各2値化画像における文字列画像に対応する各文字の文字コード毎に計数し、その計数の結果に基づいて文字列画像を生成するようにしてもよい。
The character
図2は、本実施の形態による処理例を示すフローチャートである。
ステップS202では、画像受付モジュール110が、画像を受け付ける。
ステップS204では、各2値化モジュール120が、画像を2値化処理して、複数の2値化画像を生成する。
ステップS206では、各起点文字探索モジュール130が、各2値化画像から文字である可能性の高い画素塊(起点文字)を選択する。
ステップS208では、各文字列探索モジュール140が、選択された画素塊(起点文字)に隣接する文字を探索して、文字列を抽出する。
ステップS210では、文字列合成モジュール150が、抽出した文字列を合成する。
ステップS212では、文字列合成モジュール150が、文字列を出力する。
FIG. 2 is a flowchart showing an example of processing according to this embodiment.
In step S202, the
In step S204, each binarization module 120 binarizes the image to generate a plurality of binarized images.
In step S206, each starting
In step S208, each character
In step S210, the character
In step S212, the character
図3は、本実施の形態の起点文字探索モジュール130内の構成例についての概念的なモジュール構成図である。起点文字探索モジュール130は、文字認識モジュール310、複雑度算出モジュール320、起点文字探索処理モジュール330を有している。
文字認識モジュール310は、起点文字探索処理モジュール330と接続されている。文字認識モジュール310は、文字認識処理を行う。文字認識結果として、文字コード、その文字の確信度を出力する。
複雑度算出モジュール320は、起点文字探索処理モジュール330と接続されている。複雑度算出モジュール320は、前述の交番数を計測する。また、文字認識モジュール310によって文字認識された文字の字画数を出力する。例えば、文字コードと字画数を対応させて記憶しているテーブルを予め用意しておき、そのテーブルから文字コードを検索して、対応する字画数を出力すればよい。
起点文字探索処理モジュール330は、文字認識モジュール310、複雑度算出モジュール320と接続されている。起点文字探索処理モジュール330は、2値化画像内の画素塊が文字である可能性である文字認識モジュール310と複雑度算出モジュール320から出力した情報に基づいて、起点文字の画素塊を選択する。
FIG. 3 is a conceptual module configuration diagram of a configuration example in the starting
The
The
The starting character
図4は、本実施の形態(起点文字探索モジュール130)による処理例を示すフローチャートである。
ステップS402では、文字認識モジュール310が、2値化画像に対して文字認識処理を行う。
ステップS404では、複雑度算出モジュール320が、その文字の複雑度を算出する。
ステップS406では、起点文字探索処理モジュール330が、文字列内の起点となる文字を選択する。
FIG. 4 is a flowchart showing an example of processing by the present embodiment (starting character search module 130).
In step S402, the
In step S404, the
In step S406, the starting character
図5は、本実施の形態の文字列探索モジュール140内の構成例についての概念的なモジュール構成図である。
文字列探索モジュール140は、ウィンドウ設定モジュール510、文字認識モジュール520、選択モジュール530、制御モジュール540を有している。
ウィンドウ設定モジュール510は、制御モジュール540と接続されている。ウィンドウ設定モジュール510は、起点文字探索モジュール130によって選択された起点文字の外接矩形の大きさに応じたウィンドウを設定する。起点文字の外接矩形の大きさと同じ大きさにしてもよいし、起点文字の外接矩形の縦長、横長に、予め定められた倍率を乗算して得た大きさにしてもよい。図11の例を用いて説明する。起点文字探索モジュール130によって、図9の例に示した2値化画像900内から「商」の文字画像が起点文字1110として選択されたとする。2値化画像900の中でこの文字は複雑度が高い文字であるからである。ウィンドウ設定モジュール510は、起点文字1110の外接矩形の大きさに予め定められた倍率を乗算して得た大きさのウィンドウを設定する。例えば、検索窓1130であり、これは起点文字1110よりも大きい。具体的には、起点文字1110の外接矩形がN×Nの場合、検索窓1130をtN×tNに設定する。起点文字1110の外接矩形の周囲を1周するように、検索窓1130を走査する。走査として、例えば、起点文字1110の外接矩形の左上(検索範囲1120の左上角)、上、右上(検索範囲1120の右上角)、右、右下(検索範囲1120の右下角)、下、左下(検索範囲1120の左下角)、左の8個の検索窓1130を設定するようにしてもよいし、起点文字1110の外接矩形の左上(検索範囲1120の左上角)から予め定めた画素(例えば1画素)ずつ移動させて、起点文字1110の外接矩形を1周するように、検索窓1130を設定するようにしてもよい。したがって、探索範囲1120は、起点文字1110を中心とした「(2t+1)N×(2t+1)N」の矩形となる。なお、tは1以上が望ましい。さらには、1以上2未満が望ましい。
FIG. 5 is a conceptual module configuration diagram of a configuration example in the character
The character
The
文字認識モジュール520は、制御モジュール540と接続されている。文字認識モジュール520は、前述の文字認識モジュール310と同等のものであり、1つの文字認識モジュールを起点文字探索モジュール130、文字列探索モジュール140が用いるようにしてもよい。文字認識モジュール520は、ウィンドウ設定モジュール510によって設定されたウィンドウ(例えば、検索窓1130)内の画像を文字認識する。
制御モジュール540は、ウィンドウ設定モジュール510、文字認識モジュール520、選択モジュール530と接続されている。制御モジュール540は、検索窓1130を起点文字1110の周りに1周させ(例えば、探索方向1142、探索方向1144、探索方向1146、探索方向1148)、その過程で検索窓1130内に入った画素塊の組み合わせを算出する。
The
The
なお、検索窓1130の移動量は、画素塊毎に移動するようにしてもよいし、予め定められた画素毎(例えば、検索窓1130の大きさ毎、1画素毎等)移動するようにしてもよい。
また、図12の例に示すように、探索範囲1120は、他の2値化画像(例えば、全ての2値化画像)に設定してもよい。つまり、起点文字1110Bを選択した2値化画像900Bに対してだけ探索範囲1120を設定するのではなく、2値化画像900A、2値化画像900Zにも探索範囲1120を設置し、2値化画像900Aでは起点画像(起点文字1110Bに対応する位置の画像)の周囲を検索窓1130Aでスキャンし、2値化画像900Bでは起点文字1110Bの周囲を検索窓1130Bでスキャンし、2値化画像900Zでは起点画像(起点文字1110Bに対応する位置の画像)の周囲を検索窓1130Zでスキャンする。
The moving amount of the
Further, as shown in the example of FIG. 12, the
検索窓1130を移動させ、図13の例に示すように「た」を含むところでは、検索窓1330内にはノイズ(非文字)930も含めて画素塊(連結領域)の数は4つある。具体的には、図14(a)の例に示す検索窓1330では、図14(b)の例に示すように、認識対象1410、認識対象1420、認識対象1430、認識対象1440の4つとなる。したがって、全部で24−1個の組み合わせができる。なお、この式内の「−1」は、何もない場合(検索窓1330が空白の場合)は、対象外としたものである。これらの1つ1つの組み合わせの画像を、文字認識モジュール520で文字認識させる。
When the
選択モジュール530は、制御モジュール540と接続されている。選択モジュール530は、文字認識モジュール520によって文字認識した結果の確信度が第3の閾値より高い又は以上である検索窓1130内の画素塊の組み合わせを、起点文字の隣にある第2の文字として選択する。ただし、複数の2値化画像において、同じ検索窓の位置で閾値を超える複数の文字候補があった場合は、もっとも確信度の高い文字を選択する。
The
制御モジュール540が行う隣接する文字の探索について、図15の例を用いて説明する。図15は、本実施の形態(文字列探索モジュール140)による処理例を示す説明図である。この探索は、再帰的な繰り返しを用いている。この例では、起点文字を選択するために用いる第1の閾値と、隣接する文字を選択するために用いる第3の閾値は異なる。第1の閾値を第3の閾値よりも高くすることが望ましい。図15の例では、第1の閾値を0.999とし、第3の閾値を0.990とする。なお、確信度は、0〜1までの値をとり、1に近いほど確信度が高い(その文字である可能性が高い)ことを示している。文字認識結果(商)1510は、確信度が0.9997であったので、起点文字として選択された。もちろんのことながら、他の条件(複雑度、予め定められた文字のリストにない)も合致しているものである。そして、文字認識結果(商)1510の周囲をスキャンした結果、文字認識結果(た)1520の確信度が0.9953であり、文字認識結果(店)1550の確信度が0.9921であった。つまり、第3の閾値よりも高いので、起点文字の次の文字として、文字認識結果(た)1520、文字認識結果(店)1550が選択される。ここでは、深さ優先(確信度が高いものを優先)で、探索を行う。したがって、文字認識結果(た)1520を起点文字として、文字認識結果(た)1520の周囲をスキャンした結果(なお、文字認識結果(商)1510は対象から外す)、文字認識結果(か)1530の確信度が0.9936であり、第3の閾値よりも高いので、文字認識結果(た)1520の次の文字として、文字認識結果(か)1530が選択される。次に、文字認識結果(か)1530を起点文字として、文字認識結果(か)1530の周囲をスキャンした結果(なお、文字認識結果(た)1520は対象から外す)、文字認識結果(な)1540の確信度が0.9974であり、第3の閾値よりも高いので、文字認識結果(か)1530の次の文字として、文字認識結果(な)1540が選択される。文字認識結果(な)1540の周囲をスキャンした結果(なお、文字認識結果(か)1530は対象から外す)、第3の閾値よりも高いものはなかったので、順に戻る(文字認識結果(な)1540、文字認識結果(か)1530、文字認識結果(た)1520、文字認識結果(商)1510の順)。次に、文字認識結果(店)1550の周囲をスキャンした結果(なお、文字認識結果(商)1510は対象から外す)、第3の閾値よりも高いものはなかったので終了する。この結果、探索順は、「商→た→か→な→店」となる。もちろんのことながら、文字の位置に基づいて並べると「なかた商店」となる。
The search for adjacent characters performed by the
図6は、本実施の形態(文字列探索モジュール140)による処理例を示すフローチャートである。
ステップS602では、ウィンドウ設定モジュール510が、起点文字に応じて検索窓を設定する。
ステップS604では、文字認識モジュール520が、各検索窓内の画像に対して文字認識処理を行う。
ステップS606では、選択モジュール530が、起点文字の隣にある文字を文字認識結果内から選択する。
ステップS608では、制御モジュール540が、終了したか否かを判断し、終了した場合は処理を終了し(ステップS699)、それ以外の場合はステップS610へ進む。
ステップS610では、選択した文字を起点文字とし、ステップS602へ戻る。
FIG. 6 is a flowchart illustrating a processing example according to the present exemplary embodiment (character string search module 140).
In step S602, the
In step S604, the
In step S606, the
In step S608, the
In step S610, the selected character is set as the starting character, and the process returns to step S602.
図7は、本実施の形態の文字列探索モジュール140内の構成例についての概念的なモジュール構成図である。文字列探索モジュール140は、ウィンドウ設定モジュール510、除外モジュール710、文字認識モジュール520、選択モジュール530、制御モジュール540を有している。図5の例で示した文字列探索モジュール140に除外モジュール710を付加したものである。
除外モジュール710は、制御モジュール540と接続されている。除外モジュール710は、予め定められた条件に合致する画素塊の組み合わせを、文字認識モジュール520の処理対象から除外する。予め定められた条件として、例えば、異なる色の画素塊を含む組み合わせであること、異なるストローク幅を含む組み合わせであること、起点文字のストローク幅と異なるストローク幅を含む組み合わせであることのいずれか、又はこれらの組み合わせがある。画素塊の色は、画像受付モジュール110が受け付けた画像(カラー画像)から、その画素塊の位置に対応する画素の色を抽出すればよい。「異なる色の画素塊を含む組み合わせ」の条件は、1文字内で色が異なるものを除外するものである。「異なるストローク幅」とは、画素塊の組み合わせの中で、各画素塊の幅が異なることをいう。「起点文字のストローク幅と異なるストローク幅」とは、起点文字の外接矩形の幅と画素塊の組み合わせを囲む外接矩形の幅とが異なることをいう。ここで異なるとは、完全一致以外の場合だけでなく、画素塊の幅の最小と最大の差が予め定められた範囲に収まっていない場合としてもよい。したがって、その範囲に収まっている場合は異なってはいないと判断することになる。
FIG. 7 is a conceptual module configuration diagram of a configuration example in the character
The
図8は、本実施の形態による処理例を示すフローチャートである。
ステップS802では、ウィンドウ設定モジュール510が、起点文字に応じて検索窓を設定する。
ステップS804では、除外モジュール710が、異質な検索窓の画像は文字認識対象から除外する。
ステップS806では、文字認識モジュール520が、検索窓内の画像に対して文字認識処理を行う。
ステップS808では、選択モジュール530が、起点文字の隣にある文字を文字認識結果内から選択する。
ステップS810では、制御モジュール540が、終了したか否かを判断し、終了した場合は処理を終了し(ステップS899)、それ以外の場合はステップS812へ進む。
ステップS812では、選択した文字を起点文字とし、ステップS802へ戻る。
ステップS806では、全ての検索窓内の画像に対して文字認識処理を行うわけではなく、ステップS804で除外された検索窓以外の検索窓内の画像に対して文字認識処理を行う。
FIG. 8 is a flowchart showing an example of processing according to this embodiment.
In step S802, the
In step S804, the
In step S806, the
In step S808, the
In step S810, the
In step S812, the selected character is used as a starting character, and the process returns to step S802.
In step S806, the character recognition process is not performed on all the images in the search window, but the character recognition process is performed on the images in the search windows other than the search window excluded in step S804.
図16は、本実施の形態(文字列合成モジュール150)による処理例を示す説明図である。各2値化画像における文字列画像である文字列探索結果1610、文字列探索結果1620を合成して、文字列合成結果1690を生成している。図16の例では、論理和(OR)合成した結果を示している。なお、文字列探索結果1610、文字列探索結果1620と2つの文字列の結果だけを示しているが、起点文字の数だけ発生することになる。また、各2値化画像における文字列画像に対応する各文字の文字コード毎に計数し、その計数の結果に基づいて文字列画像を生成するようにしてもよい。つまり、各文字の文字コードの多数決の結果、もっとも数の多かった文字コードに対応する画像を選択して文字列画像を生成している。
FIG. 16 is an explanatory diagram showing a processing example according to the present embodiment (character string synthesis module 150). A character
図17を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図17に示す構成は、例えばパーソナルコンピュータ(PC)などによって構成されるものであり、スキャナ等のデータ読み取り部1717と、プリンタなどのデータ出力部1718を備えたハードウェア構成例を示している。
A hardware configuration example of the image processing apparatus according to the present embodiment will be described with reference to FIG. The configuration shown in FIG. 17 is configured by a personal computer (PC), for example, and shows a hardware configuration example including a
CPU(Central Processing Unit)1701は、前述の実施の形態において説明した各種のモジュール、すなわち、画像受付モジュール110、2値化モジュール120、起点文字探索モジュール130、文字列探索モジュール140、文字列合成モジュール150、文字認識モジュール310、複雑度算出モジュール320、起点文字探索処理モジュール330、ウィンドウ設定モジュール510、文字認識モジュール520、選択モジュール530、制御モジュール540、除外モジュール710等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
A CPU (Central Processing Unit) 1701 includes various modules described in the above-described embodiments, that is, the
ROM(Read Only Memory)1702は、CPU1701が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)1703は、CPU1701の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス1704により相互に接続されている。
A ROM (Read Only Memory) 1702 stores programs used by the
ホストバス1704は、ブリッジ1705を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス1706に接続されている。
The
キーボード1708、マウス等のポインティングデバイス1709は、操作者により操作される入力デバイスである。ディスプレイ1710は、液晶表示装置又はCRT(Cathode Ray Tube)などがあり、各種情報をテキストやイメージ情報として表示する。
A
HDD(Hard Disk Drive)1711は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU1701によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、画像受付モジュール110が受け付けた画像、2値化画像層122、起点文字に関する情報、文字認識結果、最終的な処理結果である文字列(文字列画像)などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
An HDD (Hard Disk Drive) 1711 has a built-in hard disk, drives the hard disk, and records or reproduces a program executed by the
ドライブ1712は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体1713に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース1707、外部バス1706、ブリッジ1705、及びホストバス1704を介して接続されているRAM1703に供給する。リムーバブル記録媒体1713も、ハードディスクと同様のデータ記録領域として利用可能である。
The
接続ポート1714は、外部接続機器1715を接続するポートであり、USB、IEEE1394等の接続部を持つ。接続ポート1714は、インタフェース1707、及び外部バス1706、ブリッジ1705、ホストバス1704等を介してCPU1701等に接続されている。通信部1716は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部1717は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部1718は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
The
なお、図17に示す画像処理装置のハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図17に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図17に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。 Note that the hardware configuration of the image processing apparatus illustrated in FIG. 17 illustrates one configuration example, and the present embodiment is not limited to the configuration illustrated in FIG. 17, and the modules described in the present embodiment are executed. Any configuration is possible. For example, some modules may be configured with dedicated hardware (for example, Application Specific Integrated Circuit (ASIC), etc.), and some modules are in an external system and connected via a communication line In addition, a plurality of systems shown in FIG. 17 may be connected to each other via communication lines so as to cooperate with each other. Further, it may be incorporated in a copying machine, a fax machine, a scanner, a printer, a multifunction machine (an image processing apparatus having any two or more functions of a scanner, a printer, a copying machine, a fax machine, etc.).
また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい(未満)」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい(未満)」、「以上」、「以下」としてもよい。 Further, in the description of the above-described embodiment, “more than”, “less than”, “greater than”, and “less than (less than)” in a comparison with a predetermined value contradicts the combination. As long as the above does not occur, “larger”, “smaller (less than)”, “more”, and “less” may be used.
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD−R、DVD−RW、DVD−RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD−ROM)、CDレコーダブル(CD−R)、CDリライタブル(CD−RW)等、ブルーレイ・ディスク(Blu−ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
The program described above may be provided by being stored in a recording medium, or the program may be provided by communication means. In that case, for example, the above-described program may be regarded as an invention of a “computer-readable recording medium recording the program”.
The “computer-readable recording medium on which a program is recorded” refers to a computer-readable recording medium on which a program is recorded, which is used for program installation, execution, program distribution, and the like.
The recording medium is, for example, a digital versatile disc (DVD), which is a standard established by the DVD Forum, such as “DVD-R, DVD-RW, DVD-RAM,” and DVD + RW. Standard “DVD + R, DVD + RW, etc.”, compact disc (CD), read-only memory (CD-ROM), CD recordable (CD-R), CD rewritable (CD-RW), Blu-ray disc ( Blu-ray (registered trademark) Disc), magneto-optical disk (MO), flexible disk (FD), magnetic tape, hard disk, read-only memory (ROM), electrically erasable and rewritable read-only memory (EEPROM (registered trademark)) )), Flash memory, Random access memory (RAM) SD (Secure Digital) memory card and the like.
The program or a part of the program may be recorded on the recording medium for storage or distribution. Also, by communication, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), a wired network used for the Internet, an intranet, an extranet, etc., or wireless communication It may be transmitted using a transmission medium such as a network or a combination of these, or may be carried on a carrier wave.
Furthermore, the program may be a part of another program, or may be recorded on a recording medium together with a separate program. Moreover, it may be divided and recorded on a plurality of recording media. Further, it may be recorded in any manner as long as it can be restored, such as compression or encryption.
100…画像処理装置
110…画像受付モジュール
120…2値化モジュール
122…2値化画像層
130…起点文字探索モジュール
140…文字列探索モジュール
150…文字列合成モジュール
DESCRIPTION OF
Claims (10)
前記2値化手段によって2値化された各2値化画像内の画素塊が文字である可能性に基づいて、画素塊を選択する選択手段と、
前記選択手段によって選択された画素塊から隣接する文字を探索して文字列を抽出する抽出手段と、
前記抽出手段によって抽出された文字列を合成する合成手段
を具備することを特徴とする画像処理装置。 A plurality of binarization means for binarizing the image;
Selection means for selecting a pixel block based on a possibility that the pixel block in each binarized image binarized by the binarization unit is a character;
Extraction means for searching for adjacent characters from the pixel block selected by the selection means and extracting a character string;
An image processing apparatus comprising: a combining unit that combines the character strings extracted by the extracting unit.
ことを特徴とする請求項1に記載の画像処理装置。 The selection means has a certainty factor of a character as a result of character recognition of each of the binarized images higher than or equal to a predetermined first threshold, and the complexity of the character is higher than a second threshold. The image processing apparatus according to claim 1, wherein the pixel block is selected from the above.
ことを特徴とする請求項2に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the complexity is any one of a number of alternations in a circumscribed rectangle of the pixel block, a number of strokes of characters as a character recognition result, or a combination thereof. .
ことを特徴とする請求項1に記載の画像処理装置。 The selection means is a pixel block in which the certainty factor of the character as a result of character recognition of each of the binarized images is higher or higher than a predetermined first threshold value, and the character is not a predetermined character. The image processing apparatus according to claim 1, wherein the image processing apparatus is selected.
ことを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。 The extraction unit sets a rectangle corresponding to the size of a circumscribed rectangle of the first pixel block selected by the selection unit, and performs character recognition in the rectangle of each binarized image around the circumscribed rectangle. Then, a combination of pixel blocks whose certainty of the result of character recognition is higher than or higher than a third threshold is set as a second character next to the first character, and then the second character is The image processing apparatus according to any one of claims 1 to 4, wherein the character string is extracted by setting the first character.
ことを特徴とする請求項5に記載の画像処理装置。 The image processing apparatus according to claim 5, wherein the extraction unit performs the character recognition by excluding a combination of pixel blocks matching a predetermined condition.
ことを特徴とする請求項6に記載の画像処理装置。 The predetermined condition is a combination including a pixel block of a different color, a combination including a different stroke width, or a combination including a stroke width different from the stroke width of the character in the first pixel block. The image processing apparatus according to claim 6, wherein the image processing apparatus is any one of the above or a combination thereof.
ことを特徴とする請求項1から7のいずれか一項に記載の画像処理装置。 The synthesizing unit generates a character string image by performing a logical sum synthesis on the character string images in the binarized images, or for each character code of each character corresponding to the character string image in the binarized images. The image processing apparatus according to claim 1, wherein a character string image is generated based on a result of the counting.
ことを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。 The binarization unit performs binarization using a plurality of different thresholds, binarization using a plurality of different thresholds after inversion of the image, or binarization of a combination thereof. The image processing apparatus according to any one of the above.
画像を2値化する複数の2値化手段と、
前記2値化手段によって2値化された各2値化画像内の画素塊が文字である可能性に基づいて、画素塊を選択する選択手段と、
前記選択手段によって選択された画素塊から隣接する文字を探索して文字列を抽出する抽出手段と、
前記抽出手段によって抽出された文字列を合成する合成手段
として機能させるための画像処理プログラム。 Computer
A plurality of binarization means for binarizing the image;
Selection means for selecting a pixel block based on a possibility that the pixel block in each binarized image binarized by the binarization unit is a character;
Extraction means for searching for adjacent characters from the pixel block selected by the selection means and extracting a character string;
An image processing program for causing a character string extracted by the extracting unit to function as a combining unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014057611A JP6303671B2 (en) | 2014-03-20 | 2014-03-20 | Image processing apparatus and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014057611A JP6303671B2 (en) | 2014-03-20 | 2014-03-20 | Image processing apparatus and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015184691A true JP2015184691A (en) | 2015-10-22 |
JP6303671B2 JP6303671B2 (en) | 2018-04-04 |
Family
ID=54351213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014057611A Expired - Fee Related JP6303671B2 (en) | 2014-03-20 | 2014-03-20 | Image processing apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6303671B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017215859A (en) * | 2016-06-01 | 2017-12-07 | 日本電信電話株式会社 | Character string recognition device, method and program |
JP2017227993A (en) * | 2016-06-20 | 2017-12-28 | 日本電信電話株式会社 | Image normalization device, method, and recording medium capable of reading computer |
JP2018152026A (en) * | 2017-03-15 | 2018-09-27 | ソフネック株式会社 | Character recognition method and computer program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63268083A (en) * | 1987-04-27 | 1988-11-04 | Fujitsu Ltd | Word recognizing device |
JPH02273884A (en) * | 1989-04-17 | 1990-11-08 | Nippon Telegr & Teleph Corp <Ntt> | Detecting and correcting method for distortion of document image |
JPH05290212A (en) * | 1992-04-09 | 1993-11-05 | Matsushita Electric Ind Co Ltd | Character recognition device |
JPH11238098A (en) * | 1997-12-19 | 1999-08-31 | Fujitsu Ltd | Character string extraction device and pattern extraction device |
JP2009199276A (en) * | 2008-02-20 | 2009-09-03 | Fujitsu Ltd | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method |
JP2012174163A (en) * | 2011-02-24 | 2012-09-10 | Fujitsu Ltd | Character recognition processing device and method and character recognition processing program |
JP2013196136A (en) * | 2012-03-16 | 2013-09-30 | Toshiba Corp | Image forming apparatus and image forming method |
-
2014
- 2014-03-20 JP JP2014057611A patent/JP6303671B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63268083A (en) * | 1987-04-27 | 1988-11-04 | Fujitsu Ltd | Word recognizing device |
JPH02273884A (en) * | 1989-04-17 | 1990-11-08 | Nippon Telegr & Teleph Corp <Ntt> | Detecting and correcting method for distortion of document image |
JPH05290212A (en) * | 1992-04-09 | 1993-11-05 | Matsushita Electric Ind Co Ltd | Character recognition device |
JPH11238098A (en) * | 1997-12-19 | 1999-08-31 | Fujitsu Ltd | Character string extraction device and pattern extraction device |
JP2009199276A (en) * | 2008-02-20 | 2009-09-03 | Fujitsu Ltd | Telop character pattern extraction program, telop character pattern extraction device, and telop character pattern extraction method |
JP2012174163A (en) * | 2011-02-24 | 2012-09-10 | Fujitsu Ltd | Character recognition processing device and method and character recognition processing program |
JP2013196136A (en) * | 2012-03-16 | 2013-09-30 | Toshiba Corp | Image forming apparatus and image forming method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017215859A (en) * | 2016-06-01 | 2017-12-07 | 日本電信電話株式会社 | Character string recognition device, method and program |
JP2017227993A (en) * | 2016-06-20 | 2017-12-28 | 日本電信電話株式会社 | Image normalization device, method, and recording medium capable of reading computer |
JP7037875B2 (en) | 2016-06-20 | 2022-03-17 | 日本電信電話株式会社 | Image normalization equipment, methods, and computer-readable recording media |
JP2018152026A (en) * | 2017-03-15 | 2018-09-27 | ソフネック株式会社 | Character recognition method and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP6303671B2 (en) | 2018-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10740899B2 (en) | Image processing apparatus for identifying region within image, information processing method, and storage medium | |
JP6119952B2 (en) | Image processing apparatus and image processing program | |
US9613299B2 (en) | Method of identifying pattern training need during verification of recognized text | |
US9280725B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
CN111460355B (en) | Page analysis method and device | |
JP2015169978A (en) | Image processor and image processing program | |
JP6303671B2 (en) | Image processing apparatus and image processing program | |
CN111310912A (en) | Machine learning system, domain conversion device, and machine learning method | |
JP4626777B2 (en) | Information processing apparatus and information processing program | |
JP6828333B2 (en) | Image processing equipment and image processing program | |
JP5601027B2 (en) | Image processing apparatus and image processing program | |
JP5365440B2 (en) | Image processing apparatus and image processing program | |
US8611669B2 (en) | Image processing apparatus, image processing method and computer-readable medium | |
JP2017010187A (en) | Image processing device and image processing program | |
Timofte et al. | Automatic stave discovery for musical facsimiles | |
JP6511942B2 (en) | INFORMATION PROCESSING APPARATUS AND INFORMATION PROCESSING PROGRAM | |
JP6003375B2 (en) | Image processing apparatus and image processing program | |
JP6187307B2 (en) | Image processing apparatus and image processing program | |
JP6241311B2 (en) | Image processing apparatus and image processing program | |
US20220406083A1 (en) | Image processing apparatus, control method thereof, and storage medium | |
JP2014081867A (en) | Information processing apparatus and information processing program | |
JP5636691B2 (en) | Image processing apparatus and image processing program | |
JP6676955B2 (en) | Image processing apparatus and image processing program | |
JP2010182052A (en) | Apparatus and program for processing image | |
JP2022051198A (en) | Ocr processor, ocr processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6303671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |