JP5439069B2 - Character recognition device and character recognition method - Google Patents
Character recognition device and character recognition method Download PDFInfo
- Publication number
- JP5439069B2 JP5439069B2 JP2009161944A JP2009161944A JP5439069B2 JP 5439069 B2 JP5439069 B2 JP 5439069B2 JP 2009161944 A JP2009161944 A JP 2009161944A JP 2009161944 A JP2009161944 A JP 2009161944A JP 5439069 B2 JP5439069 B2 JP 5439069B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- size
- estimated
- image data
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Description
本発明は、例えば、車両番号等の文字列を認識する文字認識装置に係り、特に、隣接する文字が連結しており、各文字の領域を正しく切り出すことが困難な文字列に対しても、高精度に文字の認識を行うことができる文字認識装置に関するものである。 The present invention relates to, for example, a character recognition device that recognizes a character string such as a vehicle number, and in particular, even for a character string in which adjacent characters are connected and it is difficult to correctly cut out each character region. The present invention relates to a character recognition device capable of recognizing characters with high accuracy.
従来、車両のナンバープレートに記載された車両番号などの記載内容を自動認識する装置が知られている。ナンバープレートの記載内容を認識するには、画像処理技術を用いた文字認識手法が用いられている。このような文字認識手法は、一般には、対象の文字画像を入力した後、文字と背景を分離するために文字線を強調し（２値化）、文字であると判断できる領域を抽出する（文字切り出し処理）。文字切り出し処理がなされた領域において、文字の形状特徴（例えば輪郭線の方向特徴など）を抽出し、パターン認識により文字を認識する。ここで、文字切り出し処理は、認識対象の文字画像に含まれる複数の文字や、ナンバープレートを固定するボルト等の周辺構造物が夫々分離しており、各文字間又は文字と周辺構造物との間にある程度の隙間があることが前提となっている。 2. Description of the Related Art Conventionally, there has been known an apparatus for automatically recognizing description contents such as a vehicle number described on a license plate of a vehicle. In order to recognize the description content of the license plate, a character recognition method using an image processing technique is used. In such a character recognition method, generally, after inputting a target character image, the character line is emphasized (binarization) to separate the character and the background, and an area that can be determined to be a character is extracted ( Character cutout process). In the region where the character cut-out processing has been performed, the character shape feature (for example, the contour direction feature) is extracted, and the character is recognized by pattern recognition. Here, in the character cut-out process, a plurality of characters included in the character image to be recognized and peripheral structures such as bolts for fixing the license plate are separated from each other, and between each character or between the character and the peripheral structure. It is assumed that there is a certain gap between them.
ところで、ナンバープレートは、その形状、大きさ、記載される文字列等が各国毎に相違する。すなわち、例えば、認識対象の文字画像に含まれる各文字間が近接し、文字同士が連結して見えたり、ナンバープレートを車両に固定するボルト等の周辺構造物と文字とが近接し、文字と周辺構造物とが連結して見えるようなナンバープレートも散見される。このような場合には、従来の文字認識装置では、正しい文字の切り出し処理を行うことができず、正しい認識結果が得られないこととなる。
そこで、特許文献１には、２値化された画像データの輪郭プロファイルを利用して、記載される文字列が日英混在する文書である際にも認識精度を維持する技術が開示されている。
By the way, the license plate has a different shape, size, written character string, and the like for each country. That is, for example, the characters included in the character image to be recognized are close to each other, the characters appear to be connected to each other, or a peripheral structure such as a bolt that fixes the license plate to the vehicle and the characters are close to each other. There are some license plates that appear to be connected to surrounding structures. In such a case, the conventional character recognition device cannot perform a correct character cut-out process, and a correct recognition result cannot be obtained.
Therefore, Patent Document 1 discloses a technique for maintaining the recognition accuracy even when a character string to be described is a document in which Japanese and English are mixed, using a contour profile of binarized image data. .
しかしながら、特許文献１に記載された技術では、認識対象の文字列の垂直方向に文字や周辺構造物が近接して、文字同士又は文字と周辺構造物とが連結して見える場合には、連結箇所を特定するのが難しく、文字の連結箇所を正しく分離できないために文字認識の精度が低下するという問題があった。 However, in the technique described in Patent Document 1, when characters or peripheral structures are close to each other in the vertical direction of the character string to be recognized and the characters and the characters and the peripheral structures appear to be connected, There is a problem that it is difficult to specify the location, and the character recognition accuracy is lowered because the connected location of the characters cannot be correctly separated.
本発明は、上記問題を解決するためになされたもので、複数文字が連結して見える場合にも、正確に文字の切り出し処理を行い、文字認識の精度を向上させた文字認識装置を提供することを目的とする。 The present invention has been made to solve the above-described problem, and provides a character recognition device that accurately performs character segmentation processing and improves character recognition accuracy even when a plurality of characters appear to be connected. For the purpose.
上記課題を解決するために、本発明は以下の手段を採用する。 In order to solve the above problems, the present invention employs the following means.
本発明は、文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識装置であって、前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶した記憶手段と、前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出する推定文字サイズ算出手段と、前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出す文字切り出し手段と、前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する文字認識手段と、前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する判定手段と、を備えたことを特徴とする文字認識装置を提供する。 The present invention is a character recognition device for inputting image data obtained by capturing a character string and recognizing each character included in the character string of the image data, the size of the character for recognizing the character. Storage means for storing a reference character size serving as a reference, estimated character size calculation means for calculating a plurality of patterns of estimated character sizes based on the reference character size, and estimated characters for the plurality of patterns Character cutout means for cutting out the character as a character area from the image data for each estimated character size based on the size, and character recognition processing and character similarity for each character area cut out for each estimated character size A character recognizing means for calculating a degree, and a character area having the highest character similarity is determined based on the character similarity calculated by the character recognizing means; Providing a character recognition apparatus characterized by comprising a determination means the true character area.
本発明によれば、まず、画像データに含まれる文字列の各文字を認識するに際して、記憶手段に記憶された参照文字サイズに基づいて、推定文字サイズを複数パターン算出する。ここで、参照文字サイズは、例えば、文字の高さＨと幅Ｗとからなる情報とすることができる。文字の高さＨと幅Ｗは、認識対象の文字のフォントや、文字列を撮影するカメラの解像度、カメラと撮影対象の文字との間の距離などに基づいて定められる。例えば、認識対象の文字がナンバープレートに記載された文字である場合、ナンバープレートは、国毎に文字の大きさ、フォント等が異なるため、文字認識装置を採用する国に応じて、参照文字サイズを定めることが好ましい。 According to the present invention, first, when recognizing each character of a character string included in image data, a plurality of estimated character sizes are calculated based on the reference character size stored in the storage means. Here, the reference character size can be, for example, information including a character height H and a width W. The height H and width W of the character are determined based on the font of the character to be recognized, the resolution of the camera that captures the character string, the distance between the camera and the character to be captured, and the like. For example, if the character to be recognized is a character written on the license plate, the license plate has a different character size, font, etc., depending on the country where the character recognition device is used. Is preferably determined.
このように、記憶手段には参照文字サイズが記憶されているものの、画像データの文字のサイズが必ずしも参照文字サイズと一致しない場合がある。すなわち、例えば、画像データを撮影するカメラの解像度に起因する場合や、画像データがカメラに対して傾いて撮影された場合などには、撮影された画像データの文字が参照文字サイズと一致しないことがある。特に、車両に取り付けられたナンバープレートの文字を認識する場合は、ナンバープレートを撮影するカメラとナンバープレートとの距離や、カメラに対するナンバープレートの角度は、ナンバープレートの車両に対する取付け位置や、カメラを通過する車両の速度等に依存するため、撮影された画像データの文字のサイズが必ずしも参照文字サイズと合致しない。このため、参照文字サイズに基づいて推定文字サイズを複数パターン算出することで、画像データに含まれる文字列における各文字間の境界である分割候補点を推定することができる。 Thus, although the reference character size is stored in the storage unit, the character size of the image data may not necessarily match the reference character size. That is, for example, when the image data is taken due to the resolution of the camera, or when the image data is taken while being tilted with respect to the camera, the characters of the taken image data do not match the reference character size. There is. In particular, when recognizing the letters on the license plate attached to the vehicle, the distance between the camera that shoots the license plate and the license plate, and the angle of the license plate with respect to the camera, the installation position of the license plate relative to the vehicle Since it depends on the speed of the passing vehicle, the character size of the captured image data does not necessarily match the reference character size. Therefore, by calculating a plurality of patterns of estimated character sizes based on the reference character size, it is possible to estimate division candidate points that are boundaries between characters in a character string included in image data.
そして、算出された複数パターンの推定文字サイズに基づいて、これらの推定文字サイズ毎に画像データから文字を文字領域として切り出し、推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する。さらに、各文字領域に対する文字類似度に基づいて、文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する。このようにすることで、複数文字が連結して各文字の参照文字サイズが不明確な場合であっても、複数の文字サイズを推定することで、適切な文字サイズを探索し決定するため、正確に文字の切り出し処理を行うことができ、文字認識精度が向上する。 Based on the calculated estimated character sizes of the plurality of patterns, characters are extracted from the image data for each of the estimated character sizes as character regions, and character recognition processing is performed on each character region extracted for each estimated character size. And character similarity is calculated. Furthermore, based on the character similarity with respect to each character area, the character area with the highest character similarity is determined, and this is determined as the true character area. In this way, even when a plurality of characters are connected and the reference character size of each character is unclear, by estimating a plurality of character sizes, an appropriate character size is searched and determined. Character cutout processing can be performed accurately, and character recognition accuracy is improved.
上記した文字認識装置は、前記文字の輪郭線の輝度勾配に基づいて、前記文字列の分割候補点を算出する分割候補点算出手段を備え、前記推定文字サイズ算出手段は、前記分割候補点と前記参照文字サイズとに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することが好ましい。 The character recognition device includes a split candidate point calculating unit that calculates a split candidate point of the character string based on a luminance gradient of the outline of the character , and the estimated character size calculating unit includes the split candidate point and the split candidate point. It is preferable to calculate a plurality of estimated character sizes obtained by estimating the character size based on the reference character size.
本発明によれば、文字の輪郭線の輝度勾配に基づいて、文字列の分割候補点を算出する分割候補点により、文字認識に先立って、例えば、文字の輪郭線の輝度勾配などに基づいて文字の分割候補点を決定する。そして、参照文字サイズに加えてこの分割候補点に基づいて推定文字サイズを算出するので、算出すべき推定文字サイズのパターン数を少なくすることができ、演算量を抑制しながら、文字認識精度を向上させることができる。 According to the present invention, based on the luminance gradient of the outline of the character, the candidate dividing points for calculating the candidate dividing point of the string, prior to character recognition, for example, on the basis of such a luminance gradient of the outline of the character Determine the character division candidate points. Since the estimated character size is calculated based on the candidate division points in addition to the reference character size, the number of estimated character size patterns to be calculated can be reduced, and the character recognition accuracy can be improved while suppressing the amount of calculation. Can be improved.
ここで、分割候補点算出手段は、例えば、前記画像データから微分フィルタを用いて前記文字列の輪郭線を抽出する輪郭線抽出手段と、前記抽出された輪郭線のうち垂直輪郭線及び水平輪郭線を構成する各画素について、前記微分フィルタによる微分値の符号を算出する符号算出手段と、前記符号が算出された画素から１つの画素を注目画素として選択し、該注目画素を含む第１の領域を前記画像データから順次抽出し、前記第１の領域に含まれる画素について、前記符号算出手段により算出された符号に基づいて、前記注目画素の符号と異符号を示す画素があるか否かを判定し、前記画像データから抽出された第１の領域のうち異符号を示す画素があると判定された第１の領域の数を算出する符号変化算出手段と、異符号を示す画素があると判定された前記第１の領域を、前記注目画素が＋符号を示す領域と注目画素が−符号を示す領域とに分別し、分別した結果、より数の少ない領域を前記文字列の分割点とする分割点決定手段と、を備える構成とすることができる。 Here, the division candidate point calculation means includes, for example, contour line extraction means for extracting a contour line of the character string from the image data using a differential filter, and vertical contour lines and horizontal contours among the extracted contour lines. For each pixel constituting the line, a code calculating means for calculating a sign of a differential value by the differential filter, and selecting one pixel from the pixels for which the sign is calculated as a target pixel, and including a first pixel including the target pixel Whether or not there is a pixel that sequentially extracts a region from the image data and shows a different code from the code of the pixel of interest based on the code calculated by the code calculation unit for the pixels included in the first region And a code change calculating means for calculating the number of first regions determined to be present in the first region extracted from the image data, and a pixel indicating the different symbol. The determined first region is classified into a region where the pixel of interest indicates a + sign and a region where the pixel of interest indicates a-sign, and as a result of the separation, a smaller number of regions are defined as division points of the character string. And a dividing point determining means to be configured.
このように構成することで、画像データから微分フィルタを用いて前記文字列の輪郭線を抽出し、この輪郭線のうち垂直輪郭線及び水平輪郭線を構成する各画素について、前記微分フィルタによる微分値の符号を算出するので、垂直輪郭線及び水平輪郭線の双方について輝度勾配を把握することができる。そして、符号が算出された画素から１つの画素を注目画素として選択し、該注目画素を含む第１の領域を画像データから順次抽出する。すなわち、画像データの最上段から順に、符号が算出された画素のうち１つの画素を注目画素として選択し、注目画素を基準とする第１の領域を抽出する。ここで、第１の領域は、認識対象の文字の大きさ、太さ等に基づいて定められ、認識対象の文字が、例えば、車両のナンバープレートに記載される文字であった場合には４〜５画素程度の領域に定めることが好ましい。そして、この第１の領域に含まれる画素について、先に算出された符号に基づいて、注目画素の符号と異符号を示す画素があるか否かを判定し、前記画像データから抽出された第１の領域のうち異符号を示す画素があると判定された第１の領域の数を算出する。この処理を画像データ全体から順次抽出された第１の領域全てに対して行う。このようにすることで、第１の領域内において、注目画素に対する符号の変化を把握することができ、この算出結果に基づいて前記第１の領域の明暗を判定することができる。明暗の判定に際しては、符号を示す画素があると判定された前記第１の領域を、前記注目画素がプラスの領域と注目画素がマイナスの領域とに分別し、分別した結果、より数の少ない領域を前記文字列の分割点とする。すなわち、注目画素が＋符号であるのに対し領域内に画素に−符号の画素がある領域と、注目画素が−符号であるのに対し領域内に＋符号の画素がある領域との数を比較し、より多い領域が文字線を捉えた領域であり、少ない領域が背景を捉えた領域として文字列の分割点となる。 With this configuration, the contour line of the character string is extracted from the image data using a differential filter, and each pixel constituting the vertical contour line and the horizontal contour line among the contour lines is differentiated by the differential filter. Since the sign of the value is calculated, it is possible to grasp the luminance gradient for both the vertical contour line and the horizontal contour line. Then, one pixel is selected as the target pixel from the pixels for which the codes are calculated, and the first region including the target pixel is sequentially extracted from the image data. That is, in order from the top of the image data, one pixel among the pixels whose codes are calculated is selected as a target pixel, and a first region based on the target pixel is extracted. Here, the first area is determined based on the size, thickness, etc. of the character to be recognized. If the character to be recognized is, for example, a character described on a license plate of a vehicle, the first area is 4. It is preferable to define the area of about ˜5 pixels. Then, with respect to the pixels included in the first region, it is determined whether there is a pixel having a different sign from the sign of the pixel of interest based on the sign previously calculated, and the first extracted from the image data. The number of first regions determined to have pixels having different signs in one region is calculated. This process is performed on all the first areas sequentially extracted from the entire image data. By doing so, it is possible to grasp the change in the sign with respect to the target pixel in the first region, and to determine the brightness of the first region based on the calculation result. In the determination of lightness and darkness, the first region determined to have a pixel indicating a sign is classified into a region where the target pixel is positive and a region where the target pixel is negative. An area is set as a division point of the character string. That is, the number of areas where the pixel of interest has a + sign and the area where the pixel has a-sign pixel and the area of interest where the pixel of interest is-sign and the area where the pixel of + sign is in the area In comparison, a larger area is an area that captures a character line, and a smaller area is a segment that divides a character string as an area that captures a background.
また、上記した文字認識装置は、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに対する第一の参照文字サイズと定め、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、前記推定文字サイズ算出手段により、前記第一の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することが好ましい。 Further, the character recognition device described above determines an estimated character size corresponding to a character region determined to have the highest character similarity by the determination means as a first reference character size for the image data. Among the characters for which the true character area has not yet been determined, the estimated character size calculation means calculates a plurality of patterns of estimated character sizes obtained by estimating the character size based on the first reference character size. It is preferable to do.
本発明によれば、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズがある場合には、これを前記画像データに対する第一の参照文字サイズと定める。同一の画像データに対する認識結果が既に存在する場合には、この画像データに含まれる文字は同一の条件で撮影されていることが明らかであるため、この推定文字サイズをこの画像データに含まれる他の文字に対する文字認識処理に用いることが好ましい。従って、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、第一の参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することで、文字認識精度がより向上する。 According to the present invention, if there is an estimated character size corresponding to the character region determined to have the highest character similarity by the determining means, this is determined as the first reference character size for the image data. If the recognition result for the same image data already exists, it is clear that the characters included in this image data are taken under the same conditions, so this estimated character size is included in this image data. It is preferable to use it for the character recognition process with respect to this character. Therefore, for a character whose true character area has not yet been determined in the image data, a plurality of patterns of estimated character sizes obtained by estimating the character size are calculated based on a first reference character size. Thus, the character recognition accuracy is further improved.
さらに、上記した文字認識装置は、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズが複数ある場合に、これらの複数の推定文字サイズの平均値を前記画像データに対する第二の参照文字サイズと定め、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、前記推定文字サイズ算出手段により、前記第二の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することが好ましい。 Furthermore, when there are a plurality of estimated character sizes corresponding to the character region determined to have the highest character similarity by the determination unit, the character recognition device described above calculates an average value of the plurality of estimated character sizes as the image. Based on the second reference character size by the estimated character size calculation means for a character for which a true character area has not yet been determined in the image data. It is preferable to calculate a plurality of patterns of estimated character sizes obtained by estimating the character size.
本発明によれば、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズが複数ある場合には、これらの複数の推定文字サイズの平均値を前記画像データに対する第二の参照文字サイズと定める。具体的には、複数の推定文字サイズの文字高さ及び文字幅の平均値をそれぞれ算出し、平均文字高さ及び平均文字幅を第二の参照文字サイズとする。同一の画像データに対する複数の認識結果が既に存在する場合には、この画像データに含まれる文字は同一の条件で撮影されていることが明らかであるため、認識結果に基づく推定文字サイズをこの画像データに含まれる他の文字に対する文字認識処理に用いることが好ましい。従って、前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、第二の参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することで、文字認識精度がより向上する。 According to the present invention, when there are a plurality of estimated character sizes corresponding to the character region determined to have the highest character similarity by the determination means, an average value of the plurality of estimated character sizes is calculated for the image data. Determined as the second reference character size. Specifically, an average value of character heights and character widths of a plurality of estimated character sizes is calculated, and the average character height and average character width are set as the second reference character size. If multiple recognition results for the same image data already exist, it is clear that the characters included in the image data are taken under the same conditions, so the estimated character size based on the recognition results is set to this image. It is preferably used for character recognition processing for other characters included in the data. Therefore, for the characters for which the true character area has not yet been determined in the image data, a plurality of patterns are calculated for the estimated character size based on the second reference character size. Thus, the character recognition accuracy is further improved.
さらにまた、上記した文字認識装置は、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズを、前記画像データに含まれる文字列の他の文字の文字サイズとし、該文字サイズに基づいて、文字認識処理を行うことができる。 Furthermore, the character recognition device described above sets the estimated character size corresponding to the character region determined to have the highest character similarity by the determination unit as the character size of other characters in the character string included in the image data. The character recognition process can be performed based on the character size.
本発明によれば、前記判定手段により文字類似度が最も高いと判定された文字領域に対応する推定文字サイズがある場合には、すなわち、同一の画像データに対する認識結果が既に存在する場合には、この画像データに含まれる文字は同一の条件で撮影されていることが明らかであるため、この推定文字サイズをこの画像データに含まれる他の文字に対する文字認識処理に用いることが好ましい。このため、画像データのうち、未だ文字認識処理がなされていない文字に対しては、文字類似度が最も高いと判定された文字領域に対応する推定文字サイズをそのまま利用して、文字切り出し処理及び文字認識処理を行うことができる。また、この際、推定文字サイズが１つであるため、演算量を削減することができる。 According to the present invention, when there is an estimated character size corresponding to the character area determined to have the highest character similarity by the determination means, that is, when a recognition result for the same image data already exists. Since it is clear that the characters included in the image data are photographed under the same conditions, it is preferable to use the estimated character size for character recognition processing for other characters included in the image data. For this reason, for characters that have not yet been subjected to character recognition processing in the image data, character estimation processing and processing are performed using the estimated character size corresponding to the character region determined to have the highest character similarity as it is. Character recognition processing can be performed. At this time, since the estimated character size is one, the amount of calculation can be reduced.
本発明は、文字列を撮像した画像データを入力して、該画像データの文字列に含まれる各文字を認識する文字認識方法であって、前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶した第１ステップと、前記文字の輪郭線の輝度勾配に基づいて、前記文字列の分割候補点を算出する第２ステップと、前記分割候補点と前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出する第３ステップと、前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出す第４ステップと、前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する第５ステップと、前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する第６ステップと、を備えたことを特徴とする文字認識方法を提供する。
The present invention is a character recognition method for inputting image data obtained by capturing a character string and recognizing each character included in the character string of the image data, the size of the character for recognizing the character. A first step of storing a reference character size as a reference; a second step of calculating a division candidate point of the character string based on a luminance gradient of the outline of the character; and the division candidate point and the reference character size A third step of calculating a plurality of estimated character sizes based on the estimated character size, and a character from the image data for each estimated character size based on the estimated character size of the plurality of patterns. a fifth step of calculating a character similarity is performed with a fourth step of cutting out the region, the character recognition process on each of the character areas cut out for each of the estimated character size, the sentence Based on the character similarity calculated by the recognition means, a character recognition the character similarity is determined the highest character region, characterized by comprising this sixth determining the true character area, the Provide a method.
このように、本発明によれば、複数文字が連結して見える場合にも、正確に文字の切り出し処理を行い、文字認識の精度を向上させることができる。 As described above, according to the present invention, even when a plurality of characters appear to be connected, it is possible to accurately perform the character cutout process and improve the accuracy of character recognition.
以下に、本発明に係る文字認識装置の実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る文字認識装置の概略構成を示したブロック図である。本実施形態において、本発明の文字認識装置は車両のナンバープレートの文字を認識する例を説明する。
Hereinafter, embodiments of a character recognition device according to the present invention will be described with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram showing a schematic configuration of a character recognition apparatus according to the first embodiment of the present invention. In the present embodiment, an example will be described in which the character recognition device of the present invention recognizes characters on a license plate of a vehicle.
本発明における文字認識装置１０は、車両のナンバープレートを撮影して画像データを得るカメラ１１と、カメラ１１で撮影した画像データの入力を受ける画像入力部１２と、画像入力部１２に入力された画像データに基づいて文字認識処理を実行する認識処理部１３と、認識処理部１３での認識結果を出力する認識結果出力部１４を備えている。
The
認識処理部１３は、文字認識処理を実行するための演算を行うものであり、文字認識処理に関する各種演算処理を実行するＣＰＵ（中央演算処理装置）２１、文字認識処理にかかるプログラム等を記憶する読み出し専用のメモリであるＲＯＭ（Read Only Memory）２２、ＣＰＵ２１の作業領域として機能する読み書き自在のメモリであるＲＡＭ（Random Access Memory）２３、及び文字認識処理にかかるプログラムに基づく文字認識処理を実行するに際して必要となる種々のデータが格納された記憶装置（記憶手段）２４を備えている。ここで、記憶装置２４には、文字認識処理の際に認識対象の文字の大きさの基準となる参照文字サイズが記憶されている。参照文字サイズは、文字の高さＨと幅Ｗとからなる情報であり、認識対象の文字のフォントや、文字列を撮影するカメラの解像度、カメラと文字との間の距離などに基づいて定められる。例えば、ナンバープレートは、国毎に文字の大きさ、フォントが異なるため、文字認識装置を用いる国に応じて、参照文字サイズを定めて予め記憶装置２４に記憶しておくことが好ましい。
The
また、認識処理部１３は、推定文字サイズ算出部（推定文字サイズ算出手段）２５、文字切り出し処理部（文字切り出し手段）２６、文字認識処理部（文字認識手段）２７及び類似度判定部（判定手段）２８を備えている。
The
推定文字サイズ算出部２５は、記憶装置２４に記憶された参照文字サイズに基づいて、文字の大きさを推定した推定文字サイズを複数パターン算出する。例えば、ナンバープレートに含まれる文字列の読み取りを複数回行う場合、ナンバープレートを撮影するカメラとナンバープレートとの距離や、カメラに対するナンバープレートの角度は、ナンバープレートの車両に対する取付け位置や、カメラを通過する車両の速度等に依存するため、必ずしも毎回同じ距離や同じ角度にはならない。また、国によっては、ナンバープレートに記載された文字列に含まれる各文字の大きさが均一でない場合もある。このため、記憶装置２４に記憶された参照文字サイズが、全ての画像データの文字のサイズと必ずしも合致せず、画一的に参照文字サイズに基づいて文字認識処理を行うと誤認識が生じる場合がある。そこで、入力された画像データに含まれる文字列に対して、参照文字サイズに基づいて、フォントなどに応じて推定文字サイズを複数パターン算出する。推定文字サイズは、参照文字サイズと比較して、その文字高さＨのみ若しくは文字幅Ｗのみ又は文字高さＨ及び文字幅Ｗの双方を適宜変更することにより、複数パターンの推定文字サイズを算出することができる。特に、参照文字サイズを１．０とした場合に、例えば、０．７倍〜２．０倍の大きさの相似形のものを０．１倍のピッチなどで複数パターン算出することが好ましい。
Based on the reference character size stored in the
文字切り出し部２６は、推定文字サイズ算出部２５で算出された複数パターンの推定文字サイズに基づいて、これらの推定文字サイズ毎に画像データから文字を文字領域として切り出す。すなわち、推定文字サイズに基づいて、入力された画像データに含まれる文字列における各文字間の境界である分割候補点を推定し、推定文字サイズ毎に、画像データに含まれる文字列から認識対象の文字の文字領域を切り出す。
Based on the estimated character sizes of a plurality of patterns calculated by the estimated character
文字認識処理部２７は、推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する。文字認識処理部２７は、文字認識処理として、例えば、マッチング処理、すなわち、認識対象の文字と予め備えられたパターンとの比較により文字を認識すると共に、認識対象の文字と予め備えられたパターンとの文字類似度を算出する。なお、マッチング処理の比較対照となるパターンは、予め記憶装置２４などに記憶しておくことが好ましい。
The character
類似度判定部２８は、文字認識処理部２７により算出された各文字領域に対する文字類似度に基づいて、文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する。
The
上記した推定文字サイズ算出部２５、文字切り出し処理部２６、文字認識処理部２７、及び類似度判定部２８は、いずれもＣＰＵ２１が所定のＲＯＭ２２に格納された処理プログラムをＲＡＭ２３に展開し、展開したプログラムを実行することによって実現される処理部である。
The estimated character
以下、本実施形態における文字認識処理について図２、図３を参照して説明する。図２は、本実施形態の文字認識装置における文字認識処理の過程を示すフローチャートである。ここでは、図３に示す各文字が連結された文字列（以下、「連結ラベル」という）を含む画像データが入力された場合の文字認識処理について説明する。 Hereinafter, the character recognition process in this embodiment is demonstrated with reference to FIG. 2, FIG. FIG. 2 is a flowchart showing a process of character recognition processing in the character recognition device of this embodiment. Here, a character recognition process when image data including a character string (hereinafter referred to as a “concatenated label”) in which the characters shown in FIG. 3 are concatenated is input will be described.
図２に示すように、カメラ１１で撮影されたナンバープレートの画像は、画像データとして画像入力部１２に入力され、画像入力部１２に入力された画像データに対して、認識処理部１３によりステップＳ１０１〜ステップＳ１０５で所定の文字認識処理がなされる。
As shown in FIG. 2, the license plate image captured by the
まず、推定文字サイズ算出部２５により、記憶装置２４から参照文字サイズが読み出され、ステップＳ１０１で、読み出した参照文字サイズに基づいて、図３（ａ）の連結ラベルに含まれる文字「５」を認識するため、推定誤差を考慮して複数パターンの推定文字サイズを算出する。このとき、図３（ｂ）に示すように、算出する推定文字サイズの文字高さＨ及び文字幅Ｗの始点座標は固定されており、参照文字サイズと比較して、文字高さＨ及び文字幅Ｗの終点座標を適宜変更することで複数パターンの推定文字サイズを算出する。
First, the estimated character
次のステップＳ１０２では、先のステップＳ１０１において、推定文字サイズ算出部２５により算出された複数パターンの推定文字サイズに基づいて、これらの推定文字サイズ毎に画像データから文字を文字領域として切り出す。すなわち、推定文字サイズに基づいて、入力された画像データのうち、認識対象である文字「５」と、この「５」に隣り合う文字「９」との境界である分割候補点を推定しつつ、推定文字サイズ毎に、連結ラベルから認識対象の文字「５」の文字領域を切り出す。そして、切り出された各文字領域に対して、文字認識処理部２７により、マッチング処理（文字認識処理）、すなわち、認識対象の文字である「５」と予め備えられたパターンとの比較により文字を認識する。また、この際、認識結果の全てに対して、認識対象の文字「５」と予め備えられたパターンとの文字類似度を算出する。
In the next step S102, based on the estimated character sizes of a plurality of patterns calculated by the estimated
続いて、ステップＳ１０３では、文字認識処理部２７により算出された各文字領域に対する文字類似度に基づいて、文字類似度が最も高い文字領域、すなわち、各文字領域のうち予め備えられたパターンに最も近い文字領域が何れであるかを判断し、この文字領域を真の文字領域と判定する。より具体的には、図３（ｂ）のように複数パターンの推定文字サイズに基づいて文字切り出し処理及び文字認識処理を施し、この結果、図３（ｃ）に示すように、認識された文字が予め備えられたパターンに最も類似する文字領域を真の文字領域として判定する。
Subsequently, in step S103, based on the character similarity with respect to each character area calculated by the character
ステップＳ１０４では、真の文字領域と判定された文字領域の文字高さＨ及び文字幅Ｗを（図３（ｃ）参照）、この画像データの文字認識に対する参照文字サイズとする。すなわち、記憶装置２４に記憶された参照文字サイズは、デフォルトの参照文字サイズとして記憶したままとする。一方、ある連結ラベルの文字認識処理に対して、この連結ラベルに含まれる一つの文字の認識処理が終了した場合に、認識結果に対応する推定文字サイズをこの連結ラベルに対する参照文字サイズとして記憶し、これをこの連結ラベルに含まれる他の文字に対する文字認識処理に利用する。
In step S104, the character height H and character width W of the character region determined to be a true character region (see FIG. 3C) are set as reference character sizes for character recognition of this image data. That is, the reference character size stored in the
より具体的には、図３に示す連結ラベルのうち文字「５」の認識に際しては、記憶装置２４に記憶された参照文字サイズに基づいて推定文字サイズの算出等所定の処理を行う。この際、文字「５」の次の認識対象である文字「９」を認識する際には、文字「５」の認識結果に基づく推定文字サイズ（文字高さＨ及び文字幅Ｗ）を第一の参照文字サイズとして、この第一の参照文字サイズに基づいて推定文字サイズを算出し、以降の処理を行う。次の文字「６」及び「７」についても同様に、直前の認識結果に基づく推定文字サイズ（文字高さＨ及び文字幅Ｗ）又はこのナンバープレートの最初の文字である「５」の認識結果に基づく推定文字サイズ（文字高さＨ及び文字幅Ｗ）を第一の参照文字サイズとして、複数の推定文字サイズを算出し、以降の処理を行う。そして、この連結ラベル又はナンバープレートに対する文字認識処理が終了し、次の連結ラベル又はナンバープレートに対する文字認識処理を行う場合には、再度、記憶装置２４に記憶されたデフォルトの参照文字サイズに基づいて各処理を行う。
More specifically, when the character “5” in the connected label shown in FIG. 3 is recognized, a predetermined process such as calculation of an estimated character size is performed based on the reference character size stored in the
ステップＳ１０５では、連結ラベル又はこのナンバープレートに文字認識処理が終了していない領域があるか否かを判断し、文字認識処理が終了していない領域がある場合には、ステップＳ１０１に戻り上記した処理を繰り返す。従って、文字「５」に対する文字認識処理が終了した場合、この連結ラベルには、未だ「９」、「６」、「７」の文字認識処理が終了していない領域があるので、ステップＳ１０１に戻ってこれらの文字の認識処理が終了するまでステップＳ１０２からステップＳ１０４までの処理を繰り返す。文字認識処理が終了していない領域がない、すなわち、文字認識処理が全て終了している場合には、この連結ラベルに対する文字認識処理が完了したとして、本ルーチンを終了する。 In step S105, it is determined whether or not there is an area for which the character recognition process has not been completed in the connected label or this license plate. If there is an area for which the character recognition process has not been completed, the process returns to step S101 and described above. Repeat the process. Therefore, when the character recognition process for the character “5” is completed, there is an area in which the character recognition process of “9”, “6”, and “7” has not been completed yet in this concatenated label. The process from step S102 to step S104 is repeated until the process of recognizing these characters is completed. If there is no area in which character recognition processing has not been completed, that is, if all character recognition processing has been completed, it is determined that the character recognition processing for this concatenated label has been completed, and this routine ends.
このように、本実施形態によれば、複数文字が連結して各文字の参照文字サイズが不明確な場合であっても、複数の文字サイズを推定することで、適切な文字サイズを探索し決定するため、正確に文字の切り出し処理を行うことができ、文字認識精度が向上する。 Thus, according to the present embodiment, even when a plurality of characters are connected and the reference character size of each character is unclear, an appropriate character size is searched by estimating the plurality of character sizes. Therefore, the character cutout process can be performed accurately, and the character recognition accuracy is improved.
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図面を用いて説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to the drawings.
本実施形態の文字認識処理が上述した第１の実施形態と異なる点は、第１の実施形態における推定文字サイズ算出に先立って、ナンバープレートに含まれる文字列の各文字間の分割候補点を求め、分割候補点と参照文字サイズとに基づいて、推定文字サイズを算出する点である。従って、図４に示すように、本実施形態における文字認識装置２０は、第１の実施形態における文字認識装置の各構成に加え、更に、輪郭線抽出部３５、符号算出部３６、符号変化算出部３７及び分割点決定部３８を備えている。以下、本実施形態の文字認識処理について、第１の実施形態と共通する点については説明を省略し、異なる点について説明する。
The difference between the character recognition process of the present embodiment and the first embodiment described above is that, prior to calculating the estimated character size in the first embodiment, division candidate points between the characters of the character string included in the license plate are determined. In other words, the estimated character size is calculated based on the division candidate point and the reference character size. Therefore, as shown in FIG. 4, the
図４に示すように、認識処理部１３は、輪郭線抽出部３５、符号算出部３６、符号変化算出部３７、及び分割点決定部３８を更に備えている。
As illustrated in FIG. 4, the
輪郭線抽出部３５は、画像入力部１２により入力された画像データに対して、Ｓｏｂｅｌ微分などの１次微分フィルタを用いて画像データの空間１次微分を計算し、画像データの中の文字の輪郭線を抽出する（輪郭線強調処理）。また、輪郭線強調処理がなされた画像データに対して、非極大輪郭画素を抑制することで輪郭線を細線化する（輪郭線細線化処理）。符号算出部３６は、輪郭線抽出処理及び輪郭線細線化処理がなされた画像データが入力され、処理後の画像データに対し、垂直輪郭線及び水平輪郭線を構成する画素、すなわち、左右方向または上下方向に勾配がある画素について輪郭線の微分値の符号（＋または−）を求める。符号変化算出部３７は、符号算出部３６により算出された符号に基づいて、画像データから文字の太さに相当する第一の領域としての局所領域を抽出し、この局所領域における画素の微分値の符号の変化を算出する。分割点決定部３８は、符号変化算出部３７により算出された符号の変化に基づいて、ナンバープレートの背景色に対して文字の明暗を判定し、文字の明暗と反対の符号変化をしている局所領域の中心を求め、この中心を分割点として算出する。
The contour
輪郭線抽出部３５、符号算出部３６、符号変化算出部３７、及び分割点決定部３８は、いずれもＣＰＵ２１が所定のＲＯＭ２２に格納された処理プログラムをＲＡＭ２３に展開し、展開したプログラムを実行することによって実現される処理部である。
In the contour
以下、本実施形態における文字認識処理について図５〜図７を参照して説明する。図５は、本実施形態の文字認識装置における文字認識処理の過程を示すフローチャートである。ここでは、図６に示す各文字が連結された文字列（以下、「連結ラベル」という）を含む画像データが入力された場合の文字認識処理について説明する。 Hereinafter, the character recognition processing in this embodiment will be described with reference to FIGS. FIG. 5 is a flowchart showing a process of character recognition processing in the character recognition apparatus of this embodiment. Here, a character recognition process when image data including a character string (hereinafter referred to as a “concatenated label”) in which the characters shown in FIG. 6 are concatenated is input will be described.
図５に示すように、カメラ１１で撮影されたナンバープレートの画像（図６（ａ）参照）は、画像データとして画像入力部１２に入力され、画像入力部１２に入力された画像データに対して、認識処理部１３によりステップＳ２０１〜ステップＳ２０６で所定の文字認識処理がなされる。ステップＳ２０３〜ステップＳ２０６における処理は、上述した第１の実施形態におけるステップＳ１０２〜ステップＳ１０５の処理と同様の処理であるのでその説明を省略する。
As shown in FIG. 5, the license plate image (see FIG. 6A) captured by the
まず、認識処理部１３には、ナンバープレートの画像データ及び記憶装置２４に記憶された参照文字サイズが入力される（図６（ｃ）参照）。ステップＳ２０１で、ナンバープレートの画像データに基づいて、連結ラベルの各文字間の分割候補点を算出する（分割候補点の算出処理の過程については後述する）。続いて、ステップＳ２０２では、決定された分割候補点と、記憶装置２４から入力された参照文字サイズとに基づいて、推定文字サイズを複数パターン算出する（図６（ｄ）参照）。ここで、分割候補点が既に算出されているため、この分割候補点に基づいて文字高さＨ及び文字幅Ｗを推定し、推定文字サイズを算出する。このため、上述した第１の実施形態における推定文字サイズ算出処理に比して、算出する推定文字サイズのパターン数を少なくすることができる。従って、参照文字サイズの大きさを１．０としたとき、例えば、分割候補点の文字幅が参照文字サイズの幅の１．２倍であった場合には、この１．２倍の大きさの推定文字サイズに加えて、前後の大きさである参照文字サイズの１．１５倍及び１．２５倍の推定文字サイズを算出することができる。
First, the license plate image data and the reference character size stored in the
ステップＳ２０３以降では、ステップＳ２０２において算出された推定文字サイズに基づいて、推定文字サイズ毎に画像データから文字を文字領域として切り出し、切り出された文字領域に対する文字認識処理を行い、認識された文字が予め備えられたパターンに最も類似する文字領域を真の文字領域として判定する（図６（ｅ）参照）。さらに、真の文字領域と判定された文字領域の文字高さＨ及び文字幅Ｗを（図６（ｅ）参照）この連結ラベルの文字認識に対する参照文字サイズとして、連結ラベルの未だ文字認識が終了していない領域に対して、ステップＳ２０２に戻り上記した処理を繰り返す。 In step S203 and subsequent steps, based on the estimated character size calculated in step S202, characters are extracted from the image data as character regions for each estimated character size, character recognition processing is performed on the extracted character regions, and the recognized characters are detected. The character area most similar to the pattern provided in advance is determined as the true character area (see FIG. 6E). Furthermore, the character height H and the character width W of the character region determined to be a true character region are set as the reference character size for character recognition of this concatenated label (see FIG. 6E), and character recognition of the concatenated label is still finished. For the area that has not been processed, the process returns to step S202 and the above-described processing is repeated.
次に、連結ラベルの分割候補点決定処理について、図７を参照して説明する。図７は、分割候補点決定処理の過程を示すフローチャートである。 Next, linked label division candidate point determination processing will be described with reference to FIG. FIG. 7 is a flowchart showing the process of the division candidate point determination process.
図７に示すように、カメラ１１で撮影されたナンバープレートの画像は、図６（ａ）に示す画像データとして画像入力部１２に入力され、認識処理部１３は、ステップＳ３０１及びステップＳ３０２で所定の処理を行う。すなわち、ステップＳ３０１では、輪郭線抽出部３５が、入力された画像データに対して、Ｓｏｂｅｌフィルタ等の微分フィルタにより画像データの空間１次微分を計算し、図６（ｂ）に示すように、画像データの中の文字の輪郭線を抽出する（輪郭線強調処理）。また、ステップＳ３０２では、ステップＳ３０１において輪郭線強調処理がなされた画像データに対して、輪郭線抽出部３５が、非極大輪郭画素を抑制することで輪郭線を細線化する（輪郭線細線化処理）。
As shown in FIG. 7, the license plate image captured by the
すなわち、ステップＳ３０１で輪郭線強調処理がなされた画像データに対して、水平方向に勾配がある画素を抽出して輪郭線の方向を算出し（垂直エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。また同様に、ステップＳ３０１で輪郭線強調処理がなされた画像データに対して、垂直方向に勾配がある画素を抽出して輪郭線の方向を算出し（水平エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。 That is, for the image data that has undergone the contour enhancement processing in step S301, pixels having a gradient in the horizontal direction are extracted to calculate the direction of the contour line (vertical edge image generation), and in the direction perpendicular to the contour line. A point (maximum point) at which the contour line luminance value becomes the peak value is searched, and this is extracted as a point on the true contour line. Similarly, a pixel having a gradient in the vertical direction is extracted from the image data subjected to the contour emphasis processing in step S301 to calculate the direction of the contour line (horizontal edge image generation), and is perpendicular to the contour line. A point (maximum point) at which the contour luminance value becomes the peak value in the direction is searched, and this is extracted as a point on the true contour line.
続いて、ステップＳ３０３では、輪郭線強調処理及び輪郭線細線化処理がなされた画像データに対して、認識処理部１３の符号算出部３６が、水平方向または垂直方向に勾配がある画素について輪郭線の微分値の符号を求める。より具体的には、符号算出部３６は、輪郭線強調処理及び輪郭線細線化処理がなされた画像データのうち、抽出された輪郭線の各画素について輪郭線の勾配方向に注目し、水平方向に勾配がある画素、すなわち、垂直輪郭線について微分フィルタの垂直輪郭線の微分値の符号を算出する。同様に、垂直方向に勾配がある画素、すなわち、水平輪郭線について微分フィルタの水平輪郭線の微分値の符号を算出する。
Subsequently, in step S303, the
ステップＳ３０４では、符号変化算出部３７が、ステップＳ３０３で算出した各画素における微分値の符号に基づいて、注目画素を中心として文字の太さに相当する局所領域を抽出し、この局所領域に含まれる画素の符号を注目画素の符号と比較して変化しているか否かを算出する。具体的には、まず、ステップＳ３０３で微分値の符号が算出された画像データに対して、左上方の画素から右方向に１行づつ順次スキャンして微分値が算出されている画素を抽出する。そして、スキャンした１行に含まれる画素のうち、微分値が算出されている画素を注目画素として、この注目画素から右方向に文字太さ相当の画素からなる所定の局所領域を抽出する。続いて、この局所領域の中で注目画素と反対の符号の画素があるかを検索して、注目画素と反対の符号を示す画素がある場合には、注目画素に対して符号が変化している画素がある領域として、その画素の座標と符号変化の方向の情報（注目画素＋符号に対して−符号、又は注目画素−符号に対して＋符号）とを記憶する。この処理をスキャンされた１行に亘って行い、この１行に対する処理が終了したら、次の行の処理を開始する。上記処理を１行毎に順次行うことで、画像データ全体に対して処理が終わるまで繰り返す。
In step S304, the sign
そして、算出された符号の変化から、注目画素に対して符号が変化している画素がある領域数を、符号変化の方向の情報毎に算出する。すなわち、注目画素が＋符号であった場合の−符号へ変化している画素がある領域と、注目画素が−符号であった場合の＋符号へ変化している画素がある領域の数をそれぞれ算出する。 Then, from the calculated code change, the number of regions where the pixel whose code has changed with respect to the target pixel is calculated for each piece of information of the code change direction. That is, the number of areas where there is a pixel that changes to − sign when the target pixel is + sign, and the number of areas where there is a pixel that changes to + sign when the target pixel is − sign, respectively. calculate.
なお、ここで、文字太さ相当とは、４〜５画素程度に相当する領域であることが多く、局所領域の範囲は、認識対象のナンバープレートに記載される文字の大きさ、太さ等を考慮して定められたデータとして予め記憶装置２４に記憶しておく。また、水平方向の分割点を算出する場合には、水平方向で局所領域を定めて符号の変化を算出し、垂直方向の分割点を算出する場合には垂直方向で局所領域を定めて符号の変化を算出する。
Here, the character thickness equivalent is often an area corresponding to about 4 to 5 pixels, and the range of the local area is the size, thickness, etc. of the character written on the license plate to be recognized. Is stored in advance in the
ステップＳ３０５では、分割点決定部３８が、ステップＳ３０３での算出結果から局所領域の背景に対する明暗、すなわち、局所領域が文字線部分にかかる領域であるか、背景部分にかかる領域であるかを判定する。具体的には、注目画素＋符号に対して−符号へ変化している画素がある領域数と、注目画素−に対して＋へ変化している画素がある領域数とを比較してより多い方の局所領域について文字線部を捉えた局所領域と判定する。例えば、注目画素＋符号に対して−符号へ変化している画素がある領域数よりも、注目画素−符号に対して＋符号へ変化している画素がある領域数が多い場合には、注目画素−符号に対して＋符号へ変化している画素がある領域を文字線部分とし、注目画素＋符号に対して−符号へ変化している画素がある領域を背景部分と判定する。
In step S305, the division
そして、次のステップＳ３０６において、分割点決定部３８により、局所領域内で分割点を決定する。具体的には、分割点決定部３８は、ステップＳ３０５で判定された文字線部分にかかる局所領域と背景部分にかかる局所領域との判定結果、及び、ステップＳ３０４で算出した局所領域内の注目画素に対して符号が変化している画素の座標と符号変化の方向の情報とに基づいて、背景部分と判定された局所領域を全て抽出する。そして、抽出された局所領域の中心画素を分割候補点と決定する。
In the next step S306, the dividing
このように、本実施形態によれば、複数文字が連結して各文字の参照文字サイズが不明確な場合であっても、複数の文字サイズを推定することで、適切な文字サイズを探索し決定するため、正確に文字の切り出し処理を行うことができ、文字認識精度が向上する。特に、文字サイズを推定する際に、文字の輪郭線の輝度勾配などに基づいて決定した文字の分割候補点を用いるので、推定する文字サイズのパターン数を少なくすることができ、演算量を抑制しながら、文字認識精度を向上させることができる。 Thus, according to the present embodiment, even when a plurality of characters are connected and the reference character size of each character is unclear, an appropriate character size is searched by estimating the plurality of character sizes. Therefore, the character cutout process can be performed accurately, and the character recognition accuracy is improved. In particular, when character size is estimated, character division candidate points determined based on the brightness gradient of the outline of the character are used, so the number of estimated character size patterns can be reduced, and the amount of computation is reduced. However, the character recognition accuracy can be improved.
なお、上記した第１及び第２の実施形態では、連結ラベルに含まれる全ての文字について順次複数の推定文字サイズを算出して、文字の切り出し及び文字認識処理を行う構成としたが、１文字目の認識結果を利用して、例えば、１文字目の認識結果の推定文字サイズの文字高さＨ及び文字幅Ｗを用いて２文字目以降の文字切り出し及び文字認識処理を行う構成とすることもできる。 In the first and second embodiments described above, a plurality of estimated character sizes are sequentially calculated for all the characters included in the concatenated label, and the character segmentation and character recognition processing are performed. Using the recognition result of the eye, for example, the character height H and the character width W of the estimated character size of the recognition result of the first character are used to perform character extraction and character recognition processing for the second and subsequent characters. You can also.
また、連結ラベルのうち認識対象の文字が３文字目以降の場合に、それまでに文字認識処理が終了している文字の認識結果に基づく推定文字サイズの文字高さＨ及び文字幅の平均値を第一の参照文字サイズとして３文字目以降の文字切り出し及び文字認識処理を行う構成とすることもできる。すなわち、認識対象の文字が２文字目である場合には、既に認識処理が終了した文字は１つであるため、１つ目の文字の認識結果に基づく推定文字サイズを第一の参照文字サイズとして、２文字目の文字領域を切り出すために推定文字サイズを複数パターン算出し、以降の処理を行う。認識対象の文字が３文字目以降である場合には、既に認識処理が終了した文字が複数あるため、これらの複数の文字の認識結果に基づく推定文字サイズの文字高さＨ及び文字幅Ｗからそれぞれ平均値を求め、平均文字高さＨ及び平均文字幅Ｗからなる文字サイズを第二の参照文字サイズとする。そして、平均値から算出された第二の参照文字サイズを基準として、３文字目以降の文字領域を切り出すために推定文字サイズを複数パターン算出し、以降の処理を行う。 In addition, when the recognition target character is the third or later character among the concatenated labels, the average value of the character height H and the character width of the estimated character size based on the recognition result of the characters for which character recognition processing has been completed so far The first reference character size can be used to perform character cut-out and character recognition processing for the third and subsequent characters. That is, when the character to be recognized is the second character, there is only one character for which recognition processing has already been completed, so the estimated character size based on the recognition result of the first character is set as the first reference character size. As a result, in order to cut out the character area of the second character, a plurality of estimated character sizes are calculated, and the subsequent processing is performed. If the recognition target character is the third character or later, there are a plurality of characters that have already been recognized, and therefore, from the character height H and the character width W of the estimated character size based on the recognition result of these characters. An average value is obtained, and a character size composed of an average character height H and an average character width W is set as a second reference character size. Based on the second reference character size calculated from the average value, a plurality of patterns of estimated character sizes are calculated in order to cut out the third and subsequent character areas, and the subsequent processing is performed.
１０ 文字認識装置
１１ カメラ
１２ 画像入力部
１３ 認識処理部
１４ 認識結果出力部
２０ 文字認識装置
２５ 推定文字サイズ算出部
２６ 文字切り出し処理部
２７ 文字認識処理部
２８ 類似度判定部
３５ 輪郭線抽出部
３６ 符号算出部
３７ 符号変化算出部
３８ 分割点決定部
DESCRIPTION OF
Claims (6)
前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶した記憶手段と、
前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出する推定文字サイズ算出手段と、
前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出す文字切り出し手段と、
前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する文字認識手段と、
前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する判定手段と、
前記文字の輪郭線の輝度勾配に基づいて、前記文字列の分割候補点を算出する分割候補点算出手段と、
を備え、
前記推定文字サイズ算出手段は、前記分割候補点と前記参照文字サイズとに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出することを特徴とする文字認識装置。 A character recognition device that inputs image data obtained by imaging a character string and recognizes each character included in the character string of the image data,
Storage means for storing a reference character size that serves as a reference for the size of the character in order to recognize the character;
An estimated character size calculating means for calculating a plurality of patterns of estimated character sizes based on the reference character size and estimating the size of the characters;
Based on the estimated character size of the plurality of patterns, character cutout means for cutting out the character as a character region from the image data for each estimated character size;
Character recognition means for performing character recognition processing on each character region cut out for each estimated character size and calculating character similarity;
A determination means for determining a character area having the highest character similarity based on the character similarity calculated by the character recognition means, and determining this as a true character area;
Division candidate point calculation means for calculating a division candidate point of the character string based on a luminance gradient of the outline of the character;
Equipped with a,
The estimated character size calculating means calculates a plurality of patterns of estimated character sizes obtained by estimating the size of the character based on the division candidate points and the reference character size .
前記画像データから微分フィルタを用いて前記文字列の輪郭線を抽出する輪郭線抽出手段と、Contour extraction means for extracting a contour line of the character string from the image data using a differential filter;
前記抽出された輪郭線のうち垂直輪郭線及び水平輪郭線を構成する各画素について、前記微分フィルタによる微分値の符号を算出する符号算出手段と、Code calculating means for calculating a sign of a differential value by the differential filter for each pixel constituting a vertical contour line and a horizontal contour line among the extracted contour lines;
前記符号が算出された画素から１つの画素を注目画素として選択し、該注目画素を含む第１の領域を前記画像データから順次抽出し、前記第１の領域に含まれる画素について、前記符号算出手段により算出された符号に基づいて、前記注目画素の符号と異符号を示す画素があるか否かを判定し、前記画像データから抽出された第１の領域のうち異符号を示す画素があると判定された第１の領域の数を算出する符号変化算出手段と、One pixel is selected as a target pixel from the pixels for which the code has been calculated, a first area including the target pixel is sequentially extracted from the image data, and the code calculation is performed for pixels included in the first area. Based on the code calculated by the means, it is determined whether or not there is a pixel having a different sign from the sign of the pixel of interest, and there is a pixel having a different sign in the first region extracted from the image data Sign change calculating means for calculating the number of first regions determined as:
異符号を示す画素があると判定された前記第１の領域を、前記注目画素が＋符号を示す領域と注目画素が−符号を示す領域とに分別し、分別した結果、より数の少ない領域を前記文字列の分割点とする分割点決定手段と、As a result of classifying the first area determined to have a pixel having an opposite sign into an area in which the pixel of interest indicates + sign and an area in which the pixel of interest indicates-sign, the number of areas is smaller. A dividing point determining means that defines a character string dividing point as
を備える請求項１に記載の文字認識装置。A character recognition device according to claim 1.
前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、
前記推定文字サイズ算出手段により、前記第一の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することを特徴とする請求項１又は請求項２に記載の文字認識装置。 The estimated character size corresponding to the character region determined to have the highest character similarity by the determining means is defined as a first reference character size for the image data,
Among the image data, for characters whose true character area has not yet been determined,
3. The character according to claim 1, wherein the estimated character size calculation unit calculates a plurality of patterns of estimated character sizes obtained by estimating the size of the character based on the first reference character size. 4. Recognition device.
前記画像データのうち、真の文字領域が未だ判定されていない文字に対して、
前記推定文字サイズ算出手段により、前記第二の参照文字サイズに基づいて前記文字の大きさを推定した推定文字サイズを複数パターン算出することを特徴とする請求項１又は請求項２に記載の文字認識装置。 When there are a plurality of estimated character sizes corresponding to the character region determined to have the highest character similarity by the determination means, an average value of the plurality of estimated character sizes is a second reference character size for the image data. Set
Among the image data, for characters whose true character area has not yet been determined,
3. The character according to claim 1, wherein the estimated character size calculating unit calculates a plurality of patterns of estimated character sizes obtained by estimating the size of the character based on the second reference character size. 4. Recognition device.
前記文字を認識するために該文字の大きさの基準となる参照文字サイズを記憶した第１ステップと、
前記文字の輪郭線の輝度勾配に基づいて、前記文字列の分割候補点を算出する第２ステップと、
前記分割候補点と前記参照文字サイズに基づいて、前記文字の大きさを推定した推定文字サイズを複数パターン算出する第３ステップと、
前記複数パターンの推定文字サイズに基づいて、前記推定文字サイズ毎に前記画像データから前記文字を文字領域として切り出す第４ステップと、
前記推定文字サイズ毎に切り出された各文字領域に対して文字認識処理を施すと共に文字類似度を算出する第５ステップと、
前記文字認識手段により算出された文字類似度に基づいて、該文字類似度が最も高い文字領域を判断し、これを真の文字領域と判定する第６ステップと、
を備えたことを特徴とする文字認識方法。 A character recognition method for inputting image data obtained by imaging a character string and recognizing each character included in the character string of the image data,
A first step of storing a reference character size serving as a reference for the size of the character in order to recognize the character;
A second step of calculating candidate division points of the character string based on a luminance gradient of the outline of the character;
A third step of calculating a plurality of patterns of estimated character sizes based on the division candidate points and the reference character size;
A fourth step of cutting out the character as a character region from the image data for each estimated character size based on the estimated character size of the plurality of patterns;
A fifth step of performing a character recognition process on each character region cut out for each estimated character size and calculating a character similarity;
A sixth step of determining a character area having the highest character similarity based on the character similarity calculated by the character recognition means and determining this as a true character area;
A character recognition method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009161944A JP5439069B2 (en) | 2009-07-08 | 2009-07-08 | Character recognition device and character recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009161944A JP5439069B2 (en) | 2009-07-08 | 2009-07-08 | Character recognition device and character recognition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011018175A JP2011018175A (en) | 2011-01-27 |
| JP5439069B2 true JP5439069B2 (en) | 2014-03-12 |
Family
ID=43595924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009161944A Active JP5439069B2 (en) | 2009-07-08 | 2009-07-08 | Character recognition device and character recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5439069B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6173715B2 (en) * | 2013-02-25 | 2017-08-02 | 三菱重工メカトロシステムズ株式会社 | Character recognition device, character recognition method and program |
| JP6403416B2 (en) * | 2014-04-23 | 2018-10-10 | 株式会社キーエンス | Portable optical reader, optical reading method using the portable optical reader, and computer program |
| JP6820578B1 (en) * | 2019-03-29 | 2021-01-27 | Ａｒｉｔｈｍｅｒ株式会社 | Type string recognition device, program, and method. |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2867531B2 (en) * | 1990-01-23 | 1999-03-08 | オムロン株式会社 | Character size recognition device |
| JP2580976B2 (en) * | 1993-09-29 | 1997-02-12 | 日本電気株式会社 | Character extraction device |
| JPH11338975A (en) * | 1998-05-28 | 1999-12-10 | Fujitsu Ltd | Character segmentation system and recording medium having recorded character segmentation program |
| JP3798582B2 (en) * | 1999-07-09 | 2006-07-19 | 富士通株式会社 | Contact character separation device and method, and recording medium |
-
2009
- 2009-07-08 JP JP2009161944A patent/JP5439069B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011018175A (en) | 2011-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109376658B (en) | OCR method based on deep learning | |
| CN109740548B (en) | Reimbursement bill image segmentation method and system | |
| US9811749B2 (en) | Detecting a label from an image | |
| US9275030B1 (en) | Horizontal and vertical line detection and removal for document images | |
| JP4901676B2 (en) | License plate information processing apparatus and license plate information processing method | |
| JP3830998B2 (en) | Ruled line removal method and character recognition apparatus using the same | |
| JP6177541B2 (en) | Character recognition device, character recognition method and program | |
| JP2008251029A (en) | Character recognition device and license plate recognition system | |
| JP5322517B2 (en) | Image processing apparatus and method | |
| JP5906788B2 (en) | Character cutout method, and character recognition apparatus and program using this method | |
| JP5439069B2 (en) | Character recognition device and character recognition method | |
| JP5100688B2 (en) | Object detection apparatus and program | |
| CN109508716B (en) | Image character positioning method and device | |
| CN114693917A (en) | Data enhancement method applied to signboard identification | |
| CN106663212B (en) | Character recognition device, character recognition method, and computer-readable storage medium | |
| JP5010627B2 (en) | Character recognition device and character recognition method | |
| CN116324911A (en) | Method for extracting characters from a vehicle license plate and license plate character extraction device for performing the method | |
| EP3955207A1 (en) | Object detection device | |
| JP2016053763A (en) | Image processor, image processing method and program | |
| JP2006155126A (en) | Vehicle number recognition device | |
| JP5020920B2 (en) | Pedestrian detection device and program | |
| Siddique et al. | Development of an automatic vehicle license plate detection and recognition system for Bangladesh | |
| CN106650719B (en) | Method and device for identifying picture characters | |
| JP4492258B2 (en) | Character and figure recognition and inspection methods | |
| JP4264332B2 (en) | Character recognition device, license plate recognition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130924 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131216 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5439069 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |