JP2018120445A - Car number recognition apparatus - Google Patents
Car number recognition apparatus Download PDFInfo
- Publication number
- JP2018120445A JP2018120445A JP2017011786A JP2017011786A JP2018120445A JP 2018120445 A JP2018120445 A JP 2018120445A JP 2017011786 A JP2017011786 A JP 2017011786A JP 2017011786 A JP2017011786 A JP 2017011786A JP 2018120445 A JP2018120445 A JP 2018120445A
- Authority
- JP
- Japan
- Prior art keywords
- color
- character
- unit
- plate
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
テレビカメラで車両を撮影し、その画像からナンバープレートの文字を認識する車番認識装置に関する。 The present invention relates to a vehicle number recognition device that takes a picture of a vehicle with a television camera and recognizes characters on a license plate from the image.
車番認識は２０数年前から普及し、多くの装置が色々な個所に設置されている。これまでのナンバープレートは白地に緑色の文字、緑地に白文字、黄色地に黒文字、黒地に黄色文字の４種類だけであったが、２０１７年以降、ラグビーワールドカップ向けに図柄プレートが配布される予定である。また、２０２０年の東京オリンピック向けにも図柄プレートが配布される予定である。 Car number recognition has been in widespread use for over 20 years, and many devices are installed at various locations. Until now, there were only four types of license plates: green letters on white, white letters on green, black letters on yellow, yellow letters on black, but after 2017, a design plate will be distributed for the Rugby World Cup. Is scheduled. In addition, a design plate will be distributed for the 2020 Tokyo Olympics.
車番認識装置の特許は多く出願されているが、これから支給される図柄のプレートについて対応する特許はまだ、公開されていない。特許文献１はナンバープレートを高精度に切り出す方式であり、図柄補正に関しての記載はない。特許文献２は、多車線対応のナンバープレート認識装置（別名、車番認識装置）であり、この文献にも図柄補正の記載はない。一般の文字認識に関して特許文献３がある。この従来技術は、ＯＣＲなどの文字読み取り装置において、カラー成分の色ずれ、色ボケによって文字が綺麗に抽出できない場合の対処方法であり、文字の輪郭のカラー成分あるいは輝度成分を文字の中央のカラー成分、輝度成分に置き換えるものである。
Many patents for the vehicle number recognition device have been filed, but no corresponding patent has yet been published for the symbol plate to be provided.
図柄プレートでは、従来の文字検出、文字認識手法では、図柄の影響で文字認識を誤る場合があった。また、ラグビーワールドカップ向け図柄プレートでは、事業用のプレートが、従来の緑地に白文字が、白地のプレート枠だけ緑色となり、自家用、事業用の判断が従来手法では不可能となってきた。 In the case of the pattern plate, the conventional character detection and character recognition methods may cause erroneous character recognition due to the influence of the pattern. Also, in the design plate for rugby world cup, the business plate is white letters on the conventional green background, and the white plate frame is green only, making it impossible to judge whether it is for personal use or business use.
ナンバープレートに描かれている図柄がナンバープレートの文字に接触している場合に、文字認識の対象領域がノイズを含んだ領域となり誤認識する課題がある。また、ナンバープレートには自家用と事業用があるが、事業用のプレートがプレートの枠だけ緑色の場合、従来の緑地背景が事業用、白地が自家用と判断できない問題がある。 When the pattern drawn on the license plate is in contact with the characters on the license plate, there is a problem that the target area for character recognition becomes a noise-containing area and is erroneously recognized. In addition, there are license plates for private use and business use. However, when the business plate is green only for the frame of the plate, there is a problem that the conventional green background cannot be judged for business use and the white background is for private use.
そこで本発明では、図柄プレートにおいて高精度に認識できるともに、高精度な認識を維持することが可能となる。 Therefore, according to the present invention, it is possible to recognize the symbol plate with high accuracy and to maintain high accuracy recognition.
上記の課題を解決するために、本発明に係る車番認識装置は、ナンバープレートを撮影する撮像部と、前記ナンバープレートの領域を検出するプレート検出部と、前記ナンバープレートの領域における一連番号を検出する一連番号検出部と、前記一連番号の大きさから前記一連番号周辺の文字領域の位置を算出する周辺位置算出部と、前記一連番号検出部の検出結果の文字領域の色情報を検出し、文字色を判定する文字色判定部と、前記文字色判定部の結果から背景色を判定する背景色判定部、前記周辺位置算出部で算出した位置から求まる領域について、プレート領域のカラー画像で文字および背景の色以外の色成分を抽出するノイズ色検出部と、前記ノイズ色検出部で抽出した色成分の領域を補正する色補正処理部と、前記色補正処理部を経た後に、切り出した文字領域の画像データを用いて文字認識する文字認識部と、を有する。 In order to solve the above-described problems, a vehicle number recognition apparatus according to the present invention includes an imaging unit that captures a license plate, a plate detection unit that detects a region of the license plate, and a serial number in the region of the license plate. Detecting color information of a character area as a result of detection by a serial number detection unit for detecting, a peripheral position calculation unit for calculating a position of a character region around the serial number from the size of the serial number, and a detection result of the serial number detection unit A color image of a plate area for a character color determination unit that determines a character color, a background color determination unit that determines a background color from the result of the character color determination unit, and an area obtained from the position calculated by the peripheral position calculation unit A noise color detection unit that extracts color components other than characters and background colors, a color correction processing unit that corrects an area of the color component extracted by the noise color detection unit, and the color correction processing unit After passing through, having a character recognizing character recognition unit with the image data of the character region extracted.
本発明によれば、図柄プレートにおける文字を高精度に認識し、高精度な認識を維持する車番認識装置の提供をすることが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the vehicle number recognition apparatus which recognizes the character in a design plate with high precision, and maintains highly accurate recognition.
本発明の説明の前に、従来のナンバー認識（特開平６−２１５２９３）の概要を説明する。図２２に処理の流れを示す。図２２では、車のプレート近傍は縦エッジが強いので縦エッジを検出し、これを２値画像とし、２値画像を成形処理することでプレート形状の候補が得られている。このほかにも様々な手法が公開されている。すなわち、入力画像からプレート候補画像を作成する２００と、プレート候補を切り出す２０１と、プレート領域を最適なしきい値で２値化する２０２（この時点で自家用か事業用かが分かる）と、各物体のサイズをチェックするとともに並びをチェックし、一連番号だけを切り出す２０３と、一連番号の傾きを求め、文字が正立するように補正する２０４と、再度、２値化する２０５と、一連番号を検出する２０６と、一連番号の文字の大きさから中型プレートか大型かを判断し、それに応じて周囲の文字位置を計算する２０７と、から構成されている。
各領域が求まれば、それぞれの領域の画像を切り出し、識別器（ニューラルネットワークやSVM、ランダムフォレストなど、様々ある）で認識する。この例は一例で、他にもナンバープレート認識手法は色々と公開されている。
Prior to the description of the present invention, an outline of conventional number recognition (Japanese Patent Laid-Open No. 6-215293) will be described. FIG. 22 shows the flow of processing. In FIG. 22, since the vertical edge is strong in the vicinity of the plate of the car, the vertical edge is detected, this is used as a binary image, and the binary image is processed to obtain a plate shape candidate. Various other methods are also available. That is, a
Once each area is obtained, the image of each area is cut out and recognized by a classifier (various types such as neural network, SVM, and random forest). This example is just an example, and many other license plate recognition methods are available.
図２３は分類番号（車種コード）を認識する例を示す。文字色が常に白色（背景が黒）となるように変換し２１０、１桁目の領域を設定２１１、２桁目の領域を設定する２１２、３桁目の領域を設定する２１３。領域設定できれば、あらかじめ設定されているサイズに正規化し２１４、この画像データを用いて文字認識する。文字認識はニューラルネットワーク、SVM（Support Vector Machine）,ランダムフォレスト、最近注目されているDeepLearningなどがある。この認識処理も所定領域を２値化処理し、２値画像で認識する方法もあるが、本発明では、濃淡画像を用いて認識する方式を例にする。
FIG. 23 shows an example of recognizing a classification number (vehicle type code). The character color is always converted to white (background is black) and 210 is set as the
このような処理を実現するハードウエア構成を図２４に示す。ナンバープレート認識装置１０は、カメラ１（カラーカメラやモノクロカメラ、別名撮像部）から取り込んだ映像を記憶する画像メモリ２が複数枚備わっており、この画像メモリ２の画像を処理し、プレート検出部３でプレートを検出し、一連番号検出部４で一連番号を検出する。周辺位置算出部５では、一連番号の大きさから中型プレートか大型プレートかを判断し、一連番号の周辺の文字領域の座標に基づいて位置を計算する（日本のプレートでは、中型・大型があり、一連番号の位置に応じ陸運支局コード（漢字）、車種コード（小さい数字）、用途コード（ひらがな）の領域座標を計算して求めることが可能である）。文字認識部６では、切り出した文字領域の画像データを用いて文字認識する。CPU７は全体の流れを制御するものである。通信制御８は認識結果の送信や、パラメータの受信などを行う。
A hardware configuration for realizing such processing is shown in FIG. The license
日本のプレートには、図２５のように登録自動車の自家用、事業用、軽自動車の自家用、事業用の４種類の色だけが存在する。濃淡で認識する場合、文字色が背景より暗ければ自家用、明るければ事業用と判断できる。 As shown in FIG. 25, there are only four kinds of colors for Japanese plates for registered automobiles for private use, business use, light car use for private use, and business use. When recognizing with light and shade, it can be determined that the character color is darker than the background, and that it is for business use if it is bright.
このような従来の構成で、将来配布予定の図柄プレートが認識対象となると、図柄のカラー成分がノイズとなる。 With such a conventional configuration, when a symbol plate scheduled to be distributed in the future becomes a recognition target, the color component of the symbol becomes noise.
以下、本発明の実施例を図１により説明する。図２２の従来の構成と同じ番号は同じ機能である。本発明では、図１のように一連番号検出部４の出力を用いて、図柄補正する図柄補正処理部９が備わる。図柄補正処理部９は、図２のように、文字色判定部２０と背景色判定部２１とノイズ色検出部２１５とノイズ色補正処理部２２から構成される。
An embodiment of the present invention will be described below with reference to FIG. The same numbers as those in the conventional configuration in FIG. 22 are the same functions. In the present invention, as shown in FIG. 1, a symbol correction processing unit 9 for correcting symbols using the output of the serial
文字色判定部２０は、図１の一連番号検出部４で検出した一連場号の２値画像を用いて処理する。文字判定部２０における処理フローを図３に示す。図３の処理フローでは、入力したカラーカメラの画像データをH,S,I画像に変換する処理３０を含む。H,S,I画像は、それぞれHue angle (色相角度)、Saturation (彩度)、Intensity (強度)を表わす。R、G、B画像を用いても同様な効果があるが、本発明ではH,S,I画像で説明する。なおH,S,I画像についてはH,S,V画像とも別名言い、VはValue（強度）を表す。
The character
このH,S,I画像に対し、一連番号の2値画像とそれぞれAND処理し、一連番号領域のH,S,I画像を作成する３１。一連番号でANDしたH,S,I画像の頻度分布（ヒストグラム）を求める処理３２を含む。また、色ごとに定めたしきい値を設定する処理３３、及びしきい値に応じ文字色を判定する処理３４を含む。
This H, S, I image is ANDed with the binary image with the serial number to create an H, S, I image in the
処理フロー図３の具体的な例を図４に示す。プレート領域画像４０に対し、一連番号を検出して、その2値画像とH,S,I画像でAND処理４１をする。H画像の例が４２であり、その文字領域のヒストグラムを表示している。同様にS画像の例が４３、I画像の例が４４である。この３つのヒストグラムを使って色判定を実行する。図４の例では事業用の車（背景が文字より暗い）なので、ヒストグラムを用いて黄色文字か白文字かを判定できれば良い。
Processing Flow A specific example of FIG. 3 is shown in FIG. A serial number is detected for the
文字色判定しきい値は、白色の場合、H画像のしきい値を２４〜１０５とし、S画像のしきい値は０〜９０とする。緑色の場合、H画像のしきい値を１０〜１２６とし、S画像のしきい値を０〜１７０とする。黄色の場合、H画像のしきい値を５０〜１５０とし、S画像のしきい値は０〜２２４とする。黒色の場合、H画像のしきい値を２５〜１５０とし、S画像のしきい値は０〜１７５とする。図４のH,S画像の分布を見ると、H画像のピークは約１３０、S画像のピークは約１１０であり、事業用と分かっているので、文字色は黄色と判断出来る。 When the character color determination threshold is white, the threshold value of the H image is set to 24 to 105, and the threshold value of the S image is set to 0 to 90. In the case of green, the threshold value of the H image is set to 10 to 126, and the threshold value of the S image is set to 0 to 170. In the case of yellow, the threshold value of the H image is set to 50 to 150, and the threshold value of the S image is set to 0 to 224. In the case of black, the threshold value of the H image is set to 25 to 150, and the threshold value of the S image is set to 0 to 175. Looking at the distribution of the H and S images in FIG. 4, the peak of the H image is about 130, and the peak of the S image is about 110.
なお、これらのしきい値は、例であり対象画像に応じ変更される場合がある。また、H画像は０〜３６０度で表わされる円形の指数であるが、画像処理では８ビット画像が用いられるため０〜２５５の値に変換される（始点の０度をどこに決めるかによっても変化する）。また、S画像は０〜１の値を０〜２５５に変換している。I画像は輝度情報であるので、０〜２５５となる。また、カメラのカラー感度によって、上記しきい値は変更されるので一例である。 These threshold values are examples and may be changed according to the target image. The H image is a circular index represented by 0 to 360 degrees. However, since an 8-bit image is used in image processing, it is converted to a value of 0 to 255 (varies depending on where the 0 degree of the starting point is determined. To do). The S image is converted from 0 to 1 into 0 to 255. Since the I image is luminance information, it is 0 to 255. Further, the threshold value is changed according to the color sensitivity of the camera, which is an example.
ここで、日本車のナンバープレートの色は４種類しかない。これをプレートサイズ、自家用、事業用、登録車、軽自動車で区分けすると、図５のように、中型で自家用車の場合は、登録車か軽自動車であるため、文字色は緑か黒である。その背景色は白か黄色である。また、中型で事業用の場合は、登録車か軽自動車で文字色が白か黄色である。その背景色は緑か黒である。 Here, there are only four types of license plate colors for Japanese cars. When this is divided into plate size, private use, business use, registered car, and light car, as shown in Fig. 5, in the case of medium-sized private car, it is a registered car or light car, so the character color is green or black . Its background color is white or yellow. In addition, in the case of medium-sized and business-use, the character color is white or yellow for registered cars or light cars. Its background color is green or black.
一方、大型プレートの場合は自家用車であれば文字色は緑色しかなく、事業用であれば白色となる。すなわち、大型の場合は、自家用か、事業用が分かれば文字色は特定できる。 On the other hand, in the case of a large plate, the text color is only green if it is a private car, and white if it is for business use. That is, in the case of a large size, the character color can be specified if it is for private use or business use.
これを図６で示すと、大型か中型かを判定して５０（この処理は図1の一連番号検出部４で実行できる）、大型ならば、自家用か事業用を判定して５１（この処理も図1の一連番号検出部４で文字色が背景より明るいか、暗いかで判断出来る）、事業用なら白文字、自家用なら緑文字と決まる。中型プレートの場合、自家用か事業用かを判定し５２、事業用の場合は文字色を判定し５３、白文字か黄色文字かを判定する。自家用の場合、文字色は黒か、緑であるが、H,S,I画像で文字色を判定できれば、緑文字、黒文字かが分かる。H.S,I画像で緑、黒の色判定は区別が難しい場合は、背景色を背景色判定部２１で判定する５４。その結果、白であれば登録車の自家用車。黄色であれば軽自動車の自家用車となる。以上のような処理を実行すれば、文字色判定、背景色判定が可能となる。
If this is shown in FIG. 6, it is determined whether it is large or medium size 50 (this process can be executed by the serial
大型/中型判定は、図1の一連番号検出部４で文字検出したときに判断できており、自家用、事業用の判断も同じく一連番号検出部４で判断出来ている（文字検出時にプレートの全体のヒストグラムを求めることで、頻度が多いのが暗い方にあるか、明るい方にあるかで自家用、事業用の判断が可能である。もし、判断を間違えたとしても、一連番号が検出できない場合は反転画像を作成し一連番号を検出するので、一連番号が検出できれば、プレートサイズ（大型、中型）、プレート種別（自家用、事業用）は求まっている）。
The large / medium size determination can be made when characters are detected by the serial
以上の処理で文字色判定が実行でき、背景色も特定できる。 The character color determination can be executed by the above processing, and the background color can also be specified.
図２のノイズ色補正部２２は、周辺位置算出部５で求めた領域において、文字色判定部２０、背景色判定部２１によって求めた文字色と背景色以外のノイズ色をノイズ色検出部２１５で検出し、その領域のH,S,I画像を周囲のH,S,I画像に置き換える処理である。この時、図1の周辺位置算出部５によって、一連番号の座標から、分類番号（小文字の数字）、陸運支局コード（漢字）、用途コード（ひらがな）の領域は計算で求まっているので、それぞれの領域に限定してノイズ色補正処理部２２が補正する（プレート画像領域全体の補正を実行しても構わない）。
The noise
図７に用途コード領域の補正の例を示す。この画像６０は自家用車の登録車両（背景が文字より明るく、背景が黄色で無い）なので、緑文字、白背景であるため、緑、白以外の色を検出し補正する。用途コード領域全体のH画像のヒストグラム（濃度頻度分布）を求め６１、この頻度分布で文字色（緑）、背景色(白)以外の濃度の部分を検出６４し、この濃度値を背景のH画像の代表値（ピーク濃度あるいは平均濃度）に変換する。同様に用途コード全体のS画像のヒストグラムを求め６２、この頻度分布で文字色、背景色以外の濃度の部分を検出６５し、S画像の代表値に変換する。濃度の変換は画像処理の濃度変換処理（入力濃度のテーブルと出力濃度のテーブルを用意し、そのテーブルに応じ、濃度変換する処理）を用いれば良い。図７のH画像については、約０〜９０と約１７０〜２５５までは入力、出力の濃度を同じにし、約９０〜１７０の濃度の出力濃度を代表濃度に設定すれば良い。
FIG. 7 shows an example of correcting the use code area. Since this
I画像６３は周辺濃度で置き換える。周辺濃度に置き換える処理として、例えば図８で示す処理がある。図８にI画像の周辺濃度への置き換え処理のフローを示す。元画像８０を水平方向にMAXフィルタ（数画素の最大値を中心画素の濃度と置き換える処理）をN回実行すると、文字領域や、ノイズ成分の輝度情報は他の輝度情報に置き換えできる８１。一方、元画像のノイズ領域を検出した除外領域画像８２(文字色と背景色以外の領域)とMAXフィルタの画像８１をAND処理８３することで、補正する濃度画像ができる８４(白色が置き換える濃度を示す。黒は置き換えない領域)。更に、除外領域８２の反転画像を作成し８５、この画像と元画像８０のAND処理を実行し８６、元の画像の除外以外の領域の濃度を検出しておく８７。そして埋める濃度画像８４と埋めない画像８７でOR処理８８することで、補正画像８９が作成できる。図８の８９では、補正濃度が強調されているように見えるが、実際は文字の背景に近い濃度になる。
The
補正後の結果を図９に示す。薄い青が少し残っているがピンクの色成分は完全に除去できている９０。これを模式的に示すと、図１０のような補正となる。元画像１００を補正すると、１０１のような画像となる。これによって、文字認識が問題なく可能となる。用途コードの変換例を示したが、陸運支局コード、分類番号も同様な処理で実行する。
The result after correction is shown in FIG. A little light blue remains, but the pink color component is completely removed90. This is schematically shown in FIG. When the
本実施例によれば、一連番号を切り出し、文字色、背景色を特定し、その色以外を補正することで図柄のナンバープレートでも高精度に認識できる効果がある。また、本実施例の副産物として、一連番号の色検出、背景色の色判定を実施することで、軽自動車の判定が容易となる。すなわち、文字色が黒で、背景領域に黄色が多い場合、自家用の軽自動車、文字色が黄色で、背景領域に黒が多い場合は、事業用の軽自動車と判定できる。モノクロ画像では、軽自動車の判定は困難であるが（用途コードと、分類番号の組み合わせで判断可能であるが、古い車の分類番号が2桁の場合、この組み合わせでは判断できない場合がある）、カラー画像を利用することで軽自動車の判定が可能となる効果がある。 According to the present embodiment, there is an effect that the serial number is cut out, the character color and the background color are specified, and the color other than the color is corrected, so that even the number plate of the symbol can be recognized with high accuracy. Further, as a by-product of the present embodiment, the determination of the light vehicle is facilitated by performing the color detection of the serial number and the color determination of the background color. That is, when the character color is black and the background region has a lot of yellow, it can be determined that the vehicle is a light vehicle for private use, and when the character color is yellow and the background region has a lot of black, it can be determined as a business light vehicle. In a monochrome image, it is difficult to determine a light vehicle (it can be determined by a combination of a usage code and a classification number, but if the classification number of an old car is 2 digits, it may not be determined by this combination) By using a color image, there is an effect that a light vehicle can be determined.
実施例１では、一連番号の切り出しには図柄が影響しないことを前提に処理を説明したが、実際には、一連番号の近傍に図柄が来る場合が想定される。この場合、実施例１では一連番号の検出に失敗する。一連番号の検出に失敗すると文字色判定ができないため、図柄色を補正ができなくなる。このため、図１１のプレート検出部３の情報を用いて、第２の図柄補正処理部１１を設ける。
In the first embodiment, the process has been described on the assumption that the symbols do not affect the extraction of the serial numbers. However, in actuality, it is assumed that the symbols come near the serial numbers. In this case, in the first embodiment, detection of the serial number fails. If the detection of the serial number fails, the character color cannot be determined, and the design color cannot be corrected. For this reason, the 2nd symbol
第２の図柄補正処理部１１は、プレート領域を切り出したあと（図１のプレート検出部３の結果）、日本車には基本的に緑、黒、白、黄色しかナンバープレートの色は無いため、緑、黒、白、黄色以外のカラー成分を検出し、その領域のH,S,I画像を補正するものである。この時、文字色のカラー成分が補正されてしまうと文字検出に影響が出るため、文字色、背景色から離れている色成分のみを除去する。実施例１のように詳細なカラー成分除去は不要で、大まかに補正できれば、一連番号は大きな文字であるため、一連番号検出には問題がない（文字に非常に近い色が文字近傍にあると人間でも文字認識が難しくなるため、使用されない）。
Since the second symbol
図１２に処理の流れを説明する。実際の画像はカラー画像であるが、明細書ではカラー画像が表示できないため濃淡で表わす。図１１のプレート検出部３で検出したプレート領域に対し、カラー画像をH,S,I画像１２０に変換し、緑、黒、白、黄色以外の色成分を検出する１２１。
FIG. 12 illustrates the processing flow. The actual image is a color image, but in the specification, a color image cannot be displayed, and therefore is represented by shading. A color image is converted into an H, S, I image 120 for the plate area detected by the
この領域をH画像はH画像の代表値（プレート領域全体の代表値）で補正し、S画像はS画像の代表値（プレート領域全体の代表値）、I画像はI画像の代表値（平均輝度より明るい濃度のピーク値）で置き換えることで、補正画像１２２を作成でき、一連番号の検出が可能である。H,Sの代表値は平均濃度かピーク濃度で求めることができる。本処理はプレート全体の領域について処理する。
In this area, the H image is corrected with the representative value of the H image (the representative value of the entire plate area), the S image is the representative value of the S image (the representative value of the entire plate area), and the I image is the representative value of the I image (average) By substituting with a peak value of density brighter than the brightness, the corrected
本実施例によれば、一連番号の近傍に図柄があってもカラー成分を補正することで一連番号を正しく検出することが可能となる。 According to the present embodiment, it is possible to correctly detect the serial number by correcting the color component even if there is a design near the serial number.
なお、一般文書の場合、文字色、背景色をあらかじめ設定することで、文字色、背景色以外を検出し、上記と同様な補正処理で、文字以外の背景色を補正することも可能である。 In the case of a general document, it is also possible to detect other than the character color and the background color by setting the character color and the background color in advance, and to correct the background color other than the character by the correction processing similar to the above. .
また、図１３のように、プレート全体の画像１３０（黒く見える斜線の領域は赤色画像である）のH,S,I画像を用いて、赤色成分を検出し１３１（背景より少し明るい領域）、この画像を2値化して成型処理する１３２（プレート領域における検出された赤色成分の領域について膨張、収縮を数回繰り返すことで成型できる）。この領域の色成分H,S,Iを図１２と同様に補正することで、１３３のような画像が得られる。この結果、臨時運行許可番号標（以下、仮ナンバーと称す）でも数字の認識が可能となる。この赤成分の形状が斜めになっている場合（2値画像の直線近似で右上がりの直線なら仮ナンバー。あるいは、２値画像の右上の水平座標位置と左下の水平位置座標を比較し、左下が小さければ仮ナンバー）仮ナンバーと判定可能となる。なお、通常のプレートと仮ナンバーでは数字の周辺の文字配列が異なる。図１３では、左に地名、右下に地名があり、仮ナンバーの場合はそこの位置を認識することで、地名の認識も可能である（ただし、通常のプレートの地名は水平になっているので、識別器の学習が必要）。 Further, as shown in FIG. 13, the red component is detected 131 (an area slightly brighter than the background) using the H, S, and I images of the entire image 130 (the shaded area that appears black is a red image), This image is binarized and molded 132 (the red component area detected in the plate area can be molded by repeating expansion and contraction several times). By correcting the color components H, S, and I in this region in the same manner as in FIG. 12, an image such as 133 is obtained. As a result, the number can be recognized even with a temporary operation permission number mark (hereinafter referred to as a temporary number). If the shape of the red component is slanted (a temporary number if it is a straight line that rises to the right in a binary approximation of the binary image. Or, compare the horizontal coordinate position of the upper right and the lower left horizontal position of the binary image, and If the value is small, the provisional number) can be determined as the provisional number. In addition, the character arrangement around a number differs with a normal plate and a temporary number. In FIG. 13, there is a place name on the left and a place name on the lower right. In the case of a temporary number, the place name can also be recognized by recognizing its position (however, the place name of a normal plate is horizontal). So learning of the classifier is necessary).
また、図１４のようにプレート領域画像１４０から赤色検出した画像１４１を作成し、これを2値化した画像１４２を作成し、この画像の大きさがプレートサイズであれば、回送運行許可番号標（以下、回送ナンバーと称す）であると判断出来る。
Further, as shown in FIG. 14, a red-detected
本実施例によれば、赤色成分を検出し、その形状をチェックすることで、仮ナンバーか、回送ナンバーか、通常ナンバーかの判断が可能となるとともに、赤色領域のカラー成分を補正することで、仮ナンバーでも一連番号の検出が可能となり、一連番号の文字認識が可能となる。 According to this embodiment, by detecting the red component and checking its shape, it is possible to determine whether it is a temporary number, a forwarding number, or a normal number, and by correcting the color component in the red region. Even a temporary number can detect a serial number, and can recognize characters of the serial number.
実施例１、２はカラー画像での補正を利用しているが、文字色(たとえば緑色)に近い色を除去することは難しい。このため、文字認識する前処理に濃淡の補正処理を用いる。 In the first and second embodiments, correction using a color image is used, but it is difficult to remove a color close to a character color (for example, green). For this reason, shading correction processing is used for character recognition preprocessing.
具体的には、図１５のように、周辺位置算出部５の情報から、認識する領域の濃淡補正を実施する第３の図柄補正処理部１２を設ける。第三の図柄補正処理部は、領域決定部と濃度補正部から構成されている。
Specifically, as shown in FIG. 15, a third symbol
文字認識領域が求まった後、その領域の濃度値を所定の濃度以下は０の濃度に置き換える処理を領域決定部で実行する（ノイズ的な濃度を削除する処理）。この濃度値を濃度補正部で変化させて認識させ、認識できれば終了する流れとなる。第３の図柄補正処理部１２における処理フローを図１６に示す。3回ループ処理する１６０。ループが１回目の場合、基準の濃度値(たとえば、領域の平均濃度の１/３)以下の濃度を０に変換し１６１、文字認識部１６４で文字認識し、その結果を認識結果格納部１６５へ格納する。ループ2回目は、基準濃度値の２倍の濃度以下を０の濃度に変換し１６２、同様に処理する。ループ３回は基準濃度の３倍の濃度以下を０に変換する１６３。
After the character recognition area is obtained, the area determination unit executes a process of replacing the density value of the area with a density of 0 below a predetermined density (a process of deleting noise-like density). The density value is changed and recognized by the density correction unit, and if it can be recognized, the flow ends. A processing flow in the third symbol
ループが終わると、認識結果採用部にてループごとに求めた認識結果と確信度（評価値）を比較し、確信度が最も高い認識結果を採用する（文字認識後に、確信度が所定値以上ならループを抜けて終了しても良い）。 When the loop ends, the recognition result adoption unit compares the recognition result obtained for each loop with the certainty factor (evaluation value), and adopts the recognition result with the highest certainty factor (after the character recognition, the certainty factor is greater than or equal to a predetermined value) Then you can exit the loop and exit.)
このようにノイズ成分の濃度を除去しながら認識することで、図１７のように元画像１７０に対し、最初はノイズがあるため、文字認識領域が大きく１７１、認識できないが、濃度値を削除することで適正な領域に文字認識領域が設定されるため１７２、正しい答えが得られる。本方式の着目点は、図柄の色成分を濃淡で表わすと、文字の濃度より暗い濃度であることである。もし、文字色より明るい濃度の図柄があれば補正することは困難である。
By recognizing while removing the density of the noise component in this manner, the
本実施例によれば、カラー補正処理で完全に補正できない色の図柄があっても、濃淡画像の補正処理でノイズの画像を削除しながら認識できるので、高い認識率が得られる。なお、ループ処理の回数や、ノイズと判定する濃度の倍率は適時変更してもかまわない。 According to the present embodiment, even if there is a pattern of a color that cannot be completely corrected by the color correction processing, it can be recognized while deleting the noise image in the grayscale image correction processing, so that a high recognition rate can be obtained. Note that the number of times of loop processing and the magnification of the density determined as noise may be changed as appropriate.
ラグビーワールドカップ向けの図柄ナンバープレートでは、事業用のプレートの背景が緑で無く、背景は自家用車と同じ白色で、プレートに描かれている縁だけが緑色となることになっている。この場合、図６の自家用か事業用かの判断を用いると間違ってしまう。このため、事業用の判定を変更する必要がある。図１８のフローの自家用と判断した場合に、ラグビー図柄の事業用判定処理部１８０を追加する。すなわち具体的処理フローは図１９のようになる。事業用判定処理部１８０で自家用か事業用を判断した結果をバスを通じCPUで結果を格納し、プレート認識結果とともに、通信部で結果を送信する。事業用判定処理１８０は、図２０のように、プレートの一連番号を検出する１９０と、一連番号検出時に中型・大型の判定ができているので一連番号の文字ピッチなどからプレート枠の矩形座標が算出可能である１９１から、このプレート枠の矩形座標の内側に数画素の幅を持たせて領域を設定し１９２、この領域の色成分を求める。この領域の色が緑に近い場合は、事業用ナンバーであると判定する。あるいは、算出したプレート枠の面積と、白地の面積の比率を求め、白地が所定値以下であれば、事業用ナンバーと判断できる。図２０のフローを更に詳細にしたものが図２１である。図２１において一連番号検出２０１までは一連番号検出部で実行し、プレート枠位置算出２０２以降は図１９の事業用プレート判定部で処理する。
In the design license plate for the Rugby World Cup, the background of the business plate is not green, the background is the same white color as a private car, and only the edge drawn on the plate is green. In this case, using the private or business judgment shown in FIG. 6 is incorrect. For this reason, it is necessary to change the judgment for business use. When it is determined that the flow of FIG. 18 is for private use, a business
本実施例によれば、ラグビーワールドカップ向け図柄プレートの特殊な事業用プレートでも自家用、事業用の判定が可能となる。 According to the present embodiment, it is possible to make a judgment for private use or business use even with a special business plate of the symbol plate for the rugby world cup.
１ カメラ
２ 画像メモリ
３ プレート検出部
４ 連番号検出部
５ 周辺位置算出部
６ 文字認識部
９ 図柄補正処理部
１１ 第２の図柄補正処理部
１２ 第３の図柄補正処理部
DESCRIPTION OF
Claims (9)
前記ナンバープレート領域を検出するプレート検出部と、
前記ナンバープレート領域における一連番号を検出する一連番号検出部と、
前記一連番号の大きさから前記一連番号周辺の文字領域の位置を算出する周辺位置算出部と、
前記一連番号検出部及び前記周辺位置検出部の出力を用いて図柄補正を行う図柄補正処理部と、
前記図柄補正処理部を経た後に、切り出した文字領域の画像データを用いて文字認識する文字認識部と、を有する車番認識装置であって、
前記図柄補正処理部は、前記一連番号検出部の検出結果の文字領域の色情報を検出し、文字色を判定する文字色判定部と、
前記文字色判定部の結果から背景色を判定する背景色判定部と、
前記周辺位置算出部で算出した位置から求まる領域について、プレート領域のカラー画像で文字および背景の色以外の色成分を抽出するノイズ色検出部と、
前記ノイズ色検出部で抽出した色成分の領域を補正する色補正処理部と、を有することを特徴とする車番認識装置。 An imaging unit for photographing a license plate;
A plate detector for detecting the license plate region;
A serial number detector for detecting a serial number in the license plate region;
A peripheral position calculation unit that calculates the position of the character area around the serial number from the size of the serial number;
A symbol correction processing unit that performs symbol correction using outputs of the serial number detection unit and the peripheral position detection unit;
A character number recognition unit comprising a character recognition unit that recognizes characters using image data of a cut-out character region after passing through the symbol correction processing unit,
The symbol correction processing unit detects color information of a character region as a detection result of the serial number detection unit, and determines a character color.
A background color determination unit for determining a background color from the result of the character color determination unit;
A noise color detection unit that extracts color components other than characters and background colors from the color image of the plate region for the region obtained from the position calculated by the peripheral position calculation unit;
A vehicle number recognition apparatus comprising: a color correction processing unit configured to correct a color component region extracted by the noise color detection unit.
前記色補正処理部は、前記プレート領域における色成分は前記一連番号以外の領域を色成分の平均値又は色成分の頻度が最も多い色成分に置き換え、前記プレート領域における輝度成分は前記一連番号以外の領域を色成分の平均値又は頻度が最も多い輝度値に置き 換えることを特徴とする車番認識装置。 The vehicle number recognition device according to claim 1,
The color correction processing unit replaces an area other than the serial number for the color component in the plate area with an average value of color components or a color component having the highest frequency of the color component, and a luminance component in the plate area other than the serial number. The vehicle number recognition device is characterized in that the area is replaced with an average value of color components or a luminance value having the highest frequency.
前記色補正処理部は、一連番号以外の領域の輝度情報を伝播させて前記輝度成分を置き換える処理とすることを特徴とする車番認識装置。 The vehicle number recognition device according to claim 2,
The vehicle number recognition apparatus according to claim 1, wherein the color correction processing unit performs processing for propagating luminance information of a region other than the serial number and replacing the luminance component.
前記撮像部はカラーカメラであり、前記ノイズ色検出部は前記プレート検出部で検出したプレート領域全体の黒、緑、白若しくは黄色のいずれか又は複数の色以外のカラー成分を検出することを特徴とする車番認識装置。 The vehicle number recognition device according to any one of claims 1 to 3,
The imaging unit is a color camera, and the noise color detection unit detects a color component other than black, green, white, yellow, or a plurality of colors in the entire plate area detected by the plate detection unit. Car number recognition device.
前記プレート検出部で前記プレート領域を切り出した後に図柄補正を行う第二図柄補正処理部を備えることを特徴とする車番認識装置。 The vehicle number recognition device according to claim 1,
A vehicle number recognition apparatus comprising: a second symbol correction processing unit that performs symbol correction after the plate region is cut out by the plate detection unit.
前記撮像部はカラーカメラであり、
前記第二図柄補正処理部は、赤成分を検出する赤色検出処理部と、
赤色領域の形状を判定する赤色形状判定部と、
赤色形状が斜線の場合に、赤色領域のカラー成分を補正する色補正処理部と、を有することを特徴とする車番認識装置。 The vehicle number recognition device according to claim 5,
The imaging unit is a color camera;
The second symbol correction processing unit includes a red detection processing unit that detects a red component;
A red shape determination unit for determining the shape of the red region;
A vehicle number recognition apparatus, comprising: a color correction processing unit configured to correct a color component in a red region when the red shape is a diagonal line.
前記文字認識部の文字認識結果を格納する認識結果格納部と、
前記文字認識結果と文字認識度合いを評価する認識評価値を比較し、文字認識度が高い前記認識結果を採用する認識結果採用部と、
前記周辺位置算出部の情報から認識する領域の濃淡補正を行う第三図柄補正処理部と、を備え、
前記第三図柄補正処理部は、前記周辺位置算出部で求めた領域の画像に対し、文字を明るく、背景を暗くする濃度変換を実行し、認識可能な文字が存在するときの濃度の始点及び終点を求める領域決定部と、
文字認識可能な濃度の最低値を段階的に変更する濃度補正部と、を有することを特徴とする車番認識装置。 The vehicle number recognition device according to claim 1 or 5,
A recognition result storage unit for storing a character recognition result of the character recognition unit;
A recognition result adoption unit that compares the character recognition result with a recognition evaluation value for evaluating a character recognition degree, and adopts the recognition result with a high character recognition degree;
A third symbol correction processing unit that performs density correction of the area recognized from the information of the peripheral position calculation unit,
The third symbol correction processing unit performs density conversion to brighten the characters and darken the background with respect to the image of the area obtained by the peripheral position calculation unit, and the density start point when a recognizable character exists and An area determination unit for obtaining an end point;
A vehicle number recognition apparatus, comprising: a density correction unit that changes a minimum density of characters that can be recognized stepwise.
事業用プレートであることを判定する事業用判定処理部を備え、
前記事業用判定処理部は、前記一連番号の位置から定まるプレート枠の座標を算出するプレート位置算出部と、
前記プレート枠内側に領域を設定し、前記領域の色成分が緑色でのとき事業用プレートと判断する事業用判定処理部と、を有することを特徴とする車番認識装置。 The vehicle number recognition device according to claim 1 or 5,
It has a business-use judgment processing unit that judges that it is a business-use plate,
The business determination processing unit, a plate position calculation unit that calculates the coordinates of the plate frame determined from the position of the serial number,
A vehicle number recognition apparatus comprising: a business determination processing unit that sets a region inside the plate frame and determines that the region is a business plate when the color component of the region is green.
事業用プレートであることを判定する事業用判定処理部を備え、
前記事業用判定処理部は、前記一連番号の位置から定まるプレート枠の座標を算出するプレート位置算出部と、
前記プレート位置算出部で求めたプレート枠面積と前記プレート枠内での白領域の面積との比率が、所定の比率より小さい場合に事業用プレートと判断する事業用判定部と、を有することを特徴とする車番認識装置。 The vehicle number recognition device according to claim 1 or 5,
It has a business-use judgment processing unit that judges that it is a business-use plate,
The business determination processing unit, a plate position calculation unit that calculates the coordinates of the plate frame determined from the position of the serial number,
A business determination unit that determines a business plate when a ratio between a plate frame area obtained by the plate position calculation unit and a white area in the plate frame is smaller than a predetermined ratio; A car number recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017011786A JP6890427B2 (en) | 2017-01-26 | 2017-01-26 | Car number recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017011786A JP6890427B2 (en) | 2017-01-26 | 2017-01-26 | Car number recognition device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018120445A true JP2018120445A (en) | 2018-08-02 |
| JP6890427B2 JP6890427B2 (en) | 2021-06-18 |
Family
ID=63044412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017011786A Active JP6890427B2 (en) | 2017-01-26 | 2017-01-26 | Car number recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6890427B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019192129A (en) * | 2018-04-27 | 2019-10-31 | 三菱電機株式会社 | License plate classification device, license plate classification system and license plate classification program |
| CN110956169A (en) * | 2018-09-27 | 2020-04-03 | 杭州海康威视数字技术股份有限公司 | License plate recognition method and device and electronic equipment |
| CN111768629A (en) * | 2019-11-04 | 2020-10-13 | 北京京东乾石科技有限公司 | Vehicle scheduling method, device and system |
| CN111932902A (en) * | 2020-08-18 | 2020-11-13 | 明觉科技（北京）有限公司 | Vehicle maintenance monitoring system and method |
| KR20210108615A (en) * | 2020-02-26 | 2021-09-03 | 금오공과대학교 산학협력단 | System for vehicle number plate recognition using neural network and its method |
| JP7464252B2 (en) | 2020-02-13 | 2024-04-09 | ｉ－ＰＲＯ株式会社 | License plate image correction method, license plate image correction program, passport image correction method, and passport image correction program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008099664A1 (en) * | 2007-02-15 | 2008-08-21 | Mitsubishi Heavy Industries, Ltd. | Vehicle number recognizing device |
| JP2010250710A (en) * | 2009-04-20 | 2010-11-04 | Hitachi Ltd | Object recognition apparatus, license plate recognition apparatus and object color discrimination apparatus |
| JP2012155586A (en) * | 2011-01-27 | 2012-08-16 | Mitsubishi Heavy Ind Ltd | Image binarization method and image binarization device |
| JP2013149040A (en) * | 2012-01-18 | 2013-08-01 | Sumitomo Electric Ind Ltd | Number plate color determining device, computer program, and number plate color determining method |
| JP2016095763A (en) * | 2014-11-17 | 2016-05-26 | 住友電工システムソリューション株式会社 | Number plate detection device and number plate detection method |
-
2017
- 2017-01-26 JP JP2017011786A patent/JP6890427B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008099664A1 (en) * | 2007-02-15 | 2008-08-21 | Mitsubishi Heavy Industries, Ltd. | Vehicle number recognizing device |
| JP2010250710A (en) * | 2009-04-20 | 2010-11-04 | Hitachi Ltd | Object recognition apparatus, license plate recognition apparatus and object color discrimination apparatus |
| JP2012155586A (en) * | 2011-01-27 | 2012-08-16 | Mitsubishi Heavy Ind Ltd | Image binarization method and image binarization device |
| JP2013149040A (en) * | 2012-01-18 | 2013-08-01 | Sumitomo Electric Ind Ltd | Number plate color determining device, computer program, and number plate color determining method |
| JP2016095763A (en) * | 2014-11-17 | 2016-05-26 | 住友電工システムソリューション株式会社 | Number plate detection device and number plate detection method |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019192129A (en) * | 2018-04-27 | 2019-10-31 | 三菱電機株式会社 | License plate classification device, license plate classification system and license plate classification program |
| CN110956169A (en) * | 2018-09-27 | 2020-04-03 | 杭州海康威视数字技术股份有限公司 | License plate recognition method and device and electronic equipment |
| CN111768629A (en) * | 2019-11-04 | 2020-10-13 | 北京京东乾石科技有限公司 | Vehicle scheduling method, device and system |
| CN111768629B (en) * | 2019-11-04 | 2022-04-12 | 北京京东乾石科技有限公司 | Vehicle scheduling method, device and system |
| JP7464252B2 (en) | 2020-02-13 | 2024-04-09 | ｉ－ＰＲＯ株式会社 | License plate image correction method, license plate image correction program, passport image correction method, and passport image correction program |
| KR20210108615A (en) * | 2020-02-26 | 2021-09-03 | 금오공과대학교 산학협력단 | System for vehicle number plate recognition using neural network and its method |
| KR102331453B1 (en) * | 2020-02-26 | 2021-11-25 | 금오공과대학교 산학협력단 | System for vehicle number plate recognition using neural network and its method |
| CN111932902A (en) * | 2020-08-18 | 2020-11-13 | 明觉科技（北京）有限公司 | Vehicle maintenance monitoring system and method |
| CN111932902B (en) * | 2020-08-18 | 2021-03-26 | 明觉科技（北京）有限公司 | Vehicle maintenance monitoring system and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6890427B2 (en) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6890427B2 (en) | Car number recognition device | |
| CN108364010B (en) | License plate recognition method, device, equipment and computer readable storage medium | |
| CN101421748B (en) | Automatic detection and correction of non-red eye flash defects | |
| KR100339691B1 (en) | Apparatus for recognizing code and method therefor | |
| CN110009607B (en) | Display screen dead pixel detection method and device, computer equipment and storage medium | |
| US9171224B2 (en) | Method of improving contrast for text extraction and recognition applications | |
| CN108985305B (en) | Laser etching industrial detonator coded image positioning and correcting method | |
| KR102181861B1 (en) | System and method for detecting and recognizing license plate | |
| KR101778605B1 (en) | Method And Apparatus For Recognizing Vehicle License Plate | |
| KR101549495B1 (en) | An apparatus for extracting characters and the method thereof | |
| KR101613703B1 (en) | detection of vehicle video and license plate region extraction method | |
| JP2015032087A (en) | License plate recognition device and license plate recognition method | |
| CN110210467B (en) | Formula positioning method of text image, image processing device and storage medium | |
| JP2004030188A (en) | Method, apparatus and program for dividing image into areas | |
| CN108205641B (en) | Gesture image processing method and device | |
| KR101741758B1 (en) | A Real-time Face Tracking Method Robust to Occlusion Based on Improved CamShift with Depth Information | |
| CN112818983A (en) | Method for judging character inversion by using picture acquaintance | |
| CN115410191B (en) | Text image recognition method, device, equipment and storage medium | |
| CN113569859B (en) | Image processing method and device, electronic equipment and storage medium | |
| JP3906221B2 (en) | Image processing method and image processing apparatus | |
| Hadiprakoso | Face anti-spoofing method with blinking eye and hsv texture analysis | |
| CN115994996A (en) | Collation apparatus, storage medium, and collation method | |
| CN114926829A (en) | Certificate detection method and device, electronic equipment and storage medium | |
| KR101954404B1 (en) | CCTV System and Method for improving Recognition of Car Number by Using dynamic Thresholds | |
| JP2023046979A (en) | Collation device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170127 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190808 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210525 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6890427 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |