JP7277879B2

JP7277879B2 - License plate recognition program and license plate recognition device

Info

Publication number: JP7277879B2
Application number: JP2020161772A
Authority: JP
Inventors: 疆朱; 遠瑞張; 智博山▲崎▼
Original assignee: Tech Communications
Current assignee: Tech Communications
Priority date: 2020-09-28
Filing date: 2020-09-28
Publication date: 2023-05-19
Anticipated expiration: 2040-09-28
Also published as: JP2022054632A

Description

本発明はナンバプレート認識プログラム及びナンバプレート認識装置に関する。 The present invention relates to a license plate recognition program and a license plate recognition device.

駐車場、路上等において、停車中又は走行中の車両のナンバプレートを認識する必要性がある場合がある。 In a parking lot, on the road, etc., there may be a need to recognize the license plate of a parked or moving vehicle.

従来のナンバプレート認識方法は、カメラで撮影された車両画像からナンバプレート画像を切り出した後に、ナンバプレートの情報を認識する（参照：特許文献１）。 A conventional license plate recognition method recognizes license plate information after extracting a license plate image from a vehicle image captured by a camera (see Patent Document 1).

特開２０１５－１７６２４８号公報JP 2015-176248 A

しかしながら、上述の従来のナンバプレート認識方法においては、ナンバプレート画像は、車両の環境、車両の色、ナンバプレートの色に大きく依存し、ナンバプレート画像の切り出しが困難であるという課題がある。 However, in the conventional license plate recognition method described above, the license plate image greatly depends on the environment of the vehicle, the color of the vehicle, and the color of the license plate.

上述の課題を解決するために、本発明に係るナンバプレート認識プログラムは、車両の前方又は後方の画像データを取得する画像データ取得手順と、画像データを黒白２値化データに変換する黒白２値化データ変換手順と、黒白２値化データの連結された黒データ又は白データの連結輪郭を複数の長方形輪郭領域として抽出する長方形輪郭領域抽出手順と、複数の長方形輪郭領域から複数の数字領域及び点領域を判別して抽出する数字・点領域抽出手順と、数字領域及び点領域から車両の車両番号を抽出する車両番号抽出手順とを具備し、数字・点領域抽出手順は、各長方形輪郭領域内画像をブーリアン型画像に変換するブーリアン型画像変換手順と、ブーリアン型画像とブーリアン型数字テンプレートとをピクセル対応のブーリアン演算で比較し、ブーリアン型画像とブーリアン型数字テンプレートとの類似度が第１の閾値以上又は第１の閾値より小さい第２の閾値以下のときに各長方形輪郭領域が数字・点領域であると判別して抽出する数字・点判別抽出手順とを具備し、車両番号抽出処理手順は、数字・点領域のすべての平均高さを演算する平均値演算手順と、数字・点領域の１つを第１の領域として選択する第１の選択手順と、第１の領域の右側の平均高さの所定倍の範囲内の前記数字・点領域を第２の領域として選択する第２の選択手順と、第１、第２の領域の間にある数字・点領域を第３の領域として選択する第３の選択手順と、第３の領域が所定数のときに第１、第２、第３の領域を車両番号候補とする車両番号候補選択手順と、車両番号候補が１つである場合には、車両番号候補を車両の車両番号として選択し、車両番号候補が複数ある場合には、所定条件を満足している可能性が一番大きい車両番号候補を車両の車両番号として選択する車両番号選択手順とを具備するものである。 In order to solve the above-described problems, a license plate recognition program according to the present invention includes an image data acquisition procedure for acquiring image data in front of or behind a vehicle, and a black-and-white binary data for converting the image data into black-and-white binary data. a rectangular contour region extraction procedure for extracting the connected contours of black data or white data in which black and white binarized data are connected as a plurality of rectangular contour regions; A number/point area extraction procedure for discriminating and extracting a point area and a vehicle number extraction procedure for extracting a vehicle number of a vehicle from the number area and the point area. A Boolean image conversion procedure for converting the inner image into a Boolean image is compared with the Boolean image and the Boolean number template by Boolean operations corresponding to pixels, and the degree of similarity between the Boolean image and the Boolean number template is determined to be the first. or a second threshold smaller than the first threshold, a number/point discrimination extraction procedure for determining and extracting each rectangular contour area as a number/point area, and vehicle number extraction processing The procedure includes an average value calculation procedure for calculating the average height of all the number/dot areas, a first selection procedure for selecting one of the number/dot areas as the first area, and a right side of the first area. a second selection procedure of selecting the number/dot area within a range of a predetermined multiple of the average height of the second area as a second area; a vehicle number candidate selection procedure for selecting the first, second, and third areas as vehicle number candidates when the number of the third areas is a predetermined number; and one vehicle number candidate. , the vehicle number candidate is selected as the vehicle number of the vehicle, and if there are a plurality of vehicle number candidates, the vehicle number candidate that is most likely to satisfy the predetermined condition is selected as the vehicle number of the vehicle. and a vehicle number selection procedure to be selected .

また、本発明に係るナンバプレート認識装置は、車両の前方又は後方の画像データを取得する画像データ取得手段と、画像データを黒白２値化データに変換する黒白２値化データ変換手段と、黒白２値化データの連結された黒データ又は白データの連結輪郭を複数の長方形輪郭領域として抽出する長方形輪郭領域抽出手段と、複数の長方形輪郭領域から複数の数字領域及び点領域を判別して抽出する数字・点領域抽出手段と、数字領域及び点領域から車両の車両番号を抽出する車両番号抽出手段とを具備し、数字・点領域抽出手段は、各長方形輪郭領域内画像をブーリアン型画像に変換するブーリアン型画像変換手段と、ブーリアン型画像とブーリアン型数字テンプレートとをピクセル対応のブーリアン演算で比較し、ブーリアン型画像とブーリアン型数字テンプレートとの類似度が第１の閾値以上又は第１の閾値より小さい第２の閾値以下のときに各長方形輪郭領域が数字・点領域であると判別して抽出する数字・点判別抽出手段とを具備し、車両番号抽出処理手段は、数字・点領域のすべての平均高さを演算する平均値演算手段と、数字・点領域の１つを第１の領域として選択する第１の選択手段と、第１の領域の右側の平均高さの所定倍の範囲内の前記数字・点領域を第２の領域として選択する第２の選択手段と、第１、第２の領域の間にある数字・点領域を第３の領域として選択する第３の選択手段と、第３の領域が所定数のときに第１、第２、第３の領域を車両番号候補とする車両番号候補選択手段と、車両番号候補が１つである場合には、車両番号候補を車両の車両番号として選択し、車両番号候補が複数ある場合には、所定条件を満足している可能性が一番大きい車両番号候補を車両の車両番号として選択する車両番号選択手段とを具備するものである。 Further, the license plate recognition device according to the present invention includes image data acquisition means for acquiring image data of the front or rear of the vehicle, black-and-white binary data conversion means for converting the image data into black-and-white binary data, black-and-white Rectangular contour region extracting means for extracting connected contours of black data or white data connected with binary data as a plurality of rectangular contour regions; and a vehicle number extraction means for extracting the vehicle number of the vehicle from the number area and the point area. The Boolean image conversion means for conversion and the Boolean image and the Boolean number template are compared by Boolean operations corresponding to pixels, and the similarity between the Boolean image and the Boolean number template is equal to or higher than the first threshold or the first threshold. number/point discrimination/extraction means for determining and extracting each rectangular contour area as a number/dot area when the second threshold value is less than the threshold value, and the vehicle number extraction processing means includes a number/dot area. a first selection means for selecting one of the number/dot areas as the first area; and a predetermined multiple of the average height of the right side of the first area. A second selection means for selecting the number/dot area within the range of as a second area, and a third selection means for selecting a number/dot area between the first and second areas as a third area selection means, vehicle number candidate selection means for selecting the first, second, and third areas as vehicle number candidates when the number of the third areas is a predetermined number, and vehicle number candidate selection means, when there is one vehicle number candidate, vehicle number selection means for selecting a number candidate as a vehicle number of a vehicle, and selecting a vehicle number candidate having the highest possibility of satisfying a predetermined condition as the vehicle number of the vehicle when there are a plurality of vehicle number candidates; is provided.

本発明によれば、連結輪郭を長方形輪郭領域として抽出し、長方形輪郭領域から数字・点領域を抽出し、数字・点領域からナンバプレートの車両番号を抽出するので、ナンバプレートの切り出しを容易にできる。 According to the present invention, the connected contour is extracted as a rectangular contour region, the number/dot region is extracted from the rectangular contour region, and the vehicle number of the license plate is extracted from the number/dot region, thereby facilitating the extraction of the license plate. can.

本発明に係るナンバプレート認識装置の実施の形態を含むシステムを示すブロック図である。1 is a block diagram showing a system including an embodiment of a license plate recognition device according to the invention; FIG. ナンバプレート認識装置の詳細なブロック回路図である。1 is a detailed block circuit diagram of a license plate recognition device; FIG. 図２の中央処理ユニットの動作を説明するためのフローチャートである。3 is a flowchart for explaining the operation of the central processing unit of FIG. 2; 図３のステップ３０１～３０３を説明するための図である。FIG. 4 is a diagram for explaining steps 301 to 303 in FIG. 3; FIG. 図３のステップ３０４～３０６を説明するための図である。FIG. 4 is a diagram for explaining steps 304 to 306 in FIG. 3; FIG. 図３の数字・点領域抽出処理ステップの数字・点領域の抽出に用いられるテンプレート及び長方形輪郭領域の例を示す図である。FIG. 4 is a diagram showing an example of a template and a rectangular contour area used for extraction of a number/dot area in the number/dot area extraction processing step of FIG. 3; 図３の数字・点領域抽出処理ステップの数字・点領域の抽出方法の一例を説明するための図である。FIG. 4 is a diagram for explaining an example of a number/dot area extraction method in the number/dot area extraction processing step of FIG. 3 ; 図３の数字・点領域抽出処理ステップの数字・点領域の抽出方法の他の例を説明するための図である。FIG. 4 is a diagram for explaining another example of a number/dot area extraction method in the number/dot area extraction processing step of FIG. 3 ; 図３の車両番号抽出処理ステップの詳細なフローチャートである。FIG. 4 is a detailed flowchart of vehicle number extraction processing steps in FIG. 3 ; FIG. 図９の車両番号候補抽出を説明するための図である。FIG. 10 is a diagram for explaining vehicle number candidate extraction of FIG. 9 ; FIG. 図３のナンバプレート完成処理ステップを説明するための図である。FIG. 4 is a diagram for explaining a license plate completion processing step of FIG. 3; FIG. 図２のナンバプレート認識装置の他の例を示すブロック図である。3 is a block diagram showing another example of the license plate recognition device of FIG. 2; FIG.

図１は本発明に係るナンバプレート認識装置の実施の形態を含むシステムを示すブロック図である。 FIG. 1 is a block diagram showing a system including an embodiment of a license plate recognition device according to the present invention.

図１において、ナンバプレート認識装置１にはたとえば駐車場又は路上に設けられたカメラ（たとえば単眼カメラ）２が接続される。カメラ２は停車中又は走行中の車両のナンバプレートを含む前方又は後方を撮影する。また、ナンバプレート認識装置１は必要に応じてインタネット３を介して情報端末４等に接続される。操作者は情報端末４等を介して又は直接的にナンバプレート認識装置１を操作できる。 In FIG. 1, a license plate recognition device 1 is connected to a camera (for example, a monocular camera) 2 provided, for example, in a parking lot or on the road. The camera 2 photographs the front or rear including the license plate of the stopped or running vehicle. Also, the license plate recognition device 1 is connected to an information terminal 4 or the like via the Internet 3 as necessary. An operator can operate the license plate recognition device 1 directly or via the information terminal 4 or the like.

尚、一般に、ナンバプレートは、次の４つの部分よりなる。
４桁の数字・点よりなる車両番号（但し、点がある場合、点は必ず数字の前に存在する）、
車両番号の左上方に設けられた品川、足立等の地名、
車両番号の右上方に設けられた３桁又は２桁の分類番号、
車両番号の左側に設けられた平仮名等（英字の場合もある）。 Generally, a license plate consists of the following four parts.
Vehicle number consisting of 4-digit numbers and dots (however, if there is a dot, the dot must exist before the number),
Place names such as Shinagawa and Adachi provided on the upper left of the vehicle number,
3-digit or 2-digit classification number provided in the upper right corner of the vehicle number,
Hiragana etc. provided on the left side of the vehicle number (sometimes English letters).

図２は図１のナンバプレート認識装置１の詳細なブロック回路図である。 FIG. 2 is a detailed block circuit diagram of the license plate recognition device 1 of FIG.

図２において、ナンバプレート認識装置１は、中央処理ユニット（ＣＰＵ）１０１、プログラム等を格納するリードオンリメモリ（ＲＯＭ）（又はフラッシュメモリ）１０２、一時的データ等を格納するランダムアクセスメモリ（ＲＡＭ）１０３、カメラ２に接続された画像インタフェイス１０４、インタネット３に接続された通信インタフェイス１０５等によって構成される。 2, the license plate recognition device 1 includes a central processing unit (CPU) 101, a read-only memory (ROM) (or flash memory) 102 for storing programs and the like, and a random access memory (RAM) for storing temporary data and the like. 103, an image interface 104 connected to the camera 2, a communication interface 105 connected to the Internet 3, and the like.

図３は図２のＣＰＵ１０１の動作を説明するためのフローチャートであって、リードオンリメモリ（又はフラッシュメモリ）１０２に格納されている。 FIG. 3 is a flowchart for explaining the operation of the CPU 101 in FIG. 2, which is stored in the read-only memory (or flash memory) 102. FIG.

始めに、画像データ取得処理ステップ３０１にて、カメラ２より図４の（Ａ）に示す車両のナンバプレートを含むたとえば前方の画像データを取得する。この場合、カメラ２の画像データがＲＧＢカラーデータであれば、グレースケール化する。 First, in image data acquisition processing step 301, for example, forward image data including the vehicle license plate shown in FIG. 4A is acquired from the camera 2. FIG. In this case, if the image data of the camera 2 is RGB color data, it is grayscaled.

次に、黒白２値化データ変換処理ステップ３０２にて、ステップ３０１にて取得した画像データを図４の（Ｂ）に示す黒白２値化データに変換する。この黒白２値化データ変換処理ステップ３０２の詳細については後述する。 Next, in black-and-white binarized data conversion processing step 302, the image data acquired in step 301 is converted into black-and-white binarized data shown in FIG. 4B. The details of this black-and-white binary data conversion processing step 302 will be described later.

次に、長方形輪郭領域抽出処理ステップ３０３にて、黒白２値化データの輪郭たとえば連結された黒データ又は白データの輪郭を、図４の（Ｃ）に示すごとく、長方形輪郭領域として抽出する。長方形輪郭領域抽出処理ステップ３０３の詳細については後述する。 Next, in a rectangular contour region extraction processing step 303, the contour of the black and white binarized data, such as the contour of the connected black data or white data, is extracted as a rectangular contour region as shown in FIG. 4C. Details of the rectangular contour area extraction processing step 303 will be described later.

次に、数字・点領域抽出処理ステップ３０４にて、４つの長方形輪郭領域から４桁の車両番号の数字又は点を表す図５の（Ａ）に示す数字・点領域を抽出する。数字・点領域抽出処理ステップ３０４の詳細については後述する。 Next, in a number/dot area extraction processing step 304, a number/dot area shown in FIG. The details of the number/dot area extraction processing step 304 will be described later.

次に、車両番号抽出処理ステップ３０５にて、数字・点領域から４桁の図５の（Ｂ）に示す車両番号を抽出する。車両番号抽出処理ステップ３０５の詳細については後述する。 Next, in vehicle number extraction processing step 305, the four-digit vehicle number shown in FIG. 5B is extracted from the number/dot area. Details of the vehicle number extraction processing step 305 will be described later.

最後に、ナンバプレート完成処理ステップ３０６にて、車両番号以外の図５の（Ｃ）に示す地名たとえば「足立」、分類番号たとえば「３３０」及び平仮名「た」を抽出して車両番号を修飾してナンバプレートの抽出を完了する。ナンバプレート完成処理ステップ３０６の詳細については後述する。そして、ステップ３０７にて図３のルーチンは終了する。 Finally, in the license plate completion processing step 306, the vehicle number is modified by extracting the place name shown in FIG. to complete the license plate extraction. The details of the license plate completion processing step 306 will be described later. Then, at step 307, the routine of FIG. 3 ends.

次に、図３の黒白２値化データ変換処理ステップ３０２の詳細を説明する。始めに、画像データからノイズを除去するためにガウシアンぼかし処理を行う。ガウシアンぼかし処理とは中心から離れる程、値が小さくなる２次元ガウス関数を用いて畳み込み和を演算するものである。次いで、適切な濃淡データを確立するために最適２値化処理を行う。最適２値化処理とは、閾値を固定せずに、注目画素と該注目画素の周囲にあるたとえば８個の画素との合計９個の画素の平均値を閾値とし、注目画素とこの閾値とを比較することにより注目画素を黒白２値化データに変換する。 Next, details of the black-and-white binarized data conversion processing step 302 in FIG. 3 will be described. First, Gaussian blurring is performed to remove noise from the image data. Gaussian blur processing is to calculate a convolution sum using a two-dimensional Gaussian function whose value decreases with increasing distance from the center. An optimal binarization process is then performed to establish the appropriate grayscale data. Optimal binarization processing does not fix the threshold, but uses the average value of a total of 9 pixels, for example, a pixel of interest and 8 pixels surrounding the pixel of interest, as a threshold, and determines the threshold between the pixel of interest and this threshold. are compared to convert the pixel of interest into black-and-white binary data.

次に、図３の長方形輪郭領域抽出処理ステップ３０３の詳細について説明する。始めに、黒の輪郭を検出する。次いで、連結された黒輪郭を長方形又は矩形で囲んで長方形輪郭領域として抽出する。尚、連結された黒輪郭部の代わりに、連結された白輪郭を用いることもできる。 Next, the details of the rectangular contour region extraction processing step 303 in FIG. 3 will be described. First, detect black contours. Then, the connected black contours are enclosed in a rectangle or rectangles and extracted as a rectangular contour region. Note that connected white contours can be used instead of connected black contours.

次に、数字・点領域抽出処理ステップ３０４の数字・点領域の抽出について説明する。この場合の数字・点領域の数字及び点は車両番号の数字であり、図６の（Ａ）に示す１１個の辞書数字（テンプレート）を予めリードオンメモリ（又はフラッシュメモリ）１０２に格納しておく。図６の（Ａ）に示す１１個の各テンプレートとステップ３０３にて抽出されたたとえば図６の（Ｂ）に示す長方形輪郭領域の画像の２値化データとをブーリアン演算を用いて比較する。図７を参照してブーリアン演算の一例を説明すると、（Ａ）に示すテンプレートをたとえば「８」の黒ピクセルをＴ（ｔｒｕｅ）、白ピクセルをＦ（ｆａｌｓｅ）として（Ｂ）に示す８×８ピクセル（実際は２８×２８ピクセル）ブーリアン型テンプレートに変換して保存しておく。他方、抽出した長方形輪郭領域の黒ピクセルＴ、白ピクセルＦとして（Ｃ）に示す８×８ピクセルブーリアン型画像に変換する。ここで、重要なことは（Ｂ）に示すブーリアン型テンプレートのピクセル形式と（Ｃ）に示すブーリアン型画像のピクセル形式とが同一つまり、この場合、８×８ピクセルであることである。この結果、（Ｂ）に示す８×８ピクセルブーリアン型テンプレートと（Ｃ）に示す８×８ピクセルブーリアン型画像とを対応ピクセル毎の排他的論理和を用いて比較すると、（Ｄ）に示す８×８ピクセルの比較結果を得る。この場合、類似度は５９／６４＝９２％となる。同様に、図８を参照してブーリアン演算の他の例を説明すると、この場合、類似度は５／６４＝８％となる。一般に、背景が白、数字が黒のナンバプレートの場合には、図７に示すごとく、類似度が大きい程、ブーリアン型画像はブーリアン型テンプレートと類似しているが、逆に、背景が黒、数字が白のナンバプレートの場合には、図８に示すごとく、類似度が小さい程、ブーリアン型画像はブーリアン型テンプレートと類似していることになる。従って、両者に適合するように、類似度が大きい閾値たとえば９２％以上か小さい閾値８％以下のときに、抽出された長方形輪郭領域の画像がテンプレートの数字に類似していると判別すればよい。 Next, extraction of the number/dot area in the number/dot area extraction processing step 304 will be described. The numbers and dots in the number/dot area in this case are numbers of the vehicle number, and 11 dictionary numbers (templates) shown in FIG. back. The 11 templates shown in FIG. 6A are compared with the binarized data of the image of the rectangular outline area shown in FIG. 6B extracted in step 303 using Boolean operations. An example of a Boolean operation will be described with reference to FIG. 7. The template shown in (A) is an 8×8 template shown in (B) with black pixels of "8" as T (true) and white pixels as F (false). Pixels (actually 28×28 pixels) are converted into a boolean type template and saved. On the other hand, the black pixels T and white pixels F of the extracted rectangular outline area are converted into an 8×8 pixel Boolean image shown in (C). What is important here is that the pixel format of the Boolean template shown in (B) and the pixel format of the Boolean image shown in (C) are the same, that is, 8×8 pixels in this case. As a result, when the 8×8 pixel Boolean template shown in (B) and the 8×8 pixel Boolean image shown in (C) are compared using the exclusive OR for each corresponding pixel, 8 shown in (D) A comparison result of x8 pixels is obtained. In this case, the similarity is 59/64=92%. Similarly, another example of Boolean operation will be described with reference to FIG. 8. In this case, the similarity is 5/64=8%. In general, in the case of a license plate with a white background and black numbers, as shown in FIG. 7, the higher the degree of similarity, the more similar the Boolean image to the Boolean template. In the case of a license plate with white numbers, as shown in FIG. 8, the smaller the degree of similarity, the more similar the Boolean image to the Boolean template. Therefore, when the similarity is a large threshold, for example, 92% or more, or a small threshold of 8% or less, it can be determined that the image of the extracted rectangular contour area is similar to the number of the template so as to match both. .

次に、図３の車両番号抽出処理ステップ３０５の詳細について図９を参照して説明する。 Next, details of the vehicle number extraction processing step 305 in FIG. 3 will be described with reference to FIG.

始めに、ステップ９０１にて、図３のステップ３０４にて既に抽出された数字・点領域のすべての高さｈの平均値を演算する。 First, in step 901, the average value of the heights h of all the number/dot regions already extracted in step 304 of FIG. 3 is calculated.

次に、ステップ９０２にて、数字・点領域の１つを第１の領域Ａ（参照：図１０）として選択する。 Next, at step 902, one of the number/dot areas is selected as the first area A (see FIG. 10).

次に、ステップ９０３にて、第１の領域Ａの右側の所定距離範囲たとえば２ｈ～６ｈの範囲の数字・点領域を第２の領域Ｂ（参照：図１０）として選択する。 Next, in step 903, a number/dot area within a predetermined distance range, eg, 2h to 6h, on the right side of the first area A is selected as a second area B (see FIG. 10).

次に、ステップ９０４にて、第１、第２の領域Ａ、Ｂ間にある数字・点領域を第３の領域Ｃ１、Ｃ２、…（参照：図１０）として選択する。 Next, at step 904, the number/dot areas between the first and second areas A and B are selected as the third areas C1, C2, . . . (see FIG. 10).

次に、ステップ９０５にて、第３の領域Ｃ１、Ｃ２、…の数が２つか否かを判別し、第３の領域が所定数たとえば２つのみの場合に、ステップ９０６にて、車両番号候補リストｉとして作成する。
ｉ＝（Ａ、Ｃ１、Ｃ２、Ｂ） Next, at step 905, it is determined whether or not the number of the third regions C1, C2, . . . is two. Create candidate list i.
i = (A, C1, C2, B)

ステップ９０７はステップ９０２～９０６のフローをすべての数字・点領域に対して繰返す。 Step 907 repeats the flow of steps 902-906 for all number/dot regions.

ステップ９０８では、車両番号候補リストから可能性の一番高い車両番号候補を選択する。たとえば、車両番号候補の４つの領域は同一背景色を有する、１～３個の点領域は３～１個の数字領域の左側に存在する、数字・点領域間の高さのばらつき等を考慮して選択する。

At step 908, the most likely vehicle number candidate is selected from the vehicle number candidate list. For example, 4 regions of vehicle number candidates have the same background color, 1 to 3 dot regions exist to the left of 3 to 1 number regions, and height variations between number and dot regions are considered. to select.

そして、ステップ９０９にて図９のルーチンは終了する。 Then, at step 909, the routine of FIG. 9 ends.

最後に、図３のナンバプレート完成処理ステップ３０６について図１１を用いて説明する。図１１の（Ａ）に示すごとく、車両番号の左上に地名「足立」が存在し、車両番号の右上に分類番号「３３０」が存在し、車両番号の左に平仮名「た」が存在するのは既知である。従って、これらの地名、分類番号及び平仮名も２８×２８ピクセルのテンプレートを用いて認識し、図１１の（Ｂ）に示すごとく、地名「足立」の長方形輪郭領域、分類番号「３３０」の長方形輪郭領域及び平仮名「た」の長方形輪郭領域を抽出する。次いで、図１１の（Ｃ）に示すごとく、各長方形輪郭領域内のノイズを除去した後に、図１１の（Ｄ）に示すごとく、各長方形輪郭領域から地名「足立」、分類番号「３３０」及び平仮名「た」を切り出す。そして、図１１の（Ｅ）に示すごとく、切り出した地名「足立」、分類番号「３３０」及び平仮名「た」で車両番号「３５８２」を修飾してナンバプレートの抽出を完了する。 Finally, the license plate completion processing step 306 in FIG. 3 will be described with reference to FIG. As shown in FIG. 11A, the place name "Adachi" exists on the upper left of the vehicle number, the classification number "330" exists on the upper right of the vehicle number, and the hiragana "ta" exists on the left of the vehicle number. is known. Therefore, these place names, classification numbers and hiragana are also recognized using a template of 28×28 pixels, and as shown in FIG. Extract the region and the rectangular outline region of hiragana ``ta''. Next, as shown in FIG. 11(C), after removing the noise in each rectangular contour area, as shown in FIG. 11(D), the place name "Adachi", classification number "330" and Cut out the hiragana "ta". Then, as shown in FIG. 11E, the extracted place name "Adachi", classification number "330" and hiragana "ta" are used to modify the vehicle number "3582" to complete the extraction of the license plate.

図１２は図１のナンバプレート認識装置をハードウェアで構成したものである。 FIG. 12 is a hardware configuration of the license plate recognition device of FIG.

図１２において、画像データ取得処理手段１２０１は、カメラ２より図４の（Ａ）に示す車両のナンバプレートを含むたとえば前方の画像データを取得する。黒白２値化データ変換処理手段１２０２は、画像データ取得手段１２０１が取得した画像データを図４の（Ｂ）に示す黒白２値化データに変換する。長方形輪郭領域抽出処理手段１２０３は、黒白２値化データの輪郭たとえば連結された黒データ又は白データの輪郭を、図４の（Ｃ）に示すごとく、長方形輪郭領域として抽出する。数字・点領域抽出処理手段１２０４は、４つの長方形輪郭領域から４桁の車両番号の数字又は点を表す図５の（Ａ）に示す数字・点領域を抽出する。車両番号抽出処理手段１２０５は、数字・点領域から４桁の図５の（Ｂ）に示す車両番号を抽出する。ナンバプレート完成処理手段１２０６は、車両番号以外の図５の（Ｃ）に示す地名たとえば「足立」、分類番号たとえば「３３０」及び平仮名「た」を抽出して車両番号を修飾してナンバプレートの抽出を完了する。 In FIG. 12, image data acquisition processing means 1201 acquires, for example, forward image data including the license plate of the vehicle shown in FIG. 4A from the camera 2 . Black-and-white binary data conversion processing means 1202 converts the image data acquired by the image data acquisition means 1201 into black-and-white binary data shown in FIG. 4B. Rectangular outline area extraction processing means 1203 extracts the outline of black and white binary data, such as the outline of connected black data or white data, as a rectangular outline area as shown in FIG. 4(C). The number/dot area extraction processing means 1204 extracts the number/dot area shown in FIG. 5A representing the number or point of the four-digit vehicle number from the four rectangular outline areas. Vehicle number extraction processing means 1205 extracts the four-digit vehicle number shown in FIG. 5B from the number/dot area. License plate completion processing means 1206 extracts a place name such as "Adachi", a classification number such as "330" and hiragana "ta" other than the vehicle number shown in FIG. Complete the extraction.

尚、本発明は上述の実施の形態の自明の範囲内でいかなる変更にも適用し得る。 It should be noted that the present invention can be applied to any modification within the obvious scope of the above-described embodiment.

本発明に係るナンバプレート認識装置は入出庫トラブルを防止する駐車場管理システム、速度違反車を検出する速度違反検出システム等に利用できる。 INDUSTRIAL APPLICABILITY The license plate recognition device according to the present invention can be used in a parking lot management system for preventing parking troubles, a speeding detection system for detecting speeding vehicles, and the like.

１：ナンバプレート認識装置
２：カメラ
３：インタネット
４：情報端末
１０１：ＣＰＵ
１０２：ＲＯＭ
１０３：ＲＡＭ
１０４：画像インタフェイス
１０５：通信インタフェイス
1: License plate recognition device 2: Camera 3: Internet
4: Information terminal
101: CPU
102: ROM
103: RAM
104: Image interface 105: Communication interface

Claims

車両の前方又は後方の画像データを取得する画像データ取得手順と、
前記画像データを黒白２値化データに変換する黒白２値化データ変換手順と、
前記黒白２値化データの連結された黒データ又は白データの連結輪郭を複数の長方形輪郭領域として抽出する長方形輪郭領域抽出手順と、
前記複数の長方形輪郭領域から複数の数字領域及び点領域を判別して抽出する数字・点領域抽出手順と、
複数の前記数字領域及び前記点領域から前記車両の車両番号を抽出する車両番号抽出手順と
を具備し、
前記数字・点領域抽出手順は、
前記各長方形輪郭領域内画像をブーリアン型画像に変換するブーリアン型画像変換手順と、
前記ブーリアン型画像とブーリアン型数字テンプレートとをピクセル対応のブーリアン演算で比較し、前記ブーリアン型画像とブーリアン型数字テンプレートとの類似度が第１の閾値以上又は該第１の閾値より小さい第２の閾値以下のときに前記各長方形輪郭領域が数字・点領域であると判別して抽出する数字・点判別抽出手順と
を具備し、
前記車両番号抽出処理手順は、
前記数字・点領域のすべての平均高さを演算する平均値演算手順と、
前記数字・点領域の１つを第１の領域として選択する第１の選択手順と、
前記第１の領域の右側の前記平均高さの所定倍の範囲内の前記数字・点領域を第２の領域として選択する第２の選択手順と、
前記第１、第２の領域の間にある前記数字・点領域を第３の領域として選択する第３の選択手順と、
前記第３の領域が所定数のときに前記第１、第２、第３の領域を車両番号候補とする車両番号候補選択手順と、
前記車両番号候補が１つである場合には、当該車両番号候補を前記車両の車両番号として選択し、前記車両番号候補が複数ある場合には、所定条件を満足している可能性が一番大きい前記車両番号候補を前記車両の車両番号として選択する車両番号選択手順と
を具備するナンバプレート認識プログラム。 an image data acquisition procedure for acquiring image data in front of or behind the vehicle;
a black-and-white binary data conversion procedure for converting the image data into black-and-white binary data;
a rectangular contour region extraction procedure for extracting a connected contour of black data or white data connected to the black and white binary data as a plurality of rectangular contour regions;
a number/ point area extraction procedure for discriminating and extracting a plurality of number areas and point areas from the plurality of rectangular outline areas;
a vehicle number extraction procedure for extracting the vehicle number of the vehicle from the plurality of number areas and the point areas;
and
The number/point area extraction procedure is as follows:
a Boolean image transformation procedure for transforming the image within each rectangular contour region into a Boolean image;
comparing the Boolean type image and the Boolean type number template by a Boolean operation corresponding to pixels; a number/point discrimination extraction procedure for determining and extracting each rectangular contour area as a number/point area when the threshold is less than the threshold;
and
The vehicle number extraction processing procedure includes:
an average value calculation procedure for calculating the average height of all the number/dot areas;
a first selection procedure for selecting one of the number/dot regions as a first region;
a second selection step of selecting the number/point area within a range of a predetermined multiple of the average height on the right side of the first area as a second area;
a third selection procedure of selecting the number/dot area between the first and second areas as a third area;
a vehicle number candidate selection procedure for selecting the first, second, and third areas as vehicle number candidates when the number of the third areas is a predetermined number;
When there is one vehicle number candidate, the vehicle number candidate is selected as the vehicle number of the vehicle. a vehicle number selection procedure for selecting the larger vehicle number candidate as the vehicle number of the vehicle;
A license plate recognition program comprising:

前記所定条件は、 The predetermined condition is
前記車両番号候補が同一の背景色を有するか、 whether the vehicle number candidates have the same background color;
前記車両番号候補の１個の点領域が３個の数字領域の左側に存在するか、 one point area of the vehicle number candidate exists on the left side of the three number areas;
前記車両番号候補の２個の点領域が２個の数字領域の左側に存在するか、 whether the two dot areas of the vehicle number candidate exist to the left of the two number areas;
前記車両番号候補の３個の点領域が１個の数字領域の左側に存在するか、又は the three dot areas of the vehicle number candidates are to the left of one number area, or
前記車両番号候補の数字・点領域間の高さのばらつきが一番小さいか Whether the variation in height between the number/dot areas of the vehicle number candidate is the smallest
である請求項１に記載のナンバプレート認識プログラム。 The license plate recognition program according to claim 1, wherein:

さらに、
前記車両番号の所定周辺の前記長方形輪郭領域から前記車両番号の他のナンバプレート情報を抽出して前記車両番号を修飾するナンバプレート完成手順を具備する請求項１に記載のナンバプレート認識プログラム。 moreover,
2. The license plate recognition program according to claim 1, further comprising a license plate completion procedure for modifying the vehicle number by extracting other license plate information of the vehicle number from the rectangular outline area around the predetermined periphery of the vehicle number.

前記黒白２値化データ変換手順は、
前記画像データに対してノイズを除去するためのガウシアンぼかし処理を行うガウシアンぼかし処理手順と、
前記ガウシアンぼかし処理後に最適２値化処理を行う最適２値化処理手順と
を具備する請求項１に記載のナンバプレート認識プログラム。 The black-and-white binary data conversion procedure includes:
Gaussian blur processing procedure for performing Gaussian blur processing for removing noise on the image data;
The license plate recognition program according to claim 1, further comprising an optimum binarization processing procedure for performing optimum binarization processing after the Gaussian blurring processing.

前記長方形輪郭領域抽出手順は、
前記画像データの連結された白輪郭又は黒輪郭を長方形又は矩形で囲んで複数の長方形輪郭領域として抽出する手順を具備する請求項１に記載のナンバプレート認識プログラム。 The rectangular contour region extraction procedure includes:
2. The license plate recognition program according to claim 1, comprising a step of enclosing the connected white contour or black contour of said image data with a rectangle or rectangles and extracting them as a plurality of rectangular contour regions.

車両の前方又は後方の画像データを取得する画像データ取得手段と、
前記画像データを黒白２値化データに変換する黒白２値化データ変換手段と、
前記黒白２値化データの連結された黒データ又は白データの連結輪郭を複数の長方形輪郭領域として抽出する長方形輪郭領域抽出手段と、
前記複数の長方形輪郭領域から複数の数字領域及び点領域を判別して抽出する数字・点領域抽出手段と、
複数の前記数字領域及び前記点領域から前記車両の車両番号を抽出する車両番号抽出手段と
を具備し、
前記数字・点領域抽出手段は、
前記各長方形輪郭領域内画像をブーリアン型画像に変換するブーリアン型画像変換手段と、
前記ブーリアン型画像とブーリアン型数字テンプレートとをピクセル対応のブーリアン演算で比較し、前記ブーリアン型画像とブーリアン型数字テンプレートとの類似度が第１の閾値以上又は該第１の閾値より小さい第２の閾値以下のときに前記各長方形輪郭領域が数字・点領域であると判別して抽出する数字・点判別抽出手段と
を具備し、
前記車両番号抽出処理手段は、
前記数字・点領域のすべての平均高さを演算する平均値演算手段と、
前記数字・点領域の１つを第１の領域として選択する第１の選択手段と、
前記第１の領域の右側の前記平均高さの所定倍の範囲内の前記数字・点領域を第２の領域として選択する第２の選択手段と、
前記第１、第２の領域の間にある前記数字・点領域を第３の領域として選択する第３の選択手段と、
前記第３の領域が所定数のときに前記第１、第２、第３の領域を車両番号候補とする車両番号候補選択手段と、
前記車両番号候補が１つである場合には、当該車両番号候補を前記車両の車両番号として選択し、前記車両番号候補が複数ある場合には、所定条件を満足している可能性が一番大きい前記車両番号候補を前記車両の車両番号として選択する車両番号選択手段と
を具備するナンバプレート認識装置。 image data acquisition means for acquiring image data in front of or behind the vehicle;
black-and-white binary data conversion means for converting the image data into black-and-white binary data;
Rectangular outline area extracting means for extracting connected outlines of black data or white data in which the black and white binarized data are connected as a plurality of rectangular outline areas;
a number/ point area extracting means for discriminating and extracting a plurality of number areas and point areas from the plurality of rectangular outline areas;
vehicle number extraction means for extracting the vehicle number of the vehicle from the plurality of number areas and the point areas;
and
The number/point area extraction means is
Boolean type image conversion means for converting the image inside each rectangular contour area into a Boolean type image;
comparing the Boolean type image and the Boolean type number template by a Boolean operation corresponding to pixels; a number/point discrimination/extraction means for determining and extracting each of the rectangular contour areas as a number/point area when the area is equal to or less than a threshold;
and
The vehicle number extraction processing means is
Average value calculation means for calculating the average height of all the number/dot areas;
a first selection means for selecting one of the number/dot areas as a first area;
a second selection means for selecting, as a second area, the number/point area within a range of a predetermined multiple of the average height on the right side of the first area;
a third selection means for selecting the number/dot area between the first and second areas as a third area;
vehicle number candidate selection means for selecting the first, second, and third areas as vehicle number candidates when the number of the third areas is a predetermined number;
When there is one vehicle number candidate, the vehicle number candidate is selected as the vehicle number of the vehicle. vehicle number selection means for selecting the larger vehicle number candidate as the vehicle number of the vehicle;
A license plate recognition device comprising:

さらに、
前記車両番号の所定周辺の前記長方形輪郭領域から前記車両番号の他のナンバプレート情報を抽出して前記車両番号を修飾するナンバプレート完成手段を具備する請求項６に記載のナンバプレート認識装置。 moreover,
7. A license plate recognition apparatus according to claim 6, further comprising license plate completing means for modifying the vehicle number by extracting other license plate information of the vehicle number from the rectangular contour area around the predetermined periphery of the vehicle number.