JP5834373B2 - License plate detection apparatus, computer program, and license plate detection method - Google Patents
License plate detection apparatus, computer program, and license plate detection method Download PDFInfo
- Publication number
- JP5834373B2 JP5834373B2 JP2013258385A JP2013258385A JP5834373B2 JP 5834373 B2 JP5834373 B2 JP 5834373B2 JP 2013258385 A JP2013258385 A JP 2013258385A JP 2013258385 A JP2013258385 A JP 2013258385A JP 5834373 B2 JP5834373 B2 JP 5834373B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- license plate
- number candidate
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、ナンバープレートを検出するナンバープレート検出装置、該ナンバープレート検出装置を実現するためのコンピュータプログラム及びナンバープレート検出方法に関する。 The present invention relates to a license plate detection device for detecting a license plate, a computer program for realizing the license plate detection device, and a license plate detection method.
近年、交通監視などの分野において、特定の車両を抽出する技術の１つとして車両のナンバープレートを読み取る技術が開発されている。このようなナンバープレートを読み取る技術は、高速道路における料金収受システム、交通流の計測システム、駐車場等の入出車両管理システムなどに利用することができる。 In recent years, in the field of traffic monitoring and the like, a technique for reading a license plate of a vehicle has been developed as one technique for extracting a specific vehicle. Such a technology for reading a license plate can be used for a toll collection system on a highway, a traffic flow measurement system, an entry / exit vehicle management system such as a parking lot, and the like.
ナンバープレートの読み取り技術として、例えば、撮影された画像からナンバープレートに入っている複数の文字領域を抽出し、抽出した文字領域の並びに基づいてプレート位置を検出する技術が開示されている（特許文献１参照）。 As a license plate reading technique, for example, a technique is disclosed in which a plurality of character regions contained in a license plate are extracted from a photographed image, and a plate position is detected based on the sequence of the extracted character regions (Patent Literature). 1).
しかし、特許文献１の技術を用いて、外交官車両（外務省）や自衛隊車両（防衛省）などの特殊な車両のナンバープレートを検出する場合、これらの特殊な車両のナンバープレートは、４つの数字が並んだ部分を含むため、ナンバープレートではないが４つの数字らしいものが並んだもの（例えば、車両のフロントグリル、ルーフに設けられた表示灯など）をナンバープレートとして誤検出するおそれがある。
However, when detecting the license plates of special vehicles such as diplomat vehicles (Ministry of Foreign Affairs) and Self-Defense Force vehicles (Ministry of Defense) using the technology of
本発明は、斯かる事情に鑑みてなされたものであり、特殊な車両のナンバープレートを精度よく検出することができるナンバープレート検出装置、該ナンバープレート検出装置を実現するためのコンピュータプログラム及びナンバープレート検出方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and a license plate detection device capable of accurately detecting a license plate of a special vehicle, a computer program for realizing the license plate detection device, and a license plate An object is to provide a detection method.
本発明の実施の形態に係るナンバープレート検出装置は、ナンバープレートが撮像された、複数の画素からなる画像に基づいて複数の文字候補領域を特定する文字候補領域特定部と、該文字候補領域特定部で特定した複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出する番号候補抽出部と、前記画像の画素の画素値に基づいて、前記番号候補抽出部で抽出した番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定する判定部と、該判定部の判定結果に基づいてナンバープレートを検出する検出部とを備える。 A license plate detection device according to an embodiment of the present invention includes a character candidate region specifying unit that specifies a plurality of character candidate regions based on an image of a plurality of pixels in which a license plate is imaged, and the character candidate region specifying A number candidate extraction unit that extracts a number candidate including a plurality of number candidate regions existing in a region of a predetermined size from among a plurality of character candidate regions specified by the unit, and a pixel value of a pixel of the image A determination unit that determines whether or not a feature point exists in a predetermined area around the number candidate area that constitutes the number candidate extracted by the number candidate extraction unit, and a license plate based on the determination result of the determination unit And a detecting unit for detecting.
本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、ナンバープレートが撮像された、複数の画素からなる画像に基づいて複数の文字候補領域を特定するステップと、特定した複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出するステップと、前記画像の画素の画素値に基づいて、抽出した番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定するステップと、該判定するステップの判定結果に基づいてナンバープレートを検出するステップとを実行させる。 A computer program according to an embodiment of the present invention includes a step of identifying a plurality of character candidate areas based on an image including a plurality of pixels on which a license plate is imaged, and a plurality of character candidate areas identified. A number candidate including a plurality of number candidate areas existing within a predetermined size area and a number candidate area constituting the extracted number candidate based on the pixel value of the pixel of the image. A step of determining whether or not a feature point exists in a predetermined area around the periphery and a step of detecting a license plate based on a determination result of the determination step are executed.
本発明の実施の形態に係るナンバープレート検出方法は、ナンバープレートが撮像された、複数の画素からなる画像に基づいて複数の文字候補領域を特定するステップと、特定された複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出するステップと、前記画像の画素の画素値に基づいて、抽出された番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定するステップと、該判定するステップの判定結果に基づいてナンバープレートを検出するステップとを含む。 A license plate detection method according to an embodiment of the present invention includes a step of specifying a plurality of character candidate regions based on an image composed of a plurality of pixels on which a license plate is imaged, and a plurality of character candidate regions that have been specified. A number candidate area including a plurality of number candidate areas existing in a predetermined size area and a number candidate area constituting the number candidate extracted based on the pixel value of the pixel of the image A step of determining whether or not a feature point exists in a predetermined area around the center of the image, and a step of detecting a license plate based on a determination result of the determination step.
本発明によれば、特殊な車両のナンバープレートを精度よく検出することができる。 According to the present invention, a license plate for a special vehicle can be detected with high accuracy.
［本願発明の実施形態の説明］
（１）本発明の実施の形態に係るナンバープレート検出装置は、ナンバープレートが撮像された、複数の画素からなる画像に基づいて複数の文字候補領域を特定する文字候補領域特定部と、該文字候補領域特定部で特定した複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出する番号候補抽出部と、前記画像の画素の画素値に基づいて、前記番号候補抽出部で抽出した番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定する判定部と、該判定部の判定結果に基づいてナンバープレートを検出する検出部とを備える。
[Description of Embodiment of Present Invention]
(1) A license plate detection apparatus according to an embodiment of the present invention includes a character candidate area specifying unit that specifies a plurality of character candidate areas based on an image of a plurality of pixels, on which a license plate is imaged, and the character A number candidate extraction unit that extracts a number candidate including a plurality of number candidate regions existing in a region of a predetermined size from a plurality of character candidate regions specified by the candidate region specifying unit; and a pixel of the pixel of the image A determination unit that determines whether or not a feature point exists in a predetermined area around the number candidate area that constitutes the number candidate extracted by the number candidate extraction unit based on the value, and a determination result of the determination unit And a detection unit for detecting the license plate.
また、本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、ナンバープレートが撮像された、複数の画素からなる画像に基づいて複数の文字候補領域を特定するステップと、特定した複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出するステップと、前記画像の画素の画素値に基づいて、抽出した番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定するステップと、該判定するステップの判定結果に基づいてナンバープレートを検出するステップとを実行させる。 The computer program according to the embodiment of the present invention includes a step of specifying a plurality of character candidate areas based on an image including a plurality of pixels on which a license plate is imaged, and a plurality of specified character candidates. Extracting number candidates including a plurality of number candidate areas existing within a predetermined size area from the area, and number candidates constituting the extracted number candidates based on pixel values of the pixels of the image A step of determining whether or not a feature point exists in a predetermined region around the region and a step of detecting a license plate based on a determination result of the determination step are executed.
また、本発明の実施の形態に係るナンバープレート検出方法は、ナンバープレートが撮像された、複数の画素からなる画像に基づいて複数の文字候補領域を特定するステップと、特定された複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出するステップと、前記画像の画素の画素値に基づいて、抽出された番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定するステップと、該判定するステップの判定結果に基づいてナンバープレートを検出するステップとを含む。 In addition, the license plate detection method according to the embodiment of the present invention includes a step of specifying a plurality of character candidate regions based on an image including a plurality of pixels in which a license plate is imaged, and a plurality of specified character candidates. Extracting a number candidate including a plurality of number candidate areas existing in an area of a predetermined size from the area, and numbers constituting the number candidate extracted based on the pixel value of the pixel of the image A step of determining whether or not a feature point exists in a predetermined region around the candidate region, and a step of detecting a license plate based on a determination result of the determination step.
文字候補領域特定部は、ナンバープレートが撮像された画像に基づいて複数の文字候補領域を特定する。文字候補領域の特定は、例えば、画像の各画素の輝度値に基づいて、エッジなどの特徴部分を抽出し、数字らしさ、あるいはハイフンらしさの特徴を有する領域を特定し、特定した領域の外接矩形とすることができる。文字候補領域は、ナンバープレート（「プレート」とも称する）の数字、漢字又はハイフンなどの文字を含む領域である。 The character candidate region specifying unit specifies a plurality of character candidate regions based on an image obtained by capturing the license plate. The character candidate area is identified by, for example, extracting a feature portion such as an edge based on the luminance value of each pixel of the image, specifying an area having a characteristic of numbers or hyphens, and circumscribing a rectangle of the specified area It can be. The character candidate area is an area including a number plate (also referred to as “plate”), characters such as numbers, kanji or hyphens.
番号候補抽出部は、文字候補領域特定部で特定した複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出する。所定の大きさの領域は、撮像された画像上のナンバープレートの寸法又はナンバープレートよりも所要寸法だけ大きい寸法に対応する領域である。すなわち、番号候補抽出部は、画像上でナンバープレートの寸法に相当する大きさの領域内に存在する複数の文字候補領域から数字候補領域を特定するとともに、特定した複数の数字候補領域を含む文字候補領域を番号候補として抽出する。なお、数字候補領域の特定は、文字候補領域の中で縦横寸法（又は縦横画素数）が、ナンバープレートの数字に対応する寸法であるか否かにより行うことができる。 The number candidate extraction unit extracts number candidates including a plurality of number candidate regions existing in a region of a predetermined size from the plurality of character candidate regions specified by the character candidate region specifying unit. The area of the predetermined size is an area corresponding to the dimension of the license plate on the captured image or a dimension larger than the license plate by a required dimension. That is, the number candidate extraction unit specifies a number candidate area from a plurality of character candidate areas existing in an area having a size corresponding to the size of the license plate on the image, and a character including the plurality of specified number candidate areas. Candidate areas are extracted as number candidates. The number candidate area can be specified by determining whether the vertical and horizontal dimensions (or the number of vertical and horizontal pixels) in the character candidate area correspond to the numbers on the license plate.
判定部は、画像の画素の画素値に基づいて、番号候補抽出部で抽出した番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定する。検出部は、判定部の判定結果に基づいてナンバープレートを検出する。特徴点は、例えば、エッジなどの特徴部分であって、文字候補領域として特定されなかった画素又は複数の画素で構成される画素領域である。所定領域は、撮像した画像上で番号候補が横方向に並んでいる場合、番号候補を構成する数字候補領域の上下縦方向の領域、番号候補の中で左端にある数字候補領域の左横方向の領域、番号候補の中でハイフンに対応する領域がある場合には、当該領域の周囲の領域若しくは当該領域の上下縦方向の領域、又は隣り合う数字候補領域間の領域などとすることができる。 The determination unit determines whether or not a feature point exists in a predetermined area around the number candidate area constituting the number candidate extracted by the number candidate extraction unit based on the pixel value of the pixel of the image. The detection unit detects the license plate based on the determination result of the determination unit. The feature point is, for example, a feature portion such as an edge, and is a pixel region constituted by pixels or a plurality of pixels that are not specified as the character candidate region. When the number candidates are arranged in the horizontal direction on the captured image, the predetermined area is the number candidate area that constitutes the number candidate in the vertical and vertical directions, the left candidate in the number candidate area at the left end of the number candidates If there is a region corresponding to a hyphen among the number candidates, it can be a region around the region, a region in the vertical and vertical directions of the region, or a region between adjacent number candidate regions, etc. .
タクシーの表示灯に表示された電話番号や料金、トラックの車体などに表記された文字、車両のフロントグリル、ヘッドライト、バンパー付近などの誤検出対象部分は、数字候補になりやすく、また当該数字候補の周辺に画素値が変化する部分が表れやすい。一方、外交官車両（外務省）や自衛隊車両（防衛省）などの特殊な車両のナンバープレートの数字部分の周辺には、画素値が変化する部分が少ない。そこで、上述の構成により、前述の誤検出対象部分を特殊な車両のナンバープレートとして誤って検出することを防止し、特殊な車両のナンバープレートを精度よく検出することができる。 Phone numbers and fees displayed on taxi indicator lights, letters written on truck bodies, vehicle front grilles, headlights, near bumpers, etc., are subject to false detection and are likely to be number candidates. A portion where the pixel value changes tends to appear around the candidate. On the other hand, there are few portions where the pixel value changes around the number portion of the license plate of a special vehicle such as a diplomatic vehicle (Ministry of Foreign Affairs) or a Self-Defense Force vehicle (Ministry of Defense). Therefore, with the above-described configuration, it is possible to prevent the erroneous detection target portion from being erroneously detected as a special vehicle license plate, and to detect the special vehicle license plate with high accuracy.
（２）また、本発明の実施の形態に係るナンバープレート検出装置は、前記判定部は、前記番号候補を構成する数字候補領域の縦方向の領域に特徴点が存在するか否かを判定するようにしてある。 (2) In the license plate detection apparatus according to the embodiment of the present invention, the determination unit determines whether or not a feature point exists in a vertical region of a number candidate region constituting the number candidate. It is like that.
判定部は、番号候補を構成する数字候補領域の縦方向の領域に特徴点が存在するか否かを判定する。番号候補が、例えば、４つの数字候補領域を含む場合、当該４つの数字候補領域の上側若しくは下側、又は上側と下側の両側に特徴点が存在するか否かを判定する。なお、番号候補を構成する数字候補領域の数は４つに限定されるものではなく、３つでもよい。特殊な車両のナンバープレートの数字部分の上下側には、特徴点となるような画素値が変化する部分が少ないので、特徴点の存否により、特殊な車両のナンバープレートの検出精度を向上させることができる。 The determination unit determines whether or not a feature point exists in a vertical region of a number candidate region that constitutes a number candidate. If the number candidate includes, for example, four number candidate areas, it is determined whether or not feature points exist on the upper side or the lower side of the four number candidate areas, or on both sides of the upper side and the lower side. The number of number candidate areas constituting the number candidate is not limited to four, and may be three. Because there are few parts where the pixel values change as feature points on the upper and lower sides of the number part of the special vehicle license plate, the detection accuracy of the special vehicle license plate can be improved depending on the presence or absence of feature points Can do.
（３）また、本発明の実施の形態に係るナンバープレート検出装置は、前記文字候補領域特定部で特定した文字候補領域の大きさに基づいてハイフンを示す非数字候補領域を特定する非数字候補領域特定部を備え、前記判定部は、前記番号候補に非数字候補領域が含まれる場合、該非数字候補領域の周辺の領域に特徴点が存在するか否かを判定するようにしてある。 (3) In addition, the license plate detection apparatus according to the embodiment of the present invention provides a non-numeric candidate that identifies a non-numeric candidate region indicating a hyphen based on the size of the character candidate region identified by the character candidate region identifying unit. An area specifying unit is provided, and when the number candidate includes a non-numeric candidate area, the determination unit determines whether or not a feature point exists in an area around the non-numeric candidate area.
非数字候補領域特定部は、文字候補領域特定部で特定した文字候補領域の大きさに基づいてハイフンを示す非数字候補領域を特定する。判定部は、番号候補に非数字候補領域が含まれる場合、非数字候補領域の周辺の領域に特徴点が存在するか否かを判定する。周辺の領域は、ハイフンの上下左右（周囲）でもよく、ハイフンの上側若しくは下側、又は上側と下側の両側でもよい。特殊な車両のナンバープレートのハイフン部分の周辺には、特徴点となるような画素値が変化する部分が少ないので、特徴点の存否により、特殊な車両のナンバープレートの検出精度を向上させることができる。 The non-numeric candidate area specifying unit specifies a non-numeric candidate area indicating a hyphen based on the size of the character candidate area specified by the character candidate area specifying unit. When the number candidate includes a non-numeric candidate region, the determination unit determines whether or not a feature point exists in a region around the non-numeric candidate region. The surrounding area may be the upper, lower, left and right (periphery) of the hyphen, or may be the upper or lower side of the hyphen, or both the upper and lower sides. Since there are few parts where the pixel values change as feature points around the hyphen part of the license plate of a special vehicle, the detection accuracy of the license plate of a special vehicle can be improved depending on the presence or absence of the feature point. it can.
（４）また、本発明の実施の形態に係るナンバープレート検出装置は、前記判定部は、前記番号候補を構成する一側端の数字候補領域の横方向の領域に特徴点が存在するか否かを判定するようにしてある。 (4) Further, in the license plate detection device according to the embodiment of the present invention, the determination unit determines whether or not a feature point exists in a lateral region of a number candidate region on one side end constituting the number candidate. Whether or not is determined.
判定部は、番号候補を構成する一側端の数字候補領域の横方向の領域に特徴点が存在するか否かを判定する。一端側の数字候補領域は、横方向に数字候補領域が並んでいる場合、左端側の数字候補領域である。横方向の領域は、番号候補を構成する左端側の数字候補領域の左横方向の領域である。例えば、外交官車両の場合、横方向に４つ並んだ数字の左側には、「外」という漢字とハイフンが並んでいる。そこで、番号候補を構成する左端側の数字候補領域の左横方向の領域に、漢字らしい特徴点、又は漢字とハイフンらしい特徴点が存在するか否かを判定することにより、外交官車両のナンバープレートの検出精度を向上させることができる。また、自衛隊車両の場合、横方向に４つ並んだ数字の左側には、２つの数字とハイフンが並んでいる。そこで、番号候補を構成する左端側の数字候補領域の左横方向の領域に、数字らしい特徴点、又は数字とハイフンらしい特徴点が存在するか否かを判定することにより、自衛隊車両のナンバープレートの検出精度を向上させることができる。 The determination unit determines whether or not a feature point exists in a region in the horizontal direction of the number candidate region on one side end constituting the number candidate. The number candidate region on one end side is the number candidate region on the left end side when the number candidate regions are arranged in the horizontal direction. The area in the horizontal direction is the area in the left horizontal direction of the number candidate area on the left end side constituting the number candidate. For example, in the case of a diplomat vehicle, the kanji and hyphen “outside” are lined up on the left side of four numbers arranged in the horizontal direction. Therefore, the number of the diplomat vehicle is determined by determining whether or not there is a feature point that seems to be a kanji or a feature point that seems to be a kanji and a hyphen in the left lateral region of the number candidate area on the left end side that constitutes the number candidate. The plate detection accuracy can be improved. In the case of SDF vehicles, two numbers and a hyphen are arranged on the left side of four numbers arranged in the horizontal direction. Therefore, the number plate of the Self-Defense Force vehicle is determined by determining whether or not there is a feature point that seems to be a number, or a feature point that seems to be a number and a hyphen in the left-side region of the number candidate region on the left end side that constitutes the number candidate. Detection accuracy can be improved.
（５）また、本発明の実施の形態に係るナンバープレート検出装置は、前記判定部は、前記番号候補を構成する隣り合う数字候補領域間の領域に特徴点が存在するか否かを判定するようにしてある。 (5) In the license plate detection apparatus according to the embodiment of the present invention, the determination unit determines whether or not a feature point exists in a region between adjacent number candidate regions constituting the number candidate. It is like that.
判定部は、番号候補を構成する隣り合う数字候補領域間の領域に特徴点が存在するか否かを判定する。特殊な車両のナンバープレートのように、数字らしいものが複数並んだ状態は、例えば、車両のフロントグリルの網目部分、車体の広告、タクシーの表示灯などの誤検出対象部分に現れる。このような誤検出対象部分では、数字らしいもの同士の間にも、画素値が変化する特徴点が存在する場合が多い。一方、特殊な車両のナンバープレートの隣り合う数字間には画素値が変化するような特徴点は少ないので、隣り合う数字候補領域間の領域に特徴点の存否を判定することにより、誤検出対象部分を誤ってナンバープレートとして検出することを防止し、特殊な車両のナンバープレートの検出精度を向上させることができる。 The determination unit determines whether or not a feature point exists in an area between adjacent number candidate areas that constitute a number candidate. A state where a plurality of things like numbers are arranged like a license plate of a special vehicle appears in a misdetection target portion such as a mesh portion of a front grille of a vehicle, an advertisement of a vehicle body, an indicator light of a taxi, for example. In such a misdetection target portion, there are many feature points where pixel values change between objects that are likely to be numbers. On the other hand, since there are few feature points whose pixel values change between adjacent numbers on a license plate of a special vehicle, it is a false detection target by determining whether feature points exist in the area between adjacent number candidate areas. It is possible to prevent the portion from being erroneously detected as a license plate, and to improve the detection accuracy of a special vehicle license plate.
（６）また、本発明の実施の形態に係るナンバープレート検出装置は、前記検出部は、前記判定部で判定した特徴点の数に応じてナンバープレートを検出するようにしてある。 (6) In the license plate detection apparatus according to the embodiment of the present invention, the detection unit detects the license plate according to the number of feature points determined by the determination unit.
検出部は、判定部で判定した特徴点の数に応じてナンバープレートを検出する。例えば、番号候補を構成する数字候補領域のいずれの周辺領域であるかに応じて、特殊な車両のナンバープレートの場合には特徴点が少なく、誤検出対象部分の場合には特徴点が多いときには、特徴点の数が所定の閾値以下であれば、特殊な車両のナンバープレートであると検出することができる。また、番号候補を構成する数字候補領域のいずれの周辺領域であるかに応じて、特殊な車両のナンバープレートの場合には特徴点が多く、誤検出対象部分の場合には特徴点が少ないときには、特徴点の数が所定の閾値以上であれば、特殊な車両のナンバープレートであると検出することができる。 The detection unit detects the license plate according to the number of feature points determined by the determination unit. For example, when there are few feature points in the case of a license plate of a special vehicle and there are many feature points in the case of a false detection target, depending on which peripheral region of the number candidate region that constitutes the number candidate If the number of feature points is equal to or less than a predetermined threshold, it can be detected that the license plate is a special vehicle. Also, depending on which peripheral region of the number candidate area that constitutes the number candidate, there are many feature points in the case of a special vehicle license plate, and there are few feature points in the case of a false detection target part. If the number of feature points is equal to or greater than a predetermined threshold, it can be detected that the license plate is a special vehicle.
（７）また、本発明の実施の形態に係るナンバープレート検出装置は、前記番号候補を構成する各数字候補領域の縦方向の寸法を算出する縦寸法算出部を備え、前記検出部は、前記縦寸法算出部で算出した寸法に基づいてナンバープレートを検出するようにしてある。 (7) In addition, the license plate detection device according to the embodiment of the present invention includes a vertical dimension calculation unit that calculates a vertical dimension of each number candidate region constituting the number candidate, and the detection unit includes the The license plate is detected based on the dimensions calculated by the vertical dimension calculator.
縦寸法算出部は、番号候補を構成する各数字候補領域の縦方向の寸法を算出する。縦方向の寸法は、例えば、各数字候補領域の高さの平均値、中央値、最大値又は最小値などとすることができる。検出部は、縦寸法算出部で算出した寸法に基づいてナンバープレートを検出する。車両のフロントグリルの網目、ヘッドライト、バンパー、広告などの箇所では、比較的高さ寸法が小さい数字らしい部分が特定されやすい。これらの部分が数字候補領域として特定された場合でも、各数字候補領域の縦方向の寸法を算出して、特殊な車両のナンバープレートの数字と判定することができるものだけを選別することにより、誤検出を防止して、特殊な車両のナンバープレートの検出精度を向上させることができる。 The vertical dimension calculation unit calculates the vertical dimension of each number candidate area constituting the number candidate. The dimension in the vertical direction can be, for example, the average value, median value, maximum value, or minimum value of the heights of the number candidate regions. The detection unit detects the license plate based on the dimension calculated by the vertical dimension calculation unit. In places such as meshes, headlights, bumpers, advertisements, etc. on the front grill of a vehicle, it is easy to identify the parts that seem to be numbers with relatively small height dimensions. Even if these parts are identified as number candidate areas, by calculating the vertical dimension of each number candidate area and selecting only those that can be determined as numbers on a special vehicle license plate, It is possible to prevent erroneous detection and improve the detection accuracy of a special vehicle license plate.
（８）また、本発明の実施の形態に係るナンバープレート検出装置は、前記番号候補を構成する隣り合う数字候補領域の間隔を算出する間隔算出部を備え、前記検出部は、前記間隔算出部で算出した間隔に基づいてナンバープレートを検出するようにしてある。 (8) In addition, the license plate detection device according to the embodiment of the present invention includes an interval calculation unit that calculates an interval between adjacent number candidate regions constituting the number candidate, and the detection unit includes the interval calculation unit. The license plate is detected based on the interval calculated in (1).
間隔算出部は、番号候補を構成する隣り合う数字候補領域の間隔を算出する。数字候補領域の間隔は、最大値、最小値、又は最大値と最小値との差などとすることができる。検出部は、間隔算出部で算出した間隔に基づいてナンバープレートを検出する。特殊な車両のナンバープレートの場合、隣り合う数字の間隔は所定値である。そこで、例えば、算出した間隔が、ばらついている場合、例えば、最大値が閾値より大きい場合、最小値が閾値より小さい場合、最大値と最小値との差が閾値より大きい場合には、特殊な車両のナンバープレートではないと判定することができる。これにより、特殊な車両のナンバープレートの検出精度を向上させることができる。 The interval calculation unit calculates an interval between adjacent number candidate areas constituting the number candidate. The interval between the number candidate areas can be a maximum value, a minimum value, or a difference between the maximum value and the minimum value. The detection unit detects the license plate based on the interval calculated by the interval calculation unit. In the case of special vehicle license plates, the spacing between adjacent numbers is a predetermined value. Therefore, for example, when the calculated interval varies, for example, when the maximum value is larger than the threshold, when the minimum value is smaller than the threshold, or when the difference between the maximum value and the minimum value is larger than the threshold, a special It can be determined that it is not a vehicle license plate. Thereby, the detection accuracy of the license plate of a special vehicle can be improved.
（９）また、本発明の実施の形態に係るナンバープレート検出装置は、前記所定の大きさの領域の一端側に存在する数字候補領域を基準として該領域の他端側へ向かって横方向に数字候補領域を含む文字候補領域を探索する探索部と、前記一の数字候補領域を含む前記探索部で探索した文字候補領域の離隔寸法を算出する離隔寸法算出部とを備え、前記番号候補抽出部は、前記離隔寸法算出部で算出した各離隔寸法が所定の離隔範囲にある場合、前記一の数字候補領域及び探索した数字候補領域を含む番号候補を抽出するようにしてある。 (9) In addition, the license plate detection apparatus according to the embodiment of the present invention is configured so that the number candidate region existing on one end side of the region having the predetermined size is used as a reference in the lateral direction toward the other end side of the region. The number candidate extraction comprising: a search unit that searches for a character candidate region including a number candidate region; and a separation size calculation unit that calculates a separation size of the character candidate region searched by the search unit including the one number candidate region The unit extracts number candidates including the one number candidate area and the searched number candidate area when each of the distance dimensions calculated by the distance dimension calculation unit is within a predetermined distance range.
探索部は、所定の大きさの領域の一端側に存在する数字候補領域を基準として当該領域の他端側へ向かって横方向に数字候補領域を含む文字候補領域を探索する。一端側に存在する数字候補領域は、例えば、複数存在する数字候補領域のうち、最も右側に存在するものである。これにより、ナンバープレートの一位の数字を基準とすることができる。なお、一位の数字が数字候補領域として特定することができない場合には、その次に右側である十位の数字を基準とすることができる。他端側へ向かって横方向とは、左横方向であり、例えば、一位の数字を基準として、十位の数字、百位の数字、千位の数字等を探索する。 The search unit searches for a character candidate area including a number candidate area in the horizontal direction toward the other end side of the area with reference to a number candidate area existing on one end side of an area of a predetermined size. The number candidate area existing on one end side is, for example, the one present on the rightmost side among a plurality of number candidate areas. Thereby, the first digit of the license plate can be used as a reference. When the first digit cannot be specified as the number candidate area, the tenth digit on the right side can be used as a reference. The horizontal direction toward the other end is the left horizontal direction. For example, a tenth digit, a hundredth digit, a thousandth digit, and the like are searched based on the first digit.
離隔寸法算出部は、一の数字候補領域を含む探索部で探索した文字候補領域の離隔寸法を算出する。離隔寸法は、隣り合う数字候補領域同士の間隔でもよく、一の数字候補領域と探索部で探索した数字候補領域を含む文字候補領域それぞれとの間隔でもよい。番号候補抽出部は、離隔寸法算出部で算出した各離隔寸法が所定の離隔範囲にある場合、当該一の数字候補領域及び探索した数字候補領域を含む番号候補を抽出する。外交官車両の場合、番号候補を構成する数字候補領域は、一位の数字、十位の数字、百位の数字、千位の数字であり、番号候補を構成する数字候補領域以外の文字候補領域は、ハイフン、漢字である。また、自衛隊車両の場合は、番号候補を構成する数字候補領域は、一位の数字、十位の数字、百位の数字、千位の数字、万位の数字、十万位の数字であり、番号候補を構成する数字候補領域以外の文字候補領域は、千位の数字と万位の数字との間に存在するハイフンである。各離隔寸法が所定の離隔範囲にある数字候補領域、数字候補領域以外の文字候補領域を番号候補として抽出することにより、特殊な車両のナンバープレートの候補となる領域を抽出することができる。 The separation size calculation unit calculates the separation size of the character candidate area searched by the search unit including one number candidate area. The separation dimension may be an interval between adjacent number candidate regions, or may be an interval between one number candidate region and each character candidate region including the number candidate region searched by the search unit. The number candidate extraction unit extracts a number candidate including the one number candidate region and the searched number candidate region when each separation size calculated by the separation size calculation unit is within a predetermined separation range. In the case of a diplomatic vehicle, the number candidate areas that constitute the number candidates are the first number, the tenth number, the hundredth number, and the thousandth number, and character candidates other than the number candidate areas that constitute the number candidates The area is hyphen and kanji. In addition, in the case of SDF vehicles, the number candidate areas that constitute the number candidates are the first number, tenth number, hundredth number, thousandth number, tenth number, and hundredth place number. The character candidate areas other than the number candidate areas constituting the number candidates are hyphens existing between the thousandth number and the tenth number. By extracting, as number candidates, number candidate areas and character candidate areas other than the number candidate areas whose distance dimensions are in a predetermined distance range, it is possible to extract areas that are candidates for license plates of special vehicles.
［本願発明の実施形態の詳細］
以下、本発明に係るナンバープレート検出装置の実施の形態を示す図面に基づいて説明する。なお、以下に記載する実施の形態の少なくとも一部を任意に組み合わせることができる。図１は本実施の形態のナンバープレート検出装置１００の構成の一例を示すブロック図である。ナンバープレート検出装置１００は、装置全体を制御する制御部１０、インタフェース部１１、文字候補領域特定部１２、番号候補抽出部１３、判定部１４、プレート検出部１５、記憶部１６などを備える。また、ナンバープレート検出装置１００には、撮像装置２００を接続してある。なお、撮像装置２００は、ナンバープレート検出装置１００に内蔵する構成であってもよい。また、本実施の形態では、ナンバープレートを、単にプレートとも称する。
[Details of the embodiment of the present invention]
Hereinafter, a license plate detection device according to an embodiment of the present invention will be described with reference to the drawings. Note that at least some of the embodiments described below can be arbitrarily combined. FIG. 1 is a block diagram showing an example of the configuration of a license
撮像装置２００は、道路を走行する車両を撮像し、撮像して得られた画像データをナンバープレート検出装置１００へ出力する。
The
図２は撮像装置２００の設置例を示す模式図であり、図３はプレートが撮像された画像の一例を示す説明図である。図２に示すように、撮像装置２００は、道路を走行する車両を撮像すべく、所定の位置に設置される。また、図３に示すように、撮像装置２００で撮像して得られた画像は、車両のフロント部分、あるいはリア部分を撮像した画像である。以下の説明では、画像の左上を座標の中心として横方向をｘ座標、縦方向をｙ座標とする。また、ナンバープレート検出装置１００は、特殊な車両も含む、車両のプレートを検出するものである。本実施の形態において、特殊な車両とは、例えば、外交官車両（外務省）、自衛隊車両（防衛省）などである。
FIG. 2 is a schematic diagram illustrating an installation example of the
図４は普通車のプレートの一例を示す説明図である。プレートには、例えば、陸運支局、分類番号、一連番号の全部又は一部の情報が表記されている。図４に示すように、陸運支局は、例えば、「なにわ」の如く地名であり、分類番号は、陸運支局（地名）の右側に記載され、自動車の大きさ（例えば、小型、普通又は大型など）及び用途（例えば、乗用、貨物、特殊用途又は大型特殊など）を分類する１〜３桁の数字である（図４の例では、５００）。また、一連番号は、陸運支局・分類番号の下方に記載される車番であり、１〜４桁の数字である。図４の例では、一連番号（車番）は、「１２３４」であり、下１桁目（一位）が数字の「４」、下２桁目（十位）が数字の「３」、下２桁目と下３桁目との間にハイフンがあり、下３桁目（百位）が数字の「２」、下４桁目（千位）が数字の「１」である。 FIG. 4 is an explanatory view showing an example of a plate of an ordinary vehicle. On the plate, for example, information on all or part of the land transportation branch office, the classification number, and the serial number is written. As shown in FIG. 4, the land transportation branch office is a place name such as “Naniwa”, for example, and the classification number is written on the right side of the land transportation branch office (place name), and the size of the automobile (for example, small, normal or large) ) And uses (for example, passenger, freight, special uses, large specials, etc.) 1 to 3 digits (500 in the example of FIG. 4). The serial number is a car number described below the land transportation branch office / classification number and is a 1 to 4 digit number. In the example of FIG. 4, the serial number (vehicle number) is “1234”, the lower first digit (first place) is the number “4”, the lower second digit (tenth place) is the number “3”, There is a hyphen between the lower 2nd digit and the lower 3rd digit, the lower 3rd digit (hundred) is the number "2", and the lower 4th digit (thousand) is the number "1".
図５は外交官車両のプレートの一例を示す説明図である。図５に示すように、特殊な車両としての外交官車両のプレートには、左側から右側に向かって、「外」という漢字、ハイフン、４桁の数字が並んでいる。図５の例では、「外−４３２１」を例示している。 FIG. 5 is an explanatory view showing an example of a plate of a diplomat vehicle. As shown in FIG. 5, on the plate of the diplomatic vehicle as a special vehicle, the Chinese character “hyphen”, a hyphen, and a 4-digit number are arranged from left to right. In the example of FIG. 5, “outer-4321” is illustrated.
図６は自衛隊車両のプレートの一例を示す説明図である。図６に示すように、特殊な車両としての自衛隊車両のプレートには、左側から右側に向かって、２桁の数字、ハイフン、４桁の数字が並んでいる。図６の例では、「１２−３４５６」を例示している。 FIG. 6 is an explanatory view showing an example of a plate of the SDF vehicle. As shown in FIG. 6, a 2-digit number, a hyphen, and a 4-digit number are arranged on the plate of the SDF vehicle as a special vehicle from the left side to the right side. In the example of FIG. 6, “12-3456” is illustrated.
インタフェース部１１は、撮像装置２００で撮像して得られた画像データを取得し、取得した画像データをフレーム単位に撮像時刻に対応付けて記憶部１６に記憶する。
The
文字候補領域特定部１２は、プレートが撮像された画像に基づいて複数の文字候補領域を特定する。文字候補領域は、図５、図６の例に示す数字、ハイフン、漢字の部分を表す領域である。すなわち、文字候補領域は、数字の候補となる数字候補領域、ハイフンの候補となるハイフン候補領域、漢字の候補となる漢字候補領域を含む。
The character candidate
文字候補領域の特定は、例えば、画像の各画素の輝度値に基づいて、エッジなどの特徴部分を抽出し、数字らしさ、漢字らしさ、あるいはハイフンらしさの特徴を有する領域を特定し、特定した領域の外接矩形とすることができる。 The character candidate area is identified by, for example, extracting a characteristic part such as an edge based on the luminance value of each pixel of the image, specifying an area having a characteristic of numbers, kanji or hyphen, and specifying the area Circumscribed rectangle.
図７はプレートが撮像された画像上で特定された文字候補領域の一例を示す説明図である。図７に例示した大小の矩形領域が文字候補領域である。なお、本実施の形態では、文字候補領域を矩形領域とも称する。 FIG. 7 is an explanatory diagram illustrating an example of a character candidate area specified on an image obtained by imaging a plate. The large and small rectangular areas illustrated in FIG. 7 are character candidate areas. In the present embodiment, the character candidate area is also referred to as a rectangular area.
次に、特定した複数の文字候補領域に基づいて番号候補を抽出する方法について説明する。番号候補はプレート候補とも称する。番号候補の抽出は、（１）グループ情報作成（グループ登録とも称する）、（２）プレートチェック処理の２段階の処理により行うことができる。まず、グループ情報作成（グループ登録）について説明する。 Next, a method for extracting number candidates based on a plurality of specified character candidate areas will be described. The number candidates are also referred to as plate candidates. Extraction of number candidates can be performed by two steps of (1) group information creation (also referred to as group registration) and (2) plate check processing. First, group information creation (group registration) will be described.
番号候補抽出部１３は、文字候補領域特定部１２が特定した複数の文字候補領域を用いてグループ情報作成（グループ登録）を行う。まず、番号候補抽出部１３は、各文字候補領域の中心座標、横幅、縦幅を算出し、算出した横幅及び縦幅に基づいて、数字候補領域、ハイフン候補領域を特定する。
The number
図８は文字候補領域の特定方法の一例を示す説明図である。図８に示すように、文字候補領域の横幅をＮｗ１、縦幅をＮｈ１とすると、横幅Ｎｗ１が、例えば、５画素以上４０画素以下であり、縦幅Ｎｈ１が、例えば、１０画素以上４０画素以下である場合には、当該文字候補領域を数字候補領域又は漢字候補領域であると特定する。また、文字候補領域の横幅をＮｗ２、縦幅をＮｈ２とすると、横幅Ｎｗ２が、例えば、２画素以上１５画素以下であり、縦幅Ｎｈ２が、例えば、１０画素以下である場合には、当該文字候補領域をハイフン候補領域であると特定する。なお、漢字候補領域は、数字候補領域の横幅及び縦幅をそのまま用いてもよく、あるいは、数字候補領域の横幅及び縦幅より若干小さい範囲内にあるか否かで判定するようにしてもよい。 FIG. 8 is an explanatory diagram showing an example of a method for specifying a character candidate area. As shown in FIG. 8, when the horizontal width of the character candidate area is Nw1 and the vertical width is Nh1, the horizontal width Nw1 is, for example, 5 pixels or more and 40 pixels or less, and the vertical width Nh1 is, for example, 10 pixels or more and 40 pixels or less. If it is, the character candidate area is identified as a number candidate area or a kanji candidate area. Further, when the horizontal width of the character candidate area is Nw2 and the vertical width is Nh2, the horizontal width Nw2 is, for example, 2 pixels to 15 pixels, and the vertical width Nh2 is, for example, 10 pixels or less, the character The candidate area is identified as a hyphen candidate area. The kanji candidate area may use the horizontal width and vertical width of the number candidate area as they are, or may be determined based on whether or not the candidate area is slightly smaller than the horizontal width and vertical width of the number candidate area. .
次に、番号候補抽出部１３は、画像を探索して、特定した数字候補領域及びハイフン候補領域の中心ｘ座標間、中心ｙ座標間の距離に基づいてグループ分け処理を行う。
Next, the number
図９は本実施の形態のグループ分け処理の一例を示す説明図である。グループ分け処理を行う場合、予め、所定の大きさの領域としての探索範囲を定めておく。探索範囲（所定の大きさの領域）は、撮像された画像上のプレートの寸法又はプレートよりも所要寸法だけ大きい寸法に対応する領域である。図９の例では、横方向の寸法が、Ｎｓ１＋Ｎｓ１、縦方向の寸法がＮｓ２で表される破線で示す領域である。なお、寸法は画素数で表すことができる。 FIG. 9 is an explanatory diagram showing an example of grouping processing according to the present embodiment. When the grouping process is performed, a search range as an area having a predetermined size is determined in advance. The search range (a region having a predetermined size) is a region corresponding to a size of a plate on a captured image or a size larger than a plate by a required size. In the example of FIG. 9, the horizontal dimension is an area indicated by a broken line whose Ns1 + Ns1 and the vertical dimension is Ns2. Note that the dimensions can be represented by the number of pixels.
グループ分け処理は、まず、撮像された画像をｙ座標方向に（すなわち、上側から下側へ向かって）探索し、１つの文字候補領域（より具体的には文字候補領域の中心点）に着目する。図９の例では、符号Ｃ１で示す点を着目する文字候補領域の中心点とする。以下、中心点Ｃ１の如く称する。 In the grouping process, first, a captured image is searched in the y-coordinate direction (that is, from the upper side to the lower side), and attention is paid to one character candidate region (more specifically, the center point of the character candidate region). To do. In the example of FIG. 9, the point indicated by the symbol C <b> 1 is set as the center point of the character candidate region to be focused. Hereinafter, it is referred to as a center point C1.
次に、中心点Ｃ１の左右にＮｓ１画素の範囲、中心点Ｃ１の上下に所定画素数（例えば、３画素、５画素など）の範囲内に文字候補領域の中心点が存在するか否かを探索する。図９の例では、中心点Ｃ２が探索の結果、存在すると判定された場合を示す。 Next, whether or not the center point of the character candidate area exists within a range of Ns1 pixels on the left and right of the center point C1, and within a predetermined number of pixels (for example, 3 pixels, 5 pixels, etc.) above and below the center point C1. Explore. The example of FIG. 9 shows a case where it is determined that the center point C2 exists as a result of the search.
次に、中心点Ｃ１の左右にＮｓ１画素の範囲、中心点Ｃ２の上下に所定画素数の範囲内に文字候補領域の中心点が存在するか否かを探索する。図９の例では、中心点Ｃ３が探索の結果、存在すると判定された場合を示す。 Next, it is searched whether the center point of the character candidate area exists within a range of Ns1 pixels on the left and right of the center point C1 and within a predetermined number of pixels above and below the center point C2. The example of FIG. 9 shows a case where it is determined that the center point C3 exists as a result of the search.
次に、中心点Ｃ１の左右にＮｓ１画素の範囲、中心点Ｃ３の上下に所定画素数の範囲内に文字候補領域の中心点が存在するか否かを探索する。図９の例では、中心点Ｃ４が探索の結果、存在すると判定された場合を示す。 Next, it is searched whether the center point of the character candidate region exists within the range of Ns1 pixels on the left and right of the center point C1 and within the range of the predetermined number of pixels above and below the center point C3. The example of FIG. 9 shows a case where it is determined that the center point C4 exists as a result of the search.
次に、中心点Ｃ１の左右にＮｓ１画素の範囲、中心点Ｃ４の上下に所定画素数の範囲内に文字候補領域の中心点が存在するか否かを探索する。図９の例では、中心点Ｃ５が探索の結果、存在すると判定された場合を示す。 Next, it is searched whether the center point of the character candidate region exists within the range of Ns1 pixels on the left and right of the center point C1 and within the range of the predetermined number of pixels above and below the center point C4. The example of FIG. 9 shows a case where it is determined that the center point C5 exists as a result of the search.
次に、中心点Ｃ１の左右にＮｓ１画素の範囲、中心点Ｃ５の上下に所定画素数の範囲内に文字候補領域の中心点が存在するか否かを探索する。図９の例では、中心点Ｃ６が探索の結果、存在すると判定された場合を示す。 Next, it is searched whether or not the center point of the character candidate area exists within a range of Ns1 pixels on the left and right of the center point C1, and within a predetermined number of pixels above and below the center point C5. The example of FIG. 9 shows a case where it is determined that the center point C6 exists as a result of the search.
図９の例では、探索範囲内において、中心点Ｃ１〜Ｃ６の６つの文字候補領域を特定することができたので、これら６つの文字候補領域をグループとして登録する。グループとして登録された文字候補領域は、メンバーと称する。 In the example of FIG. 9, since six character candidate regions of the center points C1 to C6 could be specified within the search range, these six character candidate regions are registered as a group. Character candidate areas registered as a group are referred to as members.
探索範囲内において、例えば、６つの文字候補領域を特定することができた場合、図５に示すように、外交官車両のプレートである可能性がある。また、探索範囲内において、例えば、７つの文字候補領域を特定することができた場合、図６に示すように、自衛隊車両のプレートである可能性がある。また、探索範囲内において、所要数（例えば、４つ）の文字候補領域を特定することができなかった場合、グループ登録は行われない。 If, for example, six character candidate regions can be identified within the search range, there is a possibility that the plate is a diplomat vehicle as shown in FIG. In addition, for example, when seven character candidate areas can be identified within the search range, there is a possibility that the plate is a SDF vehicle plate as shown in FIG. If the required number (for example, four) of character candidate areas cannot be specified within the search range, group registration is not performed.
なお、探索範囲内における文字候補領域の探索方法は、画像の上側から下側に向かって探索する方法に限定されない。例えば、画像の右側から左側に向かって探索してもよく、下側から上側に向かって探索してもよい。 Note that the search method for the character candidate area within the search range is not limited to the search method from the upper side to the lower side of the image. For example, the image may be searched from the right side to the left side, or may be searched from the lower side to the upper side.
図１０はグループ登録の一例を示す説明図である。図７に例示した複数の文字候補領域の中から、上述のようなグループ分け処理を行うことにより、図１０のように、符号Ｇ１、Ｇ２、Ｇ３で示すグループが登録されている。符号Ｇ１〜Ｇ３で示す各グループＧ１〜Ｇ３は、数字候補領域、ハイフン候補領域、漢字候補領域を含む文字候補領域で構成される。なお、図１０において、登録されるグループの数は一例であって図１０の例に限定されるものではない。 FIG. 10 is an explanatory diagram showing an example of group registration. By performing the grouping process as described above from among a plurality of character candidate areas illustrated in FIG. 7, groups indicated by reference numerals G1, G2, and G3 are registered as shown in FIG. Each group G1 to G3 indicated by reference numerals G1 to G3 is composed of character candidate areas including a number candidate area, a hyphen candidate area, and a kanji candidate area. In FIG. 10, the number of registered groups is an example and is not limited to the example of FIG.
次に、プレートチェック処理について説明する。番号候補抽出部１３は、プレートの数字の並びを探索するプレートチェック処理を行う。図４、図５、図６に例示したように、普通車のプレートと、特殊な車両のプレートとでは、文字の並び、文字間の距離などが異なる。そこで、例えば、図５に例示した外交官車両のプレートは、外交官車両のプレートでの文字の並び及び文字間の距離などを用いることにより検出することが可能となる。また、図６に例示した自衛隊車両のプレートは、自衛隊車両のプレートでの文字の並び及び文字間の距離などを用いることにより検出することが可能となる
Next, plate check processing will be described. The number
まず、番号候補抽出部１３は、グループ内の文字候補領域をｘ座標降順でソートする。なお、以下では、外交官車両のプレートを例に挙げて説明するが、自衛隊車両のプレートについても同様に適用することができる。
First, the number
図１１はグループ内の文字候補領域をｘ座標降順でソートする一例を示す説明図である。図１１の上段の図は、図９に例示した探索により、特定された順序で文字候補領域を並べたものである。図９に例示したように、グループ登録する際に画像の上側から下側に向かって探索するため、特定した文字候補領域の中心ｘ座標はグループ内で順不同となる。プレートが図５に示す場合、「４、３、２、１、外、−」のような並びとなる。上段の図に示すように、特定した順序でのｘ座標は、ｘ３、ｘ４、ｘ５、ｘ６、ｘ１、ｘ２となる。中心ｘ座標の大小関係は、ｘ１＜ｘ２＜ｘ３＜ｘ４＜ｘ５＜ｘ６であるので、中心ｘ座標が順不同であることが解る。 FIG. 11 is an explanatory diagram showing an example of sorting the character candidate areas in the group in descending order of the x coordinate. The upper diagram in FIG. 11 shows character candidate areas arranged in the order specified by the search illustrated in FIG. As illustrated in FIG. 9, since the search is performed from the upper side to the lower side of the image when registering the group, the center x coordinate of the specified character candidate region is out of order within the group. When the plates are shown in FIG. 5, they are arranged as “4, 3, 2, 1, outside, −”. As shown in the upper diagram, the x coordinates in the specified order are x3, x4, x5, x6, x1, and x2. Since the magnitude relationship of the center x coordinate is x1 <x2 <x3 <x4 <x5 <x6, it can be understood that the center x coordinate is in no particular order.
そこで、中心ｘ座標の降順でソートすると、下段の図に示すように、グループ内の文字候補領域の並びが、実際の外交官車両のプレートの並びと同様になる。プレートが図５に示す場合、「外、−、３、２、１」のような並びとなる。なお、図１１では、漢字候補領域を数字候補領域よりも小さい矩形で表しているが、以降の説明では簡便のため漢字候補領域と数字候補領域の大きさを同等として記載する。 Therefore, when sorting in descending order of the center x coordinate, as shown in the lower figure, the arrangement of the character candidate areas in the group is the same as the arrangement of the actual diplomatic vehicle plates. When the plates are shown in FIG. 5, they are arranged as “outside, −3, 2, 1”. In FIG. 11, the kanji candidate area is represented by a rectangle smaller than the number candidate area. However, in the following description, the sizes of the kanji candidate area and the number candidate area are described as being equivalent.
次に、番号候補抽出部１３は、グループ内の文字候補領域の並びが外交官車両のプレートに近似するものがある場合、番号候補として抽出する。すなわち、番号候補抽出部１３は、文字候補領域特定部１２で特定した複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出する。
Next, the number
番号候補抽出部１３は、探索部としての機能を有し、グループ（所定の大きさの領域）内の一端側に存在する数字候補領域を基準として当該グループの他端側へ向かって横方向に数字候補領域を含む文字候補領域を探索する。一端側に存在する数字候補領域は、例えば、複数存在する数字候補領域のうち、最も右側に存在するものである。これにより、ナンバープレートの一位の数字を基準とすることができる。なお、一位の数字が数字候補領域として特定することができない場合には、その次に右側である十位の数字を基準とすることができる。他端側へ向かって横方向とは、左横方向であり、例えば、一位の数字を基準として、十位の数字、百位の数字、千位の数字等を探索する。
The number
以下、具体的な処理について説明する。まず、番号候補抽出部１３は、マークの初期化を行う。マークとは、グループ内の複数の数字候補領域が、すでに十位の数字として特定されたことを示すものである。マークは番号候補の二重登録を避けるために使用される。例えば、一位の数字を基準として残り全ての数字、ハイフンを特定することが出来た場合、十位の数字を、再度一位の数字（基準）として番号候補を抽出しないようにするため、既に十位の数字として確定されていることを示すため、マークを付す。
Specific processing will be described below. First, the number
次に、グループ内の各文字候補領域について、中心ｘ座標の大きいもの（すなわち、最も右側の文字候補領域）から順に基準メンバーとして設定し、プレートのフォーマットチェックを以下の（１）、（２）の順に行う。なお、プレートの左側の漢字の部分は、形状が複雑であり、例えば、「外」という漢字を「夕」と「卜」に分けて特定してしまう可能性があり、また、ハイフンの部分は、形状が不安定であることが多いため、最も左側の文字候補領域を基準とせずに、右側の文字候補領域（すなわち、一位の数字）を基準とするのが好ましい。 Next, each character candidate area in the group is set as a reference member in order from the one with the largest center x coordinate (that is, the rightmost character candidate area), and the plate format check is performed as follows (1), (2) In order. The kanji part on the left side of the plate has a complicated shape. For example, there is a possibility that the kanji “outside” may be specified by dividing it into “evening” and “、”, and the hyphen part is Since the shape is often unstable, it is preferable not to use the leftmost character candidate region as a reference but to use the right character candidate region (that is, the first digit) as a reference.
（１）基準メンバーが数字候補領域である場合、当該基準メンバーを一位の数字と仮定して、グループ内を左横方向に探索して、十位の数字、百位の数字、千位の数字、ハイフン、漢字を探す。なお、自衛隊車両の場合には、十位の数字、百位の数字、千位の数字、ハイフン、万位の数字、十万位の数字となる。 (1) If the reference member is a number candidate area, assuming that the reference member is the first digit, search the left side of the group and find the tenth digit, the hundredth digit, the thousandth digit. Look for numbers, hyphens and kanji. In the case of SDF vehicles, the numbers are tenth, hundredth, thousandth, hyphen, tenth, and hundredth.
（２）一位の数字に対応する数字候補領域が見つからない場合には、基準メンバーを数字候補領域であって、十位の数字であることを示すマークが付されていないことを条件として、当該基準メンバーを十位の数字と仮定して、グループ内を左横方向に探索して、百位の数字、千位の数字、ハイフン、漢字を探す。なお、自衛隊車両の場合には、百位の数字、千位の数字、ハイフン、万位の数字、十万位の数字となる。 (2) If the number candidate area corresponding to the first digit is not found, the reference member is a number candidate area, and the mark indicating that it is the tenth digit is not attached. Assuming that the reference member is the tenth digit, the group is searched in the left horizontal direction to find the hundredth digit, thousandth digit, hyphen, and kanji. In the case of Self-Defense Force vehicles, the number is the hundredth, the thousandth, the hyphen, the tenth, and the hundredth.
次に、番号候補抽出部１３によるプレートのフォーマットチェック方法について説明する。番号候補抽出部１３は、離隔寸法算出部としての機能を有する。番号候補抽出部１３は、一の数字候補領域を含む探索した文字候補領域の離隔寸法を算出する。離隔寸法は、隣り合う数字候補領域同士の間隔でもよく、一の数字候補領域と探索した数字候補領域を含む文字候補領域それぞれとの間隔でもよい。番号候補抽出部１３は、算出した各離隔寸法が所定の離隔範囲にある場合、当該一の数字候補領域及び探索した数字候補領域を含む番号候補を抽出する。
Next, a plate format check method by the number
例えば、外交官車両の場合、番号候補を構成する数字候補領域は、一位の数字、十位の数字、百位の数字、千位の数字であり、番号候補を構成する数字候補領域以外の文字候補領域は、ハイフン、漢字である。また、自衛隊車両の場合は、番号候補を構成する数字候補領域は、一位の数字、十位の数字、百位の数字、千位の数字、万位の数字、十万位の数字であり、番号候補を構成する数字候補領域以外の文字候補領域は、千位の数字と万位の数字との間に存在するハイフンである。 For example, in the case of a diplomat vehicle, the number candidate areas constituting the number candidates are the first number, the tenth number, the hundredth number, the thousandth number, and other than the number candidate areas constituting the number candidate. Character candidate areas are hyphens and kanji. In addition, in the case of SDF vehicles, the number candidate areas that constitute the number candidates are the first number, tenth number, hundredth number, thousandth number, tenth number, and hundredth place number. The character candidate areas other than the number candidate areas constituting the number candidates are hyphens existing between the thousandth number and the tenth number.
より具体的には、プレートのフォーマットチェック方法は、例えば、以下の（１）〜（３）に示すとおりである。 More specifically, the plate format check method is, for example, as shown in the following (1) to (3).
図１２はフォーマットチェック方法の一例を示す説明図であり、図１３は抽出された番号候補内の文字の配列の一例を示す説明図である。 FIG. 12 is an explanatory diagram showing an example of a format check method, and FIG. 13 is an explanatory diagram showing an example of an arrangement of characters in extracted number candidates.
（１）基準メンバーと、グループ内の他のメンバー（数字候補領域、ハイフン候補領域）との距離を算出する。（２）基準メンバーと他のメンバーとの距離が上限値（例えば、１００画素など）を越えた場合には探索を終了する。（３）基準メンバーと他のメンバーとの距離が所定範囲内にある場合には、図１３に示すように、当該他のメンバーに対応する数字位置又は漢字位置にビット「１」を付与し、ハイフン位置にビット「０」を付与する。上述の処理（１）〜（３）は繰り返し行われる。また、所定範囲は、例えば、一位の数字と十位の数字との距離Ｎｄ１が２０画素程度、一位の数字と百位の数字との距離Ｎｄ２が４０画素程度、一位の数字と千位の数字との距離Ｎｄ３が６０画素程度、一位の数字とハイフンとの距離Ｎｄ４が７０画素程度、一位の数字と漢字との距離Ｎｄ５が８０画素程度などとすることができる。 (1) The distance between the reference member and other members in the group (number candidate region, hyphen candidate region) is calculated. (2) When the distance between the reference member and another member exceeds an upper limit value (for example, 100 pixels), the search is terminated. (3) If the distance between the reference member and the other member is within the predetermined range, as shown in FIG. 13, a bit “1” is assigned to the numeric position or kanji position corresponding to the other member, Bit “0” is assigned to the hyphen position. The above processes (1) to (3) are repeatedly performed. The predetermined range includes, for example, a distance Nd1 between the first digit and the tenth digit of about 20 pixels, a distance Nd2 between the first digit and the hundredth digit is about 40 pixels, the first digit and 1000 The distance Nd3 between the first digit and the hyphen can be about 60 pixels, the distance Nd4 between the first digit and the hyphen can be about 70 pixels, and the distance Nd5 between the first digit and the Chinese character can be about 80 pixels.
各離隔寸法が所定の離隔範囲にある数字候補領域、ハイフン候補領域、漢字候補領域を番号候補として抽出することにより、特殊な車両のプレートの候補となる領域を抽出することができる。 By extracting the number candidate area, the hyphen candidate area, and the kanji candidate area having the respective separation dimensions in the predetermined separation range as the number candidates, it is possible to extract a region that is a special vehicle plate candidate.
図１４は抽出された番号候補の一例を示す説明図である。番号候補をプレート候補とも称する。図１０において、グループＧ１〜Ｇ３が登録され、各グループＧ１〜Ｇ３に対して、前述のプレートチェック処理を行うことにより、グループＧ１が番号候補Ｐ１として抽出され、グループＧ２が番号候補Ｐ２として抽出され、グループＧ３が番号候補ではないとして除外された様子を一例として示す。なお、図１４において、抽出される番号候補の数は一例であって図１４の例に限定されるものではない。 FIG. 14 is an explanatory diagram showing an example of the extracted number candidates. The number candidates are also referred to as plate candidates. In FIG. 10, the groups G1 to G3 are registered, and the group G1 is extracted as the number candidate P1 and the group G2 is extracted as the number candidate P2 by performing the plate check process described above for each of the groups G1 to G3. As an example, a state in which the group G3 is excluded as not being a number candidate is shown. In FIG. 14, the number of number candidates extracted is an example, and is not limited to the example of FIG.
上述のように、番号候補抽出部１３は、画像上でプレートの寸法に相当する大きさの領域内に存在する複数の文字候補領域から数字候補領域を特定するとともに、特定した複数の数字候補領域を含む文字候補領域に対して所定のプレートチェック処理を適用して番号候補として抽出する。なお、数字候補領域の特定は、文字候補領域の中で縦横寸法（又は縦横画素数）が、プレートの数字に対応する寸法であるか否かにより行うことができる。
As described above, the number
次に、外交官車両又は自衛隊車両などの特殊な車両のプレートを精度良く検出するためのプレート判定処理について説明する。判定部１４は、プレート判定処理を行う。プレート判定処理は、数字、ハイフン、漢字の配列パターン（横方向の配置）を予め複数準備して記憶部１６に記憶しておき、当該配列パターンを用いて、抽出した番号候補が特殊な車両のプレートであるか否かを判定する。
Next, plate determination processing for accurately detecting a plate of a special vehicle such as a diplomat vehicle or a Self-Defense Force vehicle will be described. The
判定部１４は、画像の画素の画素値に基づいて、番号候補抽出部１３で抽出した番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定する。特徴点は、例えば、エッジなどの特徴部分であって、文字候補領域として特定されなかった画素又は複数の画素で構成される画素領域である。所定領域は、撮像した画像上で番号候補が横方向に並んでいる場合、番号候補を構成する数字候補領域の上下縦方向の領域、番号候補の中で左端にある数字候補領域の左横方向の領域、番号候補の中でハイフンに対応する領域がある場合には、当該領域の周囲の領域若しくは当該領域の上下縦方向の領域、又は隣り合う数字候補領域間の領域などとすることができる。
Based on the pixel value of the pixel of the image, the
プレート検出部１５は、検出部としての機能を有し、判定部１４の判定結果に基づいてプレートを検出する。
The
タクシーの表示灯に表示された電話番号や料金、トラックの車体などに表記された文字、車両のフロントグリル、ヘッドライト、バンパー付近などの誤検出対象部分は、数字候補になりやすく、また当該数字候補の周辺に画素値が変化する部分が表れやすい。一方、外交官車両や自衛隊車両などの特殊な車両のプレートの数字部分の周辺には、画素値が変化する部分が少ない。そこで、上述の構成により、前述の誤検出対象部分を特殊な車両のプレートとして誤って検出することを防止し、特殊な車両のプレートを精度よく検出することができる。 Phone numbers and fees displayed on taxi indicator lights, letters written on truck bodies, vehicle front grilles, headlights, near bumpers, etc., are subject to false detection and are likely to be number candidates. A portion where the pixel value changes tends to appear around the candidate. On the other hand, there are few portions where the pixel value changes around the numerical portion of the plate of a special vehicle such as a diplomat vehicle or SDF vehicle. Therefore, with the above-described configuration, it is possible to prevent the erroneous detection target portion from being erroneously detected as a special vehicle plate, and to detect the special vehicle plate with high accuracy.
以下、本実施の形態のナンバープレート検出装置１００によるプレート判定処理の具体例について説明する。
Hereinafter, a specific example of the plate determination process performed by the license
図１５は本実施の形態のナンバープレート検出装置１００によるプレート判定処理の第１実施例を示す説明図である。図１５において、符号Ｐで示す四角形の枠は、プレートであり、抽出された番号候補の外形を示す。図１５に示すように、判定部１４は、番号候補を構成する数字候補領域の縦方向の領域（図１５の例では、符号Ｒ１で示す破線の領域の全部又は一部）に特徴点が存在するか否かを判定する。番号候補が、例えば、４つの数字候補領域を含む場合、当該４つの数字候補領域の上側若しくは下側、又は上側と下側の両側に特徴点が存在するか否かを判定する。なお、番号候補を構成する数字候補領域の数は４つに限定されるものではなく、３つでもよい。また、図１５に示すように、ハイフン候補領域、漢字候補領域の周辺の領域を含めることもできる。
FIG. 15 is an explanatory diagram showing a first example of plate determination processing by the license
プレート検出部１５は、判定部１４で判定した特徴点の数に応じて番号候補を特殊な車両のプレートとして検出する。例えば、番号候補を構成する数字候補領域のいずれの周辺領域であるかに応じて、特殊な車両のナンバープレートの場合には特徴点が少なく、誤検出対象部分の場合には特徴点が多いときには、特徴点の数が所定の閾値以下であれば、特殊な車両のナンバープレートであると検出することができる。また、番号候補を構成する数字候補領域のいずれの周辺領域であるかに応じて、特殊な車両のナンバープレートの場合には特徴点が多く、誤検出対象部分の場合には特徴点が少ないときには、特徴点の数が所定の閾値以上であれば、特殊な車両のナンバープレートであると検出することができる。
The
例えば、図１５の例では、領域Ｒ１に存在する特徴点（文字候補領域として特定されなかった、エッジなどの画素）の数が５０画素未満であれば、番号候補をプレートであると判定して検出し、５０画素以上であれば、プレートではないと判定する。なお、画素数は一例であって、周辺の領域Ｒ１の面積の大小に応じて適宜設定すればよい。 For example, in the example of FIG. 15, if the number of feature points (pixels such as edges that are not specified as character candidate regions) existing in the region R <b> 1 is less than 50 pixels, the number candidate is determined to be a plate. If it is detected and it is 50 pixels or more, it is determined that it is not a plate. The number of pixels is an example, and may be set as appropriate according to the size of the area of the peripheral region R1.
特殊な車両のナンバープレートの数字部分の上下側には、特徴点となるような画素値が変化する部分が少ないので、特徴点の存否により、特殊な車両のナンバープレートの検出精度を向上させることができる。 Because there are few parts where the pixel values change as feature points on the upper and lower sides of the number part of the special vehicle license plate, the detection accuracy of the special vehicle license plate can be improved depending on the presence or absence of feature points Can do.
図１６は本実施の形態のナンバープレート検出装置１００によるプレート判定処理の第２実施例を示す説明図である。図１６に示すように、文字候補領域特定部１２でハイフンを示す非数字候補領域としてのハイフン領域を特定されたとする。判定部１４は、番号候補にハイフン候補領域が含まれる場合、ハイフン候補領域の周辺の領域に特徴点が存在するか否かを判定する。周辺の領域は、図１６の符号Ｒ２で示すようにハイフンの上下左右（周囲）でもよく、ハイフンの上側若しくは下側、又は上側と下側の両側でもよい。
FIG. 16 is an explanatory diagram showing a second example of plate determination processing by the license
図１６の例では、例えば、領域Ｒ２に存在する特徴点の数が１５画素未満であれば、番号候補をプレートであると判定して検出し、１５画素以上であれば、プレートではないと判定する。なお、画素数は一例であって、周辺の領域Ｒ２の面積の大小に応じて適宜設定すればよい。 In the example of FIG. 16, for example, if the number of feature points existing in the region R2 is less than 15 pixels, the number candidate is determined to be a plate and detected, and if it is 15 pixels or more, it is determined not to be a plate. To do. The number of pixels is an example, and may be set as appropriate according to the size of the area of the peripheral region R2.
特殊な車両のナンバープレートのハイフン部分の周辺には、特徴点となるような画素値が変化する部分が少ないので、特徴点の存否により、特殊な車両のナンバープレートの検出精度を向上させることができる。 Since there are few parts where the pixel values change as feature points around the hyphen part of the license plate of a special vehicle, the detection accuracy of the license plate of a special vehicle can be improved depending on the presence or absence of the feature point. it can.
図１７は本実施の形態のナンバープレート検出装置１００によるプレート判定処理の第３実施例を示す説明図である。図１６の第２実施例との相違点は、ハイフンの上側と下側の両側（図１７において符号Ｒ３で示す破線領域）に特徴点が存在するか否かを判定する点である。図１７の第３実施例の場合、例えば、領域Ｒ３に存在する特徴点の数が１０画素未満であれば、番号候補をプレートであると判定して検出し、１０画素以上であれば、プレートではないと判定することができる。
FIG. 17 is an explanatory diagram showing a third example of plate determination processing by the license
図１８は本実施の形態のナンバープレート検出装置１００によるプレート判定処理の第４実施例を示す説明図である。判定部１４は、番号候補を構成する一側端の数字候補領域の横方向の領域に特徴点が存在するか否かを判定する。一端側の数字候補領域は、横方向に数字候補領域が並んでいる場合、左端側の数字候補領域である。横方向の領域は、番号候補を構成する左端側の数字候補領域の左横方向の領域である。
FIG. 18 is an explanatory diagram showing a fourth example of plate determination processing by the license
図１８に示すように、例えば、外交官車両の場合、横方向に４つ並んだ数字の左側には、「外」という漢字とハイフンが並んでいる。そこで、番号候補を構成する左端側の数字候補領域の左横方向の領域に、漢字らしい特徴点、又は漢字とハイフンらしい特徴点が存在するか否かを判定する。 As shown in FIG. 18, for example, in the case of a diplomat vehicle, a kanji and a hyphen “outside” are arranged on the left side of four numbers arranged in the horizontal direction. Therefore, it is determined whether or not a feature point that seems to be a kanji character or a feature point that seems to be a kanji character and a hyphen exists in the left lateral direction region of the number candidate region on the left end side that constitutes the number candidate.
図１８の例では、例えば、領域Ｒ４に存在する特徴点の数が２０画素以上であれば、番号候補をプレートであると判定して検出し、２０画素未満であれば、プレートではないと判定する。なお、画素数は一例であって、周辺の領域Ｒ４の面積の大小に応じて適宜設定すればよい。これにより、外交官車両のナンバープレートの検出精度を向上させることができる。 In the example of FIG. 18, for example, if the number of feature points existing in the region R4 is 20 pixels or more, it is determined that the number candidate is a plate, and if it is less than 20 pixels, it is determined that it is not a plate. To do. The number of pixels is an example, and may be set as appropriate according to the size of the area of the peripheral region R4. Thereby, the detection accuracy of the license plate of the diplomat vehicle can be improved.
また、自衛隊車両の場合、横方向に４つ並んだ数字の左側には、２つの数字とハイフンが並んでいる。そこで、番号候補を構成する左端側の数字候補領域の左横方向の領域に、数字らしい特徴点、又は数字とハイフンらしい特徴点が存在するか否かを判定する。例えば、番号候補を構成する左端側の数字候補領域の左横方向の領域に存在する特徴点の数が１００画素以上であれば、番号候補をプレートであると判定して検出し、１００画素未満であれば、プレートではないと判定する。これにより、図１８の例と同様に自衛隊車両のナンバープレートの検出精度を向上させることができる。 In the case of SDF vehicles, two numbers and a hyphen are arranged on the left side of four numbers arranged in the horizontal direction. Therefore, it is determined whether or not a feature point that seems to be a number, or a feature point that seems to be a number and a hyphen exists in the left lateral direction region of the number candidate region on the left end side that constitutes the number candidate. For example, if the number of feature points existing in the left lateral direction of the number candidate area on the left end side constituting the number candidate is 100 pixels or more, the number candidate is determined to be a plate and detected, and less than 100 pixels If so, it is determined that it is not a plate. Thereby, the detection accuracy of the license plate of the SDF vehicle can be improved as in the example of FIG.
図１９は本実施の形態のナンバープレート検出装置１００によるプレート判定処理の第５実施例を示す説明図である。判定部１４は、番号候補を構成する隣り合う数字候補領域間の領域に特徴点が存在するか否かを判定する。特殊な車両のプレートのように、数字らしいものが複数並んだ状態は、例えば、車両のフロントグリルの網目部分、車体の広告、タクシーの表示灯などの誤検出対象部分に現れる。このような誤検出対象部分では、数字らしいもの同士の間にも、画素値が変化する特徴点が存在する場合が多い。一方、特殊な車両のプレートの隣り合う数字間には画素値が変化するような特徴点は少ないので、隣り合う数字候補領域間の領域に特徴点の存否を判定する。
FIG. 19 is an explanatory diagram showing a fifth example of plate determination processing by the license
図１９の例では、例えば、領域Ｒ５に存在する特徴点の数が２０画素未満であれば、番号候補をプレートであると判定して検出し、２０画素以上であれば、プレートではないと判定する。なお、画素数は一例であって、周辺の領域Ｒ５の面積の大小に応じて適宜設定すればよい。 In the example of FIG. 19, for example, if the number of feature points existing in the region R5 is less than 20 pixels, the number candidate is determined to be a plate and is detected, and if it is 20 pixels or more, it is determined not to be a plate. To do. The number of pixels is an example, and may be set as appropriate according to the size of the area of the peripheral region R5.
上述の構成により、誤検出対象部分を誤って特殊な車両のプレートとして検出することを防止し、特殊な車両のプレートの検出精度を向上させることができる。 With the above-described configuration, it is possible to prevent erroneous detection target parts from being erroneously detected as special vehicle plates, and to improve the detection accuracy of special vehicle plates.
図２０は本実施の形態のナンバープレート検出装置１００によるプレート判定処理の第６実施例を示す説明図である。判定部１４は、縦寸法算出部としての機能を有し、番号候補を構成する各数字候補領域の縦方向の寸法を算出する。縦方向の寸法は、例えば、各数字候補領域の高さの平均値、中央値、最大値又は最小値などとすることができる。
FIG. 20 is an explanatory diagram showing a sixth example of plate determination processing by the license
プレート検出部１５は、算出された寸法に基づいてナンバープレートを検出する。例えば、算出された寸法の平均が１５画素を超える場合には、特殊な車両のプレートとして検出し、当該平均が１５画素以下である場合には、特殊な車両のプレートではないとする。
The
車両のフロントグリルの網目、ヘッドライト、バンパー、広告などの箇所では、比較的高さ寸法が小さい数字らしい部分が特定されやすい。これらの部分の高さ寸法が比較的小さいことに着目し、これらの部分が数字候補領域として特定された場合でも、各数字候補領域の縦方向の寸法を算出して、特殊な車両のナンバープレートの数字と判定することができるものだけを選別することにより、誤検出を防止して、特殊な車両のナンバープレートの検出精度を向上させることができる。 In places such as meshes, headlights, bumpers, advertisements, etc. on the front grill of a vehicle, it is easy to identify the parts that seem to be numbers with relatively small height dimensions. Paying attention to the fact that the height dimensions of these parts are relatively small, even if these parts are identified as number candidate areas, the vertical dimension of each number candidate area is calculated to obtain a special vehicle license plate. By selecting only those that can be determined as numbers, it is possible to prevent erroneous detection and improve the detection accuracy of the license plate of a special vehicle.
図２１は本実施の形態のナンバープレート検出装置１００によるプレート判定処理の第７実施例を示す説明図である。判定部１４は、間隔算出部としての機能を有し、番号候補を構成する隣り合う数字候補領域の間隔を算出する。数字候補領域の間隔は、最大値、最小値、又は最大値と最小値との差などとすることができる。
FIG. 21 is an explanatory diagram showing a seventh example of plate determination processing by the license
プレート検出部１５は、算出された間隔に基づいてナンバープレートを検出する。例えば、間隔の最大値と最小値との差が５画素未満である場合には、特殊な車両のプレートとして検出し、当該差が５画素以上である場合には、特殊な車両のプレートではないとする。
The
特殊な車両のナンバープレートの場合、隣り合う数字の間隔は所定値である。そこで、例えば、算出した間隔が、ばらついている場合、例えば、最大値が閾値より大きい場合、最小値が閾値より小さい場合、最大値と最小値との差が閾値より大きい場合には、特殊な車両のナンバープレートではないと判定することができる。これにより、特殊な車両のナンバープレートの検出精度を向上させることができる。 In the case of special vehicle license plates, the spacing between adjacent numbers is a predetermined value. Therefore, for example, when the calculated interval varies, for example, when the maximum value is larger than the threshold, when the minimum value is smaller than the threshold, or when the difference between the maximum value and the minimum value is larger than the threshold, a special It can be determined that it is not a vehicle license plate. Thereby, the detection accuracy of the license plate of a special vehicle can be improved.
前述の第１実施例から第７実施例は、すべて用いてもよく、あるいは適宜の例を組み合わせるようにしてもよい。 All of the first to seventh embodiments described above may be used, or appropriate examples may be combined.
また、前述の実施例の他に、例えば、ハイフン候補領域の幅又は高さが、特殊な車両のプレートと近似していない場合には、プレートとして検出しないようにすることができる。また、数字候補領域の幅が所定の幅（例えば、１０画素）以上である場合には、プレートとして検出しないようにすることができる。 In addition to the above-described embodiment, for example, when the width or height of the hyphen candidate area is not close to that of a special vehicle plate, it can be prevented from being detected as a plate. Moreover, when the width of the number candidate region is a predetermined width (for example, 10 pixels) or more, it can be prevented from being detected as a plate.
図２２は本実施の形態のナンバープレート検出装置１００によるプレート座標位置算出方法の一例を示す説明図である。プレート検出部１５は、プレートを検出した場合、すなわち画像上に特殊な車両のプレートが存在すると確定した場合、数字候補間距離とプレートの実寸との比率、及び数字候補高さとプレートの実寸との比率に基づいて、プレート左上座標であるプレート座標、プレート幅、プレート高さを算出する。これにより、特殊な車両のプレートの存在とプレートの位置座標を検出することができる。
FIG. 22 is an explanatory diagram showing an example of a plate coordinate position calculation method by the license
図２３は本実施の形態のナンバープレート検出装置１００による処理手順の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部１０として説明する。制御部１０は、画像を取得し（Ｓ１１）、文字候補領域を特定する（Ｓ１２）。
FIG. 23 is a flowchart illustrating an example of a processing procedure performed by the license
制御部１０は、特定した文字候補領域の中から、グループ登録、プレートチェック処理の２段階の処理により行うことにより、番号候補を抽出する（Ｓ１３）。
The
制御部１０は、抽出した番号候補が、特殊な車両のプレートとしての所定の条件を充足するか否かを判定する（Ｓ１４）。ステップＳ１４では、前述の第１実施例から第７実施例のいずれかの組み合わせ、あるいは全ての判定処理を行う。なお、第１実施例から第７実施例以外の例を用いることもできる。
The
所定の条件を充足する場合（Ｓ１４でＹＥＳ）、制御部１０は、プレートを検出し（Ｓ１５）、処理を終了する。所定の条件を充足しない場合（Ｓ１４でＮＯ）、制御部１０は、他の番号候補があるか否かを判定し（Ｓ１６）、他の番号候補がある場合（Ｓ１６でＹＥＳ）、ステップＳ１４以降の処理を繰り返し、他の番号候補がない場合（Ｓ１６でＮＯ）、処理を終了する。
When the predetermined condition is satisfied (YES in S14), the
本実施の形態のナンバープレート検出装置１００は、ＣＰＵ、ＲＡＭなどを備えた汎用コンピュータを用いて実現することもできる。すなわち、図２３に示すような、各処理手順を定めたコンピュータプログラムを記録媒体に記録しておき、当該記録媒体をコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵで実行することにより、コンピュータ上でナンバープレート検出装置１００を実現することができる。なお、図２３に示すような、各処理手順を定めたコンピュータプログラムは、記録媒体に代えて、インターネットなどのネットワークを介してダウンロードすることもできる。
The license
本実施の形態は、外交官車両や自衛隊車両のほかに、海外車両（外国車両）のプレート検出にも適用することができる。 This embodiment can be applied to plate detection of foreign vehicles (foreign vehicles) in addition to diplomat vehicles and SDF vehicles.
開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The disclosed embodiments are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
１０ 制御部
１１ インタフェース部
１２ 文字候補領域特定部
１３ 番号候補抽出部
１４ 判定部
１５ プレート検出部
１６ 記憶部
１００ ナンバープレート検出装置
２００ 撮像装置
DESCRIPTION OF
Claims (11)
該文字候補領域特定部で特定した複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出する番号候補抽出部と、
前記画像の画素の画素値に基づいて、前記番号候補抽出部で抽出した番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定する判定部と、
該判定部の判定結果に基づいてナンバープレートを検出する検出部と
を備えるナンバープレート検出装置。 A character candidate area specifying unit that specifies a plurality of character candidate areas based on an image of a plurality of pixels in which a license plate is imaged;
A number candidate extraction unit that extracts number candidates including a plurality of number candidate regions existing in a region of a predetermined size from among a plurality of character candidate regions specified by the character candidate region specifying unit;
A determination unit that determines whether or not a feature point exists in a predetermined region around a number candidate region that constitutes a number candidate extracted by the number candidate extraction unit based on a pixel value of a pixel of the image;
A license plate detection apparatus comprising: a detection unit that detects a license plate based on a determination result of the determination unit.
前記番号候補を構成する数字候補領域の縦方向の領域に特徴点が存在するか否かを判定するようにしてある請求項１に記載のナンバープレート検出装置。 The determination unit
The license plate detection apparatus according to claim 1, wherein it is determined whether or not a feature point is present in a vertical region of a number candidate region constituting the number candidate.
前記判定部は、
前記番号候補に非数字候補領域が含まれる場合、該非数字候補領域の周辺の領域に特徴点が存在するか否かを判定するようにしてある請求項１又は請求項２に記載のナンバープレート検出装置。 A non-numeric candidate region specifying unit for specifying a non-numeric candidate region indicating a hyphen based on the size of the character candidate region specified by the character candidate region specifying unit;
The determination unit
3. The license plate detection according to claim 1, wherein when the number candidate includes a non-numeric candidate region, it is determined whether or not a feature point exists in a region around the non-numeric candidate region. apparatus.
前記番号候補を構成する一側端の数字候補領域の横方向の領域に特徴点が存在するか否かを判定するようにしてある請求項１から請求項３までのいずれか１項に記載のナンバープレート検出装置。 The determination unit
4. The method according to claim 1, wherein it is determined whether or not a feature point exists in a lateral region of a number candidate region at one side end constituting the number candidate. 5. License plate detector.
前記番号候補を構成する隣り合う数字候補領域間の領域に特徴点が存在するか否かを判定するようにしてある請求項１から請求項４までのいずれか１項に記載のナンバープレート検出装置。 The determination unit
5. The license plate detection device according to claim 1, wherein it is determined whether or not a feature point exists in an area between adjacent number candidate areas constituting the number candidate. 6. .
前記判定部で判定した特徴点の数に応じてナンバープレートを検出するようにしてある請求項１から請求項５までのいずれか１項に記載のナンバープレート検出装置。 The detector is
The license plate detection apparatus according to claim 1, wherein the license plate is detected according to the number of feature points determined by the determination unit.
前記検出部は、
前記縦寸法算出部で算出した寸法に基づいてナンバープレートを検出するようにしてある請求項１から請求項６までのいずれか１項に記載のナンバープレート検出装置。 A vertical dimension calculation unit that calculates the vertical dimension of each number candidate area constituting the number candidate,
The detector is
The license plate detection apparatus according to claim 1, wherein the license plate is detected based on a dimension calculated by the vertical dimension calculation unit.
前記検出部は、
前記間隔算出部で算出した間隔に基づいてナンバープレートを検出するようにしてある請求項１から請求項７までのいずれか１項に記載のナンバープレート検出装置。 An interval calculation unit for calculating an interval between adjacent number candidate areas constituting the number candidate;
The detector is
The license plate detection apparatus according to claim 1, wherein the license plate is detected based on an interval calculated by the interval calculation unit.
前記一の数字候補領域を含む前記探索部で探索した文字候補領域の離隔寸法を算出する離隔寸法算出部と
を備え、
前記番号候補抽出部は、
前記離隔寸法算出部で算出した各離隔寸法が所定の離隔範囲にある場合、前記一の数字候補領域及び探索した数字候補領域を含む番号候補を抽出するようにしてある請求項１から請求項８までのいずれか１項に記載のナンバープレート検出装置。 A search unit for searching for a character candidate area including a number candidate area in a horizontal direction toward the other end side of the area on the basis of a number candidate area existing on one end side of the area of the predetermined size;
A separation size calculation unit that calculates a separation size of the character candidate region searched by the search unit including the one number candidate region;
The number candidate extraction unit
The number candidates including the one number candidate area and the searched number candidate area are extracted when each of the distance dimensions calculated by the distance dimension calculation unit is within a predetermined distance range. The license plate detection device according to any one of the above.
ナンバープレートが撮像された、複数の画素からなる画像に基づいて複数の文字候補領域を特定するステップと、
特定した複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出するステップと、
前記画像の画素の画素値に基づいて、抽出した番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定するステップと、
該判定するステップの判定結果に基づいてナンバープレートを検出するステップと
を実行させるコンピュータプログラム。 On the computer,
Identifying a plurality of character candidate regions based on an image made up of a plurality of pixels in which a license plate is imaged;
Extracting a number candidate including a plurality of number candidate areas existing in a predetermined size area from the plurality of identified character candidate areas;
Determining whether a feature point exists in a predetermined area around a number candidate area constituting the extracted number candidate based on a pixel value of a pixel of the image; and
And a step of detecting a license plate based on the determination result of the determining step.
特定された複数の文字候補領域の中から、所定の大きさの領域内に存在する複数の数字候補領域を含む番号候補を抽出するステップと、
前記画像の画素の画素値に基づいて、抽出された番号候補を構成する数字候補領域の周辺の所定領域に特徴点が存在するか否かを判定するステップと、
該判定するステップの判定結果に基づいてナンバープレートを検出するステップと
を含むナンバープレート検出方法。 Identifying a plurality of character candidate regions based on an image made up of a plurality of pixels in which a license plate is imaged;
Extracting a number candidate including a plurality of number candidate areas existing in a predetermined size area from the plurality of identified character candidate areas;
Determining whether a feature point exists in a predetermined area around a number candidate area constituting the extracted number candidate based on a pixel value of a pixel of the image; and
Detecting a license plate based on a determination result of the determining step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013258385A JP5834373B2 (en) | 2013-12-13 | 2013-12-13 | License plate detection apparatus, computer program, and license plate detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013258385A JP5834373B2 (en) | 2013-12-13 | 2013-12-13 | License plate detection apparatus, computer program, and license plate detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015114983A JP2015114983A (en) | 2015-06-22 |
| JP5834373B2 true JP5834373B2 (en) | 2015-12-24 |
Family
ID=53528688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013258385A Active JP5834373B2 (en) | 2013-12-13 | 2013-12-13 | License plate detection apparatus, computer program, and license plate detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5834373B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110375982B (en) * | 2019-05-31 | 2021-06-08 | 武汉船用机械有限责任公司 | Travel switch triggering precision detection tool and detection method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801093B (en) * | 2021-01-11 | 2024-06-28 | 爱泊车科技有限公司 | License plate information calibration method and device |
| WO2023007669A1 (en) * | 2021-07-29 | 2023-02-02 | 日本電信電話株式会社 | Recognition device, recognition method, and recognition program |
-
2013
- 2013-12-13 JP JP2013258385A patent/JP5834373B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110375982B (en) * | 2019-05-31 | 2021-06-08 | 武汉船用机械有限责任公司 | Travel switch triggering precision detection tool and detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015114983A (en) | 2015-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9489586B2 (en) | Traffic sign recognizing apparatus and operating method thereof | |
| Jiao et al. | A configurable method for multi-style license plate recognition | |
| Abdullah et al. | YOLO-based three-stage network for Bangla license plate recognition in Dhaka metropolitan city | |
| US20180151063A1 (en) | Real-time detection system for parked vehicles | |
| CN110659539A (en) | Information processing method and device | |
| JP2013529348A (en) | Lighting invariant and robust apparatus and method for detecting and recognizing various traffic signs | |
| CN107016329B (en) | Image processing method | |
| JP2010205160A (en) | Method for notifying speed-limit sign recognition result | |
| JP2011113440A (en) | Number plate recognition program and number plate recognition device | |
| CN105139011B (en) | A kind of vehicle identification method and device based on mark object image | |
| JP2008146549A (en) | Drive support device, map generator and program | |
| CN111931683B (en) | Image recognition method, device and computer readable storage medium | |
| JP5834373B2 (en) | License plate detection apparatus, computer program, and license plate detection method | |
| Nur et al. | Vehicle detection based on underneath vehicle shadow using edge features | |
| CN106919939B (en) | A kind of traffic signboard tracks and identifies method and system | |
| JP5423764B2 (en) | Moving object detection apparatus, computer program, and moving object detection method | |
| JP6620476B2 (en) | Vehicle type identification device, vehicle type identification method, and vehicle type identification program | |
| CN104268513B (en) | Road guides the acquisition methods and device of data | |
| JP4972116B2 (en) | Vehicle periphery monitoring device | |
| CN115019263A (en) | Traffic supervision model establishing method, traffic supervision system and traffic supervision method | |
| Matsuda et al. | A system for real-time on-street parking detection and visualization on an edge device | |
| Irhebhude et al. | Speed breakers, road marking detection and recognition using image processing techniques | |
| JP2006201817A (en) | Method and device for discriminating vehicle body color | |
| Amin et al. | An automatic number plate recognition of Bangladeshi vehicles | |
| CN113743316B (en) | Vehicle plugging behavior identification method, system and device based on target detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151016 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5834373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |