JP3216356B2 - License plate position detector - Google Patents
License plate position detectorInfo
- Publication number
- JP3216356B2 JP3216356B2 JP23748393A JP23748393A JP3216356B2 JP 3216356 B2 JP3216356 B2 JP 3216356B2 JP 23748393 A JP23748393 A JP 23748393A JP 23748393 A JP23748393 A JP 23748393A JP 3216356 B2 JP3216356 B2 JP 3216356B2
- Authority
- JP
- Japan
- Prior art keywords
- license plate
- image
- correlation value
- model
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Character Input (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】[0001]
【技術分野】この発明は，自動車を撮影することによっ
て得られる画像においてナンバープレートの位置を検出
する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for detecting a position of a license plate in an image obtained by photographing a car.
【０００２】[0002]
【背景技術】従来のナンバープレートの位置を検出する
装置においては，自動車を撮影することによって得られ
る画像から水平方向空間一次微分を用いて撮影画像の縦
エッジを検出することにより，ナンバープレートの位置
を検出している。2. Description of the Related Art In a conventional device for detecting the position of a license plate, the position of the license plate is detected by detecting a vertical edge of a photographed image using a horizontal spatial first derivative from an image obtained by photographing an automobile. Has been detected.
【０００３】しかし，撮影画像には車両本体，路面上の
模様，荒れなどの存在，撮像素子としてＣＣＤを用いた
場合にはスミアの発生などがあり，ナンバープレート以
外に縦エッジが多数存在する。このために縦エッジを検
出して撮影画像におけるナンバープレートの位置を常に
正確に検出することは比較的困難である。However, the photographed image includes a vehicle body, a pattern on a road surface, the presence of a rough surface, and the use of a CCD as an image sensor. For this reason, it is relatively difficult to always detect the position of the license plate in the captured image by detecting the vertical edge.
【０００４】また，天候の変化，影，夜間，適切な絞り
が設定されていない場合などにおいてはナンバープレー
トの文字の部分と他の部分とのコントラストが明確にあ
らわれないこともあり，このような場合には縦エッジの
検出が困難となりナンバープレートの位置の検出も困難
である。In contrast, when the weather changes, shadows, nighttime, or when an appropriate aperture is not set, the contrast between the character portion of the license plate and other portions may not be apparent. In this case, it is difficult to detect the vertical edge, and it is also difficult to detect the position of the license plate.
【０００５】[0005]
【発明の開示】この発明は，撮影環境に左右されずに比
較的精度良く撮影画像におけるナンバープレートの位置
を検出することを目的とする。SUMMARY OF THE INVENTION An object of the present invention is to detect the position of a license plate in a photographed image relatively accurately without being influenced by the photographing environment.
【０００６】この発明によるナンバープレート位置検出
装置は，被写体を撮影して得られる撮影画像におけるナ
ンバープレートの文字の線幅に対応した四辺形図形を含
むモデル画像を表わすモデル画像データを記憶するモデ
ル画像データ記憶手段，上記撮影画像を表わす撮影画像
データと上記モデル画像データ記憶手段に記憶されてい
る上記モデル画像データとの相互相関値を計算する相互
相関値算出手段，および上記相互相関値算出手段により
計算された相関値にもとづいて，上記撮影画像中におけ
るナンバープレート画像の位置を決定するナンバープレ
ート位置決定手段を備えていることを特徴とする。A license plate position detecting device according to the present invention stores model image data representing a model image including a quadrilateral figure corresponding to the line width of a character of a license plate in a photographed image obtained by photographing a subject. A data storage unit, a cross-correlation value calculation unit for calculating a cross-correlation value between the captured image data representing the captured image and the model image data stored in the model image data storage unit, and the cross-correlation value calculation unit A license plate position determining means for determining a position of the license plate image in the photographed image based on the calculated correlation value is provided.
【０００７】この発明によると，被写体を撮影して得ら
れる撮影画像におけるナンバープレートの文字の線幅に
対応した四辺形図形を含むモデル画像を表わすモデル画
像データが記憶されている。自動車を含む被写体が撮影
され，撮影画像を表わす撮影画像データと記憶されてい
るモデル画像データとの相互相関値が算出される。算出
された相関値にもとづいて撮影画像中におけるナンバー
プレート画像の位置が検出される。According to the present invention, model image data representing a model image including a quadrilateral figure corresponding to the line width of a character on a license plate in a photographed image obtained by photographing a subject is stored. A subject including a car is photographed, and a cross-correlation value between photographed image data representing a photographed image and stored model image data is calculated. The position of the license plate image in the captured image is detected based on the calculated correlation value.
【０００８】従来のように縦エッジを抽出して撮影画像
におけるナンバープレートの位置を検出せず，相互相関
値から撮影画像における位置を検出しているので，比較
的精度良く位置検出が可能となる。Since the position of the license plate in the photographed image is not detected by extracting the vertical edge as in the prior art, but the position in the photographed image is detected from the cross-correlation value, the position can be detected relatively accurately. .
【０００９】また検出する対象物のコントラストが明確
に現われない場合であっても，相互相関値を算出するこ
とができるので，天候の変化やナンバープレートが影に
なった場合にかかわらず撮影画像におけるナンバープレ
ートの位置検出が可能となる。Further, even when the contrast of the object to be detected does not clearly appear, the cross-correlation value can be calculated, so that the cross-correlation value can be calculated regardless of the weather change or the license plate being shadowed. The position of the license plate can be detected.
【００１０】上記モデル画像は，十字形であって，上記
四辺形図形の画像を含むものであるとよい。これにより
ナンバープレートの文字を表わす画像とモデル画像との
相関値が高くなり，ナンバープレートの文字以外の画像
とモデル画像との相関値は低くなるので，より高精度の
ナンバープレート位置検出が可能となる。Preferably, the model image is a cross and includes the image of the quadrilateral figure. As a result, the correlation value between the image representing the characters on the license plate and the model image is increased, and the correlation value between the image other than the characters on the license plate and the model image is reduced, enabling more accurate license plate position detection. Become.
【００１１】また，モデル画像のコントラストと撮影画
像のコントラストとの濃淡パターンが反転しているとき
は相互相関値は負となり，これらの濃淡パターンが非反
転のときは相互相関値は正となることから，相互相関値
の大きさからナンバープレートの地色を判定することも
できる。When the contrast pattern of the model image and the contrast of the photographed image are reversed, the cross-correlation value is negative, and when these contrast patterns are not reversed, the cross-correlation value is positive. Thus, the ground color of the license plate can be determined from the magnitude of the cross-correlation value.
【００１２】各画素の相関値と所定値とを比較して，上
記所定値以上の相関値をもつ画素を抽出し，抽出された
画素を含む画像領域上を，水平方向に所定の幅をもつウ
ィンドウを用いて走査し，上記所定値以上の相関値を有
する画素が上記ウィンドウ内に存在することを表わす特
徴量データをウィンドウの位置ごとに生成し，生成され
た特徴量データが水平方向に連続して存在する領域幅を
検出し，検出された領域幅のうち最大の幅をもつ特徴量
データの存在領域をナンバープレート画像候補領域と
し，その中央の位置を上記撮影画像におけるナンバープ
レート画像の中央の位置と判定してもよい。The correlation value of each pixel is compared with a predetermined value to extract a pixel having a correlation value equal to or greater than the predetermined value, and a predetermined width in the horizontal direction is provided on an image area including the extracted pixel. Scanning using a window, generating feature data indicating that a pixel having a correlation value equal to or greater than the predetermined value exists in the window for each window position, and generating the feature data continuously in the horizontal direction; The detected region width is detected, the region of the feature data having the largest width among the detected region widths is set as a license plate image candidate region, and the center position thereof is set at the center of the license plate image in the photographed image. May be determined.
【００１３】上記ナンバープレート画像候補領域が撮影
画像の端を含む場合や水平方向の幅が所定の幅よりも狭
い場合に，決定された上記撮影画像中におけるナンバー
プレート画像の中央の位置を補正することが好ましい。
これにより，ナンバープレートが撮影領域の端にあった
場合やナンバープレートの数字の桁数が通常の４桁より
も少ない場合であっても撮影画像におけるナンバープレ
ートの位置を比較的精度良く決定することができる。When the license plate image candidate area includes an end of the photographed image or when the width in the horizontal direction is smaller than a predetermined width, the determined center position of the license plate image in the photographed image is corrected. Is preferred.
As a result, the position of the license plate in the photographed image can be determined relatively accurately even when the license plate is at the end of the photographing area or when the number of digits of the license plate is smaller than the usual four digits. Can be.
【００１４】また，上記ナンバープレート画像候補領域
の水平方向の幅が所定の幅よりも狭く，かつ上記ナンバ
ープレート画像候補領域から離れて水平ライン方向の所
定範囲内に特徴量データが存在する他の領域があるとき
に，その特徴量データが存在する上記他の領域を含むよ
うにナンバープレート画像候補領域を広げ，広げられた
ナンバープレート画像候補領域の中央の位置を，上記撮
影画像中におけるナンバープレート画像の中央の位置を
判定してもよい。The license plate image candidate area has a width in the horizontal direction smaller than a predetermined width, and the feature amount data exists in a predetermined range in the horizontal line direction apart from the license plate image candidate area. When there is an area, the license plate image candidate area is expanded so as to include the other area where the feature data exists, and the center position of the expanded license plate image candidate area is determined by the license plate number in the photographed image. The position of the center of the image may be determined.
【００１５】[0015]
【００１６】[0016]
【実施例】図１および図２はこの発明の実施例を示すも
ので，自動車のナンバープレートの文字認識システムに
適用した場合を示している。図１は斜視図であり，図２
は側面図である。1 and 2 show an embodiment of the present invention, in which the present invention is applied to a character recognition system for a license plate of an automobile. FIG. 1 is a perspective view, and FIG.
Is a side view.
【００１７】撮像カメラ１が道路上に支持されて配置さ
れており，被写体となる自動車ＯＢが撮像カメラ１によ
って撮影される。撮影された画像の一例が図５に示され
ている。自動車ＯＢが撮影されることによって得られる
撮影画像は，自動車ＯＢの前面下部に取り付けられたナ
ンバープレートの画像を含む。撮像カメラ１から撮影画
像を表わす信号が出力され，文字認識装置10に与えられ
る。文字認識装置10によって，撮像カメラ１によって撮
影された自動車のナンバープレートの文字が認識され
る。An imaging camera 1 is supported and arranged on a road, and an automobile OB serving as a subject is photographed by the imaging camera 1. An example of a captured image is shown in FIG. The photographed image obtained by photographing the automobile OB includes an image of a license plate attached to a lower front part of the automobile OB. A signal representing a captured image is output from the imaging camera 1 and provided to the character recognition device 10. The character recognition device 10 recognizes the characters on the license plate of the car captured by the imaging camera 1.
【００１８】図３は文字認識装置10の電気的構成を示し
ている。撮像カメラ１によって撮像された画像を表わす
信号はアナログ／ディジタル変換回路11に与えられ，デ
ィジタル画像データに変換される。ディジタル画像デー
タは画像メモリ12に与えられ，一旦記憶される。アナロ
グ／ディジタル変換回路11においてディジタル変換され
た画像データはプレート位置検出回路22に含まれる正規
化相互相関計算回路14にも与えられる。FIG. 3 shows the electrical configuration of the character recognition device 10. A signal representing an image captured by the imaging camera 1 is supplied to an analog / digital conversion circuit 11 and is converted into digital image data. The digital image data is provided to the image memory 12 and is temporarily stored. The image data digitally converted in the analog / digital conversion circuit 11 is also supplied to a normalized cross-correlation calculation circuit 14 included in the plate position detection circuit 22.
【００１９】文字認識装置10にはモデル画像記憶回路13
が含まれている。モデル画像記憶回路13には図４に示す
ように黒色に塗りつぶされた四辺形図形を含むモデル画
像Ｍを表わすモデル画像データが記憶されている。モデ
ル画像は，たとえば四辺形図形は黒色であり，この四辺
形図形の両端の四辺形図形は白色となっている。モデル
画像の中央の四辺形図形の幅は，ナンバープレートが撮
像カメラ１によって撮影されたときのナンバープレート
画像Ｐの文字の幅と一致している。The character recognition device 10 has a model image storage circuit 13
It is included. The model image storage circuit 13 stores model image data representing a model image M including a quadrilateral figure painted black as shown in FIG. In the model image, for example, the quadrilateral figure is black, and the quadrilateral figures at both ends of the quadrilateral figure are white. The width of the quadrilateral figure at the center of the model image matches the width of the characters of the license plate image P when the license plate is photographed by the imaging camera 1.
【００２０】モデル画像記憶回路13に記憶されているモ
デル画像データは正規化相互相関計算回路14に与えられ
る。The model image data stored in the model image storage circuit 13 is provided to a normalized cross-correlation calculation circuit 14.
【００２１】正規化相互相関計算回路14は入力するモデ
ル画像データと撮像画像データとの正規化相互相関の相
関値とその２乗を計算する回路である。モデル画像デー
タをＭ(i) ，撮像画像データをＩ(i) とすると正規化相
互相関の相関値の２乗ＣＣ2は式１を用いて計算され
る。相関値ＣＣは２乗の相関値ＣＣ2 の平方根により得
られる。The normalized cross-correlation calculation circuit 14 is a circuit for calculating the correlation value of the normalized cross-correlation between the input model image data and the captured image data and its square. Assuming that the model image data is M (i) and the captured image data is I (i), the square CC 2 of the correlation value of the normalized cross-correlation is calculated using Equation 1. Correlation value CC is obtained by the square of the square root of the correlation values CC 2.
【００２２】[0022]
【数１】 但し，式１においてｉは画素の座標を，ｎは画素の数を
表わしている。(Equation 1) In Equation 1, i represents the coordinates of a pixel, and n represents the number of pixels.
【００２３】正規化相互相関の相関値ＣＣは撮影画像ま
たはその一部とモデル画像とが完全に一致したときに１
となり，撮影画像の濃淡パターンとモデル画像の濃淡パ
ターンとが完全に反転したときに，−１となる。相関値
ＣＣの絶対値が大きいほどモデル画像と撮像画像の一致
している度合が高いことになる。The correlation value CC of the normalized cross-correlation is 1 when the captured image or a part thereof completely matches the model image.
And becomes -1 when the grayscale pattern of the captured image and the grayscale pattern of the model image are completely inverted. The larger the absolute value of the correlation value CC, the higher the degree of coincidence between the model image and the captured image.
【００２４】図６はモデル画像と撮像画像との正規化相
互相関の相関値を表わしている。図６においては簡略化
のために正規化相互相関の相関値を計算せずに，撮像画
像を，モデル画像を用いて走査したときにモデル画像の
四辺形図形と撮影画像の一部とが一致する個数によって
表わされている。FIG. 6 shows the correlation value of the normalized cross-correlation between the model image and the captured image. In FIG. 6, when the captured image is scanned using the model image without calculating the correlation value of the normalized cross-correlation for simplicity, the quadrilateral figure of the model image matches a part of the captured image. It is represented by the number of
【００２５】正規化相互相関の２乗の相関値ＣＣ2 をあ
るしきい値によって弁別することにより，しきい値以上
の相関値をもつ画素により表わされる画像が得られる。
この画像の一例が図８に示されている。この画像を表わ
す画像データは画像メモリ17に記憶される。[0025] By discriminating by squaring a certain threshold correlation value CC 2 of the normalized cross-correlation, the image represented by pixels having a correlation value above the threshold are obtained.
An example of this image is shown in FIG. Image data representing this image is stored in the image memory 17.
【００２６】正規化相互相関計算回路14において計算さ
れた２乗の相関値ＣＣ2 を表わすデータは領域内積分計
算回路15に，相関値ＣＣを表わすデータは画像メモリ17
にそれぞれ与えられる。The data representing the squared correlation value CC 2 calculated in the normalized cross-correlation calculation circuit 14 is supplied to the in-region integration calculation circuit 15, and the data representing the correlation value CC is stored in the image memory 17.
Respectively.
【００２７】領域内積分計算回路15は，図８に示すよう
に所定値以上の２乗の相関値ＣＣ2をもつ画素によって
表わされる画像を，この画像上におけるナンバープレー
トの大きさに対応するウィンドウを用いて走査したとき
にウィンドウ内に含まれる相関値の総和を，ウィンドウ
の左上隅の座標の積分値とするものである。得られた画
像に対して領域内積分が行なわれた結果の積分値が図７
に示されている。As shown in FIG. 8, the intra-region integration calculating circuit 15 converts an image represented by a pixel having a squared correlation value CC 2 of a predetermined value or more into a window corresponding to the size of the license plate on this image. The total sum of the correlation values included in the window when scanning is performed using is the integral value of the coordinates of the upper left corner of the window. FIG. 7 shows an integrated value obtained by performing intra-region integration on the obtained image.
Is shown in
【００２８】たとえば図６において座標ｘ1〜ｘ4，ｙ1
〜ｙ2によって囲まれている範囲が，画像上のナンバー
プレートの大きさに対応し，その積分値（相関値の総
和）は16となる。したがって図７において左上隅の座標
（ｘ1，ｙ1）の値が16となる。そのほかの箇所も同様に
して積分が行なわれ図７の積分値画像が得られる。For example, in FIG. 6, coordinates x 1 to x 4 , y 1
Range surrounded by ~y 2 is corresponding to the size of the license plate on the image, the integrated value (sum of the correlation values) is 16. Therefore, in FIG. 7, the value of the coordinate (x 1 , y 1 ) at the upper left corner is 16. The other parts are similarly integrated to obtain an integrated value image shown in FIG.
【００２９】領域内積分計算回路15において計算された
積分データはプレート位置特定回路16に与えられる。プ
レート位置特定回路16は撮影画像においてナンバープレ
ートが撮影されている位置を特定する回路である。The integral data calculated by the intra-region integration calculation circuit 15 is given to a plate position specifying circuit 16. The plate position specifying circuit 16 is a circuit for specifying a position where a license plate is photographed in a photographed image.
【００３０】ナンバープレートの位置の特定は次のよう
にして行なわれる。The position of the license plate is specified as follows.
【００３１】まず領域内積分の計算により得られた積分
データが走査され，図７に示すような画像において最大
の積分値を得る画素が検出される。図７に示す例でいう
と積分値の最大値は，座標（ｘ8 ，ｙ12）の画素の積分
値「24」である。この積分の最大値を有している座標
（ｘ8 ，ｙ12）の画素が，撮影画像中におけるナンバー
プレートの左上隅の位置とされる。したがって図７に示
す例では太線で示される位置にナンバープレートが存在
することになる。First, the integral data obtained by the calculation of the integral in the area is scanned, and the pixel which obtains the maximum integral value in the image shown in FIG. 7 is detected. In the example shown in FIG. 7, the maximum value of the integral value is the integral value “24” of the pixel at the coordinates (x 8 , y 12 ). The pixel at the coordinates (x 8 , y 12 ) having the maximum value of the integral is set as the position of the upper left corner of the license plate in the captured image. Therefore, in the example shown in FIG. 7, the license plate exists at the position shown by the thick line.
【００３２】ナンバープレート位置を表わすデータは文
字切出し回路18およびプレート色判別回路20にそれぞれ
与えられる。Data representing the number plate position is supplied to a character extracting circuit 18 and a plate color discriminating circuit 20, respectively.
【００３３】文字切出し回路18には画像メモリ12から撮
影画像データも与えられている。The character extracting circuit 18 is also provided with photographed image data from the image memory 12.
【００３４】文字切出し回路18は，撮影画像のうちナン
バープレートに表示されている文字を取出す回路であ
る。The character extracting circuit 18 is a circuit for extracting the characters displayed on the license plate from the photographed image.
【００３５】文字切出し回路18においては，画像メモリ
12から与えられる撮影画像データのうち，撮影画像にお
けるナンバープレートに相当する領域の画像データが２
値化される。この２値化された画像データによって表わ
される２値画像が図９(A) に示されている。In the character extracting circuit 18, an image memory
Of the photographed image data given from 12, the image data of the area corresponding to the license plate in the photographed image is 2
Valued. FIG. 9A shows a binary image represented by the binarized image data.
【００３６】つづいて図９(B) で示すように，２値画像
データが２値画像の縦方向および横方向で０になる領域
が切取られる。図９(B) においては縦方向および横方向
での２値データも表わされている。図９(C) で示すよう
に残った領域がナンバープレートの文字の領域を表わす
ことになる。Subsequently, as shown in FIG. 9B, areas where the binary image data becomes 0 in the vertical and horizontal directions of the binary image are cut out. FIG. 9B also shows binary data in the vertical and horizontal directions. As shown in FIG. 9 (C), the remaining area represents the character area of the license plate.
【００３７】ナンバープレートの文字を表わすデータは
文字認識回路19に与えられる。文字認識回路19において
パターン・マッチングなどの公知の手法を用いて文字認
識が行なわれることになる。Data representing the characters on the license plate is supplied to a character recognition circuit 19. In the character recognition circuit 19, character recognition is performed using a known method such as pattern matching.
【００３８】文字認識回路19において認識された文字を
表わすデータは，情報出力回路21に与えられナンバープ
レートの文字を表わすコードとして出力されることにな
る。The data representing the character recognized by the character recognition circuit 19 is supplied to the information output circuit 21 and output as a code representing the character of the license plate.
【００３９】プレート色判定回路20にはプレート位置特
定回路16から与えられる撮影画像におけるナンバープレ
ートの位置を表わすデータのほか画像メモリ17に記憶さ
れているしきい値以上の相関値をもつ画素によって構成
される画像を表わすデータも与えられている。またプレ
ート色判定回路20においてはモデル画像記憶回路13に記
憶されているモデル画像のコントラストも記憶されてい
る。The plate color judging circuit 20 is constituted by pixels having a correlation value equal to or larger than a threshold value stored in the image memory 17 in addition to data representing the position of the license plate in the photographed image given from the plate position specifying circuit 16. Data representing the image to be performed is also provided. In the plate color determination circuit 20, the contrast of the model image stored in the model image storage circuit 13 is also stored.
【００４０】プレート色判定回路20はナンバープレート
が存在する，図８に示す画像中における相関値の大きさ
（符号）にもとづいて撮影されたナンバープレートの地
色を判定する回路である。The plate color judging circuit 20 is a circuit for judging the ground color of the photographed license plate based on the magnitude (sign) of the correlation value in the image shown in FIG.
【００４１】正規化相互相関の相関値ＣＣは，モデル画
像と濃淡パターンと撮影画像の濃淡パターンが一致する
と正となり，これらの濃淡パターンが反転して一致する
と負となる。したがってナンバープレート内における正
規化相互相関の相関値ＣＣが正ならば撮影画像の濃淡パ
ターンとモデル画像の濃淡パターンとが一致し，相関値
が負ならばこれらの濃淡パターンが反転していると判断
できる。したがって記憶されているモデル画像データに
よって表わされるモデル画像と比較することにより撮影
画像のナンバープレートの地色が判断できるようにな
る。The correlation value CC of the normalized cross-correlation is positive when the model image, the gray pattern and the captured image match, and becomes negative when the gray patterns are inverted and matched. Therefore, if the correlation value CC of the normalized cross-correlation in the license plate is positive, the density pattern of the captured image matches the density pattern of the model image, and if the correlation value is negative, it is determined that these density patterns are inverted. it can. Therefore, the ground color of the license plate of the captured image can be determined by comparing the model image represented by the stored model image data with the model image.
【００４２】プレート色判定回路20において判定された
プレートの地色を表わすデータは情報出力回路21に与え
られて出力されることになる。Data representing the ground color of the plate determined by the plate color determination circuit 20 is supplied to the information output circuit 21 and output.
【００４３】図10はモデル画像の他の一例を示してい
る。FIG. 10 shows another example of the model image.
【００４４】図４に示すモデル画像Ｍは３つの四辺形図
形が水平方向に配置され，中央の四辺形図形の大きさが
撮影画像におけるナンバープレートの文字の幅に対応し
ている。これに対して図10に示すモデル画像Ｍ1 は十字
形状であり，この十字形状の縦の図形部分は撮影画像の
ナンバープレートの文字の幅に対応している。In the model image M shown in FIG. 4, three quadrilateral figures are arranged in the horizontal direction, and the size of the central quadrilateral figure corresponds to the character width of the license plate in the photographed image. Model image M 1 shown in FIG. 10 with respect to which is cross-shaped, vertical geometric portion of the cross-shaped corresponds to the width of the characters of the license plate of the captured image.
【００４５】図11は撮影画像のナンバープレートの文字
とモデル画像Ｍ1 との関係を示しており，図12は図10に
示すモデル画像と撮影画像との正規化相互相関の相関値
から得られる相関値画像を示している。[0045] Figure 11 shows the relationship between the characters and the model image M 1 of the license plate of the captured image, FIG. 12 is obtained from the correlation value of the normalized cross-correlation between the model image and the photographed image shown in FIG. 10 4 shows a correlation value image.
【００４６】図11に示されるように縦の図形部分が撮影
画像のナンバープレートの文字の幅に対応しているモデ
ル画像を用いて撮影画像との正規化相互相関の相関値を
計算するとナンバープレート画像の文字の縦の部分とモ
デル画像との一致する程度が高くなり正規化相互相関の
２乗の相関値ＣＣ2 も高くなる。またナンバープレート
の文字以外の撮影画像の部分とモデル画像と一致する程
度は低くなり，図12で示すように相関値画像は，ほぼナ
ンバープレートの文字から得られる画像のみとなる。し
たがって，ナンバープレートの位置決定を高精度に実現
できる。As shown in FIG. 11, when the correlation value of the normalized cross-correlation with the photographed image is calculated using a model image whose vertical graphic part corresponds to the character width of the license plate of the photographed image, the license plate is calculated. correlation value CC 2 of the square of the matching degree of the high normalized cross-correlation between the vertical portion and the model image of the character image is also increased. In addition, the degree of coincidence between the captured image portion other than the characters on the license plate and the model image is low, and as shown in FIG. 12, the correlation value image is substantially only an image obtained from the characters on the license plate. Therefore, the position of the license plate can be determined with high accuracy.
【００４７】図13(A) は撮影画像におけるナンバープレ
ートの文字幅に対応した幅をもつ四辺形図形を有するモ
デル画像を示し，図13(B) は図13(A) に示すモデル画像
によって撮影画像との正規化相互相関の相関値をモデル
画像との画素の一致数によって表わした画像である。図
13(B) において，検出するナンバープレートの文字の縦
の部分が四角を用いて囲まれている。FIG. 13 (A) shows a model image having a quadrilateral figure having a width corresponding to the character width of the license plate in the photographed image, and FIG. 13 (B) shows a photographed image using the model image shown in FIG. 13 (A). It is an image in which the correlation value of the normalized cross-correlation with the image is represented by the number of coincidence of pixels with the model image. Figure
In 13 (B), the vertical part of the character of the license plate to be detected is surrounded by a square.
【００４８】図14は図10に示すモデル画像によって撮影
画像との正規化相互相関の相関値をモデル画像との画素
の一致数によって表わした画像である。図14において
も，検出するナンバープレートの文字の縦の部分が四角
を用いて囲まれている。FIG. 14 is an image in which the correlation value of the normalized cross-correlation with the captured image is represented by the number of coincidences of pixels with the model image by the model image shown in FIG. Also in FIG. 14, the vertical part of the character of the license plate to be detected is surrounded by a square.
【００４９】検出するナンバープレートの文字の縦の部
分とモデル画像の一致の程度を（モデル画像の画素のう
ち撮影画像の画素と一致している画素数）／（モデル画
像の画素数）で表わすことにする。The degree of coincidence between the vertical portion of the character of the license plate to be detected and the model image is represented by (the number of pixels of the model image that match the pixels of the photographed image) / (the number of pixels of the model image). I will.
【００５０】図13(B) に示すモデル画像を用いた場合は
検出するナンバープレートの文字の縦の部分とモデル画
像との一致度は平均では式２から0.79，最低では式３か
ら0.66である。When the model image shown in FIG. 13B is used, the coincidence between the vertical part of the character of the license plate to be detected and the model image is 0.79 from Equation 2 on average, and 0.66 from Equation 3 at minimum. .
【００５１】[0051]
【数２】 （７＋７＋６＋８＋７＋７＋６）／９＝71／９＝0.79 …式２## EQU2 ## (7 + 7 + 6 + 8 + 7 + 7 + 6) /9=71/9=0.79 Equation 2
【数３】 ６／９＝0.66 …式３6/9 = 0.66 Equation 3
【００５２】これに対し，図10に示すモデル画像では同
様に一致度は平均では式４から0.89，最低では式５から
0.8 である。On the other hand, in the model image shown in FIG.
0.8.
【００５３】[0053]
【数４】 （４＋４＋４＋５＋５＋５＋４）／５＝44／５＝0.89 …式４(4 + 4 + 4 + 5 + 5 + 5 + 4) /5=44/5=0.89 Equation 4
【数５】 ４／５＝0.8 …式５[Equation 5] 4/5 = 0.8 Equation 5
【００５４】モデル画像を図10に示すように十字形状に
し，その縦線部をナンバープレート画像の文字幅と等し
くすることにより，ナンバープレートの文字の縦の部分
を効率良く検出でき，ナンバープレートの位置を高精度
に決定できる。By making the model image into a cross shape as shown in FIG. 10 and making the vertical lines equal to the character width of the license plate image, the vertical portions of the characters on the license plate can be detected efficiently, and Position can be determined with high accuracy.
【００５５】図15は他の実施例を示すもので，文字認識
装置の電気的構成を示すブロック図である。図15におい
て，図２と同一物には同一符号を付して説明を省略す
る。FIG. 15 shows another embodiment, and is a block diagram showing an electric configuration of a character recognition device. 15, the same components as those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted.
【００５６】図３に示す文字認識装置と図15に示す文字
認識装置とでは撮影画像におけるナンバープレートの位
置決定のやり方が異なる。図３に示す文字認識装置にお
いては撮影画像におけるナンバープレートの大きさに対
応した領域内積分を利用して撮影画像におけるナンバー
プレートの位置を決定しているのに対し，図15に示す文
字認識装置では相関値画像の１水平ライン上を，水平方
向に所定の幅をもつウィンドウを用いて走査したときに
所定値以上の相関値をもつ画素によって表わされる画像
の画素がウィンドウ内に存在することを表わす特徴量デ
ータを生成し，生成された特徴量データにもとづいて撮
影画像におけるナンバープレートの位置を決定する。The character recognition device shown in FIG. 3 and the character recognition device shown in FIG. 15 differ in the manner of determining the position of the license plate in the photographed image. In the character recognition device shown in FIG. 3, the position of the license plate in the photographed image is determined by using the integral in the area corresponding to the size of the license plate in the photographed image, whereas the character recognition device shown in FIG. States that, when one horizontal line of the correlation value image is scanned using a window having a predetermined width in the horizontal direction, pixels of the image represented by pixels having a correlation value greater than a predetermined value are present in the window. Generated feature amount data is generated, and the position of the license plate in the captured image is determined based on the generated feature amount data.
【００５７】図15に示す文字認識装置10Ａにおいてはナ
ンバープレート位置検出回路22Ａに画像位置検出回路23
が含まれている。画像位置検出回路23は正規化相互相関
計算回路14において計算された相関値を表わすデータを
入力して，入力したデータにもとづいて所定値以上の相
関値をもつ画素によって表わされる画像によって表わさ
れる図形の位置を検出する回路である。画像位置検出回
路23において検出された図形の位置を表わすデータは，
プレート位置特定回路16に与えられ撮影画像におけるナ
ンバープレートの位置が特定される。In the character recognition device 10A shown in FIG. 15, the license plate position detecting circuit 22A has an image position detecting circuit 23.
It is included. The image position detection circuit 23 inputs data representing the correlation value calculated by the normalized cross-correlation calculation circuit 14, and based on the input data, a graphic represented by an image represented by a pixel having a correlation value equal to or greater than a predetermined value. Is a circuit for detecting the position of. Data representing the position of the figure detected by the image position detection circuit 23 is
The position of the license plate in the captured image is supplied to the plate position specifying circuit 16 to specify the position of the license plate.
【００５８】図16は図15に示す文字認識装置における文
字認識の処理手順を示すフローチャートである。FIG. 16 is a flowchart showing the procedure of character recognition in the character recognition apparatus shown in FIG.
【００５９】図17は撮影画像の一例を示しており，図18
はモデル画像と撮影画像の正規化相互相関の相関値が所
定値以上ある画素によって表わされる画像を示してお
り，図19は相関値画像における１水平ライン上の水平方
向に存在する画像を表わす特徴量データを表わしてい
る。FIG. 17 shows an example of a photographed image.
Indicates an image represented by a pixel having a correlation value of the normalized cross-correlation between the model image and the photographed image which is equal to or greater than a predetermined value. FIG. 19 shows a feature representing an image existing in a horizontal direction on one horizontal line in the correlation value image. Represents quantity data.
【００６０】撮像カメラ１によって得られた撮影画像信
号はアナログ／ディジタル変換回路11を経てディジタル
画像データに変換されて正規化相互相関計算回路14に与
えられ，モデル画像との正規化相互相関の相関値が計算
される（ステップ31，32）。計算された相関値から図18
に示す相関値が所定値以上である画素によって表わされ
る画像が得られる。The photographed image signal obtained by the photographing camera 1 is converted into digital image data via an analog / digital conversion circuit 11 and supplied to a normalized cross-correlation calculation circuit 14, where the correlation of the normalized cross-correlation with the model image is obtained. A value is calculated (steps 31, 32). Figure 18 from the calculated correlation value
An image represented by a pixel whose correlation value is equal to or greater than a predetermined value is obtained.
【００６１】この画像において図形が存在する縦方向で
の位置が検索される。水平ラインごとに縦方向に走査し
たときに図形が存在することにより図19に示す特徴量デ
ータが得られる。この特徴量データが得られる縦方向の
範囲がナンバープレート画像が存在する縦方向の範囲と
判定される（ステップ33）。In this image, the position in the vertical direction where the figure exists is searched. The feature amount data shown in FIG. 19 is obtained due to the presence of a figure when scanned in the vertical direction for each horizontal line. The vertical range in which the feature amount data is obtained is determined as the vertical range in which the license plate image exists (step 33).
【００６２】つづいて横方向（ｘ方向）におけるナンバ
ープレートの中央の位置（基準点）が決定される（ステ
ップ40）。この基準点の決定処理手順については後述す
る。Subsequently, the center position (reference point) of the license plate in the horizontal direction (x direction) is determined (step 40). The procedure for determining the reference point will be described later.
【００６３】基準点が決定されるとその基準点の補正が
必要がどうかが判断され（ステップ34），補正が必要な
らば補正処理が行なわれる（ステップ50）。この補正判
定処理および補正処理についても詳しくは後述する。When the reference point is determined, it is determined whether or not the reference point needs to be corrected (step 34). If correction is required, a correction process is performed (step 50). The details of the correction determination process and the correction process will be described later.
【００６４】撮影画像におけるナンバープレート画像の
位置が決定されると，ナンバープレート画像の位置に存
在する画像から文字画像が切出され（ステップ35），文
字認識が行なわれる（ステップ36）のは図３に示す文字
認識装置の処理と同じである。When the position of the license plate image in the photographed image is determined, a character image is cut out from the image existing at the position of the license plate image (step 35), and character recognition is performed (step 36). 3 is the same as the processing of the character recognition device shown in FIG.
【００６５】図20は基準点決定の処理手順を示すフロー
チャートである。FIG. 20 is a flowchart showing the processing procedure for determining the reference point.
【００６６】図21(A) は特徴量データの一例を示し，図
21(B) は特徴量データの積算結果を表わし，図21(C) は
積算された特徴量データのラベリング処理の様子を示
し，図21(D) は基準点の決定処理の様子を示している。FIG. 21A shows an example of feature amount data.
21 (B) shows the result of the integration of the feature data, FIG. 21 (C) shows the labeling process of the integrated feature data, and FIG. 21 (D) shows the process of determining the reference point. I have.
【００６７】図21(A) に示す特徴量データは水平方向に
３画素，垂直方向に１画素の大きさのウィンドウによっ
て水平方向に走査される。ウィンドウによって走査され
たときにウィンドウ内に特徴量データが存在すると，ウ
ィンドウ内に存在する特徴量データが積算され，ウィン
ドウの左端の座標に相当する位置に積算結果が得られ
る。特徴量データの水平方向すべてにウィンドウが走査
され，図21(B) に示す積算データが得られる（ステップ
41）。The feature data shown in FIG. 21A is horizontally scanned by a window having a size of three pixels in the horizontal direction and one pixel in the vertical direction. If the feature data exists in the window when scanned by the window, the feature data existing in the window are integrated, and the integration result is obtained at a position corresponding to the coordinates of the left end of the window. The window is scanned in all horizontal directions of the feature data, and the integrated data shown in FIG.
41).
【００６８】積算データが水平方向に連続せずに別々に
存在すると，それぞれの積算データに対応して図21(C)
で示すようにラベリング処理が行なわれる（ステップ4
2）。図21(C) で示す例では積算データはそれぞれＲ
（ｊ−１），Ｒ（ｊ）およびＲ（ｊ＋１）とラベリング
処理が行なわれる。If the integrated data is not continuous in the horizontal direction but exists separately, the corresponding integrated data is shown in FIG.
The labeling process is performed as shown by (step 4)
2). In the example shown in FIG.
Labeling processing is performed on (j-1), R (j) and R (j + 1).
【００６９】ラベリング処理が終了すると，ラベリング
された積算データのうち水平方向にもっとも大きい積算
データに対応する相関値画像の領域が，撮影画像におけ
るナンバープレートの位置の候補とされナンバープレー
ト画像候補領域として得られる（ステップ43）。このナ
ンバープレート画像候補領域の中央の位置がナンバープ
レート画像の中央の位置として基準点が決定される（ス
テップ44）。When the labeling process is completed, the region of the correlation value image corresponding to the largest integrated data in the horizontal direction among the labeled integrated data is set as a license plate position candidate in the photographed image, and is set as a license plate image candidate region. Is obtained (step 43). A reference point is determined as the center position of the license plate image candidate area as the center position of the license plate image (step 44).
【００７０】図22は基準点の補正を行なう処理手順を示
すフローチャートである。FIG. 22 is a flowchart showing a processing procedure for correcting the reference point.
【００７１】図23はラベリングされた積算データのうち
水平方向にもっとも大きい積算データに対応するナンバ
ープレート画像候補領域が，撮影画像の端にある場合に
行なわれる補正の様子を表わすものであり，図24はこの
相関値画像のナンバープレート画像候補領域が水平方向
において所定の大きさ（たとえばナンバープレート画像
の大きさと比較して極端に小さい大きさ）よりも小さい
ときに行なわれる補正の様子を表わすものであり，図25
はこの相関値画像のナンバープレート画像候補領域が水
平方向において所定の大きさよりも小さく，かつ所定範
囲内に隣接する積分データが存在するときに行なわれる
補正の様子を表わしている。FIG. 23 shows the state of the correction performed when the license plate image candidate area corresponding to the largest integrated data in the horizontal direction among the labeled integrated data is at the end of the photographed image. Numeral 24 indicates the state of correction performed when the license plate image candidate area of the correlation value image is smaller than a predetermined size (for example, extremely small compared to the size of the license plate image) in the horizontal direction. Figure 25
Represents the state of correction performed when the license plate image candidate area of the correlation value image is smaller than a predetermined size in the horizontal direction and adjacent integrated data exists within a predetermined range.
【００７２】図22を参照して，ナンバープレートは撮影
画像内に含まれているが，ナンバープレート画像候補領
域が撮影画像の端にあるかどうかが判断される（ステッ
プ51）。Referring to FIG. 22, although the license plate is included in the photographed image, it is determined whether or not the license plate image candidate area is at the end of the photographed image (step 51).
【００７３】ウィンドウの走査はウィンドウの左端が撮
影画像の左端と一致する地点から開始され，ウィンドウ
の右端が撮影画像の右端と一致する地点まで行なわれ
る。このためナンバープレート画像候補領域が撮影画像
のいずれかの端にある場合にナンバープレート画像候補
領域の中点位置をナンバープレート画像の中点位置とす
ると，実際のナンバープレート画像の中央の位置からず
れることになる。ナンバープレート画像候補領域が撮影
画像のいずれかの端にある場合には，ナンバープレート
画像候補領域の中点よりも外側になるように基準点が補
正される（ステップ54）。この補正の量は実測にもとづ
いて妥当な値に定められる。The scanning of the window is started from a point where the left end of the window coincides with the left end of the photographed image, and is performed up to a point where the right end of the window coincides with the right end of the photographed image. For this reason, if the license plate image candidate area is located at any end of the photographed image and the middle point position of the license plate image candidate area is set to the middle point position of the license plate image, it will deviate from the actual center position of the license plate image. Will be. If the license plate image candidate area is at any end of the photographed image, the reference point is corrected so as to be outside the middle point of the license plate image candidate area (step 54). The amount of this correction is determined to an appropriate value based on actual measurement.
【００７４】ナンバープレート画像候補領域が，撮影画
像の端を含まない場合には（ステップ51でNO），ナンバ
ープレート画像候補領域の水平方向の幅が所定の幅より
も狭いかどうかが判断される（ステップ52）。If the license plate image candidate area does not include the end of the photographed image (NO in step 51), it is determined whether the horizontal width of the license plate image candidate area is smaller than a predetermined width. (Step 52).
【００７５】この幅が狭くなければ補正は行なわれない
（ステップ52でNO，ステップ53）。If the width is not narrow, no correction is made (NO in step 52, step 53).
【００７６】この幅が所定の幅よりも狭いと（ステップ
52でYES ），隣接するナンバープレート画像候補領域が
所定範囲内にあるかどうかが判断される（ステップ5
5）。If this width is smaller than the predetermined width (step
(YES at 52), it is determined whether the adjacent license plate image candidate area is within a predetermined range (step 5).
Five).
【００７７】隣接するナンバープレート画像候補領域が
所定範囲内になければ（ステップ55でNO），撮影された
ナンバープレートの数字は４桁の数字でなくそれよりも
少ない桁の数字と判断されるため図24で示すように基準
点の位置が補正される（ステップ56）。この補正量も実
測にもとづいて妥当な値に定められる。If the adjacent license plate image candidate area is not within the predetermined range (NO in step 55), the number of the photographed license plate is determined to be not a four-digit number but a smaller number. As shown in FIG. 24, the position of the reference point is corrected (step 56). This correction amount is also set to an appropriate value based on actual measurement.
【００７８】隣接するナンバープレート画像候補領域が
所定範囲内にあると（ステップ55でYES ），隣接するナ
ンバープレート画像候補領域の両端で定められる領域が
新たなナンバープレート画像候補領域として定められる
（ステップ57）。図25で示すように新たなナンバープレ
ート画像候補領域の中央の位置が基準点して定められる
（ステップ58）。If the adjacent license plate image candidate area is within the predetermined range (YES in step 55), the areas defined at both ends of the adjacent license plate image candidate area are determined as new license plate image candidate areas (step 55). 57). As shown in FIG. 25, the center position of the new license plate image candidate area is determined as a reference point (step 58).
【００７９】上述した図15の文字認識装置における基準
点位置決定では，水平方向に３画素，垂直方向に１画素
の大きさをもつウィンドウを用いて特徴量データの積算
を行ない，ナンバープレート画像候補領域を生成してい
るが，図26に示すように例えば水平方向に６画素，垂直
方向に１画素の大きさをもつウィンドウを設定し，この
ウィンドウの左３画素を第１のウィンドウとし，右３画
素を第２のウィンドウとし，第１のウィンドウに特徴量
データが存在するときに積算し，第２のウィンドウに特
徴量データが存在するときに第１のウィンドウ内に存在
する特徴量データの総数から第２のウィンドウ内に存在
する特徴量データの総数を減算して特徴量データの積算
データを得るようにしてもよい。この場合は積算データ
の右端点がプレート画像の右側端点として定められる。In the determination of the reference point position in the character recognition apparatus shown in FIG. 15, the feature amount data is integrated using a window having a size of three pixels in the horizontal direction and one pixel in the vertical direction, and a license plate image candidate is obtained. Although a region is generated, as shown in FIG. 26, a window having a size of, for example, 6 pixels in the horizontal direction and 1 pixel in the vertical direction is set, and the left three pixels of this window are set as the first window, and Three pixels are defined as a second window, and are integrated when feature amount data is present in the first window. When feature amount data is present in the second window, integration is performed on feature amount data existing in the first window. The integrated data of the feature amount data may be obtained by subtracting the total number of feature amount data existing in the second window from the total number. In this case, the right end point of the integrated data is determined as the right end point of the plate image.
【００８０】図27(A) は特徴量データの一例を示してお
り，図27(B) は図26に示すウィンドウを用いて図27(A)
の特徴量データを積算したときに得られる積算データを
示している。ウィンドウの積算エリアにのみ特徴量デー
タが存在すれば積算データは負となり，ウィンドウの積
算エリアにのみ特徴量データが存在すれば積算データは
正となる。得られる積算データのうち右端がプレート画
像の右側端点とされる。FIG. 27 (A) shows an example of the feature data, and FIG. 27 (B) uses the window shown in FIG.
2 shows integrated data obtained when the feature amount data of the above is integrated. If the feature data exists only in the integration area of the window, the integration data becomes negative. If the feature data exists only in the integration area of the window, the integration data becomes positive. The right end of the obtained integrated data is the right end point of the plate image.
【図１】自動車のナンバープレートの文字認識システム
を示す斜視図である。FIG. 1 is a perspective view showing a character recognition system for a license plate of an automobile.
【図２】自動車のナンバープレートの文字認識システム
を示す側面図である。FIG. 2 is a side view showing a character recognition system for a license plate of an automobile.
【図３】文字認識装置の電気的構成を示すブロック図で
ある。FIG. 3 is a block diagram illustrating an electrical configuration of the character recognition device.
【図４】モデル画像の一例を示している。FIG. 4 shows an example of a model image.
【図５】撮影画像の一例を示している。FIG. 5 shows an example of a captured image.
【図６】正規化相互相関の相関値によって表わされる画
像を数値化して示している。FIG. 6 shows an image represented by a correlation value of the normalized cross-correlation in numerical form.
【図７】正規化相互相関の相関値を領域内積分して得ら
れる画像を数値化して示している。FIG. 7 shows an image obtained by integrating the correlation value of the normalized cross-correlation in a region into a numerical value.
【図８】所定値以上の相関値をもつ画素によって表わさ
れる画像の一例を示している。FIG. 8 shows an example of an image represented by pixels having a correlation value equal to or greater than a predetermined value.
【図９】撮影画像からナンバープレートの文字を切出す
過程を示すもので，(A) は２値化されたナンバープレー
ト画像を示し，(B) はナンバープレートの文字の切出し
の様子を示し，(C) は切出された文字を示している。9A and 9B show a process of cutting out characters of a license plate from a photographed image, wherein FIG. 9A shows a binarized license plate image, FIG. (C) shows the extracted character.
【図１０】モデル画像の他の例を示している。FIG. 10 shows another example of a model image.
【図１１】ナンバープレートの文字とモデル画像との関
係を示している。FIG. 11 shows a relationship between characters on a license plate and a model image.
【図１２】図10に示すモデル画像と撮影画像との正規化
相互相関にもとづいて得られる画像の一例を示してい
る。12 shows an example of an image obtained based on the normalized cross-correlation between the model image and the captured image shown in FIG.
【図１３】(A) はモデル画像の一例を，(B) はモデル画
像と撮影画像との正規化相互相関にもとづいて得られる
画像を数値化して示している。13A shows an example of a model image, and FIG. 13B shows a numerical image of an image obtained based on a normalized cross-correlation between a model image and a captured image.
【図１４】モデル画像と撮影画像との正規化相互相関に
もとづいて得られる画像を数値化して表わしている。FIG. 14 is a numerical representation of an image obtained based on a normalized cross-correlation between a model image and a captured image.
【図１５】他の実施例を示すもので，文字認識装置の電
気的構成を示すブロック図である。FIG. 15 is a block diagram showing another embodiment and showing an electrical configuration of a character recognition device.
【図１６】文字認識の処理手順を示すフローチャートで
ある。FIG. 16 is a flowchart illustrating a character recognition processing procedure.
【図１７】撮影画像の一例を示している。FIG. 17 illustrates an example of a captured image.
【図１８】モデル画像と撮影画像との正規化相互相関に
もとづいて得られる画像の一例を示している。FIG. 18 illustrates an example of an image obtained based on a normalized cross-correlation between a model image and a captured image.
【図１９】特徴量データの一例を示している。FIG. 19 illustrates an example of feature amount data.
【図２０】基準点決定の処理手順を示すフローチャート
である。FIG. 20 is a flowchart illustrating a processing procedure for determining a reference point.
【図２１】(A) は特徴量データの一例を示し，(B) は積
算データの一例を示し，(C) はラベリングされた積算デ
ータを示し，(D) は決定された基準点を示している。21A shows an example of feature amount data, FIG. 21B shows an example of integrated data, FIG. 21C shows labeled integrated data, and FIG. 21D shows a determined reference point. ing.
【図２２】基準点の補正処理手順を示すフローチャート
である。FIG. 22 is a flowchart illustrating a correction procedure of a reference point.
【図２３】積算データと補正された基準点との関係を示
している。FIG. 23 shows a relationship between integrated data and corrected reference points.
【図２４】積算データと補正された基準点との関係を示
している。FIG. 24 shows the relationship between integrated data and corrected reference points.
【図２５】積算データと補正された基準点との関係を示
している。FIG. 25 shows a relationship between integrated data and corrected reference points.
【図２６】ウィンドウの一例を示している。FIG. 26 shows an example of a window.
【図２７】(A) は特徴量データの一例を，(B) は積算デ
ータの一例を示している。27A shows an example of feature amount data, and FIG. 27B shows an example of integrated data.
13 モデル画像記憶回路 14 正規化相互相関計算回路 15 領域内積分計算回路 16 プレート位置特定回路 13 Model image storage circuit 14 Normalized cross-correlation calculation circuit 15 Integral calculation circuit in area 16 Plate position specifying circuit
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−245400（ＪＰ，Ａ) 特開 昭60−229178（ＪＰ，Ａ) 特開 平３−232100（ＪＰ，Ａ) 特開 平２−294791（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G08G 1/017 G06K 9/20 340 G08G 1/04 G01B 11/00 G06T 1/00 ──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-1-245400 (JP, A) JP-A-60-229178 (JP, A) JP-A-3-232100 (JP, A) JP-A-2- 294791 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G08G 1/017 G06K 9/20 340 G08G 1/04 G01B 11/00 G06T 1/00
Claims (9)
けるナンバープレートの文字の線幅に対応した四辺形図
形を含むモデル画像を表わすモデル画像データを記憶す
るモデル画像データ記憶手段， 上記撮影画像を表わす撮影画像データと上記モデル画像
データ記憶手段に記憶されている上記モデル画像データ
との相互相関値を計算する相互相関値算出手段，および
上記相互相関値算出手段により計算された相関値にもと
づいて，上記撮影画像中におけるナンバープレート画像
の位置を決定するナンバープレート位置決定手段， を備えたナンバープレート位置検出装置。1. A model image data storage means for storing model image data representing a model image including a quadrilateral figure corresponding to the line width of a license plate character in a photographed image obtained by photographing a subject. A cross-correlation value calculating means for calculating a cross-correlation value between the captured image data to be represented and the model image data stored in the model image data storing means; and a correlation value calculated by the cross-correlation value calculating means. A license plate position determining means for determining a position of the license plate image in the photographed image.
れるモデル画像データは十字形のモデル画像を表わすも
のであり，上記四辺形図形の画像を含む， 請求項１に記載のナンバープレート位置検出装置。2. The license plate position detecting device according to claim 1, wherein the model image data stored in the model image data storage means represents a cross-shaped model image and includes the image of the quadrilateral figure. .
り決定されたナンバープレート画像内における上記相関
値の大きさにもとづいてナンバープレートの地色を判定
する判定手段， をさらに備えた請求項１に記載のナンバープレート位置
検出装置。3. The method according to claim 1, further comprising: determining means for determining a ground color of the license plate based on the magnitude of the correlation value in the license plate image determined by the license plate position determining means. License plate position detector.
の相関値をもつ画素を抽出し， 抽出された画素を含む画像領域上を，水平方向に所定の
幅をもつウィンドウを用いて走査し， 上記所定値以上の相関値を有する画素が上記ウィンドウ
内に存在することを表わす特徴量データをウィンドウの
位置ごとに生成し， 生成された特徴量データが水平方向に連続して存在する
領域幅を検出し，検出された領域幅のうち最大の幅をも
つ特徴量データの存在領域をナンバープレート画像候補
領域とし，その中央の位置を上記撮影画像中におけるナ
ンバープレート画像の中央の位置と判定するものであ
る， 請求項１に記載のナンバープレート位置検出装置。4. The license plate position determining means compares a correlation value of each pixel with a predetermined value, extracts a pixel having a correlation value equal to or larger than the predetermined value, and extracts a pixel having an correlation value equal to or higher than the predetermined value on an image area including the extracted pixel. Is scanned using a window having a predetermined width in the horizontal direction, and characteristic amount data indicating that a pixel having a correlation value equal to or greater than the predetermined value exists in the window is generated for each window position. The width of the region where the detected feature data continuously exists in the horizontal direction is detected, and the region of the feature data having the largest width among the detected region widths is set as the license plate image candidate region, and the center position of the region is determined. The license plate position detecting device according to claim 1, wherein the position of the license plate image in the photographed image is determined.
撮影画像の端を含む場合に，決定された上記撮影画像中
におけるナンバープレート画像の中央の位置を補正する
第１の補正手段をさらに備えた請求項４に記載のナンバ
ープレート位置検出装置。5. The license plate image candidate area is:
5. The license plate position detecting device according to claim 4, further comprising: a first correction unit configured to correct a center position of the license plate image in the determined captured image when an edge of the captured image is included.
平方向の幅が所定の幅よりも狭いときに，決定された上
記撮影画像中におけるナンバープレート画像の中央の位
置を補正する第２の補正手段をさらに備えた請求項４に
記載のナンバープレート位置検出装置。6. A second correcting means for correcting the center position of the license plate image in the determined photographed image when the width of the license plate image candidate area in the horizontal direction is smaller than a predetermined width. The license plate position detecting device according to claim 4, further comprising:
平方向の幅が所定の幅よりも狭く，かつ上記ナンバープ
レート画像候補領域から離れて水平ライン方向の所定範
囲内に特徴量データが存在する他の領域があるときに，
その特徴量データが存在する上記他の領域を含むように
ナンバープレート画像候補領域を広げ，広げられたナン
バープレート画像候補領域の中央の位置を，上記撮影画
像中におけるナンバープレート画像の中央の位置と判定
する，請求項４に記載のナンバープレート位置検出装
置。7. The other license plate image candidate area, wherein the width in the horizontal direction is smaller than a predetermined width and the feature amount data exists in a predetermined range in the horizontal line direction apart from the license plate image candidate area. When there is an area,
The license plate image candidate area is expanded to include the other area where the feature amount data exists, and the center position of the expanded license plate image candidate area is defined as the center position of the license plate image in the captured image. The license plate position detecting device according to claim 4, wherein the determination is performed.
けるナンバープレートの文字の線幅に対応した黒色およ
び白色の少なくともいずれか一方の四辺形図形を含むモ
デル画像を表わすモデル画像データを記憶するモデル画
像データ記憶手段， 上記撮影画像を表わす撮影画像データによって表わされ
る濃淡パターンと上記モデル画像データ記憶手段に記憶
されている上記モデル画像データによって表わされる濃
淡パターンとの相互相関値を計算する相互相関値算出手
段，および上記相互相関値算出手段により計算された相
関値にもとづいて，上記撮影画像中におけるナンバープ
レート画像の位置を決定するナンバープレート位置決定
手段， を備えたナンバープレート位置検出装置。8. A model for storing model image data representing a model image including at least one of a black and white quadrilateral corresponding to the line width of a character of a license plate in a photographed image obtained by photographing a subject. Image data storage means, a cross-correlation value for calculating a cross-correlation value between a light and shade pattern represented by photographed image data representing the photographed image and a light and shade pattern represented by the model image data stored in the model image data storage means A license plate position detection device comprising: calculation means; and license plate position determination means for determining a position of a license plate image in the photographed image based on the correlation value calculated by the cross-correlation value calculation means.
上記相互相関値算出手段によって算出された相互相関値
によって表わされる画像上を，ナンバープレートの大き
さに相当するウインドウで走査しながら，ウインドウ内
で相互相関値を積分し，得られる積分値の最大値に基づ
いてナンバープレートの位置を決定するものである，請
求項８に記載のナンバープレート位置検出装置。9. The license plate position determining means,
While scanning the image represented by the cross-correlation value calculated by the cross-correlation value calculation means with a window corresponding to the size of the license plate, the cross-correlation value is integrated within the window, and the maximum of the obtained integrated value is obtained. 9. The license plate position detecting device according to claim 8, wherein the position of the license plate is determined based on the value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23748393A JP3216356B2 (en) | 1993-08-30 | 1993-08-30 | License plate position detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23748393A JP3216356B2 (en) | 1993-08-30 | 1993-08-30 | License plate position detector |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0765284A JPH0765284A (en) | 1995-03-10 |
| JP3216356B2 true JP3216356B2 (en) | 2001-10-09 |
Family
ID=17016000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23748393A Expired - Lifetime JP3216356B2 (en) | 1993-08-30 | 1993-08-30 | License plate position detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3216356B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4696574B2 (en) * | 2005-02-02 | 2011-06-08 | 株式会社ニコン | Semiconductor inspection equipment |
| JP7036615B2 (en) * | 2018-02-15 | 2022-03-15 | 日本信号株式会社 | Vehicle recognition device and parking lot management system |
| JP7190110B2 (en) * | 2019-02-27 | 2022-12-15 | トヨタ自動車株式会社 | Image processing device and image processing method |
-
1993
- 1993-08-30 JP JP23748393A patent/JP3216356B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0765284A (en) | 1995-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6658150B2 (en) | Image recognition system | |
| US5493621A (en) | Fingerprint ID system and method | |
| JP3307335B2 (en) | Vehicle region detection device and vehicle region verification method | |
| JP4380838B2 (en) | Video image automatic road sign recognition method, road sign automatic recognition device, and road sign automatic recognition program | |
| JPH06203154A (en) | Image processor | |
| JP2003051017A (en) | White line detector | |
| CN112179294A (en) | Land proofreading method, device and system | |
| JP2002228423A (en) | Tire detecting method and device | |
| JPH1173514A (en) | Recognition device for vehicle | |
| JP3341605B2 (en) | Image processing device for vehicles | |
| JP3216356B2 (en) | License plate position detector | |
| US10997743B2 (en) | Attachable matter detection apparatus | |
| JP3455454B2 (en) | Vehicle license plate recognition device | |
| JP3505362B2 (en) | Vehicle detection method | |
| JPH0630417A (en) | Device for recognizing vehicle and method for recognizing mobile object | |
| JP2851348B2 (en) | License plate reader | |
| JP3175509B2 (en) | Road white line detector | |
| CN111626165B (en) | Pedestrian recognition method and device, electronic equipment and storage medium | |
| JP2002536709A (en) | Method and apparatus for calculating a similarity between a first structure and at least one preset second structure | |
| JPH09128548A (en) | Vehicle detecting method | |
| JP3419968B2 (en) | Image recognition device and method | |
| CN117132798B (en) | Method and device for identifying repair partition of homeland space planning ecosystem | |
| JP2000193420A (en) | Eye position detecting device | |
| JP3632088B2 (en) | Vehicle detection method | |
| JP3128913B2 (en) | In-vehicle road image analysis device and in-vehicle imaging control device using the device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080803 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080803 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090803 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100803 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110803 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120803 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130803 Year of fee payment: 12 |